申请/专利权人：北京工业大学

申请日：2024-03-13

公开（公告）日：2024-05-24

公开（公告）号：CN118058705A

主分类号：A61B3/16

分类号：A61B3/16;G06T7/00;G06V40/18;G06V20/40;G06V10/25;G06V10/26;G06V10/82;G06N3/0464;A61B3/14

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.06.11#实质审查的生效;2024.05.24#公开

摘要：面向眼部视频的一种基于卷积神经网络的非接触式眼压预测方法属于生理信号检测技术领域，本发明建立了一个用于非接触式眼压预测的眼部特写视频数据集。为了得到不同眼部感兴趣区域的BVPBloodVolumnPulse，血容量脉搏波信号，首先利用EllSeg分割眼部视频中每个视频帧中的瞳孔和虹膜区域，并在此基础上加入了巩膜感兴趣区域的分割，然后将分割蒙板对应到原始视频帧中，提取到属于不同分割类别的BVP信号，对BVP信号进行去噪、插值、分割等一系列处理，最后训练数据得到基于卷积神经网络的眼压预测模型IOP‑Net。当视频帧率为30帧秒时，仅需要两秒无眨眼动作的人眼视频就能快速、准确地预测眼压。

主权项：1.面向眼部视频的一种基于卷积神经网络的非接触式眼压预测方法，其特征在于，步骤如下：步骤一，构建用于非接触式眼压预测的眼部特写视频数据集；数据集包含来自多名受试者的多个RGB视频；每名受试者分别录制左眼和右眼共2段视频，每段视频时长为10s以内；测量眼压真实值；步骤二，瞳孔、虹膜、巩膜感兴趣区域的BVP信号的提取；提取瞳孔、虹膜、巩膜感兴趣区域的BVP信号的方法如下：1利用EllSeg分割瞳孔和虹膜区域，并加入部分巩膜感兴趣区域的分割；对眼部结构进行分割，达到在眼睛的特写图像中识别不同的ROI包括瞳孔、虹膜、巩膜的目的；利用Ellseg方法生成瞳孔与虹膜的初始分割图像；对于巩膜感兴趣区域的分割，在检测到所有属于虹膜类别的坐标中，找到横坐标的最大值xmax和纵坐标的最大值ymax与最小值ymin，把巩膜的感兴趣区域确定为一个矩形，矩形的高Hsclera和宽Wsclera由公式1和公式2确定得到；环形区域为虹膜，圆形区域为瞳孔，矩形框内为提取的巩膜感兴趣区域部分，分别定义为ROI1、ROI2和ROI3； 2将属于不同区域的分割蒙板对应到原始视频帧中，逐帧分别提取三个区域的RGB三通道信号；将分割图像中的ROI1、ROI2和ROI3对应到原始图像中，分别提取属于瞳孔、虹膜和巩膜的RGB三通道信号；从属于不同类别的感兴趣区域中提取到的原始rPPG信号S如公式3所表示； 其中，t为帧序列，xi和yi为第t帧中属于某一类别的全部坐标，SBVPxi,yi,t为代表第t帧中第xi行第yi列的像素点的，N为属于某一类别的坐标的总个数；经过上述操作，共得到瞳孔、虹膜、巩膜三个部分的R、G、B三个通道的九个初始rPPG信号Rsclera_R、Gsclera_R、Bsclera_R、Rpupil_R、Gpupil_R、Bpupil_R、Riris_R、Giris_R、Biris_R，瞳孔、虹膜、巩膜的三通道RGB信号分别对应流程图中背景为黄色、绿色、蓝色的信号；使用三阶巴特沃斯带通滤波器在[0.7Hz,2.5Hz]滤波，得到Rsclera_f、Gsclera_f、Bsclera_f、Rpupil_f、Gpupil_f、Bpupil_f、Riris_f、Giris_f、Biris_f；3利用CHROM方法消除运动伪影；使用色度模型CHROM来消除运动伪影；首先通过公式4和公式5从RGB三个颜色通道建立两个正交的色度信号Xf，Yf；Xf＝3Rf-2Gf4Yf＝1.5Rf+Gf-1.5Bf5其中，Rf、Gf、Bf分别为经过滤波之后的红色、绿色、蓝色通道的信号；利用公式6消除镜面反射；然后经过公式两边同时取对数以及对数的泰勒展开等一系列运算，得到一个如公式7表示的R，G，B三通道的线性组合信号S用以消除运动带来的影响； 其中，Xf和Xf为由公式4和公式5计算得到的两个正交的色度信号，α为Xf和Yf的标准差之比；4信号插值与分割将频率为30Hz的原始BVP信号S以125Hz的采样频率内插，得到最终的BVP信号SBVP；为了增加训练过程中使用的数据量，对于每个BVP信号SBVP，使用重叠滑动窗口的方法将其分割为n个单独的信号片段，设置滑动窗口为60个数据，每个片段为250个数据；最后，将来自瞳孔、虹膜和巩膜的BVP信号组合起来，得到一系列维度大小为3×250的数据；步骤三，训练面向眼部视频的基于卷积神经网络的非接触式眼压预测模型；将数据集划分为训练集和测试集两部分；卷积神经网络结构由四个隐藏的卷积层组成，输入信号的大小为3×250，将二维卷积核的大小设置为3×25，Padding设置为samePadding，平均池化层的大小为1×6，步长为4；所有CNN使用随机初始化，选择随机梯度下降作为优化器，训练60个epoch，批大小为64，初始学习率为0.001；按照上述训练参数对网络进行训练得到一个模型，即眼压预测模型IOP-Net；当要对一个视频进行眼压预测，按照步骤二所述操作得到一个或者多个BVP信号，将生成的BVP信号输入模型，模型的输出值即为眼压预测值。

全文数据：

权利要求：

百度查询： 北京工业大学 面向眼部视频的一种基于卷积神经网络的非接触式眼压预测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD