买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南通大学

摘要：本发明公开了一种基于超分辨率重建的视线估计方法，包括：使用摄像头获取人脸图像；构建超分辨率重建模块、视线估计模块，首先对超分辨率重建模块进行预训练，之后对网络整体进行训练，输入人脸图像经过超分辨率重建模块，对低分辨率人脸图像恢复细节和清晰度，以提高视线估计精度，经过视线估计模块，其中使用ResNet50提取全局特征，提高特征表达能力，通过空间权重机制，增大视线相关区域的权重，从而进行准确的视线估计；本发明所设计的方法具有更好的学习能力、性能和泛化能力。经过实验验证，本方法能够有效提高低分辨率场景下视线估计的精度。

主权项：1.一种基于超分辨率重建的视线估计方法，其特征在于，执行如下步骤S1-步骤S5，完成目标对象的人脸视线估计：步骤S1：使用摄像头采集预设数量的人脸图像，构建人脸图像训练集；步骤S2：构建超分辨率重建模块，包括预设数量的残差块和与其相对应的格式转换块，超分辨率重建模块以低分辨率的人脸图像为输入，基于各残差块采用逐步上采样方式对人脸图像中的特征进行上采样，生成预设大小的高分辨率的人脸图像；步骤S2所述的超分辨率重建模块具有依次串联的6个残差块，对低分辨率的人脸图像进行逐步上采样，以提取其中特征，第一个残差块的输入为大小为C×16×16的学习常数F0，其中C是通道大小；第i个残差块的输入为特征Fi-1，输出为特征Fi，最后一个残差块输出特征F6通过ToRGB卷积层转换为RGB图像，并输出高分辨率的人脸图像具体如下式： 其中表示残差卷积块，表示上采样残差卷积块，表示风格转换块；风格转换块的输入为由低分辨率的人脸图像IL和与其对应的解析图IP所构成的输入对，表示为和分别为第i个风格转换块输入的低分辨率的人脸图像和与其对应的解析图；风格转换块从输入对的尺度中学习Fi的风格转换参数yi＝ys,i,yb,i，表示为下式： 式中，γ表示轻量级网络，其中μ和σ是特征的均值和标准差，ys,i为对应的风格转换参数，yb,i为对应的风格转换参数；步骤S3：对超分辨率重建模块进行预训练，获得预训练好的超分辨率重建模块；步骤S4：构建视线估计模块，以超分辨率重建模块输出的高分辨率的人脸图像为输入，采用ResNet50提取人脸图像中的特征，并基于空间权重机制，赋予人脸图像中各区域的权重，通过增加人脸图像中视线相关区域的权重，抑制其他区域的权重，获得针对人脸图像的视线估计结果；步骤S5：采用步骤S1所构建的人脸图像训练集对超分辨率重建模块、视线估计模块进行整体训练，以完成对目标对象的人脸视线估计。

全文数据：

权利要求：

百度查询： 南通大学 一种基于超分辨率重建的视线估计方法