买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：桂林电子科技大学

摘要：本发明公开了一种人眼注视方向预测方法及系统，包括：获取待测的人眼图片及标定人眼图片；将待测的所述人眼图片与所述标定人眼图片同时输入预先训练的视线预测模型，输出待测的人眼图片中的人眼的注视方向。本发明通过设计差分支路从而缓解了个性化问题，同时提高了对标定图片的标签信息的利用程度。本发明通过残差结构优化描述待预测人眼图片的特征向量，在优化同时，也降低无效图片所造成的误差。

主权项：1.一种人眼注视方向预测方法，其特征在于，包括以下步骤：获取待测的人眼图片及标定人眼图片，所述标定人眼图片为待测对象的带有标签信息的人眼图片；将待测的所述人眼图片与所述标定人眼图片同时输入预先训练的视线预测模型；所述视线预测模型包括特征提取网络和残差优化模型；所述特征提取网络用于对所述人眼图片与所述标定人眼图片分别进行特征提取，获得特征信息，所述特征信息包括人眼图片特征信息和标定人眼图片特征信息；所述残差优化模型包括主支路和差分支路，其中所述差分支路用于对所述人眼图片特征信息和标定人眼图片特征信息进行残差优化获得调节信息向量；所述主支路用于输出所述人眼图片特征信息，基于所述人眼图片特征信息和所述调节信息向量获取待测人眼图片中人眼的注视方向；对所述人眼图片特征信息和标定人眼图片特征信息获取调节信息向量的过程中包括：差分支路包括差分模块和调节模块，差分支路在所述差分模块输出待测的人眼图片与标定人眼图片注视方向间的差分信息，所述差分模块由三层全连接层所组成；差分信息表示为：Diff＝g1-g22其中，Diff为差分信息，g1为待测的人眼图片的真实注视方向，g2为标定人眼图片的真实注视方向，差分信息用于表示它们的差值；基于公式3，公式4，基于差分信息合成描述待测的人眼图片以及标定人眼图片的特征向量； 其中，分别描述了标定人眼图片的注视方向以及待测的人眼图片的注视方向，g2为标定人眼图片所带的标签信息，RES为主支路所输出的描述待测人眼图片的注视方向；调节模块基于公式5，差分支路输出最终的调节向量信息，其中调节模块由三层全连接层组成； 其中，Adaption为调节向量信息，AD为调节模块所做出的非线性变化，[]表示对其中的行向量进行拼接操作。

全文数据：

权利要求：

百度查询： 桂林电子科技大学 一种人眼注视方向预测方法及系统