买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：珠海先牛科技有限公司

摘要：本发明公开了一种基于眼角与普尔钦斑的AR或VR眼动追踪系统，本发明涉及AR或VR眼动追踪领域，包括模型构建单元，所述模型构建单元包括瞳孔定位单元和普尔钦斑定位分类模块，瞳孔定位单元和普尔钦斑定位分类模块的输出端电性连接有处理单元，处理单元的输出端电性连接有眼角定位模块的输入端，眼角定位模块的输出端电性连接有视线追踪单元和融合单元的输入端。本发明所述的一种基于眼角与普尔钦斑的AR或VR眼动追踪系统，基于角膜反射和眼角的眼动追踪算法，能有效提高普尔钦斑定位的性能和精度，结合眼角和普尔钦斑各自的特点，使用眼睛作为粗定位的参考点，普尔钦斑作为精细定位的参考点进行追踪处理，以此可以得到精度较高的视线方向。

主权项：1.一种基于眼角与普尔钦斑的AR或VR眼动追踪系统，包括模型构建单元，其特征在于：所述模型构建单元包括瞳孔定位单元和普尔钦斑定位分类模块，所述瞳孔定位单元和普尔钦斑定位分类模块的输出端电性连接有处理单元，所述处理单元的输出端电性连接有眼角定位模块的输入端，所述眼角定位模块的输出端电性连接有视线追踪单元和融合单元的输入端；所述模型为cnn模型，所述模型框架包括SDNet，所述SDNet的第一层为80x80、conv，3x3，32，stride＝1；所述SDNet的第二层为40x40、conv，3x3，64，stride＝1、Maxpool，2x2；所述SDNet的第三层为20x20、conv，3x3，128，stride＝1、Maxpool，2x2；所述SDNet的第四层为10x10、conv，3x3，256，stride＝1、Maxpool，2x2；所述SDNet的第五层为5x5，其中分为conv，1x1，256，stride＝1和conv，1x1，5+x，stride＝1；所述模型框架还包括损失函数：其中分为四个部分，分别为对预测的中心坐标做损失、对预测边界框的宽度做损失、对预测的类别做损失和对预测的置信度做损失；所述处理单元基于粗定位和精细定位的CNN模型进行瞳孔的定位和普尔钦斑的定位和分类；所述眼角定位模块基于cnn模型SDNet直接定位眼角，并对瞳孔的角度和长短轴进行测量；所述视线追踪单元基于二维映射模型的视线估计方法，通过经过标定的视线映射函数来估计视线方向，其中映射函数的输入为眼睛图像提取的二维眼动特征，并对其进行标定。所述融合单元用于融合融合眼角和普尔钦斑的特点。

全文数据：

权利要求：

百度查询： 珠海先牛科技有限公司 一种基于眼角与普尔钦斑的AR或VR眼动追踪系统