买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江工业大学

摘要：一种基于视线估计的VR交互式双眼视功能训练系统，属于视觉训练技术领域，所述VR交互式双眼视功能训练系统包括光学系统和处理控制系统，所述光学系统包括左侧红外LED光源、右侧红外LED光源、左眼微型红外摄像头和右眼微型红外摄像头，所述左侧红外LED光源对准左眼，所述右侧红外LED光源对准右眼；所述处理控制系统包括左眼VR显示屏、右眼VR显示屏、双眼视功能训练模块、人眼注视点预测模块和优势眼抑制模块。本发明结合实时视线估计技术，提高用户训练的效果和适配度。

主权项：1.一种基于视线估计的VR交互式双眼视功能训练系统，其特征在于，所述系统包括光学系统和处理控制系统，所述光学系统包括左侧红外LED光源、右侧红外LED光源、左眼微型红外摄像头和右眼微型红外摄像头，所述左侧红外LED光源对准左眼，所述右侧红外LED光源对准右眼；所述处理控制系统包括左眼VR显示屏、右眼VR显示屏、双眼视功能训练模块、人眼注视点预测模块和优势眼抑制模块，所述左眼微型红外摄像头位于左眼VR显示屏外侧下方，所述右眼微型红外摄像头位于右眼VR显示屏外侧下方，所述双眼视功能训练模块包括针对VR头戴式显示屏为终端显示设备的视功能训练游戏；所述人眼注视点预测模块对红外摄像头获取的人脸部姿态图像进行存储、双眼及面部图像分割和分析得出注视点预测坐标，同时与双眼视功能训练模块进行多软件交互；所述优势眼抑制模块包括遮挡模型的生成和实时显示，所述的遮挡模型的生成是指利用三维建模软件生成虚拟遮挡模型；所述的遮挡模型的实时显示是指在基于视线估计的深度学习神经网络输出的用户注视点坐标位置上叠加显示虚拟遮挡模型，且仅叠加显示在预设的优势眼终端显示设备屏幕上；所述的人眼注视点预测模块包括深度学习神经网络，所述的深度学习神经网络是基于视线估计的深度学习神经网络模型的基础上，通过更改数据的加载方式以及坐标生成方式改进训练的：通过调用微型红外摄像头获取用户当前的注视信息，实时预测注视点的坐标数据；所述的微型红外摄像头在以针对VR头戴式显示为终端显示设备的系统中处于双眼透镜外侧下方的两个微型红外摄像头，与双眼显示屏中心水平线的夹角为45°，其获取的用户实时注视信息具体为：双眼瞳孔信息，通过对左眼、右眼图片做特征提取，通过直接调用微型红外摄像头达到实时生成预测点坐标的效果，利用全连接层回归实现注视点的预测；通过将左眼图像、右眼图像输入到注视点预测模型最后得到预测点，首先将与输入至得到输出的特征向量和， ； ；然后将左眼与右眼的特征向量进行连接， ;并在最后通过全连接层进行处理， ；整合包含的所有数据信息通过全连接层预测，得到实时注视点的标准坐标, ；式中的是左眼图像和右眼图像通过网络模型后得到的输出。

全文数据：

权利要求：

百度查询： 浙江工业大学 基于视线估计的VR交互式双眼视功能训练系统