首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于前庭眼反射和神经网络的凝视深度估计方法 

申请/专利权人:北京理工大学

申请日:2023-12-14

公开(公告)日:2024-06-18

公开(公告)号:CN118210374A

主分类号:G06F3/01

分类号:G06F3/01;G06N3/0442;G06N3/045

优先权:

专利状态码:在审-实质审查的生效

法律状态:2024.07.05#实质审查的生效;2024.06.18#公开

摘要:本发明提供了一种基于前庭眼反射和神经网络的凝视深度预测方法,该方法利用人类在执行前庭眼反射时,凝视深度与头眼相对运动之间存在定量关系这一事实,利用神经网络从头眼运动特征学习凝视深度,从而完成深度估计。包括以下步骤:通过集成眼动仪的虚拟现实头盔收集大量的用户在执行前庭眼反射运动时的头眼信号;通过滑动窗口对数据进行增强;对信号进行标注,得到该时间段内头眼运动信号对应的标签值,并将其转化为一个一维向量;建立神经网络模型以提取特征;建立损失函数,同时考虑分类和回归两种损失;对数据集进行划分,对数据进行训练和验证。

主权项:1.基于前庭眼反射和神经网络的凝视深度估计方法,其特征在于该方法的步骤包括:步骤一,在虚拟现实头盔中的不同深度下渲染目标,并记录该渲染目标的位置,参与者凝视目标的同时晃动头部,通过虚拟现实头盔的头动和眼动传感器获取头眼运动数据,头眼运动数据包括头部中心位置、头部中心角度、左眼视线向量、右眼视线向量;步骤二,将步骤一中的左眼视线向量转换为左眼视线角度,将右眼视线向量转换为右眼视线角度;步骤三,在设定时间窗口内,对步骤一获取的头部中心位置、头部中心角度以及步骤二得到的左眼视线角度、右眼视线角度进行数据增强,获得增强后的头眼运动数据;步骤四,计算在设定时间窗口内,步骤三获得的增强后头眼运动数据中的头部中心位置和渲染目标位置的欧式距离,并将计算得到的欧式距离作为该设定时间窗口的标签值;步骤五,建立步骤四中得到的标签值对应的深度范围的权重向量;步骤六,将步骤四得到的标签值进行向量化;步骤七,将步骤三获得的增强后头眼运动数据进行标准化;步骤八,将步骤七标准化后的头眼运动数据按照9:1的比例随机划分为训练集和验证集;步骤九,建立凝视深度估计网络模型;步骤十,建立损失函数;步骤十一,采用步骤八的训练集和验证集对模型进行训练和验证,得到验证后的凝视深度估计网络模型;步骤十二,使用步骤十一得到的凝视深度估计网络模型获得待测试目标的凝视深度。

全文数据:

权利要求:

百度查询: 北京理工大学 基于前庭眼反射和神经网络的凝视深度估计方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。