申请/专利权人：南京大学

申请日：2024-03-27

公开（公告）日：2024-06-14

公开（公告）号：CN118192805A

主分类号：G06F3/01

分类号：G06F3/01;G06F1/16;G06V40/16;G06N3/0464;G06N3/048;G06N3/065

优先权：

专利状态码：在审-公开

法律状态：2024.06.14#公开

摘要：一种基于深度学习与视线追踪的人机交互系统，包含硬件和软件模块；硬件包括头戴式设备和处理器，头戴式设备包括用于实时采集人眼图片的相机，处理器选择使用专门用于处理神经网络算法的NPU；软件模块包含图像预处理模块，神经网络预测模块和指令下发、人机交互模块；图像预处理模块对原始图像进行预处理，使图片能够被神经网络接受并减少图像处理过程中的误差；过程包括用相机防抖子模块，图像尺寸裁剪子模块处理；神经网络预测模块，包含数据集选取与生成模块和用于训练与预测的神经网络模块；指令下发、人机交互模块将得到的数据进行分组，每一组数据代表一种视线变化趋势。

主权项：1.一种基于深度学习和眼动追踪的指令下发、人机交互方法，其特征在于，包含硬件部分和用于图像处理的软件模块；硬件部分包括头戴式设备，包括单只用于采集人眼图像的相机，以及处理图像的核心处理器组成；核心处理器用专门用于神经网络预测的NPU或者CPU；软件模块包含图像预处理模块，神经网络预测模块和指令下发、人机交互模块；图像预处理模块对原始图像进行预处理，使图片能够被神经网络接受并减少图像处理过程中的误差；过程包括用相机防抖子模块，图像尺寸裁剪子模块处理；神经网络预测模块，包含数据集选取与生成模块和用于训练与预测的神经网络模块；神经网络模块使用轻量化神经网络作为网络的Backbone，在预测得到的结果上加上全连接层使之分别得到x方向与y方向的夹角；神经网络预测模块将预处理过后的图片送入已经训练完成的轻量化残差神经网络进行预测，所述残差神经网络能预测视线方向在世界平面上x和y坐标的角度，角度不同代表视线方向上的不同，随后将图片根据时间顺序依次送入网络中进行训练得到不同的数据；数据集使用3D人眼数据生成软件提供，利用软件根据不同的要求生成不同参数下逼真的3D仿真人眼图片；使用多分类交叉熵函数判断训练结果的概率分布与真实结果概率分布之间的差异；根据交叉熵损失函数得到的结果对神经网络训练参数进行调整，不断优化网络模型，提高网络模型的鲁棒性；指令下发与人机交互模块，包含指令设计模块以及人机交互显示模块，指令下发、人机交互模块将得到的数据进行分组，每一组数据代表一种视线变化趋势；指令设计模块将得到的视线数据以5个为一组送入到处理器进行判断，将得到的指令编号发送给人机交互显示模块集中输出。

全文数据：

权利要求：

百度查询： 南京大学 一种基于深度学习与视线追踪的指令下发、人机交互方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD