申请/专利权人：华中师范大学

申请日：2023-11-11

公开（公告）日：2024-06-21

公开（公告）号：CN117475115B

主分类号：G06F30/27

分类号：G06F30/27;G06T19/00

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2024.02.20#实质审查的生效;2024.01.30#公开

摘要：本发明属于虚拟现实的教学应用领域，提供一种虚实融合环境中路径引导系统的工作方法，包括教学场景创设、用户空间定位、用户视线追踪、行进方向估算、障碍物识别、预测路径优化和引导提示生成。本发明实现虚实融合空间中用户定位，根据用户视场范围，估算空间航向以及预测的动态障碍物轨迹，规划行径路径，并由引导提示，引导用户在阶梯教室教学空间中的路径。本发明能够聚合物理‑虚拟‑社会三元空间信息，有助于提高教育教学的效果。

主权项：1.虚实融合环境中路径引导系统的工作方法，其特征在于：所述虚实融合环境中路径引导系统包括教学场景创设模块、用户空间定位模块、用户视线追踪模块、行进方向估算模块、障碍物识别模块、预测路径优化模块和引导提示生成模块；所述教学场景创设模块，用于拍摄多目图像，重建三维教学场景，布设和调整各个场景元素的参数；所述用户空间定位模块，用于采集模型的点云坐标，生成教学空间的三维地图，确定用户的空间位置；所述用户视线追踪模块，用于追踪用户的头部变化，更新视场内的信息，推断用户的视线方向，确定视线注视点；所述行进方向估算模块，用于计算视线向量和注意线段之间的交点，推断用户在视场内可行进的方向；所述障碍物识别模块，用于区分动态和静态障碍物，预测动态障碍物的运动轨迹，在2D鹰眼图上标记障碍物图标；所述预测路径优化模块，用于预测可行走的候选路径，将阶梯教室的三维地图网格化，修正绕行、冗余、重复和非连续路径；所述引导提示生成模块，用于将文本线索转换为导航指令，依据用户的视线方向，更新虚拟罗盘的指针方向；所述虚实融合环境中路径引导系统的工作方法包括以下步骤：1教学场景创设，运用多目摄像机沿着阶梯教室的走道台阶，拍摄阶梯教室的高清图像；使用多视图立体重建算法生成教学场景中墙壁、讲台、台阶、交互式电子白板和桌椅元素；在阶梯平面位置完成桌椅的布局，使用共轭梯度算法调整阶梯教室中各个场景元素的位置、朝向和姿态；2用户空间定位，依据用户移动的位移和方向，结合移动前后位置点云数据的差值，确定各个模型的点云3D坐标，生成教学空间的实时三维地图；使用前方交会算法估算用户在三维地图中位置坐标；运用正射投影法生成教学空间的2D鸟瞰视图，使用不同的点、线、面符号表示教学空间中桌椅、讲台和走道；3用户视线追踪，采用头部追踪算法实时检测用户的位置和姿态参数变化，更新该用户视场范围内障碍物、通行动线、其它师生用户的位置和姿态；使用卷积神经网络算法提取用户眼部区域图像的结构特征，推断用户的视线方向；采用视觉搜索算法确定用户的视线注视点坐标，并确定注视点所在区域为兴趣区域；4行进方向估算，使用最小二乘拟合算法分析面片集合，提取各个近似三角面片的重心坐标，连接各个重心生成注视线段；根据用户的瞳孔位置和视线方向获得视线向量，使用参数化方程表示注视对象线段，运用数值法计算向量与参数化方程之间的相交点；采用航向估计算法推断用户在视场范围内可行进的方向；具体包括：4-1注视对象的线段化生成，提取用户视场范围内的点云数据，使用虚拟对象查找算法确定点云数据中用户注视对象的名称，运用网格化操作处理对象点云，生成各个对象的三角形网格面片集合，使用最小二乘拟合算法分析面片集合，提取各个三角面片的重心坐标，连接各个重心生成注视线段；4-2视线与线段相交检测，根据用户的瞳孔位置和视线方向获得视线向量，使用参数化方程表示注视对象线段，运用数值法计算向量与参数化方程之间的相交点，若有相交点，则表示前方有障碍对象，用户无法沿着视线方向行进；否则就可以沿着视线方向行进；4-3方向估计，使用步态检测和步长估计算法实时采集用户在阶梯和平面上行进速度、加速度和方向运动状态，根据视线与线段相交的检测结果，使用航向估计算法推断用户在视场范围内可行进的方向，若用户的视场范围发生变化，则为重新估计新的、可行进的候选路线；5障碍物识别，将墙壁、讲台、桌椅和其它用户视作用户行进路线上的障碍物，采用卷积神经网络算法区分动态和静态障碍物；使用基于粒子群优化的启发式算法预测动态障碍物的运动轨迹；采用最近邻采样算法缩放障碍物图标的栅格图像，并标记到鹰眼图；6预测路径优化，以用户所在当前位置作为起点，结合阶梯教室中三维地图的特征信息、静态障碍物和其它师生用户的位置，采用路径规划算法预测可行走的候选路径；根据用户的平均步长，在水平面上将阶梯教室的三维地图划分为正方形格网；使用双三次插值算法修正绕行、冗余、重复和非连续路径；7引导提示生成，使用生成对抗网络算法生成上台阶、下台阶、直行、左转向和右转向的文本线索；使用词频-逆文档频率算法转换文本线索为导航指令，依次采用声学特征生成网络和声码器，将特征映射为语音信号；依据用户视线方向估计结果，更新虚拟罗盘的指针方向；具体包括：7-1文本线索生成，将路径离散点集作为输入序列，使用序列转换模型，结合注意力机制，生成各个路径点的位置编码，运用双向循环神经网络算法提取位置编码中的位置、距离和方向特征，使用生成对抗网络算法生成上台阶、下台阶、直行、左转向和右转向的文本线索；7-2声音路径引导，使用词频-逆文档频率算法转换文本线索为导航指令，运用语音合成算法为指令添加节奏、拍子、旋律、和声、音色、韵律和声调语音特征，依次采用声学特征生成网络和声码器，实现滤波、降噪和增益操作处理，将特征映射为语音信号；7-3视觉路径引导，使用虚拟罗盘，应用蓝色表示罗盘指针，依据用户视线方向估计结果，结合所在阶梯教室的空间位置，更新虚拟罗盘的指针方向，如果用户视线发生变化，可实时更新指针角度。

全文数据：

权利要求：

百度查询： 华中师范大学 虚实融合环境中路径引导系统的工作方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD