申请/专利权人：深圳清华大学研究院

申请日：2024-04-16

公开（公告）日：2024-06-25

公开（公告）号：CN118051412B

主分类号：G06F11/32

分类号：G06F11/32;G06N3/0442;G06N3/08;G06Q10/20;G06T19/00

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2024.06.04#实质审查的生效;2024.05.17#公开

摘要：本发明公开了一种利用AI和AR的虚拟现实展示系统，具体涉及虚拟现实技术领域，通过数据采集模块，实时监测故障设备的状态以及维修工人的操作表现，建模初始化模块根据故障设备状态数据，采用远程虚拟化建模方式对故障设备进行虚拟化建模，并结合故障设备的生产需求信息，确定是否保持远程虚拟化建模方式，维修指导模块根据历史数据和长短期记忆网络模型生成维修操作指令，提供高效准确的维修指导，通过AR显示模块将虚拟模型实时叠加在实际需要维修的故障设备上，为维修工人提供直观清晰的操作指导，并在后续的维修过程中根据维修工人的操作表现数据以及网络状态数据，灵活切换虚拟化建模方式，适应不同的环境和需求，提升维修质量和可靠性。

主权项：1.一种利用AI和AR的虚拟现实展示系统，其特征在于：包括数据采集模块、建模初始化模块、维修指导模块、AR显示模块、建模方式切换模块；数据采集模块，通过传感器设备和拍摄设备对故障设备的状态和维修工人的操作表现进行监测；建模初始化模块，根据故障设备状态数据，采用远程虚拟化建模方式对故障设备进行虚拟化建模，并在故障设备的虚拟化建模过程中，获取故障设备的建模过程信息并结合故障设备的生产需求信息，确定是否保持远程虚拟化建模方式；维修指导模块，基于历史的故障设备状态数据、故障数据、维修操作指令数据训练出用于生成维修操作指令的长短期记忆网络模型，并根据实时的故障设备状态数据、故障数据以及训练完成的长短期记忆网络模型生成维修操作指令；AR显示模块，将虚拟模型叠加在实际需要维修的故障设备上，实时显示在AR显示设备上，并基于长短期记忆网络模型输出的维修操作指令实时引导维修工人进行故障设备维修；建模方式切换模块，在维修工人进行故障设备维修的过程中，根据维修工人的操作表现数据以及网络状态数据，对实时的虚拟化建模方式进行灵活切换；获取故障设备的建模过程信息包括建模异常复杂系数，故障设备的生产需求信息包括生产周期时长占比、生产关键路径系数；将建模异常复杂系数、生产周期时长占比、生产关键路径系数分别标记、、；建模异常复杂系数的获取逻辑如下：获取故障设备同一部位重复建模的建模时长，计算故障设备同一部位的平均建模时长，计算表达式如下，p表示故障设备同一部位重复建模次数的编号，p=1、2、3、4、……、n，n为正整数，将建模时长与平均建模时长进行比较，将建模时长大于平均建模时长的建模时长标记为异常建模时长，并统计出现异常建模时长的总次数，计算平均异常建模时长，j表示故障设备不同部位的次序编号，j=1、2、3、4、……、m，m为正整数，获取故障设备虚拟模型进行模拟仿真实验的总次数，计算建模异常复杂系数，表达式如下；生产周期时长占比的计算表达式如下，式中，表示故障设备在生产计划中需要进行生产的生产时长，表示整个生产周期的总时长；生产关键路径系数的获取逻辑如下：获取故障设备所负责的每一个生产任务，并从生产计划中获取每一个生产任务是否具有前置任务，统计具有前置任务的生产任务个数，计算生产关键路径系数，表达式如下，式中，表示具有前置任务的生产任务个数，表示故障设备所负责的生产任务总数量；在维修工人进行故障设备维修的过程中，获取维修工人的操作表现数据包括空间动作偏差系数、维修时间超前占比系数，网络状态数据包括区域网络拥塞占比，将空间动作偏差系数、维修时间超前占比系数、区域网络拥塞占比分别标记为、、；空间动作偏差系数的获取逻辑如下：对于每一个维修操作，通过欧氏距离计算方法计算维修工人的实际操作动作在AR显示空间中的三维坐标与预设的三维坐标之间的坐标偏差值，计算表达式如下，式中，（，，）表示维修工人的实际操作动作在AR显示空间中的三维坐标，（，，）表示预设的三维坐标；并根据坐标偏差值计算空间动作偏差系数，计算表达式如下，式中，v表示每一个维修操作的次序编号，v=1、2、3、4、……、u，u为正整数；维修时间超前占比系数的获取逻辑如下：通过对维修工人的每一个维修操作进行计时，获取每一个维修操作的维修时长，将每一个维修操作的维修时长与预设的维修时长进行比较，当维修操作的维修时长小于预设的维修时长时，则根据维修操作的维修时长建立超前维修时长数据集合，将其标记为，其中，，q为正整数，根据超前维修时长数据集合内的维修时长以及预设的维修时长计算维修时间超前占比系数，计算表达式如下，式中，表示超前维修时长数据集合内的实际维修时长，表示预设的维修时长，表示维修工人已经进行的维修操作的总次数，表示修正因子；区域网络拥塞占比的计算表达式如下，式中，表示佩戴有AR显示设备的维修工人和进行远程虚拟化建模的计算机所处的局域网在T时间段内的网络连接数量，表示佩戴有AR显示设备的维修工人和进行远程虚拟化建模的计算机所处的局域网在T时间段内的网络断开数量。

全文数据：

权利要求：

百度查询： 深圳清华大学研究院 一种利用AI和AR的虚拟现实展示系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD