申请/专利权人：中北大学

申请日：2024-03-01

公开（公告）日：2024-06-28

公开（公告）号：CN117806335B

主分类号：G05D1/43

分类号：G05D1/43;G05D1/249

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2024.04.19#实质审查的生效;2024.04.02#公开

摘要：本发明属于人机协作场景避障技术领域，解决了数字孪生技术与智能机器人在复杂动态环境下避障技术结合的问题。提供了一种基于人机协作的智能机器人数字孪生动态避障方法，包括以下步骤：进行物理实体空间位置的设定；构建装配机器人数字孪生模型和装配者数字孪生模型；在数字空间内建立装配机器人数字孪生模型和装配者数字孪生模型的避障策略；采用改进的Blazepose算法进行装配者姿态的实时检测，并将实时的姿态信息返回对应的装配者数字孪生模型进行虚实同步；装配机器人数字孪生模型根据装配者数字孪生模型的姿态变化、避障策略进行避障并实时反馈至物理空间。本发明能够在复杂动态环境下动态避障，提高人机协作的效率和安全性。

主权项：1.一种基于人机协作的智能机器人数字孪生动态避障方法，其特征在于，包括以下步骤：S1：进行物理实体空间位置的设定，包括深度相机（3）、装配机器人（2）和装配者（1）的位置；S2：构建装配机器人数字孪生模型和装配者数字孪生模型；装配者数字孪生模型构建包括下述步骤：通过三维建模软件构建人体基本框架的虚拟模型，并在该虚拟模型中设置个关键点信息；根据人体构造将关键点间使用铰链连接约束，进行装配者数字孪生模型的搭建；装配者数字孪生模型中的关键点包括鼻、左眼内侧、左眼、左眼外侧、右眼内侧、右眼、右眼外侧、左耳、右耳、嘴左侧、嘴右侧；左肩、右肩、左肘、右肘、左踝、右踝、左大拇指关节、右大拇指关节、左食指一指关节、右食指一指关节、左食指二指关节、右食指二指关节、左臀、右臀、左膝、右膝、左脚踝、右脚踝、左脚跟、右脚跟、左脚尖、右脚尖；S3：在数字空间内建立装配机器人数字孪生模型和装配者数字孪生模型的避障策略；避障策略包括下述步骤：S31：定义装配者数字孪生模型的最小接触范围，在装配者数字孪生模型的各关节处添加最小接触圆柱体（4）；S32：分别建立装配机器人数字孪生模型、装配者数字孪生模型的空间坐标系；在装配机器人数字孪生模型中建立末端执行器（5）的空间坐标系，在装配者数字孪生模型中建立手部的空间坐标系；S33：建立装配机器人数字孪生模型的空间坐标系与末端执行器（5）的空间坐标系的D-H关系矩阵；S34：在数字空间内设置触碰关系，装配机器人数字孪生模型自动规避装配者（1）所在区域的最小接触圆柱体（4）；S4：采用改进的Blazepose算法进行装配者姿态的实时检测，并将实时的姿态信息返回装配者数字孪生模型进行虚实同步；使用改进的Blazepose算法进行装配者姿态检测的步骤包括：S41：通过深度相机（3）采集装配现场中装配者（1）的人体姿态图像，在采集的图像中进行关键点位置的手动标注，并制作成装配者姿态检测数据集；S42：搭建改进的Blazepose神经网络模型，包括主干模块、热力图模块、检测模块、定位模块和三维位置调整模块；装配者（1）的人体姿态图像作为改进的Blazepose神经网络模型的输入层，输出层为装配者姿态的关键点信息；S43：将装配者姿态检测数据集输入改进的Blazepose神经网络模型中进行模型训练；并将训练好的Blazepose神经网络模型在Python环境中进行布置；S44：通过深度相机（3）拍摄装配区域，改进的Blazepose神经网络模型输出装配者姿态的关键点信息至装配者数字孪生模型，实现两者间的虚实同步；S5：装配机器人数字孪生模型根据装配者数字孪生模型的姿态变化、避障策略进行避障并实时反馈至物理空间。

全文数据：

权利要求：

百度查询： 中北大学 一种基于人机协作的智能机器人数字孪生动态避障方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD