申请/专利权人：大连交通大学;大连理工大学

申请日：2022-09-05

公开（公告）日：2024-06-14

公开（公告）号：CN115446835B

主分类号：B25J9/16

分类号：B25J9/16

优先权：

专利状态码：有效-授权

法律状态：2024.06.14#授权;2022.12.27#实质审查的生效;2022.12.09#公开

摘要：本发明提供一种基于深度学习的刚软仿人手自主抓取方法，属于机器人智能控制技术领域。抓取方法包括：使用深度相机获取物体的RGB图像；将RGB图像输入进基于深度神经网络模型的YOLOv3目标检测算法，输出物体的抓取模式和抓取区域；将RGB图像输入进基于OpenCV的图像处理方法，输出物体的抓取角度；根据抓取模式、抓取区域和抓取角度控制刚软仿人手抓取物体。本发明能够同时实现抓取模式预测和抓取位姿估计，避免了复杂的抓取规划并允许刚软仿人手与桌面发生轻微接触；可以实现对刚软仿人手的精确控制，使刚软仿人手能够准确有力地抓取物体。

主权项：1.一种基于深度学习的刚软仿人手自主抓取方法，其特征在于，所述方法基于深度学习方法与欠驱动自适应抓取的互补性，利用深度学习网络学习不同物体抓取模式的分类，并通过物体检测和图像处理，识别物体抓取模式、抓取区域和抓取角度，简化仿人手的抓取规划与控制；所述方法基于获取模块、第一控制模块、第二控制模块、抓取模块实现，包括以下步骤：第一步，使用深度相机获取物体的RGB图像，并对模型进行训练具体的：获取模块用于使用深度相机获取物体的RGB图像，建立数据集；将数据集分为测试集和训练集，训练集用于训练YOLOv3目标检测算法识别抓取模式，测试集用于有效检测YOLOv3目标检测算法的训练成果；通过第一控制模块将RGB图像输入进基于深度神经网络模型的YOLOv3目标检测算法，输出物体的抓取模式和抓取区域；第二步，利用第二控制模块将第一步得到的RGB图像输入进opencv软件库，并基于OpenCV图像处理方法对其进行处理，输出物体的抓取角度；第三步，抓取模块根据第三步中所获取的抓取角度，第二步获取的抓取模式、抓取区域，通过电机控制刚软仿人手抓取物体，具体的：3.1在已设计完成的刚软仿人手空载的情况下进行初始化，设置电机的初始位置标记；3.2根据抓取区域和抓取角度，控制与刚软仿人手连接的机械臂运动到抓取点正上方20厘米处的准备位置；3.3控制电机的转动圈数，使刚软仿人手的手指达到预抓取位置；3.4根据抓取模式控制刚软仿人手做出预抓取模式构型；3.5根据抓取高度，控制机械臂竖直向下运动使刚软仿人手抓取末端点到达桌面；3.6刚软仿人手完成自适应抓取并保持抓握，机械臂向上运动抓起物体；其中，抓取高度通过深度相机获得；所述的第一步中，训练集训练YOLOv3目标检测算法识别抓取模式的具体过程为；将物体分为四种抓取模式，分别为柱形包络、球形包络、精细捏取和宽型捏取；并结合目标检测算法进行训练；训练分为两部份：一是使用卷积神经网络提取查的图片特征，输出特征图；二是原始得到的RGB图像划分为小方块并以每个小方块为中心分别生成一系列锚框，以锚框为基础生成预测框，设定锚框的中点为抓取点，并根据物体真实框的位置对其进行位置和类别标注；最后建立输出的特征图与预测框标签的关联，创建损失函数并完成训练，根据初始设定好的标准，得到相对应的抓取模式、抓取区域；在对第一步中测试训练完成后的YOLOv3物体检测算法进行测试，可以识别物体的抓取模式和抓取区域。

全文数据：

权利要求：

百度查询： 大连交通大学;大连理工大学 一种基于深度学习的刚软仿人手自主抓取方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD