申请/专利权人：成都理工大学

申请日：2023-01-09

公开（公告）日：2024-06-21

公开（公告）号：CN115958605B

主分类号：B25J9/16

分类号：B25J9/16;B25J19/02;B25J19/04

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2023.05.02#实质审查的生效;2023.04.14#公开

摘要：本发明提供了一种单目红外热成像视觉机械手抓取物体姿态估计装置及方法，属于人工智能技术领域，本发明提供了一种由单目红外热成像摄像头、激光测距模块、边缘计算平台、嵌入式处理器构成的特种机器人机械手自动抓取物体姿态估计装置，单目红外热成像摄像头能够在特种机器人工作的烟雾、燃爆环境下利用物体与环境温度差成像；激光测距模块可以辅助完成抓取目标距离测定；边缘计算平台部署所发明的算法流程；嵌入式处理器完成机械手运动控制，该装置具有轻量化，工作效率高的特点，适宜搭载于特种机器人平台。

主权项：1.一种单目红外热成像视觉机械手抓取物体姿态估计装置，其特征在于，所述装置搭载于烟雾、燃爆环境下工作的特种机器人所负载的机械手上，所述装置包括：单目红外热成像摄像头，用于在烟雾、燃爆环境中成像，采集红外热成像视觉图像；激光测距模块，搭载于单目红外热成像摄像头底端并配准其测距点和红外图像中心点相重合，用于对抓取物体进行测距；边缘计算平台，用于根据红外成像视觉图像以及测距结果，对抓取的物体进行检测定位、姿态估计以及提取坐标参数，并进行机械手运动路径规划；所述边缘计算平台包括：标定子模块，用于对单目红外热成像摄像头与机械手进行手眼标定，确定单目红外热成像摄像头与机械手夹持器的位置坐标关系；目标检测子模块，用于基于位置坐标关系，利用红外能量分布注意力红外显著检测网络对机械手所面对的可抓取红外显著性目标进行检测、定位与分割，得到若干个红外显著性目标检测结果；所述红外能量分布注意力红外显著检测网络包括编码器和解码器；所述编码器分为第一特征提取阶段、第二特征提取阶段、第三特征提取阶段和第四特征提取阶段4个特征提取阶段，并利用特征图下采样机制，提取4个不同尺度与感受野的红外特征图，在每个特征提取阶段的编码器与解码器中插入红外能量分布增强注意力单元，增强提取的红外特征，得到红外能量分布注意增强特征图，并通过全尺度聚合构架输入解码器的增强红外特征图进行多尺度复用；所述解码器采用第一特征复用融合单元、第二特征复用融合单元、第三特征复用融合单元以及第四特征复用融合单元4个特征复用融合单元融合多尺度增强红外特征图，并通过逐级上采样机制恢复特征图分辨率，得到若干个红外显著性目标检测结果；所述融合多尺度增强红外特征的表达式如下： 其中，Ffi′表示解码器中第i′阶段的多尺度融合特征图，i′∈[1..4]，Fused·表示解码器中融合模块的融合操作，Fei′、Fej和Fer分别表示第i′、r和j阶段的红外能量分布注意力增强特征图，i′，r，j∈[1..4]，Sj·表示第j阶段的上采样操作，Dr·表示第r阶段的下采样操作；选定目标子模块，用于基于若干个红外显著性目标检测结果，选定当前的抓取目标；所述选定目标子模块包括：第一判断单元，用于基于若干个红外显著性目标检测结果，判断若为手动指定抓取目标，则利用手动选定当前的抓取目标；第二判断单元，用于基于若干个红外显著性目标检测结果，判断若为自动选择抓取目标，则对分割出的显著性区域进行测量，并选定区域温度最高的目标进行抓取；第三判断单元，用于判断抓取目标前方是否存在遮挡物，若是，则抓取遮挡物放至旁边，并选定当前的抓取目标，否则，直接选定当前的抓取目标；坐标提取子模块，用于根据选定的当前抓取目标进行物体姿态估计，获取抓取目标对单目红外摄像头的坐标关系；所述坐标提取子模块包括：抓取目标形心确定单元，用于根据选定的当前抓取目标，确定该抓取目标形心，并以该抓取目标形心为中心点做水平与垂直方向上相交的垂线；抓取点确定单元，用于旋转所述垂线，并计算水平方向垂线到分割边缘的距离，选取其中最小距离的两个边缘点为物体抓取点，得到抓取目标对红外摄像头的坐标关系；所述物体抓取点的表达式如下：Dxmin＝MinDxθθ∈0，360Glx，y＝xl，ylDx＝DxminGrx，y＝xr，yrDx＝Dxmin其中，Dxmin表示水平垂线上抓取目标形心到水平方向两个边缘点的最小距离，Min·表示最小值操作，Dxθ表示以θ角进行旋转每次水平垂线上抓取目标形心到水平方向两个边缘点的距离，Glx，y和Grx，y分别表示抓取目标的左边抓取点与右边抓取点，xl，yl和xr，yr分别表示抓取目标的左边抓取点坐标与右边抓取点坐标，Dx表示水平垂线上形心到水平方向两个边缘点的距离，当抓取目标以θ角进行旋转的过程中，左右抓取点Glx，y，Grx，y之间水平垂线上形心到水平方向两个边缘点的距离Dx达到Dxmin情况下的左抓取点坐标xl，yl和右抓取点坐标xr，yr即确定为抓取目标的两个抓取点坐标；运动规划子模块，用于根据获取的坐标关系与测距结果进行机械手抓取目标的运动规划；所述坐标提取子模块包括：平面转动角度参数获取单元，用于根据选定的当前抓取目标，以单目红外热成像摄像头图像中心点x0，y0建立平面坐标，并计算平面坐标中心点与抓取物体形心坐标xs，ys的差值，得到平面转动角度参数：Xt＝x0-xsYt＝y0-ys其中，Xt为负数表示抓取物体位置相对红外热成像摄像头中心点偏右，机械手需向右平移Xt绝对值个像素，Xt为正数表示抓取物体位置相对红外热成像摄像头中心点偏左，机械手需向左平移Xt绝对值个像素，Yt为负数表示抓取物体位置相对红外热成像摄像头中心点偏上，机械手需向上平移Yt绝对值个像素，Yt为正数，表示抓取物体位置相对红外热成像摄像头中心点偏下，机械手需向下平移Yt绝对值个像素；第一对齐单元，用于基于平面转动角度参数，将抓取物体形心坐标与红外摄像头图像中心坐标重合，使机械手的平面位置与抓取物体对齐；极坐标转动角度参数计算单元，用于基于机械手的平面位置与抓取物体对齐，以单目红外热成像摄像头图像中心θ，R建立第一极坐标，并以抓取物体形心与抓取点建立第二极坐标θs，Rs，并计算第一极坐标和第二极坐标角度差值，得到极坐标转动角度参数θt：θt＝θ0-θs其中，θt为负数表示机械手夹持器需要逆时针转动θt的绝对值度，θt为正数表示机械手夹持器需要顺时针转动θt的绝对值度，θ0第一极坐标当前角度，θs表示第二极坐标当前角度；第二对齐单元，用于基于极坐标转动角度参数θt，将机械手夹持器抓取角度与抓取物体抓取点对齐，完成抓取目标对红外摄像头坐标关系的获取；嵌入式微控制器，用于根据运动规划路径产生控制信号，控制机械手抓取物体。

全文数据：

权利要求：

百度查询： 成都理工大学 单目红外热成像视觉机械手抓取物体姿态估计装置及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD