买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆理工大学

摘要：本发明公开了基于RGB‑D图像的多模态融合的机械臂抓取位姿检测方法，涉及机器人视觉技术领域。本发明与之前的抓取方法相比，改进了现有技术需要对整张图片进行遍历，耗时且实时性很差；对于特征图的隐含信息提取不全面；无法生成多个抓取位姿，这使得很难在多个物体的环境下完成抓取的问题，利用混合空洞卷积架构来提取检测图像，使得模型具有优秀的全局特征关联与建模能力。相比于传统基于卷积神经网络的抓取检测模型具有更强的特征表达能力与泛化能力。利用多个使用不同的扩张率的空洞卷积分支在不同尺度上捕获上下文信息。让模型能够更快的获取抓取目标的特征信息，减少环境背景因素对抓取检测的影响，增强模型的泛化能力。

主权项：1.基于RGB-D图像的多模态融合的机械臂抓取位姿检测方法，其特征在于，包括如下步骤：S1：以待抓取物体为中心随机反转，旋转裁剪图像为320*320的待输入图像，采集待输入图像的RGB图像和深度图像；S2：将RBG图像和深度图像分别进行sigmoid激活和平均池化操作，生成两种特征信息对应的权重，再通过逐元素乘法操作将权重值分配给各自的特征信息，再将两种特征逐元素相加，最后在输出前进行CAattention操作；S3：在RGB图像和深度图像融合后，基于不同扩张率的空洞卷积分支对S2中输出的图像特征进行区域信息、角度信息和宽度信息抓取，再对每个分支的输出进行降维操作和整合操作；S4：将S3中输出结果通过四个卷积层生成四个分辨率为320*320的热力图，分别对应得分图、宽度图和旋转角度sin分量图与旋转角度cos分量图，并基于各热力图确定最终抓取点、抓取矩形及抓取角度；所述S2中两种特征信息对应的权重具体如下： 其中，表示卷积操作；表示sigmoid函数激活操作；表示平均池化操作；、表示两种特征信息，、分别对应、两种特征信息的权重；所述CAattention操作后输出结果具体如下： 其中，表示逐元素加法；表示逐元素乘法；表示CAattention操作；S3中所述区域信息抓取步骤具体如下：S3.1.1：将获取到dilation为1的1×1卷积核和dilation为6的1×1卷积核分别进行BatchNorm和Relu操作后进行拼接；S3.1.2：接着通过双线性插值上采样的方式改变到与低维度融合特征相同的尺寸大小卷积核进行拼接操作；S3.1.3：经过卷积操作降低维度与dilation为12的3×3卷积核和dilation为18的3×3卷积核拼接而成的特征信息进行拼接；S3.1.4：最后经过一个由Conv2d、BatchNorm、ReLU组成的三层卷积层进行输出，具体输出结果如下： 其中，表示区域信息抓取结果；表示双线性插值上采样；表示卷积操作；表示拼接操作；所述角度信息抓取步骤具体如下：S3.2.1：首先将获取到dilation为6的3×3卷积核和dilation为12的3×3卷积核分别进行BatchNorm和Relu操作后进行拼接操作；S3.2.2：接着将其进行双线性插值上采样的方式改变到与低维度融合特征相同的尺寸大小卷积核进行拼接操作；S3.2.3：通过一个卷积层；S3.2.4：经过一个由Conv2d、BatchNorm、ReLU组成的三层卷积层进行输出，具体输出结果如下： 其中，表示角度信息抓取结果；所述宽度信息抓取步骤具体如下：S3.3.1：首先将获取到dilation为12的3×3卷积核和dilation为18的3×3卷积核分别进行BatchNorm和Relu操作后进行拼接，与dilation为1的1×1卷积核和dilation为6的1×1卷积核分别进行BatchNorm和Relu操作后进行拼接操作的结果进行拼接以补充特征信息；S3.3.2：通过一个卷积层后进行双线插值上采样操作；S3.3.3：经过一个由Conv2d、BatchNorm、ReLU组成的三层卷积层进行输出，具体输出结果如下： 其中，表示宽度信息抓取结果。

全文数据：

权利要求：

百度查询： 重庆理工大学 基于RGB-D图像的多模态融合的机械臂抓取位姿检测方法