买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湖南大学

摘要：本发明公开了一种同型号多目标工件的抓取位姿估计方法及抓取系统，搭建抓取位姿预测网络，包括特征提取增强模块、场景分割模块和解码预测模块，获取目标工件的模型点云和场景点云，特征提取增强模块对模型点云与场景点云分别进行特征提取和增强，得到第一模型点云特征、第一场景点云特征、第二模型点云特征和第二场景点云特征，将第一模型点云特征和第一场景点云特征输入场景分割模块，从第一场景点云特征中提取出同型号多个目标工件对应的点云特征，将第二模型点云特征、第二场景点云特征和同型号多个目标工件对应的点云特征输入解码预测模块处理并使用非极大值抑制，得到每个目标工件的估计抓取位姿。该方法能够有效识别场景中的待抓取工件。

主权项：1.一种同型号多目标工件的抓取位姿估计方法，其特征在于，所述方法包括：S1、搭建抓取位姿预测网络，该网络包括依次连接的特征提取增强模块、场景分割模块和解码预测模块；S2、在目标工件的CAD模型表面均匀采样，得到目标工件的模型点云，使用3D相机扫描真实场景下同型号的多个目标工件，得到多个目标工件的场景点云；S3、使用特征提取增强模块对模型点云与场景点云分别进行特征提取和特征增强，相应得到第一模型点云特征、第一场景点云特征、第二模型点云特征和第二场景点云特征；S4、将第一模型点云特征和第一场景点云特征输入到场景分割模块中处理，从第一场景点云特征中提取出同型号多个目标工件对应的点云特征；S5、将第二模型点云特征、第二场景点云特征和分割出的同型号多个目标工件对应的点云特征输入到解码预测模块中处理，得到同型号多个目标工件对应的预测位姿，对预测位姿使用非极大值抑制，为每个目标工件选取出一个最优预测位姿，由此得到同型号多个目标工件对应的估计抓取位姿；S1中的特征提取增强模块包括并行连接的两个分支，第一分支包括并行连接的第一全连接网络和第一动态图卷积网络，第二分支包括第二全连接网络、第二动态卷积网络以及第一自注意力网络，其中第二全连接网路与第二动态卷积网络并行连接，第二动态卷积网络与第一自注意力网络顺序连接，第一全连接网络和第二全连接网络的网络结构和参数均相同，第一动态图卷积网络和第二动态图卷积网络的网络结构和参数也均相同；S3具体过程如下：S31、使用体素降采样法分别对模型点云与场景点云进行降采样，得到降采样处理后的模型点云与场景点云；S32、特征提取增强模块中的第一全连接网络和第二全连接网络分别将降采样处理后的模型点云与场景点云的坐标信息提取到更高维度，得到模型点云高维坐标和场景点云高维坐标；S33、特征提取增强模块中的第一动态图卷积网络和第二动态图卷积网络分别对降采样处理后的模型点云和场景点云进行高维特征提取，相应得到模型点云高维特征与第一场景点云特征；S34、特征提取增强模块中的第一自注意力网络对模型点云高维特征进行特征增强，得到具有全局特征的第一模型点云特征；S35、将模型点云高维坐标嵌入到第一模型点云特征，得到第二模型点云特征，将场景点云高维坐标嵌入到第一场景点云特征，得到第二场景点云特征；S1中的场景分割模块包依次连接的第一交叉注意力网络和第三全连接网络，S4具体过程如下：S41、将第一模型点云特征和第一场景点云特征输入到第一交叉注意力网络处理，得到分类特征；S42、将分类特征输入到第三全连接网络处理，得到预测的点云分类；S43、使用预测的点云分类从分类特征中提取出同型号多个目标工件对应的点云特征；S1中的解码预测模块包括依次连接的第二自注意力网络、第二交叉注意力网络、第一前馈网络、第三自注意力网络、第三交叉注意力网络、第二前馈网络以及解码器；S5中将第二模型点云特征、第二场景点云特征和分割出的同型号多个目标工件对应的点云特征输入到解码预测模块中处理，得到同型号多个目标工件对应的预测位姿，具体过程如下：S51、第二自注意力网络接收同型号多个目标工件对应的点云特征并处理，得到第一特征；S52、第二交叉注意力网络接收第二场景点云特征与第一特征并处理，得到第二特征，将第二特征输入至第一前馈网络处理，得到第三特征，将第三特征输入至第三自注意力网络处理，得到第四特征；S53、将第四特征与第二模型点云特征输入至第三交叉注意力网络处理，得到第五特征，将第五特征输入至第二前馈网络处理，得到解码特征，将解码特征输入至解码器，得到同型号多目标工件对应的预测位姿；S54、用解码特征替换同型号多个目标工件对应的点云特征，并重复执行S51至S53，直到达到预设的循环次数，输出最后一次得到的同型号多目标工件对应的预测位姿。

全文数据：

权利要求：

百度查询： 湖南大学 一种同型号多目标工件的抓取位姿估计方法及抓取系统