申请/专利权人：南昌航空大学

申请日：2024-02-02

公开（公告）日：2024-05-31

公开（公告）号：CN117689990B

主分类号：G06V10/80

分类号：G06V10/80;G06V10/44;G06V10/82;G06V10/26;G06N3/0464;G06N3/048;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.05.31#授权;2024.03.29#实质审查的生效;2024.03.12#公开

摘要：本发明公开了一种基于6D姿态估计的三支流双向融合网络方法，属于图像处理领域，包括：对RGB图像进行语义分割，从RGB图像进行输入，裁剪需要预测的目标对象，获取目标对象的彩色图像和深度图像，并将深度图像转换为点云；对S1中的彩色图像和深度图像进行特征提取和融合，构建RGB分支、深度分支及融合分支三个并行分支对特征进行提取和充分融合；将S2中提取的特征输入到姿态估计网络，估计每个中心点的特征的3D平移姿态和3D旋转姿态，并输出最高置信度的姿态。本发明采用上述的一种基于6D姿态估计的三支流双向融合网络方法，不仅可以保留原始RGB和深度分支的特征信息，还可以充分利用融合分支的特征，尽可能减小RGB和深度图像之间的特征差异。

主权项：1.一种基于6D姿态估计的三支流双向融合网络方法，其特征在于，包括以下步骤：S1、对RGB图像进行语义分割，从RGB图像进行输入，裁剪需要预测的目标对象，获取目标对象的彩色图像和深度图像，并将深度图像转换为点云；S2、对S1中的彩色图像和深度图像进行特征提取和融合，构建RGB分支、深度分支及融合分支三个并行分支对特征进行提取和充分融合；融合分支的融合模块之间层层连接，经过融合模块后的融合特征不仅会被传播到RGB分支和深度分支的下一阶段，而且也会作为新的一个分支进行特征输出；基于通道注意力模块构建两种类型特征处理模块，分别为RGB-D融合模块和上下文聚合模块，输出的三种不同特征将整合被输入到下一个阶段；所述RGB-D融合模块，包括两个通道注意力模块，分别来处理RGB分支和深度分支的特征信息，设RGB图像输入特征图为和深度图像输入特征图为，RGB-D融合模块的操作描述为： ；其中，表示RGB-D融合模块，表示对于RGB和深度分支每一层的输出；表示输入特征映射元素属于实数域，C表示通道数，H表示特征图的高度，W表示特征图的宽度，对于RGB分支和深度分支的每一层，使用输出来细化编码器中该层的原始输出； ； ；融合结果减少到原来的一半；所述上下文聚合模块包括两个具有不同池化方法的通道注意力模块，分别是具有全局平均池化层的通道注意力模块和具有最大池化层的通道注意力模块；S3、将S2中提取的特征输入到姿态估计网络，估计每个中心点的特征的3D平移姿态和3D旋转姿态，并输出最高置信度的姿态。

全文数据：

权利要求：

百度查询： 南昌航空大学 一种基于6D姿态估计的三支流双向融合网络方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD