申请/专利权人：武汉科技大学;武汉船用电力推进装置研究所(中国船舶集团有限公司第七一二研究所)

申请日：2024-01-31

公开（公告）日：2024-04-30

公开（公告）号：CN117953059A

主分类号：G06T7/73

分类号：G06T7/73;G01C21/00;G01C21/20;G06T7/60;G06T7/33;G06V10/46;G06V10/75

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.17#实质审查的生效;2024.04.30#公开

摘要：本发明提供一种基于RGB‑D图像的方形吊装物姿态估计方法，涉及计算机视觉和三维图像处理技术领域，将的值映射到特定的结构特征类别；结合激光雷达或超声波传感器数据与RGB‑D图像，生成综合环境感知值数学模型，辨别综合环境感知值F（x,y,z）所在取值区间，并以此判断传感器数据质量以及数据融合程度的功能；判断M（t）值，以此判断3D模型与实际物体形状接近程度；通过RGB‑D图像获取对应的环境特征数据、物体标注数据、操作数据、历史数据和模拟数据、反馈和校正数据、物体物理属性数据，建立物体姿态的数学模型，指导吊装机械或操作员调整吊装物的位置。

主权项：1.一种基于RGB-D图像的方形吊装物姿态估计方法，其特征在于，具体步骤包括：S1、使用深度相机采集方形吊装物不同时刻的RGB-D图像数据，所述RGB-D图像数据包括方形吊装物的RGB图像数据和RGB图像内部各个像素点相对于深度相机的深度信息图；S2、使用图像分割算法对RGB图像数据中方形吊装物进行图像分割，分割出方形吊装物掩膜的像素，并根据像素点的深度信息确定通过方形吊装物掩膜中各个像素的深度信息，并依据方形吊装物的掩膜和掩膜内各个像素的深度信息通过相机内参矩阵转化为三维的点云信息；S3、估计点云中各点的法线，确定当前时刻关键帧i与相邻前一时刻关键帧i-1，并处理得到第i与i-1个关键帧中长方体三个面的法向量，对掩膜中的所有点法线向量进行平均化处理得到中心点，并以此识别点云的结构特征；S4、使用由第i个和第i-1个关键帧得到的法向量和中心点计算旋转矩阵R和平移向量T；S5、通过激光雷达或超声波传感器采集关于环境中方形吊装物体的位置、形状物理属性的信息，并结合激光雷达或超声波传感器数据与RGB-D图像，生成综合环境感知值数学模型，并以此判断传感器数据质量以及数据融合程度；根据实时RGB-D数据动态生成并调整物体3D模型，以判断3D模型与实际物体形状接近程度；S6、引入强化学习技术，增强模型在复杂环境中的学习和适应能力，实现通过分析RGB-D图像数据，确定吊装物的当前姿态属于预先划分的哪个区间，从而估计其精确的值，并基于值所在划分区间，指导吊装机械或操作员调整吊装物的位置；S7、设定深度信息图上的预设坐标为（u，v），使用透视投影和仿射变换计算像素坐标系与世界坐标系；S8、对得到的法线的单位法向量进行聚类，将球面的点的三维坐标转化为使用极角和方向角表示的球面坐标，分别对聚类出的不同类的数据进行二维核密度估计找到密度最大的区域，确定每个面朝向的法向量，应用旋转矩阵和旋转向量之间的转换公式计算旋转和平移矩阵，得到三维姿态变换矩阵。

全文数据：

权利要求：

百度查询： 武汉科技大学;武汉船用电力推进装置研究所(中国船舶集团有限公司第七一二研究所) 一种基于RGB-D图像的方形吊装物姿态估计方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD