买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海交通大学宁波人工智能研究院

摘要：本发明公开了一种基于PointTransformer网络的类别级姿态估计算法，涉及三维物体的姿态估计领域，所述算法包括以下步骤：步骤1、进行图像采集；步骤2、进行点云实例分割与点云滤波，获得点云数据，将滤波后的点云数据记为工件点云；步骤3、进行平移与缩放尺度估计，得到预处理点云步骤4、构建点云重建网络，以预处理点云以及模板点云作为输入，提取姿态特征向量以及形状特征向量，并进行融合得到融合特征向量和重建点云；步骤5、进行点云迭代重建；步骤6、进行点云配准，使用ICP算法对重建点云与模板点云进行配准，获得旋转矩阵的估计值；步骤7、通过网络训练获得类别级姿态估计模型；步骤8、进行模型预测。

主权项：1.一种基于PointTransformer网络的类别级姿态估计算法，其特征在于，所述算法包括以下步骤：步骤1、进行图像采集，在不同拍摄角度及光照环境下采集多类别工件的RGB图像和对应的深度图像，并将采集到的所述RGB图像和所述深度图像进行对齐；步骤2、进行点云实例分割与点云滤波，通过分割所述RGB图像中的所述多类别工件来实现所述深度图像中的所述多类别工件的分割，获得所述多类别工件的点云数据，并对所述点云数据进行滤波处理，去除所述点云数据中的离群点，获得更高质量的所述点云数据，将滤波后的所述点云数据记为工件点云；步骤3、进行平移与缩放尺度估计，分别将所述工件点云与模板点云经过PointNet++网络提取特征向量以及，再将以及进行拼接，经过对特征向量进行平均池化以及多层感知机MLP提取信息后，获得估计的平移向量和缩放尺度，对所述工件点云进行处理，恢复所述工件点云的平移和尺度，得到预处理点云： 步骤4、构建点云重建网络，以所述预处理点云以及所述模板点云作为输入，提取所述预处理点云的姿态特征向量以及所述模板点云的形状特征向量，将所述姿态特征向量和所述形状特征向量经过交叉注意力网络进行特征融合得到融合特征向量，再进一步地将所述融合特征向量经过池化以及多层感知机MLP得到重建点云；步骤5、进行点云迭代重建，在网络训练时，将所述重建点云作为新的预处理点云，与所述姿态特征向量、所述形状特征向量一起，再次输入到所述点云重建网络中，重新生成重建点云；步骤6、进行点云配准，使用ICP算法对重建点云与模板点云进行配准，获得旋转矩阵的估计值；步骤7、通过网络训练获得类别级姿态估计模型，所述网络训练包括完全解耦的两个部分：基于PointNet++的轻量级网络和点云重建网络，将训练集数据输入到所述网络训练中单独进行训练；步骤8、进行模型预测，使用训练好的所述类别级姿态估计模型进行推理，输入测试集数据，输出迭代重建的点云以及估计的位姿信息，计算所述类别级姿态估计模型在所述测试集数据上的mAP及FPS，并可通过Open3D库可视化重建点云、模板点云以及工件点云，直观查看点云重建效果。

全文数据：

权利要求：

百度查询： 上海交通大学宁波人工智能研究院 一种基于Point Transformer网络的类别级姿态估计算法