买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海交通大学宁波人工智能研究院申请的专利基于RGB图像和深度图像的七自由度抓取姿势检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114140418B 。

龙图腾网通过国家知识产权局官网在2025-07-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111418398.7，技术领域涉及：G06T7/00；该发明授权基于RGB图像和深度图像的七自由度抓取姿势检测方法是由孙景慷;张克勤;裘焱枫;杨根科;褚健设计研发完成，并于2021-11-26向国家知识产权局提交的专利申请。

本基于RGB图像和深度图像的七自由度抓取姿势检测方法在说明书摘要公布了：本发明公开了一种基于RGB图像和深度图像的七自由度抓取姿势检测方法，涉及计算机视觉领域，包括：步骤1、将深度图像转换为点云数据并投影得到三通道图像X‑Y‑Z图像；步骤2、使用ResNet‑50对RGB图像和X‑Y‑Z图像的信息进行编码，得到目标分割结果和可行抓取语义分割结果；步骤3、对深度图像进行补全，得到密集点云；步骤4、利用可行抓取点和密集点云，计算可行抓取点的法向量和两个主曲率方向，构成抓取坐标系；步骤5、对可行抓取点的抓取深度和抓取宽度进行采样，生成若干抓取候选，每个抓取候选对应一个抓取闭合区域；步骤6、将抓取闭合区域内的点输入PointNet中，过滤抓取候选，得到最终的抓取姿势集合；步骤7、将抓取候选投影到目标上，生成最终的抓取姿势。

本发明授权基于RGB图像和深度图像的七自由度抓取姿势检测方法在权利要求书中公布了：1.一种基于RGB图像和深度图像的七自由度抓取姿势检测方法，其特征在于，所述方法包括以下步骤： 步骤1、通过将深度图像转换为点云数据，并将所述点云数据的坐标投影到二维图像中，得到三通道坐标图像X-Y-Z图像； 步骤2、使用ResNet-50对RGB图像和所述X-Y-Z图像的信息进行编码，然后使用目标分割解码网络和可行抓取语义分割解码网络同时解码编码信息，得到图像中每个像素的目标分割结果和可行抓取语义分割结果，从所述可行抓取语义分割结果可以得到可行抓取点； 步骤3、使用PENet和利用所述RGB图像对所述深度图像进行补全，得到经过补全的密集深度图像，并进而得到密集点云； 步骤4、利用所述步骤2中的所述可行抓取语义分割结果得到的所述可行抓取点和所述步骤3中得到的所述密集点云，计算所述可行抓取点的法向量和两个主曲率方向，构成抓取坐标系； 步骤5、使用启发式算法对所述可行抓取点的抓取深度和抓取宽度进行采样，得到若干抓取候选，所述抓取候选的所述抓取深度为最大、所述抓取宽度为最小；每个所述抓取候选对应一个抓取闭合区域； 步骤6、将所述抓取候选的所述抓取闭合区域中的点输入PointNet中，过滤掉不可行的所述抓取候选，得到最终的抓取姿势集合； 步骤7：结合所述步骤2中的所述目标分割结果，将所述抓取姿势集合中的所述抓取候选投影到所述目标分割结果的目标上，生成针对性的抓取姿势; 在所述步骤2中，使用多任务语义分割模块对所述RGB图像和所述X-Y-Z图像进行逐像素的目标分割和可行抓取语义分割；所述目标分割用于检测像素所属的类别，所述可行抓取语义分割用于检测像素是否适合被作为抓取中心； 所述目标分割解码网络和所述可行抓取语义分割解码网络使用层数不同的密集上采样卷积模块组成； 所述目标分割解码网络的损失函数使用改进的交叉熵损失函数，定义为： 其中，N表示图像的像素总数；表示类别总数；表示类别c在所有类别中的权重，计算公式为；表示类别真值为c的像素的总数，用于平衡类别数目不均衡的情况；取值为0或1，为0表示该类别和该像素对应的类别真值不同，为1表示该类别和该像素对应的类别真值相同；表示像素x属于列表c的置信度分数，使用来平衡不同样本的难易程度，将置信度分数较高的样本的损失权重变小，为可调参数; 所述可行抓取语义分割解码网络是一二分类网络，采用普通的交叉熵损失函数，具体定义为： 其中，N表示图像的像素总数，表示像素x的类别真值，表示测到的置信度分数，设置以使标签为可抓取的点的损失所占的权重比例较大; 所述多任务语义分割模块的损失函数定义为： 其中，和为可调参数; 所述PENet采用双通道框架，都使用深度卷积神经网络和反卷积的方式构建类似编码器-解码器网络，其中一个通道以颜色信息为主导输入得到一张颜色主导深度图；另一个通道以原始的所述深度图像作为主导输入，结合所述颜色主导深度图，得到一张深度主导深度图，接着将得到的所述颜色主导深度图和所述深度主导深度图通过加权的方式进行融合，得到初步的所述密集深度图像，最后使用DA-CSPN++对所述密集深度图像进行细化，得到最终的补全后的所述密集深度图像； 在所述步骤4中，使用旋转矩阵检测模块计算所述可行抓取点所在的所述抓取坐标系； 使用K近邻算法在所述可行抓取点附近采样K个最近的邻居点形成一个点集，并拟合一个距离所述点集最近的平面，根据拟合出的所述平面得到所述可行抓取点的法线方向，使用过所述法线方向的平面去切割所述可行抓取点所在的曲面，所述曲面会和所述平面相交得一条曲线，所述曲线在所述可行抓取点处具有一个曲率，选择不同所述曲线中在所述可行抓取点上具有最大曲率和最小曲率的方向作为所述可行抓取点的两个所述主曲率方向。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海交通大学宁波人工智能研究院，其通讯地址为：315012 浙江省宁波市海曙区南门街道南站西路29号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。