Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 恭喜东南大学李俊获国家专利权

恭喜东南大学李俊获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网恭喜东南大学申请的专利一种基于深度强化学习的混杂场景机械臂精细抓取方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114986519B

龙图腾网通过国家知识产权局官网在2025-06-13发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210859754.7,技术领域涉及:B25J9/16;该发明授权一种基于深度强化学习的混杂场景机械臂精细抓取方法是由李俊;侯言旭设计研发完成,并于2022-07-21向国家知识产权局提交的专利申请。

一种基于深度强化学习的混杂场景机械臂精细抓取方法在说明书摘要公布了:本发明提出一种基于深度强化学习的混杂场景机械臂精细抓取方法,包括如下步骤:步骤S1:基于深度强化学习使机械臂不断地在抓取环境中尝试抓取来训练精细抓取网络,其中使用对跖度和判定是否抓取成功构成深度强化学习的奖励;步骤S2:利用相机采集工作场景中的图像信息并按照相机外参矩阵将采集到的彩色图像Ic和深度信息Id转换为彩色俯视图Ihc和深度俯视图Ihd;步骤S3:将深度俯视图Ihc和彩色俯视图Ihd输入步骤S1得到的精细抓取网络,输出多通道的抓取示力图,根据生成的多通道的抓取示力图选择最优抓取动作G;步骤S4:将最优抓取动作G由运算服务器发送给机器人控制器,机械臂规划轨迹执行最优抓取动作G。本发明能够在混杂环境下执行对跖抓取。

本发明授权一种基于深度强化学习的混杂场景机械臂精细抓取方法在权利要求书中公布了:1.一种基于深度强化学习的混杂场景机械臂精细抓取方法,其特征在于,包括如下步骤: 步骤S1:基于深度强化学习使机械臂不断地在抓取环境中尝试抓取来训练精细抓取网络,其中使用对跖度和判定是否抓取成功构成深度强化学习中的奖励值; 步骤S1所述的基于深度强化学习训练精细抓取网络,具体包括以下步骤: 步骤1-1:搭建精细抓取网络模型Qθ,θ表示网络的模型参数,精细抓取网络具有与输入图像相同的尺寸,输出多通道抓取示力图,多通道的抓取示力图由N个与输入图像相同尺寸的代表最高抓取成功率的热力图组成,不同热力图指示手爪绕Z-轴的不同旋转角度,则N个热力图共能表示N个抓取方向,且相邻两个手爪绕Z-轴的旋转角度为360°N; 步骤1-2:捕获抓取工作场景中的图像信息并按照相机外参矩阵将采集的图像信息I=Ic,Id,其中Ic表示彩色图像,Id表示深度信息,并将Ic和Id转换为彩色俯视图Ihc和深度俯视图Ihd; 步骤1-3:将深度俯视图Ihc和彩色俯视图Ihd输入精细抓取网络输出多通道的抓取示力图Q; 步骤1-4:在Q中选取像素值最大点所对应的抓取动作作为最优抓取动作G=T,φ,其中T是手爪三维位置x,y,z,φ分别是手爪的三维抓取位置绕Z-轴旋转的角度; 步骤1-5:机器人根据最优抓取动作G执行重复抓取采样操作M,重复抓取采样操作M的过程如下:手爪先运行到垂直于目标位置T上方l处,并旋转角度φ,再以直线轨迹移动到目标位置T处,依据手爪闭合情况判定是否成功抓取物体,如果成功抓取则抓起物体仍以角度φ移动到T上方l处,若此时物体未掉落,则判定此次抓取成功,记标志位g=1,并以相同的轨迹放回物体至T处;捕获动作后的工作空间图像信息将彩色图像和深度信息并分别转换为深度俯视图和彩色俯视图若此次抓取成功则再次执行抓取动作G将放回的物体移出工作空间;若抓取失败或在移动至T上方l处时物体掉落,均判定抓取失败,记标志位g=0; 步骤1-6:计算I和I+之间的图像差异得到图像差异度P,包括但不限于采用公式1计算: 其中,B是图像的二值化操作,H和W分别是I的长和宽; 步骤1-7:将图像差异度P输入一个非增单调函数得到对跖度A,包括但不限于采用公式2来计算A: A=-P+12步骤1-8:联合对跖度A和抓取成功与否的标志位g得到抓取奖励r,包括但不限于采用公式3来计算r: 其中是一阶奖励,是基准奖励,二者满足er0; 步骤1-9:基于深度强化学习中的动作值函数迭代公式更新精细抓取网络,即 其中,是学习率,是损失函数,包括但不限于采用均方根误差函数; 其中γ是折扣因子, 是Qθ的目标网络,和Qθ具有相同的网络结构,延迟的网络参数θ-; 步骤1-10:判断是否达到设置的最大迭代步数,如果未达到则回到步骤1-2,如果达到则输出训练完成的精细对跖抓取网络Qθ; 步骤S2:利用相机采集工作场景中的图像信息并按照相机外参矩阵将采集到的彩色图像Ic和深度信息Id转换为彩色俯视图Ihc和深度俯视图Ihd; 步骤S3:将深度俯视图Ihc和彩色俯视图Ihd输入步骤S1得到的精细抓取网络,输出多通道的抓取示力图,根据生成的多通道的抓取示力图选择最优抓取动作G; 步骤S3所述根据生成的多通道的抓取示力图选择最优抓取动作G包括以下步骤: 步骤3-1:搜索找到多通道的抓取示力图Q中像素值最大的点的索引, 其中,c是最大像素值出现在的通道索引,和分别是最大像素值出现在的通道热力图中最大点的位置; 步骤3-2:根据c,和抓取空间的深度图通过图像与机械臂坐标变换矩阵得到抓取空间中的三维坐标T和绕Z-轴的转角φ 然后综合抓取空间中的三维坐标T和绕Z-轴的转角φ得到最优抓取动作G=T,φ; 步骤S4:将最优抓取动作G由服务器发送给机器人控制器,机械臂规划轨迹执行最优抓取动作G。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人东南大学,其通讯地址为:210096 江苏省南京市玄武区四牌楼2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。