买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京工业大学

摘要：本发明公开了一种语言导向的机器人类别级推抓协同方法，属于机器人技术领域，包括以下步骤：步骤一、使用状态差分具身自我监督方法收集数据和标签，生成数据集；步骤二、使用收集的数据集和语言文本指令训练语言引导的具身多模态物体认知网络；步骤三、在模拟环境中训练推抓协同决策网络；步骤四、把训练好的语言引导的具身多模态物体认知网络和推抓协同决策网络遵循认知‑决策框架共同构成语言导向的类别级推抓协同网络，将其部署到现实世界的机器人系统上；步骤五、使用相机采集工作空间RGB‑D图像并和语言指令送入语言导向的类别级推抓协同网络中做出决策；步骤六、机器人执行决策；步骤七、重复步骤五、步骤六直至抓取任务完成。

主权项：1.一种语言导向的机器人类别级推抓协同方法，其特征在于，包括以下步骤：步骤一、使用状态差分具身自我监督方法收集数据和标签，生成数据集；步骤二、使用收集的数据集和语言文本指令通过带有温度的交叉熵损失函数训练语言引导的具身多模态物体认知网络；步骤三、在模拟环境中训练推抓协同决策网络；步骤四、把训练好的语言引导的具身多模态物体认知网络和推抓协同决策网络遵循认知-决策框架共同构成语言导向的类别级推抓协同网络，将其部署到现实世界的机器人系统上；步骤五、使用相机采集工作空间RGB-D图像并和语言指令送入语言导向的类别级推抓协同网络中做出决策；步骤六、机器人执行决策；步骤七、重复步骤五、步骤六直至抓取任务完成；语言引导的具身多模态物体认知网络由图像特征提取器、文本特征提取器和解码器三部分组成；图像特征提取器由图像特征编码器和图像特征解码器组成，采用金字塔结构；文本特征提取器使用CLIP模型中的文本编码器来提取文本特征；解码器由1个和的深度卷积串联组成；步骤三中在模拟环境中训练推抓协同决策网络的具体过程如下：S31、固定住训练好的语言引导的具身多模态物体认知网络的网络参数；S32、在V-REP仿真环境中搭建一个包含安装了夹爪的机械臂和相机的仿真环境；S33、使用相机采集RGB-D图像，把采集的图像、任务所需类别的语言指令和所有物体类别的指令输入语言引导的具身多模态物体认知网络，输出当前时刻所需类别物体的语义分割图和全部类别物体的语义分割图；S34、把采集的图像和语义分割图输入推抓协同决策网络输出动作决策；S35、机器人执行动作决策与环境交互；S36、使用相机采集交互后的相片RGB-D图像，把采集的图像和类别的语言指令和所有物体类别的指令输入语言引导的具身多模态物体认知网络，输出所需类别物体的语义分割图和全部类别物体的语义分割图；S37、把、、和输入系统的奖励函数计算奖励；S38、通过奖励和损失函数反向传播训练推抓协同决策网络。

全文数据：

权利要求：

百度查询： 北京工业大学 一种语言导向的机器人类别级推抓协同方法