买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜上海商汤科技开发有限公司申请的专利网络训练、机器人控制方法及装置、设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114397817B 。

龙图腾网通过国家知识产权局官网在2025-03-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111659123.2，技术领域涉及：G05B13/04；该发明授权网络训练、机器人控制方法及装置、设备及存储介质是由李楚鸣;刘宇;王晓刚设计研发完成，并于2021-12-31向国家知识产权局提交的专利申请。

本网络训练、机器人控制方法及装置、设备及存储介质在说明书摘要公布了：本公开提供了一种网络训练、机器人控制方法及装置、设备及存储介质，其中，训练方法包括：获取在目标应用场景下的环境状态信息；根据所述环境状态信息和预训练的强化学习网络得到动作序列信息，并确定所述动作序列信息对应的回报奖励总值，所述动作序列信息用于指示未来预设时长内至少两个连续的执行动作；基于回报奖励总值对强化学习网络的网络参数值进行调整，得到训练好的强化学习网络。本公开中，由回报奖励总值调整后的强化学习网络能够更好的适应于动作序列的生成，这样，随着强化学习网络的调整，所生成的动作序列也越来越好。在将训练好的强化学习网络应用到诸如需要进行连续控制等复杂场景的情况下，也可以具有较好的控制性能。

本发明授权网络训练、机器人控制方法及装置、设备及存储介质在权利要求书中公布了：1.一种网络训练方法，其特征在于，包括：获取在目标应用场景下的环境状态信息；根据所述环境状态信息和预训练的强化学习网络得到动作序列信息，并确定所述动作序列信息对应的回报奖励总值，所述动作序列信息用于指示未来预设时长内至少两个连续的执行动作；基于所述回报奖励总值对所述强化学习网络的网络参数值进行调整，得到训练好的强化学习网络；其中，所述训练好的强化学习网络用于获取对目标对象进行连续控制的目标动作序列，所述目标动作序列对应的回报奖励总值大于预设阈值；所述确定所述动作序列信息对应的回报奖励总值，包括：将所述动作序列信息作用于所述目标应用场景，得到与所述动作序列信息对应的环境状态序列信息以及回报奖励值集合；所述回报奖励值集合包括顺序执行所述至少两个连续的执行动作的情况下、每个执行动作分别对应的回报奖励值；基于所述环境状态序列信息以及所述回报奖励值集合，得到所述回报奖励总值；所述基于所述环境状态序列信息以及所述回报奖励值集合，得到所述回报奖励总值，包括：针对所述至少两个连续的执行动作包括的每个执行动作，从所述环境状态序列信息以及所述回报奖励值集合中，分别确定与所述执行动作对应的环境状态以及在执行所述执行动作的情况下，产生的回报奖励值；并基于所述回报奖励值以及在所述环境状态下的环境影响值，确定针对所述执行动作的回报奖励和值；基于每个执行动作分别确定的回报奖励和值，确定所述回报奖励总值；所述基于每个执行动作分别确定的回报奖励和值，确定所述回报奖励总值，包括：获取为每个执行动作分别赋予的动作权重值；基于每个执行动作分别确定的回报奖励和值、以及每个执行动作分别赋予的动作权重值，确定所述回报奖励总值；所述回报奖励和值由以下计算公式计算得到：Rt+1＝rt+1+et其中，et＝-alpha*logpa_t|s_t，用于表示t时刻的环境影响值，Rt+1表示t+1时刻的回报奖励和值，rt+1表示t+1时刻的回报奖励值，s_t表示当前环境状态信息，a_t表示在当前环境状态信息下确定的执行动作。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海商汤科技开发有限公司，其通讯地址为：201306 上海市浦东新区中国(上海)自由贸易试验区临港新片区环湖西二路888号C楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。