买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉郑州大学产业技术研究院有限公司;北京航空航天大学杭州创新研究院申请的专利基于强化学习的探索方法、装置和智能设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114859932B 。

龙图腾网通过国家知识产权局官网在2025-04-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210556611.9，技术领域涉及：G05D1/43；该发明授权基于强化学习的探索方法、装置和智能设备是由牛建伟;左顺;孙钢灿设计研发完成，并于2022-05-20向国家知识产权局提交的专利申请。

本基于强化学习的探索方法、装置和智能设备在说明书摘要公布了：本申请提供一种基于强化学习的探索方法、装置和智能设备，在基于获得的雷达数据构建待探索空间的地图信息后，根据地图信息构建局部地图，并获得局部边界点。基于优化的强化学习模型得到下一个目标边界点，控制机器人行进至目标边界点，并更新地图信息和局部地图，直至局部地图不具有可供探索的局部边界点时，确定出未被探索的全局边界点。控制机器人对未被探索的全局边界点进行探索，直至遍历所有全局边界点时完成探索。本方案中，将探索任务分为局部和全局两个部分，局部部分使用强化学习规划目标点，计算量小、决策精准且易于收敛，而全局部分维持一个未访问区域的地图，在局部嵌入收敛时，启用全局规划，避免探索不完整的问题。

本发明授权基于强化学习的探索方法、装置和智能设备在权利要求书中公布了：1.一种基于强化学习的探索方法，其特征在于，所述方法包括：基于获得的雷达数据构建待探索空间的地图信息；根据所述地图信息，并以机器人当前位置为中心构建预设范围内的局部地图，并获得局部地图的局部边界点；将所述局部地图和局部边界点导入强化学习模型以对强化学习模型进行优化，并基于优化得到的强化学习模型输出下一个目标边界点；控制所述机器人行进至所述下一个目标边界点，并更新地图信息和局部地图，直至所述局部地图不具有可供探索的局部边界点时，确定出未被探索的全局边界点；控制所述机器人对未被探索的各个全局边界点进行探索，直至遍历所有全局边界点时完成探索；所述强化学习模型为双层网络架构，包括网络一和网络二，所述将所述局部地图和局部边界点导入强化学习模型以对强化学习模型进行优化的步骤，包括：基于局部地图、局部边界点以及机器人的当前位姿信息得到当前观测状态；根据所述当前观测状态以及强化学习模型拟合得到多个执行动作，得到在各个执行动作下所述机器人的下一个目标边界点，并获得在各个下一个目标边界点时的新的观测状态；获得所述网络一得到的基于当前观测状态下的目标执行动作的当前得分，其中，所述目标执行动作为对应得分最大的执行动作；获得所述网络二得到的在所述目标执行动作下得到的新的观测状态下的执行动作的下一得分；基于所述当前得分和下一得分构建损失函数，并基于所述损失函数对所述强化学习模型进行优化。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人郑州大学产业技术研究院有限公司;北京航空航天大学杭州创新研究院，其通讯地址为：450000 河南省郑州市高新区长椿路11号1号孵化楼810号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。