申请/专利权人：大连海事大学

申请日：2020-09-14

公开（公告）日：2024-06-04

公开（公告）号：CN111880549B

主分类号：G05D1/43

分类号：G05D1/43;G06N3/092;G05D109/10

优先权：

专利状态码：有效-授权

法律状态：2024.06.04#授权;2020.11.20#实质审查的生效;2020.11.03#公开

摘要：本发明提供一种面向无人船路径规划的深度强化学习奖励函数优化方法，包括：S1、获取环境信息；S2、获取无人船与障碍物之间的距离以及无人船与目标点之间的距离；S3、根据船舶到达目标点的次数，给予相对应的奖励值；S4、判断船舶是否在奖励域内，根据奖励域奖励原则给予相应的奖励；S5、判断无人船是否与障碍物碰撞，给予相对应的惩罚值；S6、判断船舶是否在危险域内，根据危险域惩罚原则给予相应的惩罚，否则根据一般情况奖励原则给予奖励。本发明通过在船舶航行的目标点附近增加奖励域、在障碍物附近增加危险域，并引入计数原则，来增大或者减少获得的奖励或惩罚，加快深度强化学习算法的收敛速度，引导船舶更快地避开障碍物到达目标点。

主权项：1.一种面向无人船路径规划的深度强化学习奖励函数优化方法，其特征在于，包括：S1、获取环境信息，并对所述环境信息进行预处理，将获取的环境信息转变为实验环境中的信息；S2、获取无人船与障碍物之间的距离以及无人船与目标点之间的距离，根据所述无人船与目标点之间的距离判断无人船是否到达目标点，若到达则执行S3，否则执行S4；S3、根据船舶到达目标点的次数，给予与所述船舶到达目标点的次数相对应的奖励值，包括：若船舶到达目标点，则目标计数器加一，碰撞计数器归零，判断目标计数器是否大于阈值，如果大于直接给最大奖励，否则根据以下公式计算奖励值： 其中ceil为取整函数，goal_counter为目标计数器，reward_standard_goal为到达目标点的标准奖励；S4、判断船舶是否在奖励域内，所述奖励域指的是船舶在目标点附近，还没有到达目标点，如果在奖励域内，则根据奖励域奖励原则给予相应的奖励，执行S2，否则执行S5，奖励域奖励根据以下公式计算： 其中，l和D为奖励域范围阈值，d_goal为目标点的距离；S5、判断无人船是否与障碍物碰撞，根据船舶与障碍物碰撞的次数，给予与所述船舶与障碍物碰撞的次数相对应的惩罚值，执行步骤S2，否则执行S6，包括：判断船舶是否与障碍物碰撞，如果碰撞，则碰撞计数器加一，目标计数器归零，判断碰撞计数器是否大于阈值，如果大于直接给予最大惩罚，如果没有达到阈值，则根据以下公式计算惩罚值： 其中，obs_counter为碰撞计数器，reward_standard_obs为碰撞障碍物的标准惩罚；S6、判断船舶是否在危险域内，所述危险域指的是船舶在某个障碍物附近，但是还没有碰撞到障碍物，如果在危险域内，则根据危险域惩罚原则给予相应的惩罚，并执行S2；否则根据一般情况奖励原则给予奖励，并执行S2，危险阈惩罚根据以下公式计算： 其中，mind_obs为船舶距离障碍物的最小值，α、β和δ为危险域范围的阈值。

全文数据：

权利要求：

百度查询： 大连海事大学 面向无人船路径规划的深度强化学习奖励函数优化方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD