买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中国船舶集团有限公司第七一九研究所申请的专利基于深度强化学习的水下航行器自动避障策略训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119336032B 。

龙图腾网通过国家知识产权局官网在2025-04-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411817894.3，技术领域涉及：G05D1/43；该发明授权基于深度强化学习的水下航行器自动避障策略训练方法是由汪国祥;余代伟;张军;周奇;谭安强;闫帅;金朝;沈梦家;孔二旦;李源;蒋轩;张芮设计研发完成，并于2024-12-11向国家知识产权局提交的专利申请。

本基于深度强化学习的水下航行器自动避障策略训练方法在说明书摘要公布了：一种基于深度强化学习的水下航行器自动避障策略训练方法，首先构建水下航行器的物理与动力学模型、世界与随体坐标系，然后构建基于Gym的算法环境，并定义其状态空间、动作空间、奖励函数和结束条件，接着利用四元数变换更新位置与状态空间的参数，然后基于算法环境，利用深度强化学习算法进行训练，获得避障神经网络模型，最后基于该模型，实施避障策略；在应用中，通过构建水下航行器的物理与动力学模型，以准确反映复杂环境，并结合两种坐标系，直观描述航行器的位置和姿态，然后利用深度强化学习，学习复杂避障策略，使其能够扩展到三维空间自动路径规划等任务场景中，以便在未知环境中自主制定导航与避障策略。因此，本发明的适用范围较广。

本发明授权基于深度强化学习的水下航行器自动避障策略训练方法在权利要求书中公布了：1.一种基于深度强化学习的水下航行器自动避障策略训练方法，其特征在于，所述方法包括：S1、构建水下航行器的物理模型及其动力学模型，以及水下航行器运行时固定于水平面的世界坐标系ηEξζ和固定于水下航行器重心的随体坐标系xoyz；S2、基于水下航行器的物理模型及其动力学模型、世界坐标系、随体坐标系构建基于Gym的水下航行器人工智能算法环境，并定义人工智能算法环境的状态空间、动作空间、奖励函数和结束条件；S3、利用四元数变换更新动力学模型中的水下航行器执行动作后在世界坐标系下的位置，同时更新状态空间中的参数，该参数包括水下航行器自身状态、水下航行器与目标点的距离、水下航行器与目标点的夹角、水下航行器与障碍物的夹角与距离；S4、基于水下航行器人工智能算法环境及更新后的参数，利用深度强化学习算法训练更新后的动力学模型，获得避障神经网络模型；S5、基于避障神经网络模型，通过设定目标点与障碍物，实施水下航行器在未知的环境中的自动避障策略；所述奖励函数reward包括指向靠近目标点奖励、平稳安全奖励、避障奖励，其表达式如下： 所述指向靠近目标点的奖励函数表达式如下： 其中：为采取动作前水下航行器船头指向向量与水下航行器到目标点向量间的夹角，为采取动作后水下航行器的航向向量与水下航行器到目标点组成向量的夹角；所述平稳安全的奖励函数z_penalty表达式如下： 其中：zt为当前位置水下航行器的ζ轴方向上的坐标，z_penalty为水下航行器的深度在危险范围内的惩罚；tilt_penalty为水下航行器在俯仰角大于或小于时的惩罚；所述避障奖励为若干传感器i检测周围障碍物的奖励之和，其奖励函数rewardiobstacle表达式如下： 其中：为水下航行器执行动作之前，第i个传感器检测到的水下航行器的船头指向与水下航行器当前位置、距离最近的障碍物中心构成的向量的夹角，为水下航行器执行动作之后，第i个传感器检测到的水下航行器的航向向量与水下航行器的位置、距离最近的障碍物位置构成的向量的夹角。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国船舶集团有限公司第七一九研究所，其通讯地址为：430000 湖北省武汉市武昌区中山路450号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。