申请/专利权人：西北工业大学

申请日：2022-05-27

公开（公告）日：2024-05-03

公开（公告）号：CN115185288B

主分类号：G05D1/49

分类号：G05D1/49;G05D1/46;G05D1/249

优先权：

专利状态码：有效-授权

法律状态：2024.05.03#授权;2022.11.01#实质审查的生效;2022.10.14#公开

摘要：本发明提供了一种基于SAC算法的无人机分层飞行决策方法，首先构建无人机飞行控制模型，再根据马尔科夫决策过程构建状态空间、分层决策动作空间和奖励函数；接下来构建基于SAC算法的无人机分层飞行决策模型结构；再定义模型参数，初始化无人机状态，并进行训练，最后初始化无人机状态，测试无人机分层飞行决策模型，并对飞行决策性能进行评价。本发明采用分层决策模型，降低了算法训练的难度，提升了模型的决策性能，能够有效地令无人机自主决策，并能高效地探索到最优策略，能够高效地探索到最优飞行策略。

主权项：1.一种基于SAC算法的无人机分层飞行决策方法，其特征在于包括如下步骤：步骤S1：构建无人机飞行控制模型为了实时解算无人机的位置和姿态信息，构建无人机飞行控制刚体模型，包括无人机运动学模型和无人机动力学模型；步骤S2：根据马尔科夫决策过程构建无人机飞行决策的状态空间、分层决策动作空间和奖励函数；1状态空间设计状态空间由传感器实时获取到的环境信息和无人机飞行状态信息两部分组成，环境信息包括无人机前置摄像头获得的图像信息，而无人机飞行状态信息以向量形式表示如下： 其中，表示无人机在地球坐标系oexeyeze下的位置坐标，分别表示无人机在地球坐标系下xe,ye,ze坐标轴的位置分量；表示无人机在地球坐标系下的线速度，分别表示无人机在地球坐标系下xe,ye,ze坐标轴的线速度分量；q为表示无人机姿态的四元数；表示无人机在机体坐标系obxbybzb下的角速度，分别表示无人机在机体坐标系下绕xb,yb,zb坐标轴的角速度分量；2动作空间设计与分层决策模型将强化学习模型和传统PID控制模型结合，提出无人机分层控制决策模型；强化学习策略负责顶层决策，在飞行决策过程中强化学习模型输出无人机的飞行线速度PID控制器负责底层控制，将线速度映射为电机指令，用以实现无人机俯仰、滚转、偏航、加速和减速等命令；3奖励函数设计奖励函数由稀疏奖励和连续奖励构成，包含位置奖励、碰撞奖励和速度奖励；步骤S3：构建基于SAC算法的无人机分层飞行决策模型结构；基于深度强化学习框架Actor-Critic构建无人机分层飞行决策模型，无人机分层飞行决策模型由Actor网络、Critic网络和经验池D组成；Actor网络输入为无人机当前时刻状态st，包括无人机搭载的机载摄像头采集得到的灰度图像和无人机的飞行状态信息，输出无人机动作at；Critic神经网络输入为无人机当前时刻状态st和无人机执行的动作at，输出为Qst,at，用以评价决策动作的优劣；无人机在当前时刻状态st下执行动作at，并获得奖励rt和新的状态st+1，经验池D存放无人机与环境交互过程中得到的包含状态、动作和奖励的经验样本st,at,rt,st+1，从经验池D中随机抽取批经验样本用于Actor网络和Critic网络参数的更新；步骤S4：定义基于SAC算法的无人机分层飞行决策模型的参数，初始化无人机状态，通过与环境交互训练无人机分层决策模型；步骤S5：初始化无人机状态，测试无人机飞行决策模型，评价飞行决策性能；S51：初始化无人机飞行状态，获取初始决策模型状态st；S52：将状态st输入完成训练的Actor网络，得到无人机决策动作at并执行后，获得新状态st+1；S53：判定是否完成飞行决策任务，若已经完成飞行决策任务，则结束；否则令st+1＝st，并执行步骤S51至S53；S54：记录决策过程中决策状态并分析无人机飞行决策性能。

全文数据：

权利要求：

百度查询： 西北工业大学 一种基于SAC算法的无人机分层飞行决策方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD