买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜北京理工大学申请的专利一种基于深度强化学习的飞行器编队控制方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115576353B 。

龙图腾网通过国家知识产权局官网在2025-03-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211288418.8，技术领域涉及：G05D1/46；该发明授权一种基于深度强化学习的飞行器编队控制方法是由王晓芳;尹依伊;林海设计研发完成，并于2022-10-20向国家知识产权局提交的专利申请。

本一种基于深度强化学习的飞行器编队控制方法在说明书摘要公布了：本发明提供一种基于深度强化学习的飞行器编队控制方法，考虑环境对飞行器的随机扰动，建立了飞行器编队运动模型，然后将编队问题映射为马尔可夫决策过程，构建了深度强化学习网络对飞行器的编队行为进行学习，主要是依据飞行器执行动作后环境给于的反馈进行学习，因此经过多次的学习、探索，飞行器就能获得正确的编队控制动作，这种方法无需飞行器的精确数学模型，因此，在模型中存在环境随机干扰时也是可行、有效的；将编队形成过程划分为三段能够有效降低各阶段的状态空间维度，增加网络训练成功率；在训练得到基于强化学习的编队控制算法后，可适用于从弹从不同初始位置开始编队，而无需再进行网络训练，大大拓展了本编队控制器的应用范围。

本发明授权一种基于深度强化学习的飞行器编队控制方法在权利要求书中公布了：1.一种基于深度强化学习的飞行器编队控制方法，其特征在于，包括：步骤1、建立编队控制的马尔可夫模型：考虑环境中的随机干扰，建立用于描述编队运动的马尔可夫模型；假设各飞行器定高飞行且领导者飞行方向不变，同时考虑环境中的随机干扰，则编队运动模型为： 式中，xi、zi分别为跟随者i在领导者弹道坐标系的坐标；Vfi、ψfi、VL、ψL分别为跟随者i和领导者的速度、速度偏角；axi、azi分别为切向加速度和法向加速度；ηx、ηz为服从正态分布的随机扰动；i＝1,2,3…；将编队控制过程划分为编队初形成阶段、交接阶段以及保持阶段共三个阶段；在编队初形成阶段跟随者到达期望位置附近的局部范围内，在交接阶段跟随者在局部范围内调整位置，直至飞到期望位置的小邻域内且运动状态与领导者保持一致，在编队保持阶段跟随者在扰动存在的情况下通过微调控制量使其能够以一定的精度保持编队飞行；根据式1中的编队控制模型，定义联合状态S＝[xi,zi,Vfi,ψfi]；将编队控制问题的控制量离散化构成离散的动作空间，选择△Vfi、△ψfi作为控制量，离散化处理后的动作空间分别为△Vfi＝[-uV,0,+uV]、△ψfi＝[-uψ,0,+uψ]，uV0、uψ0分别为离散化处理后单位时间内速度与速度偏角变化量的幅值；编队控制问题中的联合动作空间为A＝[△Vfi,△ψfi]；针对三阶段编队控制问题，设计回报函数r为： 式中，在第n个阶段时，Cxn、Czn分别表示由x方向位置误差、z方向位置误差引起的损失值，CVn、Cψn分别表示由速度、速度偏角误差引起的损失值，k1n、k2n为比例系数，Cnmax为最大位置误差损失值；参数Cxn、Czn、CVn、Cψn的解算方法为： 式中，hxi、hzi分别为跟随者i在x、z方向上的期望位置，Ln为设定的局部范围容忍长度，UVn、Uψn为跟随者速度、跟随者速度偏角的容忍范围；C3max≤C2maxC1max，L3≤L2L1；动作的选择策略采用改进的ε-贪婪策略；将训练周期Ts引入动作选择策略中，使训练前期侧重探索性、训练后期侧重择优性，动作的选择策略为： 式中，randomA表示在联合动作空间中任意选取的动作；randt为t时刻在0,1范围内的随机数取值；St表示t时刻的联合状态；argmaxAQtSt,A表示在联合状态St，动作空间A中的各个动作下，DQN算法输出的最大输出，即Q值最大时对应的动作；步骤2、基于深度强化学习的编队控制网络训练：采用DQN算法，建立神经网络，设定神经网络的输入为联合状态与动作空间的各项参数，输出为联合状态、对应动作下的Q值；通过获取每个阶段的样本，为每一个阶段训练一个对应的所述神经网络；在编队控制过程中，根据跟随者所在的阶段以及当前的联合状态，选择对应的神经网络输出的Q值最大的动作，并进行状态转移，得到下一时刻的联合状态，以此类推，控制跟随者从初始位置飞至期望位置。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京理工大学，其通讯地址为：100081 北京市海淀区中关村南大街5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。