买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜南京航空航天大学申请的专利一种基于输出反馈Q学习的固定翼无人机纵向控制方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114935944B 。

龙图腾网通过国家知识产权局官网在2025-04-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210712489.X，技术领域涉及：G05D1/495；该发明授权一种基于输出反馈Q学习的固定翼无人机纵向控制方法是由赵振根;程磊;梁惠勇;孔飞设计研发完成，并于2022-06-22向国家知识产权局提交的专利申请。

本一种基于输出反馈Q学习的固定翼无人机纵向控制方法在说明书摘要公布了：本发明提供了一种基于输出反馈Q学习的固定翼无人机纵向控制方法，包括：建立固定翼无人机纵向动力学模型，利用输入输出数据重构状态信息；其次，构建输出反馈的Q函数，基于贝尔曼方程，利用输入输出数据辨识Q函数的核矩阵；最后，基于学习的核矩阵，设计最优输出反馈控制增益和控制输入，并将学习得到的控制律在非线性模型上进行验证。本发明利用Q学习技术，基于系统的输入输出数据，实现了固定翼无人机输出反馈控制的自适应学习。本发明相比传统PID控制方法，不仅具有对模型不确定性和工作点变化更好的自适应能力，控制器参数设计过程也比PID参数整定简单，而且控制效果也优于固定参数的PID控制器。

本发明授权一种基于输出反馈Q学习的固定翼无人机纵向控制方法在权利要求书中公布了：1.一种基于输出反馈Q学习的固定翼无人机纵向控制方法，其特征在于，包括以下步骤：步骤1：对无人机进行运动学分析与动力学建模，线性化后得到无人机纵向运动的状态空间模型；步骤2：在无人机系统可观测条件下，利用系统输入输出数据重构状态信息；步骤3：利用重构的状态信息，构建输出反馈Q函数，对输出反馈Q函数求导得到输出反馈的最优控制律矩阵；步骤4：将输出反馈Q函数参数化，收集系统输入输出数据，在线迭代求解最优控制矩阵；步骤5：将最优控制矩阵中的元素组成最优控制律，计算得到最优控制输入；步骤1中，无人机纵向运动的状态空间模型包括四个状态变量，分别为速度V、迎角α、俯仰角速率q和俯仰角θ，控制输入为升降舵偏转角δe，非线性微分方程为： 其中为速度V对时间的导数，为迎角α对时间的导数，为迎角q对时间的导数，为迎角θ对时间的导数；Tt是推力，m为无人机的质量，g为重力加速度，ρ为空气密度，Iy为绕机体坐标系下y轴的转动惯量，CL、CD和Cm分别为升力系数、阻力系数和俯仰力矩系数，为平均空气动力弦，S为机翼面积；步骤1中，在动力学建模后，对所述非线性微分方程，使用Matlab中trim和linmod函数配平线性化后，得到无人机纵向运动的状态空间模型的表达式为：xk+1＝Axk+Bukyk＝Cxk,其中n为状态变量维数，n1为控制输入维数，p为系统输出维数；状态变量xk为离散化后当前时刻的无人机速度V、迎角α、俯仰角速率q、俯仰角θ；xk+1为离散化后下一时刻的无人机速度V、迎角α、俯仰角速率q、俯仰角θ；uk为升降舵偏转角δe；A为系统矩阵，B为控制矩阵，C为观测矩阵；yk为无人机系统输出值；步骤2包括：通过如下公式重构状态信息： 其中Mu为控制输入重构矩阵，My为系统输出重构矩阵，是由不同时刻的控制输入构成的控制输入向量，是由不同时刻的系统输出构成的输出向量，且 其中表示k-N时刻的控制输入，表示k-N时刻的系统输出，上标T为矩阵转置；UN为系统的能控性矩阵，VN为系统的能观性矩阵，DN为系统耦合矩阵，N为使用的过去时刻的步长数，N取值应大于等于系统维度n；各个符号表达如下： UN＝[BAB…AN-1B]，VN＝[CAN-1T…CATCT]T， 步骤3中，构建如下输出反馈Q函数Qxk,uk： 其中Q1和R为权重矩阵，γ为折扣因子且0γ≤1，uk为控制输入，xk为状态变量；P为黎卡提方程的解，记zk为过去N个时刻由控制输入和系统输出组成的向量，输出反馈Q函数Qxk,uk进一步写为： 其中H为Q函数核矩阵，表述如下： 其中为的性能函数矩阵，为与的耦合性能函数矩阵，为与的耦合性能函数矩阵，为和uk的耦合性能函数矩阵，为uk与的耦合性能函数矩阵，为的性能函数矩阵，为与uk的耦合性能函数矩阵，为uk与的耦合性能函数矩阵，Huu为uk性能函数矩阵，且表示如下： 步骤4中，收集系统在时间[k-N,k-1]的范围内的输入输出数据，对收集到的uk-1,uk-2,...,uk-N,yk-1,yk-2,...,yk-N使用基于输出反馈Q函数学习的策略迭代算法，得到最优控制矩阵H；步骤4中，所述基于输出反馈Q函数学习的策略迭代算法，具体包括：步骤4-1，初始化H0，H0为H的初始化值，初始化j＝0，选择稳定的初始控制策略u0，初始化权重矩阵Qy和R，初始化折扣因子γ；步骤4-2，策略评估：收集系统的输入输出数据，收集足够步长的数据集L求解输出反馈Q函数贝尔曼方程，其中L满足L≥n1N+pN+n1×n1N+pN+n1+12： 其中Hj为第j次迭代的H矩阵，Qy为权重矩阵；步骤4-3，策略更新：利用求解到的核矩阵H中的元素更新控制律： 为在第k步第j+1次迭代时的控制输入；步骤4-4，终止条件：当达到收敛条件||Hj-Hj-1||≤ε时停止迭代，此时的H为最优控制矩阵；其中ε为一个预先设计好的收敛条件常数，如果不满足停止迭代的条件，则更新j＝j+1，继续迭代；步骤5中，将最优控制矩阵中的元素组成最优控制律，最优控制律与输入输出相乘得到最优控制输入，最优控制矩阵和最优控制律表示为： H*表示满足收敛条件||Hj-Hj-1||≤ε时的H矩阵，即为最优控制矩阵。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京航空航天大学，其通讯地址为：211106 江苏省南京市江宁区将军大道29号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。