买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜杭州市北京航空航天大学国际创新研究院(北京航空航天大学国际创新学院)申请的专利一种基于强化学习的集群系统智能运维系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119090492B 。

龙图腾网通过国家知识产权局官网在2025-05-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411595396.9，技术领域涉及：G06Q10/20；该发明授权一种基于强化学习的集群系统智能运维系统是由吴其隆;祖天培;李颖异;李炳华;张清源;杨超;康锐设计研发完成，并于2024-11-11向国家知识产权局提交的专利申请。

本一种基于强化学习的集群系统智能运维系统在说明书摘要公布了：本发明涉及人工智能技术领域，尤其涉及一种基于强化学习的集群系统智能运维系统。该系统包括集群建模模块、多维态势感知模块、智能决策规划模块和效能评价模块，并结合多种强化学习算法，实现集群系统在复杂环境下的自主运维与动态管理。该系统通过引入深度Q网络（DQN）、Actor‑Critic蒙特卡洛树搜索（AC‑MCTS）和分布式近端策略优化（DPPO）等强化学习算法，优化维修时序和策略，从而降低系统的故障率和运维成本；快速恢复系统功能，减少系统因突发故障带来的性能损失；并确保任务协同与系统稳定性。

本发明授权一种基于强化学习的集群系统智能运维系统在权利要求书中公布了：1.一种基于强化学习的集群系统智能运维系统，所述的集群系统为电力系统集群、无人机集群系统或工业储能系统中的大规模电池组集群系统，其特征在于，该系统包括：1）集群建模模块，用于建立集群系统的多层级模型，包括集群、集簇和节点三个层级，分别对集群系统中的设备进行建模，基于该模型分析集群系统在不同运行阶段的时间动态特征和时空动态特征，构建具有多维属性的集群系统模型；2）多维态势感知模块，用于采集和处理集群系统在复杂环境下的多维态势信息，包括节点状态、链路状态、环境变化和任务信息，结合时间动态特征和时空动态特征，对集群系统的运行态势进行实时监测和趋势预测；3）智能决策规划模块，基于强化学习算法对集群系统的运维问题进行智能决策，该模块包括：3.1）预测性维修子模块，包括基于深度Q网络算法，针对集群系统退化与维修收益不均衡特征，学习最优维修策略，生成预测性维修方案；3.2）灾后抢修子模块，包括基于Actor-Critic蒙特卡洛树搜索算法，统筹集群系统在大规模分布式环境下的维修时序与多团队路径规划，生成应急抢修方案；3.3）动态重构子模块，包括基于分布式近端策略优化算法，针对集群系统中不同层级的拓扑结构，考虑任务协同与拓扑构型，生成动态重构方案；4）集群效能评价模块，用于构建和计算集群系统的效能指标，包括网络效率、均衡度、可靠性和弹性，以量化集群系统在不同运维阶段的性能，并为智能决策规划提供反馈和优化方向；所述集群建模模块的建立方法如下：1.1）针对所研究的集群系统对象S，首先建立一个节点集N来描述集群S中所有节点n，如下所示：N={n1,n2,…,nn,…}（1.1）其中，nn表示集群中的第n个节点；在形成集群形态之前，当节点集中的部分或者所有节点需要按照一定的秩序组合而成集簇形态时，需根据当前场景下具体的任务需求等因素，建立一个集簇集C来描述当前时刻下集群中的所有集簇c，如下所示：C={c1,c2,…,cm…}（1.2）其中，cm表示当前时刻下集群中的第m个集簇；1.2）基于哈希表构造集群-集簇之间一对多的数据结构，哈希表的关键字仍然为集簇的动态编号，存储的数据元素则为该集簇的节点集，用一个嵌套哈希表构建，嵌套哈希表的关键字为该集簇中每个节点的动态编号，存储的数据元素为该节点的唯一标识，即该节点在节点集N中的编号，通过哈希表嵌套哈希表构建三层级集群模型SMIII，描述节点的唯一标识与其在集簇中的动态编号之间的映射关系，如下所示： （1.3）其中ni,j表示集簇ci中的第j个节点；所述多维态势感知模块包括：基于复杂网络理论和感知技术的多维态势信息采集与处理单元，用于实时采集集群系统的运行数据，并通过数据融合和模式识别技术提取多维态势特征；基于机器学习和数据驱动的态势预测单元，针对集群系统的时间动态特征和时空动态特征，构建多维态势预测模型，以提供对未来态势的预估；所述多维态势感知模块的数据结构建立方法如下：2.1）将集群表示为一个具有N个节点和K个边的无向图G；一个G图用两个矩阵来描述：邻接矩阵A和物理距离矩阵L；A是一个N×N的邻接矩阵，如果存在连接节点ni和节点nj的边，则邻接矩阵中元素aij为1，否则为0；矩阵L的元素lij表示节点ni和nj之间的地理距离，即使在集群中节点ni和节点nj之间没有边元素，lij也是已知的；2.2）针对节点，在创建一个空G图之后，集群系统对象S的节点集N均可生成所需数据，节点集根据当前时刻节点的正常、退化、破坏状态生成不同的节点数组进行添加；针对边，则需定义集群系统的链接集L，进而生成边的数据添加至所创建的图G；对于集群系统链接集L的构建参考了NetworkX底层编码中邻接矩阵的数据结构，并在此基础上添加了包括运维态势的属性信息，并依据实际场景添加所需的属性信息，链接集L如下所示： （1.4）其中saij表示连接节点ni和节点nj的边的状态，元素lij表示节点ni和nj之间的地理距离。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州市北京航空航天大学国际创新研究院(北京航空航天大学国际创新学院)，其通讯地址为：311115 浙江省杭州市余杭区瓶窑镇双红桥街166号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。