买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜杭州市北京航空航天大学国际创新研究院(北京航空航天大学国际创新学院)申请的专利一种基于深度强化学习的灾后修复性维修决策方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118798601B 。

龙图腾网通过国家知识产权局官网在2025-03-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411282245.8，技术领域涉及：G06Q10/0631；该发明授权一种基于深度强化学习的灾后修复性维修决策方法是由吴其隆;祖天培;李颖异;张清源;杨超;康锐设计研发完成，并于2024-09-13向国家知识产权局提交的专利申请。

本一种基于深度强化学习的灾后修复性维修决策方法在说明书摘要公布了：本发明涉及深度学习人工智能技术领域，尤其涉及一种基于深度强化学习的灾后修复性维修决策方法。一种基于深度强化学习的灾后修复性维修决策方法，通过复杂网络模型和深度强化学习算法的结合，为大规模分布式集群系统的灾后修复提供一种高效、智能的解决方案。该方法能够在极端事件后，通过动态调整多维修团队的修复策略，最小化系统恢复过程中的弹性损失，从而实现系统的快速、高效恢复，确保集群系统在灾后能够尽快恢复正常运行。

本发明授权一种基于深度强化学习的灾后修复性维修决策方法在权利要求书中公布了：1.一种基于深度强化学习的灾后修复性维修决策方法，所述方法适用于分布式电力集群系统中的修复性维修，该集群系统在极端事件下的损坏修复中，通过所述方法能够有效提高集群系统恢复速度和性能，其特征在于，该方法包括以下步骤：1）针对集群系统中的节点和链接构建复杂网络模型，模拟极端事件对该集群系统造成的局部破坏，生成损伤邻接矩阵和节点状态向量；2）采用基于Actor-Critic架构的深度强化学习算法，设计并训练策略-价值神经网络AC-Net，用于预测在当前集群系统状态下的维修动作的策略函数和价值函数；3）基于蒙特卡洛树搜索算法，结合策略-价值神经网络的输出，执行多维修团队的修复性维修动作的搜索和优化，生成各维修团队的最优修复路径和时序；4）在修复过程中，动态调整各维修团队的维修策略，根据集群系统的实时恢复状态和网络特征，最小化系统恢复的弹性损失，并提高系统整体性能的恢复速度；修复性维修决策方法需考虑集群系统中大规模分布式节点的空间位置及节点与节点之间链接的网络特征，综合分析节点链接维修时序和多团队路径规划两层级决策，包含：考虑多团队维修时序与路径规划两层级决策的深度强化学习Actor-Critic架构，以及面向集群系统修复性维修的AC-MCTS算法；所述深度强化学习Actor-Critic架构包括多维修团队维修过程、多维修团队维修时序、弹性分析和奖励以及神经网络训练四个部分；a多维修团队维修过程如下：维修动作序列集如下： 维修团队c的动作序列集描述如下： 修复性维修动作被定义为，这意味着该维修团队c修复节点i与节点j之间的链接；修复该链接后，如果节点j是破坏节点，则该维修团队继续修复该节点，否则继续执行下一个维修动作；在每个时刻t，修复性维修团队使用集成AC-Net的搜索算法来为刚刚完成最后一个维修动作的维修团队c选择维修动作；修复性维修团队的决策描述如下： 其中为当前维修状态，代表维修团队执行的维修状态，而代表维修团队c执行的维修状况；b）多维修团队维修时序如下：维修团队c的时序描述如下： 其中表示该维修团队c完成其维修任务的时间，的计算方法如下所示： 其中表示执行动作的维修时间，该维修时间由四种情况组成：在第一种情况下，维修团队处于节点i的位置，且节点j正常；在第二种情况下，维修团队在节点i的位置，且节点j处于破坏状态；在第三种情况下，维修团队处于节点i'的位置，且节点j正常；在第四种情况下，维修团队处于节点i'的位置，且节点j处于破坏状态；的计算方法如下： 修复每个边缘的时间表示如下： ，其中vedge表示破坏链接的修复速度；从i移动到j的时间表示如下： ，其中vmove表示维修团队的移动速度；保障集群系统的时间序列描述如下： 式中，代表维修团队完成动作的维修时间；c弹性分析与奖励如下：在多维修团队维修过程中，对于维修动作，如果节点j是正常的，则在修复链接i，j之后，假定该链接重新恢复运行；如果节点j被损坏，则在修复链接i，j和节点j之后，假设该链接和该节点重新恢复运行；在多维修团队维修过程中集群系统的集群效能根据以下方法来计算：选用集群效能FOM作为性能定量指标，将集群系统的平均效率EG归一化如下，以定义时间上的FOM： 其中是局部攻击事件发生前的平均效率，是时刻的平均效率；维修团队执行各自维修动作时，集群系统的认为保持不变；每当一个维修团队完成一个维修动作时，所修复的链接及节点恢复运行，集群系统的认为阶跃提升，是一个阶梯函数；在完成多维修团队维修过程之后，根据以下方法对在多维修团队维修过程的持续时间区间内积分，进而计算整个修复过程的弹性损失RL：假设局部攻击事件发生在时间，并导致集群功能性能急剧下降；然后，集群执行修复性维修动作以从局部攻击中恢复，之后其功能性能提高，并在时间达到FOM阈值FOMthr,采用以下弹性损失RL来量化集群因局部攻击而遭受的损失： ；集群中破坏链接和破坏节点的维修时序，以及各维修团队的路径规划，会影响阶梯函数的性能恢复曲线，进而影响弹性损失RL的计算结果；优化的维修策略需得到更小的弹性损失RL，则整个多维修团队维修过程所执行维修策略的奖励可以定义为弹性损失RL的反比例函数，反比例函数的常数项为集群FOM在规定时间区间内没有弹性损失状态下的积分，如下所示： d）神经网络训练对于每个时刻t，修复性维修团队使用AC-Net为MCTS算法的变体提供搜索指导，其中p是先验修复概率矩阵，用于指导树搜索选择修复性维修动作，而v是归一化参数，用于评估当前修复性维修动作选择的回报；搜索算法使用参数p和v来输出搜索概率π，以选择高质量的修复动作；每个时刻t的AC-Net训练数据存储为，其中是对动作的奖励；a和β是经验参数，；当修复性维修团队完成多维修团队维修过程时，一个回合也已经完成，并且数据S,A,π,z从该多维修团队维修过程的所有时间步采样；AC-Net然后使用经验数据S,A,π,z来调整其参数θ；训练目标是最大化先验修复概率p与树搜索概率π的相似性，并最小化先验值v和奖励z之间的误差；通过使用梯度下降来调整参数θ，损失函数中包括交叉熵损失和均方误差，如下所示： 其中cL2是一个常数，用于控制L2正则化水平以防止过拟合；对于每个回合，从由所有事件数据组成的数据集中随机选择一小批训练样本，然后使用批量训练来调整参数θ；调整参数θ后，AC-Net提高修复性维修团队在下一次回合的决策能力；此外，初始化的AC-Net参数θ是随机生成的；随着回合数量的增加，经过训练的AC-Net可以为树搜索提供更强的搜索指导；在经过足够的回合之后，AC-Net已经得到了很好的训练，且交叉熵损失和均方误差趋于稳定；修复性维修团队为集群系统在大规模局部破坏下解决修复性维修决策问题提供有效的决策支持；所述面向集群系统修复性维修的AC-MCTS算法为多维修团队修复性维修决策过程生成每一个维修动作的时候，即修复性维修决策过程的任意t时刻，在集群系统特征张量Xt的条件下，以AC-Net估计价值函数和策略函数的结果作为输入，基于AC-MCTS执行维修动作搜索过程，包括选择、扩展和评估、回溯以及执行4个步骤，最终可得到维修动作搜索概率π和最佳维修动作；其中，AC-MCTS算法如下：在修复性维修决策执行至t时刻，对于决策特征张量Xt，以AC-Net预测模型获得的先验参数作为输入，基于MCTS方法执行维修动作搜索操作，最终可得到改进的维修状态转移概率π和最佳维修动作at*，其表达式为： MCTS搜索树每一个树节点X的所有树枝X,a，对应该树节点下一步所有的维修动作a∊ActionX，每条树枝X,a存储一组统计数据，如下所示： 其中NX,a表示被访问的次数；WX,a表示总行动价值的总和；QX,a表示平均行动价值；PX,a表示选择树枝X,a的先验概率。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州市北京航空航天大学国际创新研究院(北京航空航天大学国际创新学院)，其通讯地址为：311115 浙江省杭州市余杭区瓶窑镇双红桥街166号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。