买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：宁波永耀电力投资集团有限公司;国网浙江省电力有限公司宁波供电公司;宁波市电力设计院有限公司

摘要：本发明涉及电源调度技术领域，尤其涉及一种基于强化学习的分布式电源调度方法、装置、设备及介质。该方法包括：将所有节点的状态信息作为全局状态；将当前时刻的全局状态减去上一个相邻时刻的全局状态以获取当前时刻的全局状态变化量，并输入上层强化学习模型以输出上层决策结果，进而定位待调节电源节点；对于待调节电源节点，将连接于待调节电源节点的所有节点的状态信息作为局部状态；计算当前时刻的局部状态变化量，并输入下层强化学习模型以输出下层决策结果，基于下层决策结果调节待调节电源节点的输出功率。本申请的技术方案能够在实现供需平衡的同时保证配电网的稳定性，实现分布式电源的精准调度。

主权项：1.一种基于强化学习的分布式电源调度方法，分布式电源的输出功率通过电源节点并入电网系统，其特征在于，所述分布式电源调度方法包括：采集电网系统所有节点的状态信息以作为所述电网系统的全局状态，所述状态信息包括节点类型和节点参数，所述节点类型包括负载节点和电源节点，所述节点参数包括所述负载节点的负载值以及所述电源节点的输出功率；将当前时刻的全局状态减去上一个相邻时刻的全局状态以获取当前时刻的全局状态变化量；将所述全局状态变化量输入上层强化学习模型以输出上层决策结果，所述上层决策结果包括需要进行调度的待调节电源节点；对于一个待调节电源节点，将连接于所述待调节电源节点的所有节点作为目标节点，并将所述目标节点的状态信息作为所述待调节电源节点的局部状态；计算当前时刻的局部状态变化量，并将所述局部状态变化量输入下层强化学习模型以输出下层决策结果，基于所述下层决策结果调节所述待调节电源节点的输出功率，实现分布式电源的调度；其中，所述上层强化学习模型为DQN网络，所述下层强化学习模型为DDPN网络；所述上层强化学习模型的输入为当前时刻的全局状态变化量，输出为每种上层动作的当前上层奖励值，所述当前上层奖励值最大值对应的上层动作对应于所述上层决策结果，其中，所述上层动作为01向量，一个上层动作对应一种电源节点的调节模式；所述上层强化学习模型的更新方法包括：在基于下层决策结果调节所有待调节电源节点的输出功率后，采集电网系统所有节点的状态信息以获取下一个相邻时刻的全局状态变化量，并计算所述上层决策结果的实际上层奖励值；确定上层强化学习目标模型，将下一个相邻时刻的全局状态变化量输入所述上层强化学习目标模型，输出下一个相邻时刻每种上层动作的预测上层奖励值，并将预测上层奖励值最大值作为所述上层决策结果的未来上层奖励值；基于所述上层决策结果的当前上层奖励值、未来上层奖励值以及实际上层奖励值计算上层损失值，所述上层损失值满足关系式： ；其中，为上层决策结果的当前上层奖励值，为上层决策结果的实际上层奖励值，为上层增益系数，为上层决策结果的未来上层奖励值，为上层损失值；依据所述上层损失值进行反向传播以更新所述上层强化学习模型，以完成一次更新；其中，所述确定上层强化学习目标模型包括：每完成预设次数的更新后，将上层强化学习模型的网络参数复制到所述上层强化学习目标模型中以确定所述上层强化学习目标模型。

全文数据：

权利要求：

百度查询： 宁波永耀电力投资集团有限公司 国网浙江省电力有限公司宁波供电公司 宁波市电力设计院有限公司 基于强化学习的分布式电源调度方法、装置、设备及介质