申请/专利权人：南京航空航天大学

申请日：2023-06-01

公开（公告）日：2024-04-26

公开（公告）号：CN117236478B

主分类号：G06Q10/04

分类号：G06Q10/04;G06Q10/067;G06Q10/0631;G06Q50/06;G06N3/0455;G06N3/092

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2024.01.02#实质审查的生效;2023.12.15#公开

摘要：本发明公开了一种基于Transformer改进深度强化学习的多目标多水库调度优化方法，该方法首先获取水库运行的基本数据，然后由此建立多目标水库的优化调度模型，以调度期间的发电量最大、AAPFD值最小以及供水收益最大作为运行优化的目标，进一步的在约束条件下进行算法寻优，包括编码、解码和训练过程。该方法以平水年数据作为运行的实例，对每个水库每个月的发电流量和供水水流量进行优化，在保证各水库能够安全运行的前提下，提高发电量以及送水收益并降低AAPFD值。

主权项：1.一种基于Transformer改进深度强化学习的多目标多水库调度优化方法，其特征在于：将水库发电量最大、修正后的年比例流量偏差值AAPFD最小以及居民区送水收益最大作为优化目标，包括建立多目标水库调度模型，还包括对每个水库每个月的发电流量和供水水流量进行优化；所述方法步骤如下：1获取水库运行的基本数据，包括库容与水位的关系、月均水流出流量、最低最高水位线、每月水位线、水库月均流入流量，根据水库运行的基本数据建立考虑水库水位线、发电流量、居民区送水流量约束的多目标多水库优化调度模型；2设计多目标多水库运行调度的约束条件，包括水平衡约束、水位线约束、发电量约束、供水量约束、初始状态约束以及水位线和储存量之间的非线性约束；3求解多目标多水库优化调度模型，包括设置发电总量、AAPFD值和供水总收益的权重，并在该权重组合下将多目标优化问题分解为M个子问题，M个子问题采用邻居的参数迁移策略来进行合作计算，在训练的过程中，上一个子问题训练的网络参数将会作为下一个子问题的网络初始参数，据此完成对于水库的解码过程、编码过程和训练过程；所述的编码过程如下：1对最大最小的发电量以及流入流量进行编码得到Embedding1；2对Embedding1的输出以及当前水库的水位线进行编码，并通过残差连接获得嵌入了所有用于发电所需信息的嵌入Embedding2；3对每个居民区的最大和最小供水量进行编码，得到Embedding3；4将Embedding1、Embedding3以及居民区与水库之间的距离、目前水库的供水量和水库目前的水位线进行编码，得到该水库对每个居民区用于供水的嵌入Embedding4；对于Embedding1，其表达式如下： 其次，采用多头注意力层去处理Embedding1，并将其映射到一个keykit、queryqit以及valuevit，自注意力层的输出通过将qiu以及其他viu之间的归一化加权计算得到： 式中，为Embedding1解码后的输出，qi为对应节点的query，ku′为其他节点的key；所述的解码过程是将多目标多水库调度优化建模成一个马尔科夫决策过程，包括智能体、状态集合S、动作集合A，所述的动作集合A包含用于选择发电流量的动作集合Ap，决定是否进行供水的动作集合Ax以及选择供水流量的动作集合As；对于每个水电站水库i，在每个时间段t内，首先根据Embedding2选择用于发电的流量接着通过流入流量以及发电流出流量更新Lit，并通过此时的Lit，lij，Wjt计算嵌入Embedding4，根据这个嵌入选择是否进行供水xijt，如果xijt不为0，选择用于供水的流量否则令重复上述步骤直至实现所有的水库在所有时段的发电与供水决策，如果决策能够满足约束条件的话，将回报如下赋值： 式中，Ra为第a个子问题的回报；分别表示三个目标函数的最大最小值，这些值由单目标的T-DRL得到；如果不能够满足约束条件的话，将回报置为0；所述的训练过程中，策略梯度法被用来训练神经网络中的参数θ，计算优势估计函数：ADVi＝Rπi-RπBL式中，RπBL为通过基线模型得到的回报；接着，更新参数通过： 式中，B为训练的批量，采用配对的t检验比较θ和θBL，如果结果在95％置信度水平上显著，则用θ代替θBL。

全文数据：

权利要求：

百度查询： 南京航空航天大学 基于Transformer改进深度强化学习的多目标多水库调度优化方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD