申请/专利权人：河海大学

申请日：2022-07-28

公开（公告）日：2024-04-23

公开（公告）号：CN115358534B

主分类号：G06Q10/0631

分类号：G06Q10/0631;G06Q50/06;H02J3/00;H02J3/14;G06F21/60;G06F21/62;G06N5/01;G06N20/20

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2022.12.06#实质审查的生效;2022.11.18#公开

摘要：本发明公开了一种基于同态加密强化学习的电器负荷需求响应方法，首先，定义居民电器负荷的响应类型，对电器负荷的需求响应系数进行离散化处理；其次，基于加法同态加密算法，对参与需求响应的所有用户的电器负荷需求数据进行加密；接着，基于电器负荷的响应类型和需求响应系数、以及配电网的实时电价，构建电器负荷需求响应模型；构建基于随机森林深度强化网络，定义强化网络的状态、动作和奖励函数；基于加密的电器负荷需求数据，使用分布式双重强化学习网络算法对所构建的网络进行模型训练，实现电器负荷需求响应。本发明在保障用电隐私的情况下，实时智能化地削减或中断居民的电器负荷，降低配电网的过负荷风险、提升运行的稳定性。

主权项：1.基于同态加密强化学习的电器负荷需求响应方法，其特征在于：包括以下步骤：步骤1：定义居民电器负荷的响应类型，对电器负荷的需求响应系数进行离散化处理；将居民电器负荷按照响应类型定义为不可转移型、可削减型和可中断型三种，其中可中断型和可削减型电器负荷参与需求响应，公式如下： 式中，loadt为居民用户在时间t的总负荷，liZDt和liZDt-1为居民用户在时间t和时间t-1的第i个可中断型电器的负荷需求，ljXJt为居民用户在时间t的第j个可削减型电器的负荷需求，lNt为居民用户在时间t的不可转移型电器负荷需求，和为居民用户在时间t和时间t-1的第i个可中断型电器的需求响应系数，为居民用户在时间t的第j个可削减型电器的需求响应系数；步骤2：基于加法同态加密算法，对参与需求响应的所有用户的电器负荷需求数据进行加密，传递给需要求解需求响应模型的用户；加密公式如下：X1+X2＝decencX1+X2＝decencX1×encX2, 式中，X1和X2分别为满足加法同态性质的待加密数据、包含用户的电器负荷需求数据，enc和dec为加密函数和解码函数，加密后的数据传递给需要求解需求响应模型的用户，进行模型求解；步骤3：基于电器负荷的响应类型和离散化的需求响应系数、以及配电网的实时电价，构建基于电价的电器负荷需求响应模型，公式如下：minpricet×loadt,pricet＝p0t+p1∑loadt+p2∑loadt2式中，min为最小化目标函数，pricet为时间t的电价，p0t、p1和p2为实时电价系数，∑loadt为时间t的配电网下所有用户总负荷；步骤4：构建随机森林DQN，针对步骤3所构建的电器负荷需求响应模型定义随机森林DQN的状态、动作和奖励函数，包括：步骤4.1：构建基本的DQN函数，以时间t的动作和状态为输入，计算输出时间t的动作价值，公式如下：Qt＝fat,st|θ式中，Qt为时间t的动作价值，at和st分别为时间t的动作和状态，f·为DQN函数，θ为DQN的训练参数；步骤4.2：基于随机森林原理替换基本的DQN函数f·，其中，随机森林通过放回采样构建多棵回归决策树，并通过最小化回归平方和误差确定最优的树节点划分，公式如下： 式中，R1和R2为树节点划分的两类样本数据集，j和s分别为最优树节点划分的输入编号和输入值，xi和yi为第i个样本的输入和输出，N1和N2分别为样本数据集R1和R2的样本个数，c1和c2分别为样本数据集R1和R2的输出的平均值；步骤4.3：定义随机森林DQN的状态，公式如下： 式中，st为时间t的状态，Nuser为参与需求响应的居民用户总数，和enclNt分别为加密后的居民用户在时间t和时间t-1的第i个可中断型电器的负荷需求，居民用户在时间t的第j个可削减型电器的负荷需求以及居民用户在时间t的不可转移型电器负荷需求；步骤4.4：定义随机森林DQN的动作，公式如下：at＝{η*ZDt,η*XJt}式中，at为时间t的动作，η*ZDt和η*XJt分别为离散化的可中断型电器的需求响应系数和离散化的可削减型电器的需求响应系数；步骤4.5：定义随机森林DQN的奖励函数，公式如下： 式中，rt为时间t的奖励函数，pricet为时间t的电价，loadt为居民用户在时间t的总负荷，和分别为第i个可中断型电器的舒适度系数和第j个可削减型电器的舒适度系数，为离散化的第i个可中断型电器的需求响应系数，为离散化的第j个可削减型电器的需求响应系数，为时间t的第i个可中断型电器的负荷需求，为时间t的第j个可削减型电器的负荷需求；步骤5：基于加密的电器负荷需求数据，使用分布式双重强化学习网络算法对所构建的随机森林DQN进行训练，实现电器负荷需求响应，包括：步骤5.1：构建双重强化学习网络，公式如下： 式中，N为训练样本个数，yi和分别为第i个样本的输出和预测输出，ri为第i个样本的奖励函数，γ为衰减系数，Q为动作价值，si+1为第i+1个样本的状态，amaxsi+1；θ为状态si+1、参数θ下的最优动作；步骤5.2：参与需求响应的全部居民用户将加密后的电器负荷需求和传递至需要求解需求响应模型的用户；步骤5.3：需要求解需求响应模型的用户基于加密的电器负荷需求训练随机森林DQN，求得当前最优树节点划分的输入编号j和输入值s，并将结果传递回其他居民用户；步骤5.4：参与需求响应的全部居民用户保存当前最优树节点划分的输入编号j和输入值s、实现本轮训练；步骤5.5：重复步骤5.2-5.4直至随机森林DQN的回归决策树全部构建完成。

全文数据：

权利要求：

百度查询： 河海大学 基于同态加密强化学习的电器负荷需求响应方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD