买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：国网浙江省电力有限公司嘉善县供电公司;嘉善恒兴电力建设有限公司

摘要：本发明公开了一种采用Q学习的高比例光伏微网无功均分控制方法，包括步骤1，构造基于Q学习的高比例光伏微电网无功控制模型：针对采用下垂控制的分布式光伏，定义Q学习重要变量，其中以微网总无功偏差量作为奖励函数的依据，构建电压幅值和无功功率之间的反馈；步骤2，采集各光伏无功偏差量，进行Q学习：根据采集到各光伏的无功偏差量对全局反馈奖励值进行评估以及优化修正，并更新Q值函数；步骤3，基于Q学习的微电网无功均分控制方法：根据最大奖励Q值对应动作控制分布式光伏输出电压幅值，将各光伏电压调节的值作为无功电压控制二次控制的补偿值，进而协调控制分布式光伏无功输出，实现含高比例光伏微网系统的无功均分，减少系统环流。

主权项：1.一种采用Q学习的高比例光伏微网无功均分控制方法，其特征在于，具体包括以下步骤：步骤1，构造基于Q学习的高比例光伏微电网无功控制模型：针对采用下垂控制的分布式光伏，定义Q学习重要变量状态集S、动作集A、奖励函数R的具体方法为:步骤1.1：定义状态集S；微网中各分布式光伏发出的无功功率视作环境状态；无功偏差ΔQreac划分为一系列的离散区间，{ΔQ1，ΔQ2，…，ΔQm}，其对应的环境状态集S为{s1，s2，…，sm}；每个PV的状态集表示为： Qavg＝QloadN式2式中：Qi,reac为PVi的无功输出值；Qavg为微电网稳定运行时平均无功；Qload为系统无功负荷；N为分布式光伏总数；步骤1.2：定义动作集A；动作集A含义是：使微网当下时刻的某状态s过转变到更佳状态s′的动作策略的集合；故每个PV的动作集A定义为：A＝{a1,a2,…,aL}＝{kqQ1,kqQ2,…,kqQL}式3式中：ajj＝kqQjj，jj∈{1,…,L}；下标L为动作数目；步骤1.3：定义奖励函数R；动作执行后的立即奖励值会直接影响Q值，而Q值大小可以直接体现所选动作执行效果的好坏；对于考虑电压不越限的无功均分问题，执行基于Q算法所选动作后，会产生两种差异显著的结果：一是系统仍存在未实现无功均分，说明Q学习还未完成，为此，将总无功偏差ΔQtotal对应的奖励值ri设置为负值；二是系统实现无功均分，对此，将ΔQtotal对应的奖励值置零；使用ΔQtotal定义奖励值，如式4所示： 式中：b1～b4、μ1～μ4为固定参数，且μ1μ2μ3μ4；ΔQtotal为全部PV的Qi,reac与微网均值Qavg间差的绝对值和； 动作a的全局奖励值由各DG奖励值累加所得；步骤2：采集各光伏无功偏差量，并作为状态变量对全局反馈奖励值进行评估以及优化修正，同时更新Q值函数，具体的Q学习过程如下；根据采集到各光伏的无功偏差量对全局反馈奖励值进行评估以及优化修正，并更新Q值函数；Q学习法作用于状态-动作对对应的值函数，用Qs,a表示该值函数，其含义是在状态s时采用动作a后所得累计奖励值，如式7所式： 式中：s为当前时刻环境状态；s′为动作后的新环境状态；a、a′为各自状态中采取的动作；γ表示折扣率，γ∈[0,1]，显然，γ＝0时，系统只考虑立即奖励；γ＝1时，长期奖励和立即奖励地位一样；通过在线学习获得上述的Q值；进入新状态后，得到奖励值反馈并更新Q值；其更新公式为式8： 式中：Qi为第i次迭代的Q值；a为学习因子，0a1；a较大，算法的收敛速度快，而a值较小，则能保证算法有一定的搜索空间，提升了算法收敛稳定性；a*＝argmaxQ*s,a式9在Q学习过程中，Q值不断进行更新一直到稳定收敛为最大Q*s,a为止；对于每个系统状态使用贪婪选择策略进行最优动作a*；步骤3，监测微网运行状态，当光伏无功不均分时，采用基于Q学习的微电网无功均分控制方法修正光伏无功分配，实现含高比例光伏微网下垂控制一次控制的无功均分，具体实现方法如下所示：一直对微网状态进行检测，当光伏无功功率不均分，则根据当前策略选出最优动作作用于所辖微网环境进行控制，再根据Q值最大对应的动作转变到新状态，并更新策略和下一步的动作；该Q学习过程如此反复，直到所辖区域内实现基于高比例光伏微网无功电压下垂控制下的无功均分效果的最佳化为止；改进后的本地无功电压控制器下垂公式，迭代过程如下： 式中：U0i为微网稳定工作PVi的初始电压幅值；Uki为PVi第k次迭代后得到的电压幅值；kq为电压下垂增益；Qi值直接决定无功电压关系线的整体下降幅度，其中动作kqQi是通过Q学习得到的；根据最大奖励Q值对应动作控制分布式光伏输出电压幅值，将各光伏电压调节的值作为无功电压控制二次控制的补偿值，进而协调控制分布式光伏无功输出，实现含高比例光伏微网下垂控制一次控制的无功均分。

全文数据：

权利要求：

百度查询： 国网浙江省电力有限公司嘉善县供电公司 嘉善恒兴电力建设有限公司 一种采用Q学习的高比例光伏微网无功均分控制方法