基于深度强化学习的城市配电网多级动态重构优化运行方法

王子晗，高红均，高艺文，卿竹雨，胡铭洋，刘俊勇

基于深度强化学习的城市配电网多级动态重构优化运行方法

王子晗1，高红均1，高艺文2，卿竹雨1，胡铭洋1，刘俊勇1

(1.四川大学电气工程学院，四川 成都 610065；2.国网四川省电力公司电力科学研究院，四川 成都 610041)

随着配电网分布式电源的大量接入以及城市区域负荷的快速发展，使得配电网运行环境愈发复杂。同时由于配电网重构涉及大量的开关状态二进制零散变量，现有优化方法很难求解大规模城市配电网重构问题。基于此，提出一种基于深度强化学习的城市配电网多级动态重构方法。首先，建立基于深度学习的配电网多级重构快速判断模型，通过该模型实现对重构级别在线决策，并对智能体动作空间进行降维。其次，使用含参数冻结和经验回放机制的深度Q网络对预测负荷、光伏能源输出功率等环境信息进行学习。以运行成本、电压偏移度以及负荷均衡度最优为目标，通过习得的策略集对配电网进行动态重构与运行优化。建立多智能体强化学习模型，对各个时段的不同重构主体进行联合优化。最后，通过算例分析验证了所提方法的有效性。

城市配电网；配电网重构；机器学习；深度Q网络

0 引言

高渗透率分布式电源的接入以及城市区域不平衡负荷的快速发展，导致城市配电网(urban distribution network, UDN)净负荷时空分布极不均衡，对配电网安全经济运行提出了新的挑战。配电网重构作为配电网主动管理措施之一，通过改变联络开关与分段开关的通断状态来调整网络结构，以达到减小网损、平衡负荷、消除线路过载和提高清洁能源消纳的目的[1-5]。然而，传统优化方法依赖于显式模型、预测技术以及优化求解器，求解耗时较长并且难以实现在线决策，同时风电光伏等分布式电源大量接入所带来的不确定性也提高了求解难度。因此，面对日趋复杂的电网环境，如何选择UDN重构策略、如何实现重构级别的在线决策、如何处理分布式电源(distributed generation, DG)的不确定性，已成为新型电力系统背景下亟待探讨和研究的重要问题。

目前，已有较多国内外学者针对高比例清洁能源渗透下的城市配电网重构进行了研究[6-8]。文献[9]提出了一个新的指标来衡量系统中每条母线的电压波动性，降低了由DG引起的配电网电压波动。文献[10]基于新能源高渗透率接入电网背景，提出了考虑需求侧响应和智能软开关的配电网重构策略，通过大M法和二阶锥松弛对模型进行转化，提高了配电系统的新能源消纳能力。文献[11]考虑可再生能源的出力不确定性，提出了一种配电网动态重构与移动储能协同优化方法。文献[12]综合考虑分布式电源出力和电动汽车充电负荷的不确定性，提出了一种基于区间数方法的配电网动态重构策略。文献[13]建立综合考虑网络损耗、重构成本、电压指标和弃电率等因素的多目标协同优化模型，并进行分布式电源调控与配电网动态重构求解。文献[14]综合考虑风力和光伏2种不同类型的DG，提出了随时段变化的配电网动态重构模型，并用遗传算法对其进行优化。文献[15]针对全局动态重构可能产生大规模潮流转移和非理想递进效益的问题，考虑UDN的自然分层特性，提出融入配电网重构级别快速识别的两阶段优化运行策略。然而，配电网重构优化模型需要同时考虑离散变量与连续变量，且包含线性约束与非线性约束，上述方法的求解过程会耗费大量的计算资源，或者陷入局部最优，甚至可能遇到“维数灾难”使结果无法收敛。此外，DG的出力不确定性也极大地提高了求解难度。而深度强化学习(deep reinforcement learning, DRL)兼具深度学习的信息表征能力和强化学习对序列决策的优化能力，是求解复杂配电网重构与优化运行问题的一种新的方法。

在配电网重构领域，现有的求解方法主要包括传统优化算法[16-17]、启发式算法[18-19]和元启发式算法[20-23]三类。传统优化算法如单纯形法、分支定界法等，虽然能找到全局最优解，但应用于大规模系统其布尔变量过多易产生维数灾难，形成NP难问题，可能难以收敛。启发式算法如支路交换法、最优流求解法等，计算速度较慢、全局搜索困难，难以适应具有混合变量与大量非线性约束的配电网重构决策。元启发式算法如粒子群算法、模拟退火算法等，求解过程简单，但容易陷入局部最优。动态重构问题是一个非线性非凸问题，采用传统优化算法和启发式算法具有较大局限性。而深度强化学习方法不依赖于显式模型的建立，通过智能体与实际或模拟的环境多次交互来获得求解特定问题的优势策略，具有近似描述各种复杂问题的解的能力。深度强化学习中神经网络的泛化能力，使得该方法不需要每次重新训练就能对相似的运行状态执行在线决策[24-25]；同时深度强化学习可以通过状态转移函数模拟分布式电源出力的不确定性，若智能体在多轮训练后稳定地达到收敛结果，那么此时的深度强化学习就具有较好的鲁棒性。

综上，本文考虑城市配电网净负荷时空灵活性需求及多类型联络开关调节能力差异性，重点研究基于机器学习的重构级别快速判断与运行优化策略。首先，对配电网历史运行数据进行有效扩充，提高样本库丰富度，同时基于重构级别评估双层模型理论[15]为神经网络多标签分类拟合模型提供标签，实现对配电网重构级别的快速决策，并对接下来强化学习动作空间进行降维。其次，对重构级别判断后的配电网，以经济运行成本、电压偏移度以及负荷均衡度最优为目标，考虑配网结构辐射性、潮流等约束，建立含参数冻结与经验回放机制的单智能体强化学习模型。最后，依据24 h重构级别判断结果，对每个时段配电网重构优化主体进行划分，建立多智能体强化学习模型，并对其进行联合优化。

1  配电网多级重构概述

配电网具有自然分层特性，包含馈线层、变压器层和变电站层[15]，有馈线联络开关(feeder tie switch, FS)、变压器联络开关(transformer tie switch, TS)、变电站联络开关(substation tie switch, SS)与分段开关(sectionalizing switch, BS)。通过限制不同类型联络开关的通断状态，可以实现配电网馈线级重构、变压器级重构和变电站级重构。馈线级重构只改变馈线联络开关的通断状态，潮流在单一变压器范围内转移；变压器级重构同时考虑改变馈线联络开关和变压器联络开关的通断状态，涉及单一变电站内的潮流转移。而变电站级重构则涉及所有类型的联络开关，潮流在多个变电站间进行转移。可见，馈线级、变压器级和变电站级重构的潮流分布调节范围逐渐扩大，重构主体从单一变压器拓展到多变电站，从局部自治转变到大范围协调。配电网多级重构潮流转移示意图如图1所示。

图1 配电网多级重构潮流转移

假设当前配电网的净负荷时空分布不均，馈线S1T12的负荷并不能完全消纳其光伏节点出力，弃光现象严重。为了避免全局重构可能造成的大范围潮流转移，首先尝试进行馈线级重构，将区域①内FS1左侧负荷转移至S1T12以继续消纳光伏出力。当仅靠馈线级重构无法解决弃光问题时，则需要进行变压器级重构，继续转入区域②TS1右侧负荷。若S1T21无法承受转出的净负荷，则需要扩大重构范围，进行变电站级重构，将区域③SS1右侧负荷转移至S1T12以共同消纳S1T12的光伏电源出力。故当UDN净负荷分布不均衡时，可以根据UDN的具体拓扑结构选择适当的重构级别以平衡净负荷。同时每个重构级别的潮流转移能力与UDN的具体拓扑结构、光伏出力与负荷特性有关，高等级重构带来的效益不总是大幅度优于低等级重构，所以应采用优先局部自治的重构策略来满足配电灵活性需求。

2 基于深度学习的重构级别快速判断模型

2.1 样本生成

神经网络具备强大的非线性拟合能力，当假设空间足够大，训练数据足够多时，能够将任意输入映射到任意输出。但由于神经网络的训练需要大量样本，电力系统运行又往往是高可靠性的，使得仅靠历史运行数据难以涵盖所有重构级别，无法实现对于神经网络的良好训练，故需要对训练样本扩充，具体方法如下所述。

1) 以历史运行数据为基准，对所有历史负荷与光伏节点数据加上正态分布噪声，最大程度上模拟城市配电网运行时可能面临的波动情况；

2) 在大量生成运行样本后，根据文献[15]的方法，对运行样本进行重构级别判断，并为对应数据打上标签；

3) 因为越高级别的配电网重构面临的配电网运行环境越严苛，导致高级别配电网重构数据较少，故需要对变压器级与变电站级重构数据进行过采样处理，均衡每种重构级别数据数量，提升神经网络的泛化能力。

2.2 重构级别快速判断算法基本模型

图2 基于深度学习的配电网重构级别快速判断图

本文使用二值交叉熵作为损失函数，用于神经网络多标签分类训练任务。其表达式为

2.3 多级重构约束

配电网的重构等级判定有耦合约束。

3  基于深度强化学习的配电网重构模型

强化学习作为机器学习领域另一个研究热点，已经广泛应用于交互控制和动态博弈等专业领域。强化学习通过最大化智能体从环境交互中获得的累计奖励，以不断探索的方式学习到实现奖励最大化的最优策略。强化学习探索过程可以用马尔科夫决策过程(Markov decision process, MDP)进行简化建模。MDP一般由一个四元组(,,,p)定义。

图3 马尔可夫决策过程

强化学习中的Q学习是基于价值的算法，不依赖于环境模型的搭建。Q学习通过状态动作价值函数，将一次迭代过程中记录的环境s与动作a代入式(6)中进行学习[26]。

但随着状态变量的增加，Q学习算法的状态空间会呈指数级增长，形成维数灾难。针对这个问题，文献[27]将深度神经网络与Q学习算法相结合，使用神经网络对状态价值函数进行拟合，即深度Q网络(deep q network, DQN)。

DQN通过神经网络对Q函数进行拟合，有效地解决了传统Q学习随着状态变量增加，数据库成指数级增长的问题。

3.1 DQN结构

为了提升神经网络的泛化能力，需要对智能体引入经验回放机制和冻结参数机制，智能体训练流程如图4所示。

每个智能体具有两个神经网络，首先通过现实网络与配电网环境不断交互，将结果储存于经验池中。再从经验池中随机抽样进行Q值预测，并与估计网络的估计Q值比较，然后进行误差的反向传递，最后在一定时间步长后将自身参数复制给估计网络。这种方式能够有效降低样本间的相关性，提升DQN的收敛速度。

图4 智能体训练流程图

3.2 状态空间

与2.2节同理，选取每个时刻配电网中各节点功率、电流作为特征，构建配网系统的环境状态集合。

3.3 动作空间

智能体基于2.1节的重构级别快速判断模型获得重构级别结果后，根据式(9)—式(11)可以决定重构的连接开关集合。

智能体再结合之前观测到环境的状态信息，根据动作价值与自身策略集，在动作空间中选择一个动作。

但DQN依赖于动作价值函数来执行策略，无法处理连续的动作，所以需要对可削减负荷、光伏的出力进行离散化处理，离散化后的动作空间更正为

式中：表示离散化粒度，粒度越大动作空间内功率的离散程度越高。

3.4 状态转移函数

3.5 奖励函数

为了提高配电网重构后的经济性与安全性，本文深度强化学习的奖励函数综合考虑了3个目标。

1) 经济运行成本

运行成本包括网损成本、弃光惩罚成本、倒闸成本和切负荷成本。

2) 电压偏移指数

3) 负荷均衡度

由上述3个优化目标可定义强化学习的奖励函数为

3.6 多智能体强化学习模型

本文在2.2节提出了基于神经网络的重构级别快速判断方法，对DQN的动作空间进行降维处理，但由于不同重构级别优化主体不同，导致智能体动作空间发生改变，无法使用同一个智能体进行优化。故本节提出一种多智能体深度强化学习(multi-agent deep reinforcement learning, MADRL)的联合优化模型，具体结构如图5所示。

图5 多智能体深度强化学习结构图

首先通过2.1节方法确定24时段的优化主体，对不同时段不同优化主体分配不同智能体；对于不同时段的同一个优化主体分配相同智能体；当前时段智能体执行动作决策所改变的配电网结构，配合状态转移函数，组成下一时段的智能体状态空间。

3.7 约束条件

1) 潮流约束

2) 安全运行约束

3) 结构约束

为了使配电网重构后仍然保持为辐射性结构，还需要添加约束。

4  算例分析

为验证本文所提方法的有效性，算例采用修改后的实际145节点系统，模拟环境为Python3.8.3，重构级别快速判断模型与DRL多智能体所用神经网络均使用Keras库搭建，CPU为英特尔 i5-10400，GPU为NVDIA 1050Ti，内存为 8 G DDR4。具体的配电网结构如图6所示，该UDN由2个变电站、4台变压器与8条馈线组成。变电站1有2台变压器T1、T2；T1低压侧连接2条馈线S1T11、S1T12；T2低压侧连接两条馈线S1T21、S1T22。变电站2有2台变压器T3、T4；T3低压侧连接2条馈线S2T11、S2T12；T4低压侧连接2条馈线S2T21、S2T22。SS、TS、FS、BS的数量分别为2、4、6、10。光伏与可控负荷节点信息见表1。弃光、网损成本均设为500美元/MWh。

表1 PV及CL节点信息

4.1 神经网络结构

重构级别快速判断模型与DRL多智能体所用神经网络结构如表2所示。

图6 145节点系统

表2 神经网络结构

级别判断神经网络由输入层、两层隐藏层及输出层组成，神经元个数分别为154、32、32、8个，其中隐藏层均使用全连接层。为了提高拟合能力，重构级别判断神经网络设置的Relu函数为隐藏层激活函数，sigmoid函数设置为输出层激活函数，将输出限制在(0,1)内。由于DQN智能体输出层神经元较多，为了提高拟合能力，故设置三层隐藏层增大假设空间。智能体分配数量由4.2节结果确定，设置4个智能体。

4.2 结果分析

1) 数据准备

首先以2.1节方法为145节点系统生成10 000组节点数据和与之相对应的重构级别判断数据。在该数据集中共出现5种重构情况，具体情况如表3所示。

表3 数据集分布情况

从表3可以看出，在该数据集中，重构范围越大，重构等级越高的数据占比越小，这是因为城市配电网所面临的净负荷时空分布不均的情况通常是局部的。由于城市配电网进行变压器级或变电站级重构时所面临的情况越极端，变压器级重构在该数据集中的占比越小，该数据集中并没有出现需要进行变电站级重构的情况。

同时从表3可知，配电网仅需要S1T1进行馈线级重构的情况出现了6765次，而变电站级重构在10 000组数据中仅出现了18次，如果直接在该不平衡数据集上进行模型训练会导致模型的泛化能力降低，影响预测准确度。所以需要对前者进行欠采样处理，对后者进行过采样处理以平衡数据集，平衡后的数据个数依然控制在10 000组。本文所采用的过采样处理为以每组节点数据的原负荷、光伏出力为基线，在其基础上加上微小的正态分布噪声。

2) 重构级别快速判断模型性能分析

将重新平衡后的数据集进行划分，随机选取其中9000份作为训练集，其中1000份作为验证集，随后进行模型训练，神经网络的训练结果如图7所示。

图7 神经网络训练结果

由图7可见，验证集中神经网络损失函数值不断下降，在15轮次后接近最小值并逐渐收敛，没有出现过拟合现象，且预测准确度在99%～100%之间，表明神经网络已经拟合了基于数学规划方法的重构级别快速判断模型，实现了对配电网重构级别的准确判断。

两种方法所需的求解时间如表4所示，可见基于本文方法的重构级别判断模型在求解时间上具有明显优势，能够实现配电网重构级别的快速决策。

表4 不同方法所需时间对比

3) 24时段重构级别评估结果分析

从数据集中选取24条数据，使用本文模型进行24 h重构级别判断，对选取的配电网运行数据进行24 h重构级别判断，判断结果如图8所示。

图8 24时段重构级别判断结果

由图8可知，变电站1馈线1在5—14时段均需要进行馈线级重构。变电站2在9、10时段需要进行变压器级重构。全时段S1、S2均不需要变电站级重构，是因为更高层级重构所带来的递进效益太小或依然难以为无法消纳的光伏提供传输通道，故考虑为低层级重构。

4) 多智能体联合强化学习模型有效性分析

基于24时段重构级别评估结果，存在4种重构情况，故使用4个智能体进行重构与运行优化，其超参数如表5所示，各智能体拟合准确度如图9所示。

表5 超参数设置

由图9可知，智能体1、2的拟合准确曲线振荡程度逐渐减小并趋于稳定，可知4个智能体存在合作关系，并且随着训练轮次的增多拟合准确度逐渐趋于稳定并达到最高值。当每个智能体的神经网络训练参数均保持稳定且不再波动后，可认为每个智能体已经完成协同优化训练，此时的策略是全局优化的结果。

图9 各智能体拟合准确度

5) 优化结果分析

从图10可以看出，对于本文所提出的针对大规模城市配电网动态多级重构的多智能体强化学习模型，平均奖励值在训练15 000轮次后就达到了最大值附近，而奖励值振荡的原因是联合智能体探索值的设定在不断尝试新的选择，避免陷入局部最优。从奖励走势可以看出，优化效果在不断提升，并趋于稳定，验证了本文联合优化模型的有效性。

图10 多智能体联合训练结果

将训练完成后的模型探索值设置为0，直接进行24时段最高价值动作输出，忽略奖励函数中的各个系数，分别累计奖励函数中的各个指标并取负值，同时使用奖励函数计算优化前的数据，优化对比结果如表6所示。需要说明的是，由于优化前的运行成本中并不包括弃光惩罚成本，配电网未能消纳的光伏发电量反映在支路越限电量中，支路越限电量表示当前支路越限的功率乘以优化时间间隔。

表6 优化结果对比

从表6可以看出，奖励函数中的各个指标均得到优化。重构后的运行成本降低了325.5美元，电压均衡度改善了90.8%，负荷均衡度改善了0.8%，越限的潮流电量减少了64.78 MWh。对配电网进行了重构与优化运行后，在部分光伏电源越限出力转移到运行成本中的弃光惩罚成本的情况下，仍有效减少了其运行成本。同时电压均衡度大幅优化，负荷均衡度改善程度较小，这是因为改变配电网的拓扑结构能够将重载的馈线负荷转移到轻载或光伏出力较大的馈线，改善其净负荷分布情况，而由于该配电网本身结构特点，负荷均衡度改善空间较小。支路越限功率虽然大幅减小但并未完全消失，原因有两点：一是光伏电源分布特点与配电网拓扑结构的限制；二是强化学习本身模型的限制，本文在DQN动作空间中对弃光量进行了离散化，使得优化精度降低，同时强化学习与数学优化方法不同，支路功率约束只能以惩罚的形式添加到奖励函数中，但惩罚系数过大会降低其他指标灵敏度，导致收敛速度减慢，惩罚系数太小又起不到约束的作用，综合以上因素，故最后仍有小部分支路功率越限，但仍在可接受范围内。

5  结论

本文提出基于深度强化学习的城市配电网多级动态重构优化运行方法，建立了重构级别快速判断模型与多智能体深度强化学习模型，实现了对重构级别与优化运行的实时决策。首先通过建立基于神经网络的重构级别快速判断模型实现了重构级别的在线决策，为调度人员提供实时参考，同时通过划分优化主体，解决了传统DRL单智能体优化多个主体时动作空间呈指数级增长的问题；其次通过状态转移函数模拟光伏的不确定性，经过大量训练实现了训练准确度的收敛，解决了含不确定性问题求解难的问题；最后建立多智能体联合求解模型，完成了考虑不确定性的24时段配电网多级动态重构问题的求解，该模型在配电网相似运行状态下不需要重复求解。算例验证了本文所提模型的有效性。

[1] 徐俊俊, 吴在军, 周力, 等. 考虑分布式电源不确定性的配电网鲁棒动态重构[J]. 中国电机工程学报, 2018, 38(16): 4715-4725, 4976.

XU Junjun, WU Zaijun, ZHOU Li, et al. Robust dynamic reconfiguration for distribution networks considering uncertainty of distributed generations[J]. Proceedings of the CSEE, 2018, 38(16): 4715-4725, 4976.

[2] 张旭, 么莉, 陈晨, 等. 交直流混合配电网网络重构与无功优化协同的两阶段鲁棒优化模型[J]. 电网技术, 2022, 46(3): 1149-1159.

ZHANG Xu, YAO Li, CHEN Chen, et al. A novel two-stage robust model for co-optimization of reconfiguration and reactive power in AC/DC hybrid distribution network[J]. Power System Technology, 2022, 46(3): 1149-1159.

[3] AHMADI S A, VAHIDINASAB V, GHAZIZADEH M S, et al. Co-optimising distribution network adequacy and security by simultaneous utilisation of network reconfiguration and distributed energy resources[J]. IET Generation, Transmission & Distribution, 2019, 13(20): 4747-4755.

[4] 倪识远, 张林垚. 考虑动态重构的主动配电网多目标双层优化调度方法[J]. 电力系统保护与控制, 2020, 48(20): 38-47.

NI Shiyuan, ZHANG Linyao. Multi-objective bi-level optimal dispatch method of an active distribution network considering dynamic reconfigurations[J]. Power System Protection and Control, 2020, 48(20): 38-47.

[5] TAHBOUB A M, PANDI V R, ZEINELDIN H H. Distribution system reconfiguration for annual energy loss reduction considering variable distributed generation profiles[J]. IEEE Transactions on Power Delivery, 2015, 30(4): 1677-1685.

[6] 周贤正, 郭创新, 董树锋, 等. 考虑配电网重构的城市多能源配电/气/热网扩展规划[J]. 电力系统自动化, 2019, 43(7): 23-33.

ZHOU Xianzheng, GUO Chuangxin, DONG Shufeng, et al. Expansion planning of urban multi-energy electricity- gas-heating distribution network incorporating electrical reconfiguration[J]. Automation of Electric Power Systems, 2019, 43(7): 23-33.

[7] 李洪美, 崔翰韬, 万秋兰. 考虑电动汽车充电策略的配网重构二阶锥规划模型[J]. 中国电机工程学报, 2015, 35(18): 4674-4681.

LI Hongmei, CUI Hantao, WAN Qiulan. Distribution network reconfiguration based on Second-order conic programming considering EV charging strategy[J]. Proceedings of the CSEE, 2015, 35(18): 4674-4681.

[8] JAIN T, GHOSH D, MOHANTA D K. Augmentation of situational awareness by fault passage indicators in distribution network incorporating network reconfiguration[J]. Protection and Control of Modern Power Systems, 2019, 4(1): 1-14.

[9] SONG Y, ZHENG Y, LIU T, et al. A new formulation of distribution network reconfiguration for reducing the voltage volatility induced by distributed generation[J]. IEEE Transactions on Power Systems, 2020, 35(1): 469-507.

[10] 章博, 刘晟源, 林振智, 等. 高比例新能源下考虑需求侧响应和智能软开关的配电网重构[J]. 电力系统自动化, 2021, 45(8): 86-94.

ZHANG Bo, LIU Shengyuan, LIN Zhenzhi, et al. Distribution network reconfiguration with high penetration of renewable energy considering demand response and soft open point[J]. Automation of Electric Power Systems, 2021, 45(8): 86-94.

[11] 孙伟卿, 刘唯, 张婕. 高比例可再生能源背景下配电网动态重构与移动储能协同优化[J]. 电力系统自动化, 2021, 45(19): 80-90.

SUN Weiqing, LIU Wei, ZHANG Jie. Collaborative optimization for dynamic reconfiguration of distribution network and mobile energy storage in background of high proportion of renewable energy[J]. Automation of Electric Power Systems, 2021, 45(19): 80-90.

[12] 李扬, 韦钢, 马钰, 等. 含电动汽车和分布式电源的主动配电网动态重构[J]. 电力系统自动化, 2018, 42(5): 102-110.

LI Yang, WEI Gang, MA Yu, et al. Dynamic reconfiguration of active distribution network considering electric vehicles and distributed generations[J]. Automation of Electric Power Systems, 2018, 42(5): 102-110.

[13] 瞿合祚, 李晓明, 杨玲君, 等. 考虑负荷和分布式电源时变性的配电网多目标动态重构和DG调度[J]. 高电压技术, 2019, 45(3): 873-881.

QU Hezuo, LI Xiaoming, YANG Lingjun, et al. Multi-objective distribution network dynamic reconfiguration and DG control considering time variation of load and DG[J]. High Voltage Engineering, 2019, 45(3): 873-881.

[14] 易海川, 张彼德, 王海颖, 等. 提高DG接纳能力的配电网动态重构方法[J]. 电网技术, 2016, 40(5): 1431-1436.

YI Haichuan, ZHANG Bide, WANG Haiying, et al. Distribution network dynamic reconfiguration method for improving distribution network's ability of accepting DG[J]. Power System Technology, 2016, 40(5): 1431-1436.

[15] 马望, 高红均, 杨艳红, 等. 融入重构级别快速识别的配电网两阶段优化运行[J/OL]. 中国电机工程学报: 1-16 [2021-12-26]. DOI: 10.13334/j.0258-8013.pcsee.210353.

MA Wang, GAO Hongjun, YANG Yanhong, et al. Two- stage optimal operation for distribution network based on fast identification of reconfiguration level[J]. Proceedings of the CSEE: 1-16[2021-12-26]. DOI: 10.13334/j.0258- 8013.pcsee.210353.

[16] AHMADI H, MARTÍ J R. Distribution system optimization based on a linear power-flow formulation[J]. IEEE Transactions on Power Delivery, 2015, 30(1): 25-33.

[17] KHODR H M, MARTINEZ-CRESPO J, MATOS M A, et al. Distribution systems reconfiguration based on OPF using benders decomposition[J]. IEEE Transactions on Power Delivery, 2009, 24(4): 2166-2176.

[18] CIVANLAR S, GRAINGER J J, YIN H, et al. Distribution feeder reconfiguration for loss reduction[J]. IEEE Transactions on Power Delivery, 1988, 3(3): 1217-1223.

[19] BARAN M E, WU F F. Network reconfiguration in distribution systems for loss reduction and load balancing[J]. IEEE Transactions on Power Delivery, 1989, 4(2): 1401-1417.

[20] 田昊, 吕林, 高红均, 等. 计及电网运行特性的配电网动态重构[J]. 电力系统保护与控制, 2015, 43(1): 9-14.

TIAN Hao, LÜ Lin, GAO Hongjun, et al. Dynamic reconfiguration of distribution network considering power grid operation characteristic[J]. Power System Protection and Control, 2015, 43(1): 9-14.

[21] 王艺, 王宾, 刘阳, 等. 计及分布式电源动态行为的配电网重构优化策略[J]. 电力系统保护与控制, 2020, 48(24): 164-172.

WANG Yi, WANG Bin, LIU Yang, et al. Optimization strategy for distribution network reconfiguration considering the dynamic behavior of DGs[J]. Power System Protection and Control, 2020, 48(24): 164-172.

[22] 徐泽, 杨伟, 张文强, 等. 基于连锁环网与改进离散粒子群算法的多目标配电网重构[J]. 电力系统保护与控制, 2021, 49(6): 114-123.

XU Ze, YANG Wei, ZHANG Wenqiang, et al. Multi- objective distribution network reconfiguration based on chain loops and improved binary particle swarm optimization[J]. Power System Protection and Control, 2021, 49(6): 114-123.

[23] 王瑞峰, 王庆荣. 基于改进双层聚类多目标优化的配电网动态重构[J]. 电力系统保护与控制, 2019, 47(21): 92-99.

WANG Ruifeng, WANG Qingrong. Multi-objective optimization of dynamic reconfiguration of distribution network based on improved Bilayer clustering[J]. Power System Protection and Control, 2019, 47(21): 92-99.

[24] 张自东, 邱才明, 张东霞, 等. 基于深度强化学习的微电网复合储能协调控制方法[J]. 电网技术, 2019, 43(6): 1914-1921.

ZHANG Zidong, QIU Caiming, ZHANG Dongxia, et al. A coordinated control method for hybrid energy storage system in microgrid based on deep reinforcement learning[J]. Power System Technology, 2019, 43(6): 1914-1921.

[25] 刘俊峰, 陈剑龙, 王晓生, 等. 基于深度强化学习的微能源网能量管理与优化策略研究[J]. 电网技术, 2020, 44(10): 3794-3803.

LIU Junfeng, CHEN Jianlong, WANG Xiaosheng, et al. Energy management and optimization of multi-energy grid based on deep reinforcement learning[J]. Power System Technology, 2020, 44(10): 3794-3803.

[26] WATKINS C. Learning from delayed rewards[D]. Cambridge: University of Cambridge, 1989.

[27] MNIH V, KAVUKCUOGLU K, SILVER D, et al. Playing Atari with deep reinforcement learning[J]. Computer Science, 2013.

Multi-level dynamic reconfiguration and operation optimization method for an urban distribution network based on deep reinforcement learning

WANG Zihan1, GAO Hongjun1, GAO Yiwen2, QING Zhuyu1, HU Mingyang1, LIU Junyong1

(1. College of Electrical Engineering, Sichuan University, Chengdu 610065, China; 2. Electric Power Research Institute,State Grid Sichuan Electric Power Company, Chengdu 610041, China)

With the large amount of distributed generation in the distribution network and the rapid development of urban regional loads, the operating environment of a distribution network has become increasingly complicated. At the same time, because the distribution network reconfiguration involves a large number of binary discrete variables of switch states, it is difficult for existing optimization methods to solve the large-scale urban distribution network reconfiguration problem. Thus a multi-level dynamic reconstruction method for an urban distribution network, one based on deep reinforcement learning, is proposed. First, a fast judgment model for multi-level reconstruction of the network based on deep learning is established, through which the online decision-making of the reconstruction level is realized, and the dimensionality of the action space of the agent is reduced.Second, a deep Q-network with parameter freezing and experience playback mechanisms is used to learn environmental information such as predicted load and photovoltaic energy output power. Then, with the objective of optimal operation cost, voltage offset and load balance degrees, the distribution network is dynamically reconfigured and operationally optimized via a learned strategy set. A multi-agent reinforcement learning model is established to jointly optimize different reconstruction subjects in each period. Finally, the effectiveness of the proposed method is verified by an example analysis.

urban distribution network; distribution network reconfiguration; machine learning; deep Q network

10.19783/j.cnki.pspc.220313

国家自然科学基金项目资助(52077146)

This work is supported by the National Natural Science Foundation of China (No. 52077146).

2022-03-11；

2022-05-26

王子晗(1997—)，男，硕士，研究方向为电力系统优化调度；E-mail: 616795691@qq.com

高红均(1989—)，男，通信作者，博士，副教授，博士生导师，研究方向为配电网规划运行、综合能源系统优化与市场交易等。E-mail: gaohongjun@scu.edu.cn

(编辑 许 威)