基于深度强化学习的孤岛微电网故障区域判定

朱愉田，李华强

(四川大学电气工程学院，四川 成都 610065)

1 引言

随着电力负荷的急速增长，能源短缺和环境污染等问题的越来越严重，越来越多的国家和地区开始关注微电网的发展，微电网已成为电力系统发展的主流趋势。孤岛运行模式就是微电网与大电网断开连接，微电网中的分布式电源单独完成给负荷提供稳定可靠电力的工作。当孤岛微电网中某一条线路发生故障时，会给下级使用设备或单位，带来极大的安全隐患。孤岛运行模式时产生的孤岛效应会给微电网的运行和管理带来的一些不利影响，没有计划的孤岛模式不但会对用电用户的生产生活带来严重的危害，也会对电网运行的工作人员的人身安全带来威胁。

常见的微电网故障包括内部故障和外部故障，分别发生在微电网内部和连接大电网与微电网的联络线上[1]。因此传统方法以文献[2]的研究内容为依据，利用特征余弦差分诊断微电网故障大致范围。此次研究在传统方法基础上，引入深度强化学习方法，根据约束条件，预先提取孤岛微电网的故障特征；基于深度强化学习方法，深度跟踪电网故障信息；通过三端行波测距法，判定孤岛微电网故障区域，通过该方法的跟踪性能，优化传统方法，为微电网的使用安全，提供可靠的技术支持。

2 基于深度强化学习的孤岛微电网故障区域判定

2.1 提取孤岛微电网的故障特征

传统方法根据单个逆变型分布式电源的输出特性，研究孤岛微电网中，只含有一个逆变型分布式电源时的故障问题。此次研究在传统方法的基础上，对于含有PQ控制模式、VF控制模式的逆变型分布式电源，进行稳态响应特征提取。已知当孤岛微电网发生故障时，微电网的序网络图结构，与PQ和VF控制模式的逆变型分布式电源的接入位置有关。当PQ和VF控制模式下的电源接于同一母线时，电网可能出现三相对称故障，此时正序网络中的故障点正序电压相量Gk1=0，因为VF电源对输出端电压有支持作用，因此VF电源工作在恒压区，PQ电源工作在恒功率区，此时存在约束条件：

(1)

式中：G1表示故障点的正序电压相量；Gref表示电压设定值；IPQ表示PQ电源的输出正序电流；IoPQ表示PQ电源的极限输出电流值；IVF表示VF电源的输出正序电流；IoVF表示VF电源的极限输出电流值；SPQ表示PQ电源的输出复功率；Sref表示电源设定值[3]。当VF电源工作在恒电流区，PQ电源工作在恒功率区时，此时的约束条件为

(2)

式中：Smax表示电源极限容量。当两种控制模式下的电源，均进入到恒流区内时，电源输出同时达到最大电流限制，此时的约束条件为

(3)

式中：S2表示两个电源的容量。求解上述三组约束条件，得到得到孤岛微电网三相对称故障响应特征[4]。

2.2 基于深度强化学习跟踪故障信息

根据故障响应特征，利用深度强化学习跟踪故障信息。深度强化学习将特征目标跟踪任务，转换为一个序列决策的问题，因此离线训练卷积神经网络，然后将目标的最终位置，作为当前追踪目标的初始位置，利用卷积神经网络预测一系列故障响应，通过移动代表目标状态的矩形框，追踪不断变化的故障响应特征。但目标跟踪具有特殊性，因此利用马尔科夫决策过程，对跟踪过程进行建模。假设一个马尔科夫决策过程中，包括变化形式z∈Z、变化状态q∈Q以及状态转移函数q′。在目标跟踪过程中，状态qt通过向量ut代表的区域块pt跟踪故障信息。当下一个分析数据出现时，根据目标的最终位置，得到一个适合网络尺寸的判定区域块pt，将pt为当前目标的初始状态，输入到卷积神经网络中[5]。在第n个孤岛微电网区域中，第t次迭代的区域块被定义为如下形式

pt=φ(ut，n)

(4)

式中：φ表示预处理函数。通过上述公式实现对微电网数据状态的跟踪。然后跟踪数据变化形式。在该过程中，数据变化形式包括四个方向的平移以及停止。因此以其变化形式为依据，当卷积神经网络根据输入的状态qt预测变化形式zt时，产生一个新的状态qt+1，而该状态利用转移函数获得。因此重新定义状态转移函数，此时存在qt+1=hp(ut，zt)，表示当前数据状态ut，通过相应变化形式zt，产生了新的故障位置区域，也就是qt+1。则这些故障响应特征的增量被定义为

(5)

式中：Δx(t)与Δy(t)表示新故障数据的位置坐标增量；w表示水平活动距离；h表示垂直活动距离；γ表示深度强化学习跟踪参数。当zt停止动作时，结束对当前故障数据的跟踪[6]。

2.3 三端行波测距法判定故障区域

当孤岛微电网内部线路发生故障时，故障点F处的电压发生突变，因此故障点向线路两端传输暂态电流、电压行波。因此依据电流行波原理，根据故障数据跟踪结果，对微电网内部故障区域进行判断。图1为初始行波在母线处的折反射示意图。

图1 初始行波在母线处的折反射

图中iin、ia、ib分别表示入射波、折射波及反射波；R1、R2分别表示入射波和折射波的阻抗值[7]。其中电流折射系数和反射系数，可以通过下列公式计算获得

(6)

公式中：a与b分别表示所求的两个系数。当孤岛微电网发生内部故障时，故障处的电流行波可通过下列公式进行描述

(7)

根据上述两组公式可知，母线处的接线方式，影响行波在母线处的折射和反射。因此行波测距根据波速恒定、折射、反射数据为依据，根据故障跟踪结果判定电网故障区域。

图2为三端行波测距法的判定示意图[8]。

图2 三端行波测距法故障区域判定

同样利用F表示跟踪得到的故障位置；L1和L2分别表示故障线路、非故障线路的直线距离。在L1母线端设置行波检测装置，设置该装置为测量端A；在L1对端设置测量端B；同时L2母线端设置行波检测装置，为测量端C；r1、r2则表示故障点F到测量端A和B的直线距离[9]。假设行波传输速度σ恒定，则存在下列条件：

(8)

式中：t0表示故障发生好刻；t1、t2、t3分别表示故障电流行波，到达测量端A、B和C的初始时间；L′1、L′2分别表示故障线路和非故障线路的实际长度；r′1、r′2分别表示故障点到测量端A、B的实际距离。假设追踪过程中，每条线路的参数均一致，因此假设线路的弧垂系数为μ，则根据式(8)得到

(9)

因此整合上述计算结果，得到故障点F到故障线路母线端的距离，计算结果为

(10)

利用上述计算过程，得到故障点到故障线路母线端的距离，根据该距离，确定孤岛微电网故障节点所在的区域[10]。至此在深度强化学习的辅助下，实现孤岛微电网故障区域判定。

3 仿真研究

3.1 深度强化学习效果分析

利用IEEE 39节点系统和BPA仿真数据，搭建一个仿真测试环境。在样本数据仿真过程中，令34条支路发生三相短路故障，最终得到650个测试样本。此次提出的故障区域判定方法，利用深度强化学习方法跟踪电网故障响应特征，下图3是深度强化学习应用下，对某一支路三相短路故障的网络训练结果。

图3 深度强化学习网络训练效果

此次测试分别存储200、400、600、800以及1000次的网络训练参数，然后将信息输入到Q-Learning网络环境中，计算Q值。根据图中的测试结果可知，随着训练次数的不断增加，Q值不断趋近回报值曲线，所得的网络训练结果，与回报值曲线的变化趋势保持一致。然后测试此次研究方法在故障区域判定过程中，获得的端A、B、C的暂态电流行波信号，如下图4所示。

图4 测量端暂态电流行波信号瞬时频率谱分析

根据图4(a)可知，频率突变发生在第14个采样点处，因此第14个采样点对应的时间，就是暂态电流行波初次到达测量端A的时间。根据图4(b)可知，测量端B的频率首次突变，发生在第33个采样点处；根据图4(c)可知，测量端C的频率首次突变，发生在第69个采样点处。因此第33个采样点处、第69个采样点处的时间，就是暂态电流行波初次到达测量端B、测量端C的时间。

3.2 故障区域判定效果测试

假设此次提出的故障区域判定方法为实验组，两种传统判定方法为对照组，将精确度一次评估准则OPE作为衡量标准，评价不同方法下的故障区间判定精度，结果如下图5所示。

图5 基于整体性能的精确度曲线

根据图中的曲线变化趋势可知，文中方法的精确度曲线，无论在何种条件下，均处于领先位置。而两个传统方法的精确度曲线，面对整体性能时，其判定精确度虽然低于文中方法，但总体上均超过了0.7。

假设故障发生时间为0.2s，在 0.21s 时 SS 断开，在此过程中对流过保护的电流变化情况和故障位置判定情况分析如图6所示。

图6 基于属性的精确度曲线

根据图6中的曲线走势可知，当故障发生在 f1处时，随着SS的动作，流过故障点所在线路保护的电流会出现两次明显的变化过程，且电流突变量绝对值达到定值。根据以上提出的判断方法很容易确定故障发生在该线路上。

孤岛检测仿真时逆变器输出电压与电流波形关系图和频率变化图如图7所示。

图7 孤岛检测仿真结果

由上图可以看出，孤岛现象在0.6秒时发生，2.4秒时逆变器停止为系统供电，反应时间少于标准规定的2 秒限值，孤岛现象检测成功；发生故障大电网掉电以后公共连接点的频率变化明显，在9 个周期时超出预先设定的阈值，过频继电器被触发，孤岛现象被检出。

统计三种方法的总体故障区域判定精度，结果如表1所示。

表1 不同方法的故障区域判定精度统计

为了保证测试结果可知，共进行了10次测试。计算三个测试组的综合判定精度，其中文中方法的判定精度为0.8026，传统方法1和传统方法2的综合判定精度分别为0.4999和0.5065。统计文中方法与传统方法之间的判定差异，其中文中方法比传统方法1的判定精度高出了0.3027，比传统方法2的判定精度高出了0.2961。根据上述测试可知，此次研究的故障区域判定方法，其判定结果更加准确。因此分析三个测试组，对故障区域的判定，结果如下表2所示。

表2 孤岛微电网故障区域判定结果

随机挑选5个测试组，分析三组方法的孤岛微电网故障区域判定结果，其中文中方法的判定结果与故障区域一致；而传统方法1和传统方法2的5组测试中，分别有2组和3组判定结果，没有定位到故障区域内。由此可见，在深度强化学习帮助下，此次研究的故障区域判定效果更佳。

4 结束语

此次研究在传统故障区域判定方法的基础上，新添加了深度强化学习方法，根据约束条件，预先提取孤岛微电网的故障特征，基于深度强化学习深度跟踪电网故障信息，通过三端行波测距法，判定孤岛微电网故障区域，为孤岛微电网故障区域判定，提供更加精准的数据。但此次提出的方法还存在不足之处，今后的研究工作中，可以利用一个定位算法预先定位故障节点，利用该节点预测故障范围，为孤岛微电网的使用，提供更加可靠的故障管理技术。