基于强化学习的换相失败抑制策略研究
2020-02-22范晶晶
范晶晶
摘要：针对直流输电系统中换相失败问题，在控制系统中引入强化学习算法，在故障发生时通过实时采集逆变侧电气量，动态调整整流侧的电流参考值，通过与低压限流环节相互配合，抑制直流线路电流增大，利于逆变侧电弧熄灭，从而抑制连续换相失败问题，在故障消失后系统能尽快恢复稳定运行。实验结果表明，系统采用基于强化学习的换相失败抑制策略比没有采用该策略的故障恢复效果要好。
关键词：强化学习;动态调整;换相失败
中图分类号： TP391 文献标识码： A
文章编号：1009-3044（2020）36-0150-03
Abstract： Aiming at the problem of commutation failure in the DC transmission system， a reinforcement learning algorithm is introduced into the control system. When a fault occurs， the inverter side electrical quantity is collected in real time， and the current reference value of the rectifier side is dynamically adjusted. Suppressing the increase of DC line current facilitates the extinguishment of the arc on the inverter side， thereby suppressing the problem of continuous commutation failure， and the system can resume stable operation as soon as possible after the fault disappears. The experimental results show that the system adopts the commutation failure suppression strategy based on reinforcement learning better than the failure recovery effect without adopting this strategy.
Key words： reinforcement learning; dynamic adjustment; commutation failure
1 引言
隨着我国社会经济的飞速发展，直流输电以大容量、低损耗的独特优势，逐步参与到大电网的建设上来[1]。于是，建设特高压、远距离的交直流混联输电系统成为必然趋势。然而，直流系统的运行过程中会出现一系列的故障，其中直流系统的换相失败问题最为严重[2]。
LCC-HVDC换流器具有两种方式实现对换流站换流阀的触发，分别为分相触发和等间隔触发[3]，换流站在运行过程中，如果触发脉冲丢失故障发生，逆变器便会发生换相失败问题，归根结底，逆变器换相失败发生的根本原因是其换流阀关断角小于换相失败发生时的临界关断角，在换相失败发生时，换流阀关断角接近于0。
针对换相失败问题，相关文献提出通过投入无功补偿装置维持受端交流电压稳定，当受端交流系统发生故障后，交流电压迅速跌落，无功补偿不足，可采用静止无功补偿装置的投入，抬高跌落的交流电压 [4]。另外，有文献提出可通过调整直流线路平波电抗器的数值来抑制换相失败，在换相过程无法正常完成，直流系统的电容器会释放电流，导致直流线路直流电流的迅速增大，如果此时增大直流线路平波电抗器的数值，可以有效抑制直流电流的增大。在直流系统的控制方面，相关文献[5]提出通过控制系统增发触发脉冲来缓解换相失败带来的危害，但当受端交流系统为弱交流系统时，逆变站换流阀很有可能出现连续换相失败问题，此时再进行触发脉冲的调整，将会进一步增加系统扰动。也有文献提出将触发超前角[β]和关断角[γ]的整定值提高，增大触发超前角将有利于预防换相失败的发生，然而增大触发超前角将造成换流站吸收的无功功率增加，导致有功功率的传输效率降低，影响了整个直流系统运行的经济型[6]。
本文通过引入强化学习整流侧参考电流动态调整模块，在故障发生时，通过实时采集逆变侧电气量，动态调整整流侧的电流参考值，同时与低压限流环节相互配合，抑制直流线路电流增大，利于逆变侧电弧熄灭，抑制连续换相失败问题，从而在故障消失后系统能尽快恢复稳定运行。
2 相关理论
2.1 强化学习
在强化学习中[7，8]，一个智能体（Agent）在不同时间步与环境交互尽可能得到累积最大奖赏。强化学习问题可以以一个五元组的形式[
寻找出最优策略是强化学习的关键，并在该策略基础上进行决策。在强化学习中，策略为[π]，[π（s，a）]是指在状态[s]下选择动作[a]的概率。如果策略[π]是一个确定的策略，在任意状态[s∈S]，[π（s）]表示在状态[s]下所选择的动作[a]。
强化学习中用来评估策略[π]的好坏的是值函数，由状态值函数[Vπ]、动作值函数[Qπ]组成，[Vπ（s）]表示在状态[s]下，根据策略[π]得到的期望回报，[Qπ（s）]表示在状态[s]下，选择动作[a]并根据策略[π]得到的期望回报。通常用[Qπ（s）]来评估策略[π]的好坏。
公式（2）为Bellman方程。
强化学习中[π*]表示最优策略，该策略能最大化奖赏函数，对应的[Q*（s，a）]可以表示为：
公式（3）为最优Bellman方程。
2.2 换相失败机理
正常情况下两个桥臂可以正常换相，但当发生故障后，其中一个桥臂的换流阀未能及时换相成功却又收到了反向电压的作用，这种情形被定义为换相失败。对于逆变侧受端交流系统发生故障而导致的直流系统换相失败问题，有文献指出：逆变侧受端交流系统故障导致换相支撑电压跌落，使得换相电压作用逆变器的时间面积变小，而引起逆变器的关断角小于换相失败发生时的临界关断角，这是直流系统逆变器发生换相失败的根本原因[9]。
相关文献研究表明[10]，逆变系统关断角[γ]与换流变压器变比k、逆变侧直流电流Id、逆变系统等效换相电抗Xc、逆变侧交流母线电压有效值UL、触发超前角β的相互关系为：
直流输电系统运行中逆变侧交流系统故障情况下，直流电流会发生不平稳变化，然而根据换相过程分析，逆变器换相过程中直流电流的变化不应被忽略。为此，本文计及考虑逆变侧交流系统故障时，直流输电系统逆变侧直流电流变化。
以逆变器运行关断角[γ]大小定义逆变器换相过程，当换相结束即
从上式可以看出，逆变系统换相成功与否与逆变器触发延迟角[α]、换相电压幅值及换相起止时刻的直流电流大小有关。
据此分析，逆变侧交流系统故障造成流过逆变器的直流电流增大、交流系统母线电压下降时，其直流电流控制则可贯穿整个换相过程始终，在逆变系统故障运行时可增强LCC-HVDC逆变站控制系统对其换相过程的控制。因此，可通过直流电流控制，充分降低逆变器发生换相失败的概率。
2.3 强化学习算法在直流控制系统中的应用
低压限流环节在LCC-HVDC的作用异常重要，具有左右交流系统故障时直流电压、电流冲击大小及故障后直流功率恢复速度等，其曲线设定与具体系统的特性关系密切，因此，为了不致改变VDCOL对原系统运行特性的影响作用，直流电流整定值[Ido_rec]取VDCOL与直流电流预测控制整定值[Id_PREV]之间的较小值，实施方案以对CIGRE HVDC输电系统控制系统的改进为例，如下图所示。
直流电流预测值[Id_PREV]表达式如下所示：
其中CF表示为直流控制系统通过关断角来判断逆变器是否可能发生换相失败（是为1，否为0）。[Id_NOR]是为发生换相失败时系统正常运行状态下的整流侧直流电流参考值。
[Id_PREVC]是换相失败发生后通过强化学习动态跟踪系统而得到的整流侧直流电流参考值。强化学习模块包括采集测量模块、强化学习数据处理模块、参考电流输出模块。采集测量模块主要用来采集逆变侧的状态数据，所述状态数据主要包括逆变侧交流系统母线电压有效值以及直流系统逆变侧直流电流值。强化学习数据处理模块与所述采集测量模块相连，以获取所述数据采集模块的状态数据。其中，数据处理模块包括数据存储库和Q-学习算法模型，Q-学习算法模型利用获取的状态数据对逆变侧直流电流的状态数据进行预测，选择最佳的动作，即动态调整整流侧的参考值。例如在逆变侧电流变大时，通过降低整流侧直流电流参考值来动态调整直流线路上的电流，从而起到抑制逆变侧直流电流升高作用，利于逆变器熄弧，在故障发生期间可抑制连续换相失败问题，减小故障对系统造成的危害。其中，动态整流侧参考值[Id_PREVC]为动作Action提供选择区间，根据低压限流的历史数据，区间下限选取得比低压限流值中的电流参考值要小一些，本文中的[Id_PREVC]的选择区间为[0.5，1.0]。由于整流側电流参考值[Id_PREVC]的动态跟踪作用，会有效抑制直流电流在故障时的增大，同时动态得到一个关断角实测值。直流系统换相失败发生判断的标准便是关断角小于临界关断角的值，这个值接近于0，正常运行状态下的关断角约为18°，当系统关断角实测值在故障期间离目标值18°的误差综合最小，那便是最优的动作情况，这种最优动作情况即是整流侧直流电流参考值[Id_PREVC]的数据选择过程。实测值关断角[γ]和目标值关断角[γobj]之间的误差为：[E=γ-γobj]，那么设模型中的奖赏为一个负值的变量。
如公式7所示：
3 实验分析
3.1 实验数据及设置
为了验证强化学习算法模块在抑制直流系统故障发生换相失败的有效性，以下实验的直流系统选自PSCAD仿真软件中自有算例CIGRE标准直流输电系统，系统模型及数据如下所示，图及表中所有值的单位为[Ω]、H或mF。
强化学习的状态数据来自没有加入强化学习换相失败预测模块前的历史仿真数据。仿真数据包括单相故障时的数据以及三相故障时的数据，如表2和表3所示，数据集中包括逆变侧直流电流值[Id_inv]、逆变侧交流电压有效值[VAC_inv]。强化学习算法程序基于matlab编程环境，模型中的学习速率为0.4，折扣率因子为0.99。仿真过程是基于matlab和PSCAD的联合仿真，在测试算法时建立了PSCAD和MATLAB之间的接口模块，采集到的实时状态数据经过算法处理，返回系统最佳动作值，从而有效抑制故障发生后的连续换相失败。
3.2 实验结果分析
本文仿真测试分别以受端交流系统三相短路和单相接地故障为典型。不同类型故障设置于逆变侧交流系统母线处，故障持续时间均为0.05s，仿真测试中所的Lf为故障电抗。
（1）逆变侧交流母线单相故障
下图为逆变侧交流系统母线单相接地故障开始时刻6.000s、故障电抗0.55H情况下，未加入强化学习算法与加入所提算法下逆变系统逆变侧电气量的对比图，[VAC_inv]受端电力系统的交流母线电压有效值、[Id_inv]为LCC-HVDC逆变侧直流电流、[Δαinv_PREV]为系统面对故障自适应调节的触发延迟角提前值，以及[Id_PREV]为强化学习算法输出的整流侧直流电流动态参考值。
从图3可以看出，相对于未引入算法的系统控制效果，引入强化学习算法可以及时抑制受端交流系统故障情况下LCC-HVDC直流电流的短时上升、逆变侧交流母线电压的进一步下降，从而更为有效地降低逆变器换相失败发生的概率，而且从仿真曲线可以看出引入强化学习模块后对并网系统故障后直流输电系统恢复的快速性和有效性上也有一定提高。
（2）逆变侧交流母线三相故障
图4为未引入强化学习算法与引入算法两种情形下逆变器发生换相失败（故障时刻6.000s，故障电抗1.14H）时相应的[VAC_inv]、[Id_inv]、[Δαinv_PREV]及[Id_PREV]波形。由图中波形可以看出，引入算法后在逆变侧交流系统三相故障情况下，对逆变器换相失败的抑制和故障后直流系统的快速恢复均有效果。
4 结束语
本文针对直流输电系统中换相失败问题，引入强化学习算法模块，在故障发生时通过实时采集逆变侧电气量，动态调整整流侧的电流参考值，通过与低压限流环节相互配合，抑制直流线路电流增大，利于逆变侧电弧熄灭，抑制连续换相失败问题。实验结果表明，引入强化学习算法后，直流输电控制系统在抑制换相失败方面有较好的效果。
参考文献：
[1] 韩民晓，文俊，徐永海.高压直流输电原理与运行[M].2版.北京：机械工业出版社，2013.
[2] 张文峰. 交直流混联受端电网故障特性变异分析[M]. 北京： 中国电力出版社， 2015
[3] 黄玉东.高压直流输电换相失败的研究[D].北京：华北电力大学，2006.
[4] 陈树勇，李新年，余军，等.基于正余弦分量检测的高压直流换相失败预防方法[J].中国电机工程学报，2005，25（14）：1-6.
[5] 王智冬.交流系统故障对特高压直流输电换相失败的影响[J].电力自动化设备，2009，29（5）：25-29，38.
[6] Tamai S，Naitoh H，Ishiguro F，et al.Fast and predictive HVDC extinction angle control[J].IEEE Transactions on Power Systems，1997，12（3）：1268-1275.
[7] Sutton R S，A G.Reinforcement learning：an introduction[J].IEEE Transactions on Neural Networks，1998，9（5）：1054.
[8] 劉全，翟建伟，章宗长，等.深度强化学习综述[J].计算机学报，2018，41（1）：1-27.
[9] 王钢，李志铿，黄敏，等.HVDC输电系统换相失败的故障合闸角影响机理[J].电力系统自动化，2010，34（4）：49-54，102.
[10] Sun Y Z，Peng L，Ma F，et al.Design a fuzzy controller to minimize the effect of HVDC commutation failure on power system[J].IEEE Transactions on Power Systems，2008，23（1）：100-107.
【通联编辑：梁书】
