基于ADHDP方法的HVDC整流控制器设计

周晓华，宋春宁，王荔芳，黄 玲

(1.广西工学院电子信息与控制工程系，广西柳州 545006;2.广西大学电气工程学院，广西南宁 530004;3.昆明学院自动控制与机械工程系，云南昆明 650118)

基于ADHDP方法的HVDC整流控制器设计

周晓华1，2，宋春宁2，王荔芳3，黄 玲1

(1.广西工学院电子信息与控制工程系，广西柳州 545006;2.广西大学电气工程学院，广西南宁 530004;3.昆明学院自动控制与机械工程系，云南昆明 650118)

针对传统PI控制器在HVDC系统受到大干扰时难于产生有效控制作用的问题，设计了一种基于执行依赖启发式动态规划(ADHDP)方法的整流控制器，控制器的执行网络和评价网络均采用BP神经网络进行设计，并利用直流线路电流偏差信号在线训练两个网络以优化控制器性能。仿真结果表明，与传统PI控制器相比，所设计的的控制器具有更好的控制效果。

执行依赖启发式动态规划(ADHDP);高压直流输电;整流控制器

0 引言

高压直流输电(HVDC)是一个典型的非线性系统，直流输电线路中的换流器具有很强的非线性。为确保HVDC系统安全稳定运行，整流和逆变控制器必须具有良好的控制性能。然而，常规的整流和逆变控制器主要为PI型，虽然在正常稳态运行状态下，控制器具有较好的鲁棒性和较满意的运行效果，但当交流系统受到大干扰时，交流系统的暂态稳定性下降［1］，控制器将难以产生有效的控制作用。

近几年来，许多先进的控制策略被应用到HVDC系统的换流器控制中，并获得了较好的控制效果。文献［2-8］将非线性控制理论应用到HVDC控制系统中，体现出了非线性控制策略的优越性。由于智能控制具有处理各种非线性的能力、并行计算的能力、自适应、自组织和自学习的能力，而且能有效控制不精确模型甚至不确定系统，因而成为HVDC系统控制［1，9-10］的研究热点。

自适应动态规划(Approximate Dynarnic Programming，ADP)是一类可以在线地通过与系统(环境)的相互作用从而不断改善控制效果的方法，有强化学习(Reinforcement Learing，RL)、自适应评价设计(A-daptive Critic Design，ACD)等不同的分支和名称［11-12］。自适应动态规划可分为三类:启发式动态规划(HDP)，双启发式动态规划(DHP)和全局双启发式动态规划(GDHP)。ADHDP(Action-dependent Heuristic Dynamic Programming)方法是启发式动态规划HDP(Heuristic Dynamic Programming)的执行依赖形式，本文采用BP神经网络设计了ADHDP的执行网络和评价网络，并将其应用到HVDC系统的整流控制中。执行网络和评价网络可利用实时测量数据进行在线训练，在一定程度上消除由于内部模型误差和某些不确定性干扰产生的影响。仿真结果表明，与传统PI控制器相比，ADHDP控制器具有更好的控制效果。

1 ADHDP原理

给定一个离散时间非线性系统:

式中:x(t)——系统的状态;

u(t)——控制量。

给定一个初始状态x(i)，动态规划的目标是选择合适的控制序列u(k)，k=i，i+1，…，从而使系统的代价函数(cost-to-go)(式(2))为极小，以获得全局最优解。

并以此来获得次优解。图1所示为其原理图［13-15］，图中虚线表示反向传播的路径。

图1 ADHDP原理图

执行网络的训练目标是最小化评价网络输出的代价函数J，其权值的更新主要通过定义下式的误差来实现:

评价网络则采用监督学习方法将网络的实际输出与期望输出的差作为误差反向传播来调整网络各层权值的大小，其误差定义式为:

2 ADHDP整流控制器设计

整流控制器采用定电流控制方式，其执行网络和评价网络均采用三层BP神经网络进行设计，隐层神经元转移函数均采用S型双曲正切函数，输出层神经元转移函数均为线性函数。执行网络的输入取直流线路电流Id与参考电流Idref的偏差ΔId(ΔId=Id－Idref)在t、t－1和t－2时刻的值，分别记为ΔId(t)、ΔId(t－1)和ΔId(t－2)，输出为为整流器的触发延迟角的调节量Δα，隐层神经元取6个。评价网络的输入为ΔId(t)、ΔId(t－1)、ΔId(t－2)和Δα，评价网络的输出为代价函数J的近似值，其隐层神经元取10个。ADHDP整流控制器的结构如图2所示。

图2 ADHDP整流控制器结构

其中，γ为折扣因子，lc为评价网络的学习率。

效用函数U(t)反映了每一步的控制效果，可根据控制目标进行定义。本文定义的效用函数形式［16］如下:

3 仿真结果与分析

利用MATLAB/Simulink建立了一个两端单极直流输电仿真系统，整流侧交流系统为 500kV、5000MVA的等效网络，逆变侧交流系统为345kV、10000MVA等效网络，换流器均采用2个6脉冲桥串联而成的12脉冲桥结构，换流器间连接0.5H的平波电抗器和长度为300km的直流架空线路。整流器采用定电流控制方式，逆变器采用定β角控制方式，ADHDP算法通过编写S函数并利用MATLAB的SFunction功能嵌入Simulink仿真系统。

图3为参考电流发生阶跃变化时控制器的稳态响应曲线，0.4s时，参考电流 Idref由1.0pu下降到0.8pu，0.7s由 0.8pu回到 1.0pu。可以看出，ADHDP控制器的稳定性、快速响应性均优于传统PI控制器。

图3 参考电流变化时控制器的稳态响应曲线

图4、图5分别为整流侧交流系统发生三相短路故障时，传统 PI控制下的直流线路电流曲线和ADHDP控制下的直流线路电流曲线。图6、图7分别为直流线路发生接地短路故障时，传统PI控制下的直流线路电流曲线和ADHDP控制下的直流线路电流曲线。故障均在0.5s发生，0.51s时切除，由仿真曲线可以看出，ADHDP控制具有更小的超调量、较快的响应速度和较好的稳定性，采用ADHDP方法设计的HVDC系统整流控制器能获得更好的控制效果。

图4 整流侧交流系统三相短路时PI控制下的直流电流

4 结束语

高压直流输电系统是一个典型的非线性系统，按照自适应动态规划ADHDP方法设计的控制器，结构相对简单，不仅不依赖于系统的数学模型而且可以很好地实现在线训练。仿真结果表明，与传统PI控制器相比，将ADHDP方法应用到高压直流输电系统的整流控制中，可以获得更好的控制效果，其在减小超调量、提高响应速度和提高稳定性方面更具优势，具有一定的理论研究意义和现实意义。

［1］陈汉雄，刘天琪.HVDC系统中换流站的辅助模糊控制［J］. 电网技术，2003，27(1):5-8.

［2］都洪基，丁一.一种HVDC非线性主控制器的设计［J］.继电器，2003，31(10):28-31.

［3］蔡超豪.HVDC的非线性H∞控制［J］.电网技术，2004，28(5):38-40.

［4］姜素霞，李春文，崔光照，等.高压直流输电系统中换流器的非线性控制及仿真研究［J］.电气应用，2008，27(5):72-75.

［5］李明，梁小冰，程丽.高压直流输电系统的鲁棒非线性控制规律的设计［J］.电力系统及其自动化学报，2004，16(1):19-21.

［6］X.Y.Li A nonlinear emergency control strategy for HVDC transmission systems［J］.Electric Power Systems Research，2003，67:153-159.

［7］李兴源，陈凌云，颜泉，等.多馈入高压直流输电系统非线性附加控制器的设计［J］.中国电机工程学报，2005，25(15):16-19.

［8］张跃锋，颜伟，黄淼，等.基于LMI技术的交直流非线性H2控制［J］. 中国电力，2007，40(7):70-73.

［9］P.K.Dash，Aurobinda Routray，Sukumar Mishra.A neural network based feedback linearising controller for HVDC links［J］.Electric Power Systems Research，1999，50:125-132.

［10］H.J.C.Peiris，U.D.Annakkage，N.C.Pahalawaththa.Frequency regulation of rectifier side AC system of an HVDC scheme using coordinated fuzzy logic control［J］.Electric Power Systems Research，1998，48:89-95.

［11］陆超，谢小荣，童陆园，等.使用直接神经动态规划方法的SVC附加阻尼控制［J］.中国电机工程学报，2004，24(12):8-12.

［12］赵冬斌，刘德荣，易建强.基于自适应动态规划的城市交通信号优化控制方法综述［J］.自动化学报，2009，35(6):676-681.

［13］ Prokhorov D.Wunsch D.Adaptive critic designs［J］.IEEE Transactions on Neural Networks，1997，8(5):997-1007.

［14］LIU D.Action-dependent Adaptive Critic Designs［C］.Proceedings of IEEE International Joint Conference on Neural Networks.2001:990-995.

［15］林小峰，喻亮，宋绍剑，等.自适应评价设计的执行依赖方法［J］. 控制工程，2008，15(4):423-425.

［16］Salman Mohagheghi，Yamille del Valle，Ganesh Kumar Venayagamoorthy.A Proportional-Integrator Type Adaptive Critic Design-Based Neurocontroller for a Static Compensator in a Multimachine Power System［J］.IEEE Transactions on Industrial Electronics，2007，54(1):86-96.

(编辑 赵蓉)

Design of Rectifier Controller Based on ADHDP for HVDC

ZHOU Xiao-hua1，2，SONG Chun-ning2，WANG Li-fang3，HUANG Ling1
(1.Department of Electronic Information and Control Engineering，GuangXi University of Technology，GuangXi LiuZhou 545006，China;2.College of Electrical Engineering，GuangxiUniversity，GuangXiNanning 530004，China)

Aimed at the problem which the effective function of conventional PIcontroller can’t display in time when bigger disturbance occurs in HVDC system,a rectifier controller based on ADHDP was designed.The action network and critic network of this controllerwere built up by BP neural network,and they were trained online by error signals of DC line current to optimize performance of ADHDP controller.The simulation results show that the ADHDP controller can obtain better control effect comparing w ith conventional PI controller.

Action-dependant heuristic dynamic programming;HVDC system;rectifier controller

TM721

A

1001-2265(2011)06-0057-04

2010-12-30

周晓华(1976—)，男，云南牟定人，广西工学院电子信息与控制工程系讲师，广西大学硕士研究生，主要从事智能优化控制、供配电技术等方面的教学和科研工作，(E-mail)zhxh76@126.com。