EM算法优化WDRNN短期负荷预测模型①

刘远龙，龚文杰，徐 超，张智晟

(1.青岛供电公司，青岛 266002;2.青岛大学自动化工程学院，青岛 266071)

随着现代电力系统的不断发展，尤其是电力市场竞争机制的引入，电力系统短期负荷预测STLF(short-term load forecasting)具有重要的理论意义和高的经济价值，提高预测精度符合当前电力系统的实际需要。

基于BP算法的多层前馈神经网络FNN(feedforward neural networks)原理已在国内外电力系统ST LF中得到广泛的研究与应用[1]。但应指出，FNN本质是属于静态非线性映射关系，它更适用于处理与时间无关的对象。电力系统负荷序列性质属于混沌时间序列[2～4]，是典型的非线性动力学时间序列，需用动态递归神经网络进行建模研究，动态递归神经网络能更直接的反映系统的动态特性。本文所提出的小波对角递归神经网络WDRNN(wavelet diagonal recursive neural network)就属于动态递归神经网络的范畴。

神经网络的学习算法研究成为该领域的研究热点，并取得了较为显著的效果[5，6]。类电磁机制EM(electromagnetism-like mechanism)算法是由Birbil和Fang提出的一种新的全局优化算法[7]。该算法具有全局优化能力强，编程实现简单，收敛性好等优点，其收敛性已得到理论证明[8]。EM 算法已被应用于函数优化[9]、流水车间调度[10]和车辆运输路线规划[11]等问题的研究中，取得了较好的效果。但目前该算法在电力系统领域应用还比较少。本文采用EM 算法训练WDRNN，通过实际地区电网的负荷的预测仿真和测试，证实所提出的基于EM算法的WDRNN模型能有效提高预测精度。

1 WDRNN预测模型构造及数学描述

动态递归神经网络即在神经网络NN(neural networks)内部引入反馈使NN具有动态性能，能更直接地反映系统的动态特性，它是依赖NN内部神经元间状态的反馈来描述动态行为，即用较少的记忆单元来描述非线性系统的动力学特性，无须存储所有的输入信息，且又能在网络中反映出系统所有历史信息对当前系统响应的影响。

对角递归神经网络是一种特殊的动态递归神经网络，它与FNN相同之处是都有输入层、隐含层和输出层;两者的区别在于对角递归神经网络的隐含单元具有自反馈。对角递归神经网络的动态映射和记忆功能正是通过递归神经元在内部的反馈回路捕捉系统的动态特性来实现的[12，13]。本文提出的WDRNN模型(见图1)是对常规对角递归神经网络模型的改进。

图1中，m、l分别表示WDRNN模型的输入层和隐含层节点个数，输出层节点个数为1(单步预测)。ui(k)表示第i个输入节点在k时刻的输入，WIH和WHO分别表示输入层节点到隐含层节点以及隐含层节点到输出层节点之间的连接权重。WHH表示隐含层节点之间的连接权重，WHR表示隐含层节点自身的自反馈。若(k)表示隐含层第j个节点在k时刻的输出，用(k)表示隐含层第j个神经元在k时刻的内部状态，则可表述为

式中:fN为小波基函数，aj(k)和bj(k)分别为在k时刻小波基函数的伸缩因子和平移因子。小波基函数本文选用Morlet母小波基函数，可表示为

若用y(k)表示输出层神经元在k时刻的输出，则可表述为

图1 WDRNN预测模型结构Fig.1 Structure of WDRNN forecasting model

2 EM算法及对WDRNN模型的优化

EM算法是模拟电磁场中带电粒子间的吸引与排斥机制，把每个搜索粒子类比成空间中的一个带电粒子，每个粒子的电荷由待优化的目标函数的函数值决定。电荷值决定了该粒子对其他粒子的吸引或者排斥的强弱，目标函数值越优，吸引就越强。EM算法利用电荷为每个粒子下一步的移动寻找方向，即通过计算其他粒子施加给当前粒子的合力来确定这个方向。同电磁力的计算方式一样，该合力是通过将来自其他粒子的力进行矢量叠加而得到的。

图2选取了3个粒子说明粒子间如何依据吸引与排斥机制进行搜索。设粒子2表示的解优于粒子1表示的解，而粒子3表示的解劣于粒子1表示的解，那么粒子2将对粒子1有一个吸引力F21，而粒子3将对粒子1有一个排斥力F31，这两个力叠加得到的合力F1就将确定粒子1移动的方向，这样促使粒子向较优的区域移动。

图2 粒子吸引与排斥机制示意Fig.2 Schematic diagram of attraction and repulsion mechanism for particles

2.1 EM算法优化WDRNN流程

在负荷预测模型中，给定的预测训练样本集用S={(Ui，Yi)|i=1，2，…，n}表示，其中Ui是输入样本，Yi是对应的输出样本，n是预测样本个数。

对WDRNN的连接权值(包括输入层节点到隐含层节点之间的连接权重WIH、隐含层节点到输出层节点之间的连接权重WHO、隐含层节点之间的连接权重 WHH、隐含层节点自身的自反馈WHR)，小波基函数的伸缩因子aj和平移因子bj，分别采用十进制进行编码，构成粒子。

EM 算法优化WDRNN，主要由四个基本步骤组成，即初始化、局部搜索、计算合力以及移动粒子。具体流程如图3所示。

图3 EM算法优化WDRNN流程Fig.3 Flow chart of optimizing WDRNN by EM algorithm

2.2 初始化

初始化就是从已知可行域中随机选取s个粒子X1，X2，…，Xi，…，Xs，计算每个粒子的目标函数值 f(Xi)，并将目标函数值最优的粒子记为Xbest，表示当前最优粒子。

2.3 局部搜索

对于EM算法，局部搜索为种群的全局搜索提供了有效的局部信息，这使得算法既具有全局搜索能力，又具有局部区域精细搜索能力。本文局部搜索策略采用随机线性搜索的方法[7]。简述如下。

对种群中粒子 Xi=(xi1，xi2，…，xij，…，xip)的各分量按照随机步长进行一维搜索，用更优的粒子替换当前粒子，对第i个粒子第j个分量xij的搜索过程如下:

(1)均匀产生(0，1)之间的随机数λ1和λ2，令yj=xij;

(2)若 λ1 ＜0.5，则 yj=xij-λ2(xij-lij);否则，yj=xij+λ2(uij-xij)。其中，lij表示第i个粒子第j个分量的下边界，uij表示第i个粒子第j个分量的上边界。

对第i个粒子的每个分量都进行如上搜索，搜索完毕后，得到搜索后的粒子Y=(y1，y2，…，yj，…，yp)，求取其目标函数值 f(Y)，若 f(Y)≤f(Xi)，则更新粒子，即Xi=Y，否则不更新粒子。

2.4 计算合力

EM算法中合力计算是对电磁场中吸引与排斥机制的模拟。通过计算合力，将粒子所获得的局部信息与全局信息结合起来。由电磁理论中的叠加原理可知，一个粒子受到的其他粒子施加的电磁力与粒子之间的距离成反比，与它们所带电荷量的乘积成正比。

1)计算粒子电荷量

计算合力前，应先求取每个粒子所带的电荷量，粒子的电荷量决定了自身所受吸引力或排斥力的大小，同时影响其他粒子所受吸引力或排斥力的大小。第i个粒子Xi的电荷量qi的计算式为

式中:s表示粒子的个数;p表示粒子的维数;f(Xi)表示第i个粒子的目标函数值;f(Xbest)表示当前最优粒子的目标函数值。通过式(5)可以看出，目标函数值较优的粒子电荷量较大，具有更强的吸引力或排斥力。

2)计算合力

电荷量计算完成后，模拟电磁理论中的库仑定律，作用在第i个粒子上的合力Fi计算式为

根据式(6)，每两个粒子之间，目标函数值较优(即较小)的粒子将吸引另一个粒子;目标函数值较劣(即较大)的粒子将排斥另一个粒子。由于当前最优粒子Xbest的目标函数值最小，所以它充当着一个绝对吸引的粒子，吸引着种群中的其他所有粒子。

2.5 移动粒子

种群中的各粒子在合力的作用下移动。第i个粒子在合力Fi的作用下，按式(7)移动到新的位置，使粒子的位置得到更新。

式中:λ为0～1之间的随机数;V为一个向量，表示向上边界或下边界移动的可行步长。

3 实际地区网日负荷预测与误差分析

3.1 仿真测试预测模型构造的基本依据

采用相空间重构理论[2]计算饱和嵌入维数m及延迟时间τ，重构相空间，利用欧氏距离法求得预测相点的k个最近邻相点，它们各对应的m+1个分量组成该预测相点的k个训练样本集，它是属于动态步进跟踪训练，即所求得预测值加入到下一个预测点相的动态相轨迹中求得下一个预测相点的k个最近邻相点。根据所求饱和嵌入维数m作为优化递归神经网络预测模型的输入层节点，输出节点数为1。经相空间重构理论可以求得该地区电网负荷系统嵌入维数m=7，延迟时间τ=1 h。

本文通过模型1——基于BP算法的FNN预测模型、模型2——基于BP算法的DRNN预测模型、模型3——基于BP算法的WDRNN预测模型和模型4——基于EM算法的WDRNN预测模型四个预测模型在实际地区电网负荷系统中进行仿真测试进行比较。

模型1采用7-14-1结构的FNN模型，模型2采用7-8-1结构的DRNN模型，模型3采用7-8-1结构的WDRNN模型。3个模型都采用BP算法进行训练，在仿真过程中，最大允许误差 。学习率和动量因子分别取为0.10和0.90。模型4采用7-8-1结构的WDRNN模型，采用EM算法对WDRNN模型进行训练，粒子个数取200。

3.2 地区电网的4种模型日负荷预测仿真

用4种模型进行小时/日负荷预测结果和误差的比较，结果如图4所示。

图4 地区电网的4种预测模型的日负荷预测误差和比较Fig.4 Daily load forecasting errors and comparison of four kinds of models in power network

通过地区电网负荷系统的4个模型的误差性能综合分析比较如表1所示。

表1 地区电网的4种预测模型误差指标比较Tab.1 Error index comparison of four forecasting models in power network

从表1可知，基于BP算法的FNN预测模型1的误差性能最差，平均绝对误差为3.553%，最大相对误差为8.529%。预测模型2采用了DRNN预测模型，平均绝对误差比预测模型1降低0.609%，最大相对误差比预测模型1降低1.561%，这是因为预测模型1的FNN属于静态NN，无法体现负荷的动态行为。而DRNN具有动态性能。预测模型3采用WDRNN，与采用DRNN的预测模型2相比，平均绝对误差降低1.055%，最大相对误差降低2.203%，表明WDRNN比DRNN具有更强的动态性能，对于预测精度的提高是有效的。预测模型4采用EM算法优化WDRNN，与采用BP算法的预测模型3相比，平均绝对误差降低0.443%，最大相对误差降低1.64%，是4个模型中预测精度最好的。可见，EM算法全局优化能力较强。

3.3 基于EM算法WDRNN预测模型的周预测误差性能

为深入分析所提出的基于EM算法的WDRNN预测模型的性能，通过对某地区电网负荷系统进行一周预测，预测结果见表2所示。

表2 地区电网一周的预测误差Tab.2 Daily load forecasting errors for a week in power network%

从表2可看出，基于EM算法的WDRNN预测模型具有较好的预测性能和预测稳定性。

4 结论

(1)小波对角递归神经网络是对常规对角递归神经网络的改进，改进策略一是在隐含层神经元之间增加了同层神经元之间的相互连接，使隐含层单元之间存在相互信息交换，使模型动态性能得到增强。改进策略二是隐含层函数用小波函数取代传统Sigmoid函数，通过伸缩因子和平移因子的引入，使模型具有较强的逼近能力和容错能力。

(2)EM算法作为一种新的全局优化算法，具有全局优化能力强，编程实现简单，收敛性好等优点，可在电力系统其他领域推广应用。

(3)经实际负荷系统预测仿真测试，获得较满意的预测精度，具有高的预测稳定性和良好的适应能力。

[1] Hippert H S，Pedreira C E，Souza R C.Neural networks for short-term load forecasting:A review and evaluation[J].IEEE Trans on Power Systems，2001，16(1):44-55.

[2] 李天云，刘自发(Li Tianyun，Liu Zifa).电力系统负荷的混沌特性及预测(The chaotic property of power load and its forecasting)[J].中国电机工程学报(Proceedings of the CSEE)，2000，20(11):36-40.

[3] 张智晟，马龙，孙雅明(Zhang Zhisheng，Ma Long，Sun Yaming).混沌理论和支持向量机结合的负荷预测模型(Load forecasting model using chaos theory and support vector machine)[J].电力系统及其自动化学报(Proceedings of the CSU-EPSA)，2008，20(6):31-35.

[4] 郑永康，陈维荣，蒋刚，等(Zheng Yongkang，Chen Weirong，Jiang Gang，et al).基于混沌理论的短期负荷局域多步预测法(Local-region multi-steps load forecasting model based on chaotic theory)[J].电力系统及其自动化学报(Proceedings of the CSU-EPSA)，2007，19(4):76-79.

[5] Yu Xinghuo，Efe M O，Kaynak Okyay.A general backpropagation algorithm for feedforward neural networks learning[J].IEEE Trans on Neural Networks，2002，13(1):251-254.

[6] Lera G，Pinzolas M.Neighborhood based Levenberg-Marquardt algorithm for neural network training[J].IEEE Trans on Neural Networks，2002，13(5):1200-1203.

[7] Birbil S I，Fang Shu-Cherng.An electromagnetismlike mechanism for global optimization[J].Journal of Global Optimization，2003，25(3):263-282.

[8] 王晓娟，高亮，陈亚洲(Wang Xiaojuan，Gao Liang，Chen Yazhou).类电磁机制算法及其应用(Electromagnetism-like mechanism with its application)[J].计算机应用研究(Application Research of Computers)，2006，23(6):67-70.

[9] 韩丽霞，王宇平(Han Lixia，Wang Yuping).求解无约束优化问题的类电磁机制算法(Electromagnetismlike mechanism algorithm for unconstrained optimization problem)[J].电子学报(Acta Electronica Sinica)，2009，37(3):664-668.

[10] Yuan Kun，Sauer N，Sauvey C.Application of EM algorithm to hybrid flow shop scheduling problems with a special blocking[C]∥IEEE Conference on E-merging Technologies and Factory Automation，Mallorca，Spain:2009.

[11] Wu Peitsang，Yang Kung-Jiuan，Huang Bau-Yuan.A revised EM-like mechanism for solving the vehicle routing problems[C]∥Second International Conference on Innovative Computing，Information and Control，Kumamoto ，Japan:2007.

[12] 段慧达，郑德玲，刘聪(Duan Huida，Zheng Deling，Liu Cong).基于对角递归神经网络的建模及应用(Modeling and application based on diagonal recurrent neural network)[J].北京科技大学学报(Journal of University of Science and Technology Beijing)，2004，26(1):103-105.

[13] Mu Yuqiang，Sheng Andong.Evolutionary diagonal recurrent neural network with improved hybrid EP-PSO algorithm and its identification application[J].International Journal of Innovative Computing，Information and Control，2009 ，5(6):1615-1624.