基于MSWOA改进Attention-BiGRU模型的电力负荷预测

王 童

（浙江理工大学 计算机科学与技术学院，浙江 杭州 310018）

0 引言

近年来，随着能耗双控政策的升级，多地发布了限电令，许多大型能耗企业被迫限电停产，购电价格也再次提高。如何节省成本、合理安排用电成为许多钢铁企业亟需解决的问题。在此情况下，钢铁行业只有对消耗的电力状况进行精准预测，才能避免电力资源浪费，并制定有效的电力管理策略，以保证在能耗双控的政策下，企业能够合理分配电力资源，保证正常生产［1］。

针对电力负荷预测的研究，主要是基于其时序性的特点［2］，根据时间序列叠加来预测未来负荷的数据［3］。传统的电力预测方法主要以基于统计学方法的预测为主［4］，包括自回归分析、指数平滑模型等方法。传统电力预测方法的模型较为简单，受人工影响因素较大［5］，无法针对电力负荷数据的特点进行拟合，因此准确性不高。现代的电力预测方法主要以基于机器学习和神经网络的预测为主［6］，包括随机森林、极限学习机（Extreme Learning Machine，ELM）和循环神经网络（Recurrent Neural Network，RNN）等［7-9］。龚飘怡等［10］提出一种基于Attention-BiLSTMLSTM 的预测方法，将Attention 注意力机制与BiLSTMLSTM 混合预测模型叠加，结合BiLSTM 与LSTM 的优势，验证了预测模型在电力预测方面的有效性；张子阳等［11］等利用灰色关联和麻雀搜索算法对最小二乘支持向量机（Least Squares Support Vector Machines，LSSVM）进行模型参数优化，提高了LSSVM 模型的准确性和稳定性；张翼飞等［12］通过鲸鱼优化算法（Whale Optimization Algorithm，WOA）改进BiLSTM 神经网络参数，通过对风场发电数据进行训练，验证了模型性能，证实了鲸鱼优化算法对于神经网络参数优化的可行性。

在上述的负荷预测算法中，模型参数选取往往是根据经验手动设置的，对于参数的选择通常没有进行深入研究，而神经网络参数对模型性能有很大影响。因此，本文提出一种基于混合策略改进鲸鱼优化算法（Mix Strategy Based Improved Whale Optimization Algorithm，MSWOA）的Attention-BiGRU 短期电力预测模型，利用MSWOA 自动选取神经网络模型参数。BiGRU 不仅解决了梯度消失和过拟合问题，而且融合了电力负荷数据过去和未来的时序因素［13］，结合Attention 注意力机制，考虑不同时间序列的不同影响，分别对时间序列每一个特征赋予不同比重［14-15］，再通过MSWOA 对神经网络模型参数进行优化，预测未来的电力数据。将优化后的模型和BiGRU、Attention-BiGRU、WOA 模型进行比较，结果表明，MSWOA 优化后模型的准确率和稳定性都有一定提高。

1 电力预测模型

1.1 BiGRU模型

GRU 是针对LSTM 的一种变体，其通过引进门机制，将LSTM 中的输出门和遗忘门合并，减少了LSTM 的训练参数，并加快了训练时间。其不仅有效解决了RNN 的梯度消失和梯度爆炸问题，而且在一定程度上缓解了过拟合［16］。GRU 内部由更新门和重置门共同作用，其中更新门与历史状态的输出信息有关，重置门代表当前输入对历史状态的遗忘程度。GRU 具体内部结构如图1所示。

Fig.1 GRU unit model图1 GRU单元模型

由图1可得出GRU 的公式如下：

其中，xt为当前状态的输入，ht-1为上一时间步的输出，hn为当前时刻的输出，rt、zt分别代表重置门和更新门。Wxr、Whr、Wxz、Whz、Whn和Wxn为权重系数矩阵，bxr、bhr、bxz、bhz、bhn和bxn为偏置项矩阵。σ代表sigmoid 函数，tanh 代表双曲正切函数，°代表两个矩阵的点积。

由于GRU 只是沿着时间序列向前传播，只考虑了历史数据的影响，而忽略了未来时刻的数据信息。因此，本文选用双向长短期记忆网络（Bidirectional Gating Recurrent Unit，BiGRU）作为神经网络模型，BiGRU 由沿着时间序列前向传播的GRU 和反向传播的GRU 叠加而成，可以对电力负荷的双向时序特征进行有效提取。BiGRU 传播模型如图2 所示。通过GRU 的正向传播和反向传播，最终决定了ht的输出结果。

Fig.2 BiGRU propagation model图2 BiGRU传播模型

其中，xt为t时刻的输入为GRU 的正向传播过程为GRU 的反向传播过程。

1.2 Attention机制

Attention 机制是对人脑视觉注意力的仿生，可以通过注意力机制锁定重要信息，通过考虑输入特征对输出结果的影响来赋予输入特征以不同权重。由此可以通过权重大小提高某些重要特征输出占比，同时忽略不重要的特征，以更好地预测输出结果。Attention 机制原理图如图3所示。

Fig.3 Schematic diagram of Attention mechanism图3 Attention机制原理

1.3 鲸鱼优化算法

鲸鱼优化算法是一种模拟鲸鱼狩猎过程的仿生优化算法。鲸鱼优化算法包含搜索猎物、包围猎物和螺旋式更新3 个过程。在鲸鱼狩猎过程中，鲸鱼会根据当前所在位置选择不同的狩猎方式来更新下一次的位置。

1.3.1 搜索猎物

当进入搜索猎物阶段，由于猎物位置不确定，鲸鱼个体会随机寻找猎物，根据随机个体的位置进行更新，搜寻猎物所在位置。当|A|＞1 时，鲸鱼根据公式（5）进行位置更新，由鲸鱼第t次的位置坐标计算更新第t+1 次的位置坐标。

其中，Xr(t)为随机鲸鱼所在位置，X(t)为第t次更新后鲸鱼所在位置，r为0～1 之间的随机数，a=，T为迭代更新的总次数。

1.3.2 包围猎物

当|A|≤1 时，鲸鱼由搜索猎物阶段进入包围阶段，假设鲸鱼适应度最优的位置就是猎物所在位置，此时会根据最优个体的位置对鲸鱼群体进行更新，按照公式（6）更新鲸鱼个体的位置。

其中，X*(t)为鲸鱼适应度最优的位置。

1.3.3 螺旋式更新

螺旋式更新是鲸鱼独有的狩猎方式，通过螺旋式游动更新位置，边包围边将猎物逼向海面对其进行围捕，更新公式如下：

其中，b为常数，l是［-1，1］之间的随机数。

鲸鱼在螺旋式更新的同时还需要对猎物进行围捕，为了模拟两种围捕方式，需要设置随机概率p实现模拟过程。当p≥0.5 时，鲸鱼进行螺旋式更新；当p＜0.5 时，鲸鱼进行包围式更新。更新公式如下：

1.3.4 混合策略改进的鲸鱼优化算法

针对WOA 算法更新过程中出现的收敛速度缓慢和容易陷入局部最优等问题，混合策略改进的鲸鱼优化算法在WOA 基础上进行了优化改进。通过引入非线性收敛因子和自适应权值，分别对前后期的WOA 算法进行分段式处理，有效加快了搜索速度，引导算法跳出局部最优解，提高了算法的稳定性［17］。收敛因子a的计算公式如下：

更新后的MSWOA 算法如下：

1.4 基于MSWOA的Attention-BiGRU 模型构建

在循环神经网络的训练中，隐藏层节点数、迭代次数和学习率的选取对神经网络模型的性能影响非常大。在传统的神经网络训练中，参数选取是根据经验人工进行调节的，受主观因素影响很大，网络性能受到影响将无法得出最优模型。因此，本文提出利用MSWOA 优化算法对网络参数进行选择，将神经网络参数作为鲸鱼的位置，选择均方误差作为适应度函数。

其中，m为训练样本数，yi为实际值为预测值。

通过混合策略改进的鲸鱼优化算法对参数位置进行更新，选取出适应度最好的参数作为神经网络的模型参数。优化后的网络参数不仅解决了神经网络容易陷入局部最优解的问题，而且提高了Attention-BiGRU 网络模型的精度。算法实现过程如图4所示。

Fig.4 MSWOA-based Attention-BiGRU training process图4 基于MSWOA的Attention-BiGRU 训练过程

具体实现步骤如下：

（1）搭建神经网络模型，设置鲸鱼的种群数量和优化算法迭代次数。选取隐藏节点数、迭代次数和学习率作为鲸鱼的位置坐标，利用Sobol 随机序列对鲸鱼群体位置进行初始化。

（2）利用公式（11）计算出鲸鱼个体的适应度，随机初始化参数r和p，根据r计算A的值，根据p和A判断鲸鱼的狩猎方式，并根据公式（10）更新鲸鱼群体的位置。

（3）重复步骤（2）直到达到迭代次数，计算迭代之后的鲸鱼个体适应度，输出适应度最好的个体坐标作为神经网络参数。

（4）利用得到的神经网络参数搭建Attention-BiGRU神经网络模型，结合电力负荷数据进行训练验证，并对日负荷数据进行预测，根据预测结果判断神经网络的性能。

2 实验结果与分析

2.1 数据集及评价指标

为了验证算法性能，本文选用2016年电工数学建模竞赛的电力负荷数据集进行训练［18］。将2012 年1 月1 日—2015 年1 月9 日的电力负荷数据按照8：2 的比例划分，分为训练集和验证集，对网络模型进行训练，并对2015 年1月10 日的日数据进行预测。本文选择均方根误差（RMSE）和平均绝对百分比误差（MAPE）作为评价指标。

其中，yi为真实值为预测值，m为预测日负荷点数。

2.2 数据预处理

2.2.1 异常数据处理

考虑到记录电力负荷时，若由于突发状况导致电力数据异常，会出现突然的负荷数据过大或过小的情况，从而影响神经网络训练性能，导致预测结果不准确，因此需要对电力负荷数据进行修正。根据公式（14）判断是否为异常数据［19］，如果满足公式（14），说明该点数据异常，将相邻两点的电力负荷数据均值作为该点的修正值。

其中，yi为第i个时刻的电力负荷数据，m为预测日负荷点数。

2.2.2 数据归一化处理

本文采用每日的整点电力负荷数据进行预测，选取前7 天的数据，并对后一日的数据进行预测。因此，输入数据维度为24，时间序列长度为7，输出数据维度为24。为了便于训练、加快网络收敛速度，需要对数据进行归一化处理，利用公式（15）对电力负荷数据进行归一化，将数据转换到［0，1］范围内。

其中，x是日负荷数据，xmin是日负荷数据最小值，xmax是日负荷数据最大值。

2.3 实验结果分析

本文将MSWOA 优化的Attention-BiGRU 网络模型与BiGRU、Attention-BiGRU 和WOA 优化的Attention-BiGRU模型进行比较，验证MSWOA 算法对网络性能提升的有效性。其中，BiGRU 和Attention-BiGRU 的输入节点数为24，隐藏层节点数为32，输出节点数为24，训练迭代次数为250，学习率为0.01。WOA 和MSWOA 初始化鲸鱼种群数量为10，最大迭代次数为30，鲸鱼位置维度为3，并通过优化算法自动选取隐藏层节点数、学习率和迭代次数来搭建神经网络进行训练。

采用WOA 算法和MSWOA 算法对神经网络参数进行优化，得出神经网络的最佳参数如表1所示。

Table 1 Network parameters obtained after algorithm optimization表1 算法优化后得到的网络参数

训练4 种神经网络模型，并对某一天的神经网络进行预测，预测结果如图5 所示。计算预测日的RMSE 和MAPE 如表2所示。

Table 2 Comparison of the error of different models for one day表2 不同模型一天的误差比较

Fig.5 Prediction results of different models for one day图5 不同模型一天的预测结果

由表2 可知，MSWOA 的RMSE 和MAPE 都低于其他模型。MSWOA 的MAPE 为1.171%，分别比BiGRU、Attention-BiGRU、WOA 低了1.184、0.923、0.479 个百分点；RMSE 为108.834 MW，分别比BiGRU、Attention-BiGRU、WOA 低了115.368、88.760、72.341 MW。

为了更好地判断神经网络模型的性能，对电力数据进行连续7 天的电力预测，预测结果如图6 所示。计算预测日的RMSE 和MAPE 如表3所示。

Table 3 Comparison of the error of different models for seven days表3 不同模型7天的误差比较

Fig.6 Prediction results of different models for seven days图6 不同模型7天的预测结果

由表3 可知，MSWOA 的RMSE 和MAPE 都低于其他模型。MSWOA 的 MAPE 为3.611%，分别比BiGRU、Attention-BiGRU、WOA 低了2.637、0.826、0.560 个百分点；RMSE 为300.734 MW，分别比BiGRU、Attention-BiGRU、WOA 低了181.388、30.262、40.030 MW。根据预测结果可知，由MSWOA 算法优化得到的网络模型，相较于其他网络模型的性能更好，证明了MSWOA 算法能够有效提升神经网络的预测性能。

3 结语

本文针对短期电力负荷预测提出一种基于MSWOA 的Attention-BiGRU 网络模型，利用BiGRU 的时序性预测特性，引入Attention 注意力机制提高神经网络的性能，并通过混合策略改进的鲸鱼优化算法自动选取隐藏层数、训练次数和学习率。结合电力负荷数据进行验证，实验结果证明，MSWOA 可有效提高神经网络的预测精度。同时与WOA 相比，MSWOA 在神经网络参数寻优过程中更具有优势，改善了WOA 收敛速度慢的缺点。由于本文只是针对单一电力负荷数据参数进行验证，未来可考虑加入天气等其它因素进一步验证模型性能。