基于MLR和LSTM神经网络的短期负荷预测方法

武国良，祖光鑫，杨志军，秦立志

(1.国网黑龙江省电力有限公司电力科学研究院，哈尔滨150030；2.国网黑龙江省电力有限公司黑河供电公司，黑龙江 黑河164300；3.国网黑龙江省电力有限公司哈尔滨供电公司，哈尔滨 150070)

0 引 言

准确的负荷预测对电力系统规划和运行具有重要作用，例如制定机组发电计划和维护计划，以及确定适当的旋转备用。随着智能电网的发展以及分布式可再生能源和电力电子设备的集成，负荷行为越来越复杂，给负荷预测带来了巨大的挑战[1-2]。

负荷预测可分为长期、中期和短期预测。中长期负荷预测范围从几周到几年不等，它们主要用于长期规划和季节性需求分析。相比之下，短期负荷预测(short-term load forecasting，STLF)是电网日常运行的重要组成部分，其范围从几分钟到一周不等。短期负荷具有周期性特征，其变化受到许多因素的影响，例如温度变化和设备老化。这些因素带来严重的不确定性和非周期效应，导致预测准确性下降，在单个负荷的情况下尤为严重。为了减轻STLF过程中的不确定性，国内外已经进行了许多研究工作。目前的研究方法主要可以分为两类:一类为基于统计分析的方法，如多变量线性回归(multivariable linear regression，MLR)、时间系列分析方法[3]、指数平滑[4]；另一类为基于机器学习算法的方法，如神经网络[5]和支持向量回归(support vector regression，SVR)[6]。

在基于统计分析的方法中，MLR运算速度很快。但是，这些方法对存在很大不确定性的情况没有良好的预测能力。相比之下，机器学习算法(如SVR)具有良好的信息概括能力，能够快速获得全局解，但SVR大型数据集的可扩展性有限。为了解决这个问题，学者提出了具有强大的多变量制图能力的神经网络算法。但由于时间系列的内部影响没有得到适当的考虑，传统的反传播神经网络(back-propagation neural network，BPNN)很容易陷入局部最佳解决方案。为了解决这个问题，文献[7]、[8]引入了循环神经网络(recurrent neural network，RNN)，该网络能够通过隐藏层之间的自连接来考虑时间系列特征。但RNN的梯度爆炸问题限制了其适用性。受Greff等人的启发[9]，通过向RNN中添加一个特殊的单位结构,实现了长短期记忆人工(long short-term memory，LSTM)神经网络，解决了此问题[10]。

尽管机器学习算法比基于统计分析的算法具有一些优点，并且被广泛使用，但其难以建立适当的超参数，且大型数据集的计算速度很慢。相比之下，对于比较简单的数据集，时间系列分析可以快速、准确计算。实际负荷的行为通常是非静止的，具有强随机分量[11]。因此,如果仅使用基于机器学习的算法进行负荷预测，计算量可能过大；而如果只使用基于统计分析的方法，则无法考虑比较复杂的负荷数据，从而降低预测精度。为了解决这个问题，提出了一种基于分解的混合预测方法，它结合了时间系列和机器学习算法的优点。时间系列数据最常见的分解方法是小波变换、经验模态分解(empirical-mode decomposition，EMD)[12]。小波变换对非静止序列的分解结果在很大程度上取决于基础函数和顺序的选择，难以针对实际预测过程进行调整。STL适用于本身具有良好季节性周期的数据，但是实际负荷数据具有很强的随机性，因此实际负荷数据难以满足STL的要求。与小波变换和STL相比，EMD分解适应性更强，非常适合处理非线性和非静止时间系列。因此，采用基于EMD的方法分解电负荷。

1 混合ELM方法

混合ELM方法的结构如图1所示。其中，ELM 是 EMD-LSTM-MLR 的缩写。它包括4个主要部分：通过 EMD 分解负荷、通过 MLR 预测低频负荷、通过 LSTM 预测高频负荷，以及通过叠加获得最终的预测数据。

图1 ELM结构框图

以过零率是否大于0.01 区分高频和低频部分。选择适当的过零率阈值以确保 MLR 算法的有效性。对于一些高频部分，MLR 的迭代预测结果可能会发散，而LSTM神经网络不会。由于中频部分的划分对总体预测结果影响不大。因此，根据多次经验，选择过零率为0.01，可以有效地划分高、低频部分。过零率ρz的计算：

(1)

式中：ρz为过零率；nz为零交叉数；N为信号长度。

1.1 负荷分解

电力负荷受多种复杂因素影响，因而具有不稳定的特性。因此，传统方法难以预测电力负荷。为了解决这个问题，采用 EMD 方法[13-14]分解负荷数据。EMD 是典型的自适应数据处理工具之一，可根据自身的时间尺度特征分解信号。它将信号分解成不同的固有模态函数(intrinsic-mode functions，IMF)，频率从高到低不等。低频部分表示负荷整体的周期趋势，而高频部分表示局部特征和噪声的较强随机性。每个IMF都包含不同时间尺度信号的局部特征。使用 EMD 将数据分解为多个 IMF，如式(2)所示。

(2)

式中：s(n)表示第n个采样周期的电气负荷；c(n)表示第i个不同的负荷部分；r(n) 表示剩余部分;M表示不同负荷部分的个数。

具体步骤如下：

1)使用三次样条插值函数查找电气负荷数据的所有极值点s(n)、上下包络曲线emax(n)和emin(n)，并计算均值m(n)：

(3)

2)用s(n)减去m(n)，差值记为d(n)：

d(n)=s(n)-m(n)

(4)

3)通过d(n)计算标准偏差DS：

(5)

4)当DS值小于预定值σ(一般取0.2～0.3)时，获得第i个IMF，即使ci(n)=d(n)，其中i=1，2，3，…，M，M表示IMF的总数[18]。若DS不满足条件，则以d(n)为输入信号，返回到第 1 步继续计算，直到DS在多轮后低于σ。

5)令s(n)=s(n)-ci(n)。如果得到的s(n)是单调函数，或者当s(n)或ci(n)小于等于给定值时，则令剩余部分r(n)=s(n)，并停止迭代;否则，将s(n)作为输入返回到第 1 步进行下一次迭代,以计算下一个ci+1(n)。通过计算，初始s(n)最终可以分解为以下IMF：c1(n)，c2(n)，…，cM(n)，以及r(n)。

1.2 多变量线性回归

通过 EMD方法分解后，得到平滑且周期性的低频分量。对于此类信号，可以通过MLR 完成负荷预测。MLR是一种传统的统计分析方法，具有执行速度快的优点，对于比较简单的数据集有良好的准确性[15]。与神经网络和SVR相比，MLR的训练过程速度具有明显的优势。它类似于使用线性函数作为激活功能的神经网络，但它不需要繁琐的迭代训练过程和参数调整。因此，对于平滑的低频负载组件，MLR比其他方法更合适。其数学模型可表示如下：

Y=X×β+μ

(6)

(7)

式中：yi表示负荷数据；xij表示影响负荷的因素；β0是常数；βi是回归系数；μi表示随机扰动；其中i= 1，2，…，n。

1.3 LSTM 神经网络

对于强随机性的高频负荷分量，通过 LSTM 神经网络进行负荷预测。与传统的神经网络相比，LSTM不需要处理下一时刻的信息，只需要处理当前时刻的信息。BPNN的基本步骤包括每个神经元的输出计算、向后一个神经元输出的误差评估，以及通过优化算法减少误差。值得注意的是，对于时间序列负荷数据，如果忽略负荷的时间相关性，则预测的准确性会降低。因此，为了提高负荷预测准确性，该文采用考虑到时间序列时间相关性的 LSTM。

与传统 RNN 相比，LSTM引入了细胞状态c的概念，以考虑隐藏在长期状态中的时间相关性，其结构以图2所示。

图2 LSTM结构示意图

在时间为t时，LSTM的输入包括当前时刻的网络的xt、上一时刻的ht-1和细胞状态ct-1。LSTM输出包括当前时刻的输出值ht和当前时刻的细胞状态ct。LSTM 通过3个门来控制单元格状态，分别为遗忘门、输入门和输出门，可由式(8)表示。

g(x)=σ(Wx+b)

(8)

式中：W为门的权重矩阵；x为输入的负荷数据；b为偏移向量；σ为sigmoid函数。

在向后优化的过程中，LSTM 的权重通过自适应矩估计(adaptive moment estimation，Adam)优化算法进行更新[16]。适当的优化算法可以节省计算资源，加快向最优解的收敛。Adam是一种一阶优化算法，可以代替传统算法的梯度下降过程，具有较高的计算效率，在优化大型数据和参数时，所需要的内存更少。面对高噪音或稀疏的梯度时，它具有很高的鲁棒性。经过多次迭代，LSTM逐渐接近培训集的真实值，从而获得有效的预测模型。

LSTM神经网络迭代更新权值可以减小误差，提取高频时间序列的内在规律，提高模型的预测精度。它能逐步逼近随机性强的高频数据。LSTM神经网络的预测结果与其超参数的设置密切相关，包括网络的层数、每层的节点数、循环数和初始权值[19]。

1.4 负荷预测重组

由式(2)可知，系数为1的所有负荷分量处于同一时间坐标，而EMD是线性分解，因此只需将它们迭加即可重建完整的负荷曲线，如式(9)所示。

Pload=PIMF1+PIMF2+…+PIMFn

(9)

式中：Pload表示预测结果；PIMFi表示第i分量预测结果，其中i=1，2，…，n，n由负荷数据和EMD分解设置的阈值确定。此外，由于大数据集被划分为可单独处理的不同部分，因此使用分布式计算技术可以减轻计算负担。

预测结果的迭加过程也是从整体趋势到局部细节的重构过程。最后，将基于MLR的低频经验模态负荷预测结果与基于LSTM的高频负荷预测结果相结合，实现对电力负荷的预测。

2 实验结果

实验采取2017年春季中21天的中国西部地区5 000个用户的现场负荷数据。数据每15 min更新1次，即每个用户每天有96个数据。与迁移学习一样，首先从5 000个用户的数据中得到1个预训练模型。用户负载的原始数据如图3所示，其呈现无明显周期性的特征。将历史数据分为两部分：前90%的历史数据作为训练集，后10%的历史数据作为验证集。测试误差通过预测和实际之间差值进行计算。

图3 用户原始数据

在图3中可以清楚地看到，1个用户负荷的原始数据包含大量的高频分量和噪声等。为了处理这一问题，首先通过EMD对负载数据进行分解。根据数据的复杂程度和EMD的预阈值设置，将IMF按照频率从高到低分为9组。通过式(1)计算各组过零率，结果如表1所示。

表1 IMF过零率

从表1可知，从IMF7开始，过零率开始小于0.01，可以利用MLR对低频模式对应的负荷进行预测。相比之下，从IMF1到IMF4的模式具有非常高的频率。因此，采用LSTM神经网络进行负荷预测。

将EMD后得到的IMF和剩余部分输入到相应的算法中，对下96个时间点的数据进行迭代预测。将得到的预测序列相加，得到完整的负荷预测。特别地，每个预测序列按从低频到高频的顺序叠加，可以逐步得到完整的序列。

为了证明该方法的优点和性能，对照了其他几种预测算法，包括SVR、BPNN、MLR和LSTM神经网络，以及考虑温度、风向、风速、星期的多输入LSTM神经网络(MLSTM)。预测曲线和误差分别如图4、图5和表2所示。

图4 ELM模型与常用预测方法的比较

图5 ELM模型和神经网络预测方法的比较

由图4、图5、表2可知，ELM模型不仅在平均绝对百分误差和均方根误差上比其他算法有绝对优势，而且在拟合时间序列负荷曲线方面也取得了更好的性能。在10：00—18：00，其他方法都没有达到良好的拟合效果，但ELM模型在一定程度上实现了准确的预测。

表2 各算法误差

3 结 语

综合MLR和LSTM算法的优点，提出了一种改进的STLF方法ELM。将ELM与SVR、BPNN和LSTM、MLSTM等基于神经网络的预测方法进行了比较。结果表明EML的预测精度优于其他方法。

1)采用EMD算法，依据频率从低到高将负荷分组。各组具有线性相关性，可以线性叠加。因此，LSTM 和 MLR 对不同组件的预测结果可以单独处理。这极大提高了应用分布式计算技术进行大数据的计算效率。

2)MLR 方法和 LSTM 神经网络算法分别用于预测低频和高频负荷。MLR 可以快速预测变化的总体趋势，而 LSTM 则能够预测复杂的非线性局部行为。通过这种方式可以有效地利用MLR和LTTM的优势，从而产生显著改善的结果。