基于LSTM的时间特征短期电力负荷预测方法研究

邱达锋

（广西电网公司柳州供电局，柳州 545001）

0 引言

随着深度学习在各行各业的渗透，基于深度学习的短期负荷预测也成为电力系统研究的热点。但由于电力负荷及其影响因素的非线性和随机性，电力负荷预测已成为电力市场实体面临的最具挑战性的任务之一［1］。目前运用长短期记忆（long short⁃term memory，LSTM）网络作为预测模型的方法很多［2⁃3］，但是大多仅仅运用比较简单的负荷特征，没有考虑到温度、湿度等多维度数据，导致研究的精度一直难以提升。首先，对于电力负荷预测分析，又可以分为短期负荷预测和中长期负荷预测［4］。本文主要讨论短期负荷预测方法，短期负荷预测一般以一周、一天、每小时为单位进行电力负荷预测［5］。短期负荷预测的作用取决于它的精度，预测精度越高其对电力调度的指令越有帮助，这也说明了短期负荷预测模型必须具备实时性、准确性［6］。这也对短期电力负荷预测模型提出了更高的要求，如果仅仅用传统的神经网络方法去预测，远远达不到理想的结果［7］。因此，各种神经网络融合的方法也开始成为研究主流，例如GRU（gated recurrent unit）神经网络和迁移学习方法融合［8］、还有基于GRU-CNN 混合神经网络模型的短期负荷预测方法［9］、基于多模型融合神经网络的短期负荷预测等［10］。但当网络较为复杂时，对特征而言容易产生特征维度变高，导致模型泛化能力不强的情况。对此，本文在回归最适用的LSTM 神经网络的同时，更加注重在构建时间特征上以达到最相关的特征结合最合适的神经网络。众所周知，LSTM 是循环神经网络（recurrent neural networks，RNN）的一个优秀的变种模型，继承了大部分RNN模型的特性，同时解决了梯度反传过程由于逐步缩减而产生的梯度消失问题［11⁃12］。因此，LSTM 非常适用于处理短期负荷数据这种与时间序列高度相关的问题。但是为了提高网络复杂度，增强网络学习能力，本文尝试结合CNN、Attention 机制分别提出了CNN_LSTM 模型、Attention_LSTM 模型、CNN_Attention-LSTM 模型，以LSTM 模型作为基准进行实验分析，结果表明这几个模型的平均绝对误差（mean absolute error， MAE）、均方误差（mean square error，MSE）均优于基准模型LSTM。这为基于时间特征的负荷序列预测提供有价值的研究方向。

1 方法研究路线与神经网络介绍

1.1 研究路线

本文的研究思路为：首先选择马来西亚柔佛供电公司提供的某地区2009—2010 年小时级的负荷数据集［13］；在数据处理上更看重时间特征；获得想要的特征后，再进行数据选择；然后进行网络模型搭建，最后采用平均百分比绝对误差（mean absolute percentage error，MAPE）、MAE、MSE、RMSE 作为评价指标对模型进行对比。具体研究路线如图1所示。

图1 研究技术路线

1.2 模型结构

1.2.1 LSTM 原理

LSTM 是一种循环神经网络（RNN）体系结构，能够在任意时间间隔内记忆值，存储的值在学习过程中不会被修改，RNN 允许神经元之间的向前和向后连接［14］。LSTM 主要由三个门组成：输入门、遗忘门、输出门。LSTM 基本结构如图2所示。

图2 LSTM基本结构

由图2可知，输入门的公式为

遗忘门的公式为

输出门的公式为

两种记忆公式为

1.2.2 CNN结构

卷积神经网络（convolutional neural network，CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现［15］。现在，CNN 已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像进行复杂的前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用［16］。本文把处理好的负荷分布看成一张张图像，然后CNN运用它对图像识别的优势，更好地提取出相关性更好的特征。一般的卷积神经网络结构如图3所示。

图3 一般卷积网络结构

由图3可知，卷积神经网络包含了一个由卷积层和批归一化层（BatchNormalization，BN）、子采样层（池化层）构成的特征抽取器。在卷积神经网络的卷积层中，一个神经元只与部分邻层神经元连接。在CNN 的一个卷积层中，通常包含若干个特征图，每个特征图由一些矩形排列的神经元组成，同一特征图的神经元共享权值，这里共享的权值就是卷积核，卷积核一般以随机小数矩阵的形式初始化，在网络的训练过程中卷积核将学习得到合理的权值［17］。共享权值（卷积核）带来的直接好处是减少网络各层之间的连接，同时又降低了过拟合的风险。子采样也叫做池化（pooling），通常有均值子采样（mean pooling）和最大值子采样（max pooling）两种形式。子采样可以看作一种特殊的卷积过程。卷积和子采样大大简化了模型复杂度，减少了模型的参数。

1.2.3 Attention机制

Attention 的作用就是让更重要的特征得到关注并提高其学习能力，它其实算不上一个完整的模型，更像是一种处理层机制，能够作用于任何序列模型中。Attention 函数的本质可以被描述为一个查询（query）到一系列键key 值value对的映射［18］。其一般结构如图4所示。

图4 Attention基本结构

由图4可知，在计算Attention时，应将query和每个key进行相似度计算得到权重，再用常用的相似度函数进行点积、拼接、感知机等操作，最后使用一个softmax 函数对这些权重进行归一化；将权重和相应的键值value 进行加权求和得到最后的Attention。具体公式如下：

2 数据集处理

2.1 数据集分析

本文选择的是共有17519条具有小时级别的负荷数据，其中数据集可以用到的特征共有11个，分别是：Temperature、Humidity、Holidays 0 for close 1 for open、year、month、day、hour、minute、second、weekday、Load。

首先分析对预测影响较大的Temperature、Humidity、Load 是否有缺失值，分析结果如图5～图7 所示。由图可知，本文选择的数据是完整的，这样就不需要进行异常值、缺失值处理。

图5 温度Temperature的数据分布情况

图6 湿度Humidity数据分布情况

图7 数据集电力负荷分布

2.2 数据归一化

如果直接用现有的数据进行训练，那么由于数值比较大，容易造成计算量超负荷，为了便于计算，需要对数据进行归一化处理，数据归一化的目的是使特征具有相同的度量尺度。本文采用MinMaxScaler方法，其公式如下：

2.3 数据划分

由于本文要预测的是下一个小时的负荷，所以需要构建一个y+ 1 的数据列表作为预测目标负荷（假设已知每个小时的负荷为y）。然后再用train_test_split 方法，随机将样本集合划分为80% 的训练集和20% 测试集，并返回划分好的训练集和测试集数据，这里80% 的训练集在指放进模型训练的比例，再把它的33% 用作验证集，验证loss损失。

3 模型搭建

3.1 LSTM模型

LSTM 模型作为本文的基准模型，保证网络结构相对纯粹，确保在接下来加入其他网络时能更有效地进行对比，模型具体结构和参数如表1 所示。由表1 可以看到，该网络结构主要采用了Dense层和LSTM层。

表1 基于LSTM搭建的网络模型

3.2 CNN_LSTM 模型、Attention_LSTM 模型、CNN_Attention_LSTM 模型

CNN_LSTM 模型结构与参数如表2所示，主要在LSTM 模型前，先进行2次CNN 卷积，提高网络的复杂度，有利于防止模型过拟合。

表2 基于CNN_LSTM 搭建的网络模型

Attention_LSTM 模型结构与参数如表3 所示，由表3 可知，先利用Permute 层、Reshape层、Multiply 层构建一个Attention 机制，然后把充分学习到的重点信息传输至LSTM 层，有利于提高模型精度。

表3 基于Attention_LSTM 搭建的网络模型

CNN_Attention_LSTM 模型结构与参数如表4 所示，由表4 可知，该模型相当于把CNN_LSTM 模型、Attention_LSTM 模型进行融合，有助于进行实验结果的分析比较。

表4 基于CNN_Attention_LSTM 搭建的网络模型

4 实验结果与分析

在实验训练时，选择的损失函数loss是平均平方误差（Mean Squared Error，MSE）。该损失函数由每个元素逐个计算，描述的是预测值与真实值的误差情况，一般适用于回归问题，短期电力负荷预测属于回归预测，所以选择它是合理的。

4.1 评价指标

除了loss，本文还选择了多个指标对结果进行分析，包括平均绝对百分比误差（mean abso⁃lute percentage error，MAPE），MAPE 是模型预测与平均响应输出相差多少的度量［19］；平均百分比误差（mean percentage error，MPE），可以反映模型是否存在对数据低估（更多的负面错误）或者高估（正面错误）［20］；均方根误差（root mean square error，RMSE），数量级上比较直观，如果误差的离散度高，那么最大偏差值越大，RMSE也越大［21］。

假设：

那么：

4.2 实验结果分析

为了确保定量分析，将LSTM 模型、CNN_LSTM 模型、Attention_LSTM 模型和CNN_ Atten⁃tion_LSTM 模型的训练参数进行统一：学习率为0.003，batch_size= 500, epochs= 300。最后所得四个模型的loss分别如图8～图11所示。可以看到，CNN_LSTM模型拟合的效果最好。

图8 LSTM模型训练loss对比

图9 CNN_LSTM模型训练loss对比

图10 Attention_LSTM 模型训练loss对比

图11 CNN_Attention_LSTM 模型训练loss对比

四个模型的真实负荷与预测负荷的对比情况如图12～图15 所示，从这四幅图中也可以看出CNN_LSTM模型的效果最好。

图12 LSTM模型负荷预测对比

图13 CNN_LSTM模型负荷预测对比

图14 Attention_LSTM 模型负荷预测对比

图15 CNN_Attention_LSTM 模型负荷预测对比

4.3 评价指标结果分析

四个模型的MAPE、MPE、RMSE 结果如表5 所 示， 由 表5 可 以 看 出， 除 了 在 时 间 上CNN_LSTM 模型没有优势外，其他三个值的表现均为最好。

表5 整体评价指标分析

5 结语

本文提出了LSTM 模型、CNN_LSTM 模型、Attention_LSTM 模 型 和CNN_Attention_LSTM 模型四种模型，无论从loss 拟合还是在三个评价指标MAPE、 MPE、 RMSE 上的表现， CNN_LSTM 模型都是最好的。这为短期电力负荷预测指明了有意义的研究方向。相信在未来，基于LSTM 时间特征的短期负荷预测一定能为电力系统稳定、安全运行保驾护航。

当然，本文所选数据可能比较少，对模型泛化能力有一定的影响，今后若在电网工作中能获得更多电力负荷数据，可进一步研究更具有鲁棒性、泛化能力好的模型，助力电网发展。