电量预测中的多分辨时序神经网络模型研究

石少青，郑楷洪，周尚礼，杨劲锋，张英楠，陈敏娜，张 健

(1．中国南方电网有限责任公司，广东 广州 510663; 2．南方电网数字电网研究院有限公司，广东 广州 510663；3.中国矿业大学，江苏 徐州 221116)

电能稳定供给是社会经济发展和人民正常生活的必要保障，精确的电量预测可以为电能生产和供电调度提供可靠的指导，提升电力系统的供电质量。区域用电量数据的来源不同且不同来源的数据具有不同的统计特性，导致用电量数据在总体上呈现出一定周期性和波动性，为用电量预测带来了挑战。图1为南方电网某区域6、7月份的总电量和部分行业用电量。

图1 南方电网某区域用电量变化曲线

从图1可以看出，区域用电量在时间尺度上呈明显的周期性，其中工作日以工业用电和商业办公用电为主，用电量除了部分波动外相对平稳；周末或节假日由于部分行业的用电量下降导致该时段用电量下降。这说明时间是电量预测中重要的影响因素，区域用电量和行业用电量在呈现出部分波动性的同时具有近似周期性，但是不同行业之间又表现出不同的统计特性。为了进行自动、精确的用电量预测，多种预测模型被应用到该领域中，传统的电量预测模型包括回归分析[1]、马尔可夫模型[2]、支持向量回归机[3]、时间序列分析模型[4-5]等。随着人工智能技术的发展，孪生(多生)支持向量回归机[6]、神经网络[7-9]等机器学习模型被应用于电量数据的处理中，其中长短时记忆(long short-term memory，LSTM)网络应用尤为广泛[10-13]。文献[11-12]将LSTM应用到短期电量、负荷预测中。文献[14]设计了多尺度LSTM，从时域出发，利用不同的时间步长提取数据中时序特征。文献[15]从时频分析的角度出发，将小波分析理论引入到时序数据的处理中，提取时频特征预测用电量，但是小波函数的构建比较复杂且使用同类小波拟合不同统计特性的数据时需要做更深尺度的分解，这会带来额外的计算负担并影响预测的准确性。文献[16]从信号分解的角度对用电量序列数据进行分解后从不同时间尺度进行预测。然而，由于用电量存在一定的波动性，且不同行业自身周期性的时间尺度不同，使得行业用电量的近似周期性体现在不同的时间尺度上，因此传统的用电量预测模型难以在拟合此类用电量数据周期性的同时捕捉数据的波动性。

为缓解此问题，本研究提出组合了集成经验模态分解(ensemble empirical mode decomposition，EEMD)方法、傅里叶变换和小波分析方法的多分辨时序神经网络(multiresolution time-sequence neural net，MTNN)模型，使用EEMD从不同的时间分辨率上建模用电量数据的周期性特征，根据傅里叶变换和小波分析从频域和不同的时域分辨率上建模低阶IMF分量的周期性特征和波动性特征，然后组合IMF分量预测值得到预测结果。首先，使用EEMD方法从不同周期时长的角度对用电量序列数据进行分解，得到不同时间尺度下的本征模态函数(intrinsic mode function，IMF)分量。然后，对于高阶IMF分量和残差项，由于周期的时间尺度较大，比较容易预测其变化趋势，故使用LSTM模型来预测高阶IMF分量和残差项。其次，对于低阶IMF分量，考虑到其周期的时间尺度小，波动性更显著，故设计一种多阶时频注意力神经网络(multi-order time-frequency attention neural net，MTFANN)作为MTNN预测低阶IMF分量的子模型，该网络包含一种融合了小波分析和傅里叶变换的时频神经注意力神经网络和一种多阶特征提取方法，根据IMF低频分量及其时频变换特征来建模低阶IMF分量的周期性和波动性。最后，为了验证MTNN模型的有效性，本研究在人造的数据集上验证了MTNN能够在拟合数据周期性的同时捕捉数据的波动变化，然后在南方电网某区域7个地区的用电量数据集上验证了MTNN在用电量预测任务中的有效性。

1 小波分析、傅里叶变换和EEMD分解

1.1 小波分析

小波分析是一种多分辨分析方法，通过对信号进行多尺度分解，从不同分辨率上对信号进行分析，通过对信号进行小波分解可以在更细的分辨率上获取信号的变化特征，从而有效地建模信号的波动特性[15]。常用的小波分析分为连续小波变换和离散小波变换(discrete wavelet transform，DWT)。直观上看信号空间有不同正交小波构成的基底值的和组成：

(1)

式中，Wj是由正交小波2j/2ψ(2jt)及其平移变换组构成的基底。此时，DWT可以表示为：

(2)

{ψj,k(t)=2j/2ψ(2jt-k),(j,k)∈Z2}。

(3)

从多分辨分析的角度出发，信号空间还可以写为如下形式：

(4)

式中，Vj可以看作是尺度函数空间，尺度基函数和小波基函数共同张成了信号空间。实际上，对于任何的尺度j0，都可以在信号空间找到一组标准正交基，该基底通过组合尺度j0上的尺度函数及所有在尺度j(j>j0)上的小波得到。基于该标准正交基，所有信号空间中的信号都可以写成基底中函数的线性组合：

(5)

将数据序列进行小波分解的过程可以看作：每一层分解的结果是上次分解得到的低频信号再分解成低频和高频两个部分，如此经过N层分解后源信号f被分解为f=D1+D2+…+DN+AN，其中D1，D2，…，DN分别为第1层，第2层，…，第N层分解得到的高频信号，AN为第N层分解得到的低频信号。由于小波变换的多尺度特性，显然适合随时间波动信号的建模。

1.2 傅里叶变换

傅里叶变换是常用的信号时频分析手段，当信号表现出一定周期性时，其傅里叶变换在频域上具有显著的能量分布曲线，能够将信号有效映射到频域，实现滤波处理，是提取信号周期性频域特征的重要方法。离散傅里叶变换可以表示为：

(6)

1.3 经验模态分解与集成经验模态分解

经验模态分解(empirical mode decomposition，EMD)是依据数据自身的时间尺度特征进行信号分解，可将复杂信号分解为有限个本征模态函数IMF，分解出来的各IMF分量包含了原信号在不同时间尺度的局部特征信号。分解过程为：

1) 找到信号x(t)所有的极值点；

2) 用3次样条曲线拟合出上下极值点的包络线emax(t)和emin(t)，并求出上下包络线的平均值m(t)，求差值h(t)=x(t)-m(t)；

3) 根据预设判据判断h(t)是否为IMF分量，如果不是，则以h(t)代替x(t)，重复以上步骤直到h(t)满足判据，则h(t)就是需要提取的IMF分量Cj(t)；

4) 每得到一阶IMF，即将其从原信号中扣除，重复以上步骤直到信号最后剩余部分rn是单调序列或者常值序列。

这样，经过EMD方法分解就将原始信号x(t)分解成一系列IMF以及剩余部分的线性叠加

(7)

但是该方法存在两方面问题，一是用EMD分解得到的IMF存在模态混叠现象，二是末端效应影响分解效果。为了抑制EMD的模态混叠现象，基于噪声辅助分析的改进EMD方法即集成经验模态分解EEMD方法被提出[17]，其本质上是一种叠加高斯白噪声的多次经验模式分解方法。

2 多分辨时序神经网络模型

2.1 多分辨时序神经网络模型架构

MTNN首先用EEMD方法对用电量数据进行分解和特征提取得到IMF分量，旨在使用不同阶的IMF分量从不同的时间分辨率上建模用电量数据的近似周期性特征，从而在不同时间尺度上捕捉用电量数据的近似周期性。然后针对不同阶的IMF分量设计神经网络模型预测下一时间段的IMF分量，其中LSTM用于预测高阶IMF分量和残差项，多阶时频注意力神经网络用于预测低阶IMF分量。MTNN模型架构如图2所示。

图2 MTNN模型架构图

如图2所示，首先将用电量数据EEMD分解的过程表示为：

(8)

式中:J是IMF分量的残差项索引，rJ(t)表示残差项，Cj(t)表示IMF的第j阶分量。然后综合附加的天气信息和节假日信息，将高阶IMF分量和残差项作为LSTM模型的输入，计算高阶分量和残差项的预测值：

yIMFj=LSTMj([Cj(t),add(t)]),yrJ=LSTMJ([rJ(t),add(t)])。

(9)

其中:add(t)表示在t时间点的天气信息和节假日信息的编码；yIMFj表示IMF的第j阶分量的预测值，满足j>1。对于低阶的IMF分量，使用傅里叶变换和小波分析方法计算IMF分量的时频特征，综合附加的天气信息和节假日信息作为多阶时频注意力神经网络(MTFANN)的输入，计算低阶IMF分量的预测值

yIMF1=MTFANN([C1(t),FFT(C1(t)),DWT(C1(t)),add(t)]),

(10)

式中：C1(t)表示1阶IMF分量，FFT表示快速傅里叶变换，DWT表示离散小波变换。本研究采用Coiflets母小波，小波变换层数为3。最终，综合IMF分量和残差的预测结果，得到用电量数据的预测值

(11)

2.2 多阶时频注意力神经网络

在低阶IMF分量的预测过程中，为了建立低阶IMF分量的波动特性和周期性模型，构建多阶时频注意力神经网络。首先对低阶IMF分量使用小波变换提取不同尺度的时频表达TIMF，使用傅里叶变换提取不同的频域表达FIMF；再组合IMF分量、TIMF、FIMF和附加的天气、节假日信息编码输入CIMF；最后，使用多阶时频注意力神经网络提取CIMF的时频特征。多阶时频注意力神经网络包括多阶特征提取方法[18]和时频神经注意力神经网络的构建，其中时频神经注意力神经网络包括时频神经相似函数、注意系数和注意特征的构建。

把多阶特征提取思想从自然语言处理引入到时序数据分析中。首先逐个遍历节点，提取输入数据本身的特征(1阶特征提取)，然后对节点进行成对遍历，提取成对输入数据的组合特征(2阶特征提取)。以此类推，至N阶遍历提取N阶特征。由此，多阶特征提取方法在考虑单个时间节点特征的基础上，以多个时间节点的数据为一个整体，考虑各个整体之间的关联关系，N阶特征提取可以用大小为N的卷积核实现。最后，对每阶特征构建时频注意力神经网络提取其时频特征来预测低阶IMF分量。

为了表达输入之间由于相似性不同产生的不同影响，定义了时频神经相似函数。时频神经相似函数通过测量两个包含有时频特征的输入向量之间基于神经网络的距离测度，来度量两者的相似性。以CIMF的特征提取过程为例，其相似度为：

Similarityij=Neural(Dot(CIMFi,Cosine(W×CIMFi,W×CIMFj)))。

(12)

式中：W为可学习权值，CIMFi为第i个组合输入向量，CIMFj为第j个组合输入向量，Dot为点乘函数，Neural()为单层神经网络。时频神经相似函数计算其他向量与当前向量的夹角，利用该夹角点乘当前向量，计算这些向量对当前向量产生的影响。

由时频神经相似函数，定义组合输入向量i和j之间的注意力系数为：

(13)

当前节点i的注意力特征hi可以表示为：

(14)

式中V为可学习权值。

由此构建一个由时频神经相似函数构成的时频神经注意力层，多个时频神经注意力层堆叠得到时频神经注意力神经网络，综合多阶特征提取方法，可以构建多阶时频注意力神经网络。以阶数N=2为例，一个二阶时频注意力神经网络的模型结构如图3所示。

由图3所示的二阶时频注意力神经网络可以预测一阶IMF分量值，而高阶IMF分量和残差可以通过LSTM预测，组合IMF各分量的预测值可以得到用电量的预测结果。

3 实验分析

实验分为3部分，第1部分是数据集和基准模型介绍；第2部分通过人造的包含多个时间尺度的周期信号序列和噪声的叠加信号序列数据，验证MTNN能够提取周期特征和波动特征，并验证MTNN在南方电网某区域用电量预测的有效性；第3部分通过消融实验验证本研究所提出的时频处理方法、时频神经相似函数、多阶时频注意力神经网络的有效性。

图3 二阶时频注意力神经网络结构图

3.1 数据集和基准模型

3.1.1 数据集

为了验证提出的MTNN模型能够拟合数据不同尺度的周期性和波动性，构建包含多个时间尺度的周期信号序列和噪声的叠加信号序列数据的人造数据集，该信号序列在不同周期长度的正弦函数上增加了服从高斯分布的随机噪声：

S(n)=3×sin(4×T)+3×cos(9×T)+sin(8.12×T+1.2)+1.5×(i～Gaussian(0,1))。

式中：i表示随机变量，n表示样本。本实验n=2 000，使用窗口尺寸为50的滑动窗口遍历序列长度为n的人造数据，得到1 951条序列数据，每条序列数据的长度为50，根据本窗口内的序列数据来预测下一个样本点的数据值。

第二个数据集为南方电网某区域7个地区2020年1月1日到2021年11月1日的用电量数据，每24 h记录一次总用电量A，第一产业A1、第二产业A2、第三产业A3的地区用电总量以及9个不同行业的用电总量，得到670天的区域总用电量数据，总计56 280条初始数据。

为了剔除无效数据，首先进行数据清洗，即对数据中包含的离群值(主要是异常值)进行识别和修正，去除离群点并使用邻接点的平均值取代，然后进行数据归一化处理。使用过去14天的电量值、天气和节假日信息预测下一天的用电量，对数据集做窗口滑动处理得到长度为14的序列数据(作为输入)，对应的预测值为下一天的用电量(作为标签)。在MTNN中，将1阶IMF分量扩展，其中每天的数据包括当天用电量的1阶IMF分量、1阶IMF分量的快速傅里叶变换值、小波变换值、对应的天气数据和节假日信息，以向量的形式拼接为14×5的向量。实验采用十折交叉验证测试模型效果，采用最小均方误差(MSE)衡量预测效果，MSE值越小表明模型预测值越接近真实值。

3.1.2 基准模型

采用三类基准模型与本研究模型进行对比。第一类为普通时序预测模型：LSTM[8]、SVR[3]；第二类为基于时频分析的时序预测模型：基于小波变换和用电量序列数据的DWT-LSTM[13]、基于傅里叶变换和用电量序列数据的FTT-LSTM[12]、多尺度LSTM模型MSD-LSTM[14]；第三类为基于信号分解的时序预测模型：基于EMD分解和优化SVR的模型EMD-SVRCKH[16]、基于EEMD分解和LSTM的EEMD-LSTM模型[19]。

3.2 MTNN预测有效性验证

用人造数据集验证MTNN模型捕捉数据近似周期性和波动性特性的能动，数据集归一化的采样序列和EEMD分量如图4所示。

图4中Original sequence表示规则化后的数据，图4(a)横坐标为[0，2π]范围内50个数据采样点，纵坐标为横坐标对应的函数值；图4(b)横坐标表示天数，共记录了100天的数据，纵坐标表示当天规则化后的用电量。可见，不管是人造数据集还是真实的用电量数据集，随着IMF阶数的增加，IMF分量趋于平滑，对于1阶IMF分量，其波动性比较明显。MTNN在2阶及以上IMF分量上使用LSTM，在1阶IMF上使用多阶时频注意力神经网络进行预测。

首先，在人造数据集上验证MTNN的预测能力。取LSTM层数为3，隐层节点数为100，注意力层数为3，阶数为2；离散小波变换级数为3，每层节点数为100，batch_size为16，梯度更新方法选择Adam，初始学习率为10-3，采用dropout方法防止过拟合，dropout rate选为0.2。在对比实验中，MSD-LSTM每层的跳跃尺度分别设为2、4、6[14]，MTNN在人造数据集上的预测结果的测试MSE如表1所示。由表1可见，基于信号分解的预测模型的测试MSE优于基于时频分析的LSTM模型，而MTNN取得了最优的测试MSE，表明针对包含多个时间尺度的周期信号序列和噪声的叠加信号序列，MTNN能够更有效地捕捉周期性特征和波动性特征，并完成预测。

图4 实验所采用的数据采样序列及其IMF分量

表1 人造数据上的测试MSE

然后，验证MTNN模型在用电量预测上的有效性。取MTNN的LSTM层数为3，隐层节点数为64，注意力层数为2，阶数为2；离散小波变换级数为3，每层节点数为64，batch_size为16，梯度更新方法选择Adam，初始学习率为10-4，采用dropout方法防止过拟合，dropout rate选为0.2。在对比实验中，MSD-LSTM每层的跳跃尺度分别设为1、2、3[14]。测试MTNN模型在7个不同地区用电量的预测效果，验证模型对不同地区用电量的适用性，实验结果如表2所示。由表2可以看出，模型取得的预测MSE与人造数据集的结果基本一致，且MTNN取得的结果最优，表明MTNN能够对不同尺度周期性和波动性的序列数据建立模型并有效预测用电量。一方面说明从不同时间尺度的周期性和波动性的角度，分析用电量数据的特征并进行用电量预测的思路框架是有效的，另一方面说明MTNN模型预测用电量是有效的。尽管预测的MSE不同，但是在这7个不同的区域上，本研究提出的MTNN模型取得了最优的测试MSE，相对于基于LSTM的模型和基于EMD、EEMD分解的预测模型有一定的提升。

表2 各地区电量测试MSE

为了进一步测试模型对具有不同周期性和分布特性的不同行业用电量的适应性，本研究对地区1的三大产业和工业、制造业、城镇居民用电量分别进行了预测，测试结果如表3所示。

表3 地区1用电量数据测试MSE

不同行业的用电量数据具有不同的分布特性。从表3可知，在不同行业用电量数据的预测上，MTNN的表现比较稳定，可以有效地预测近似周期、周期性不明显的用电量数据以及数据中的瞬时变化特性，并且MTNN在大部分子数据集上取得的效果要优于其他的对比算法。

3.2 MTNN消融实验

设计消融实验，来验证MTNN中时频处理方法、时频神经相似函数、多阶时频注意力神经网络在用电量预测任务上的有效性。

1) 时频处理方法的有效性验证

在MTNN中去掉EEMD后的主体模型记为多阶时频注意力神经网络MTFANN模型，在MTNN中使用LSTM替换MTFANN后得到的模型记为EEMD-LSTM，在MTNN中的MTFANN中仅使用傅里叶变换而不使用小波变换的模型记为EEMD-MFANN，在MTNN中的MTFANN中仅使用小波变换而不使用傅里叶变换的模型记为EEMD-MTANN，模型在7个地区用电量的测试MSE如表4所示。

表4 各地区用电量测试MSE

如表4所示，综合EEMD、小波分析、傅里叶变换的MTNN模型在4个地区的用电量预测上取得最优的测试MSE，说明本研究使用的时频处理方法对用电量预测任务是有帮助的。

2) 时频神经相似性函数的有效性验证

将时频神经相似性函数分别替换为Conise相似性函数得到MTNN-Conise模型、Dot相似性函数得到MTNN-Dot模型、神经相似性函数(使用神经网络计算相似性)得到MTNN-Neural模型、使用连接函数得到MTNN-Concat模型，各模型在7个地区用电量的测试MSE如表5所示。

表5 各地区用电量测试MSE

由表5可见，相比于常用的几种相似性度量函数，本研究提出的基于时频神经相似函数的MTNN模型在5个地区的用电量预测上取得了最优的测试MSE，说明时频神经相似函数能够更好地度量IMF低阶分量的变化特性。

3) 多阶特征提取方法中阶数N的影响

N=1时，相当于只考虑单个时间点的数据特征，使用注意力机制建模时间点之间的关联性；N=2时，相当于将两个相邻节点的特征作为一个整体特征来考虑。N取不同值时，模型在7个地区用电量的测试MSE如表6所示。

表6 各地区用电量的测试MSE

如表6所示，N=3时，MTNN的预测效果开始停止增长，当N>3时，预测的MSE出现下降，可能是因为训练数据的数量上相对不足导致模型出现了过拟合，也可能是实现多阶机制的卷积操作使得多个节点的特征出现了平均效应，降低了预测的效果。

4 总结与展望

本研究提出一种多分辨时序神经网络模型MTNN，根据用电量数据特性将用电量数据看作近似的周期性数据分量和波动分量的组合，使用EEMD方法从时域的角度对用电量序列数据进行分解，然后从时频多分辨率的角度对低阶IMF分量进行多尺度分解，构建多阶时频注意力神经网络预测低阶IMF分量，使用LSTM预测高阶IMF分量和残差，组合预测结果预测用电量。通过人造数据集、南方电网某区域7个地区的用电量数据以及消融实验验证了MTNN的有效性。

后续将利用更加丰富的数据信息完善MTNN模型，一方面利用更细粒度的模型预测实时用电量，另一方面将实时的附加信息以先验形式引入到模型中，进一步提高模型的预测效果。