基于Seq2seq模型的多特征短期母线负荷预测

陈逸枞，张大海，于 浩，王玉清

（1.北京交通大学电气工程学院，北京 100044；2.潍坊华枢电力工程设计咨询有限公司，安丘 262100）

母线负荷代表着系统负荷的底层分布，随着大量风电、光伏、水电等可再生电源接入电网系统并在电网中进行局部消纳，对母线负荷的变化趋势产生了显著的影响。母线负荷预测不仅影响发电计划的制订，也是电力市场进行出清和形成实时电价的重要依据。但由于母线负荷基数小，且可能直接汇聚不同种类和特性的负荷，例如光伏、新能源电动汽车等，负荷特性复杂，随机性和波动性较系统负荷更强，因此提升母线负荷预测的精度具有十分重要的意义[1]。

母线负荷预测方法主要可以分为3类。第1类是基于系统负荷预测配比的方法，根据节点负荷的权值，按比例将上级系统负荷预测值分配到各母线上，但由于母线负荷易突变及量测装置的逐渐完善，这种方法已经逐渐被淘汰。第2类是母线负荷聚类预测方法，文献[2]将母线负荷汇总求和，采用回归神经网络对总负荷进行预测；文献[3]采用减法聚类对区域母线负荷进行分类，然后利用最小二乘支持向量机LSSVM（least squares support vector machine）进行预测，预测效果更佳；文献[4]在母线和系统间构造虚拟母线中间层，对虚拟母线负荷进行建模和预测，再根据“子母线-虚拟母线”平滑配比因子得到子母线预测值；文献[5]结合聚类方法和人工神经网络ANN（artificial neural network）对希腊互联系统的4条母线负荷进行预测，结果表明了该预测模型的有效性。第3类方法是借鉴系统负荷预测的方法来拟合母线负荷的变化规律，但由于母线负荷波动性强，非线性特点明显，基于数理统计的预测方法并不适用于母线负荷预测问题，二者的相通之处主要集中在人工智能方法上。母线负荷预测的人工智能方法分为以下两种。

（1）根据实际母线负荷数据特点，设计贴合的多层不同网络组合预测模型[6]。文献[7]提出一种反向传播人工神经网络BP-ANN（back propagation artificial neural network）与卷积神经网络CNN（convolutional neural networks）融合的母线负荷预测方法，利用CNN提取图像型母线数据的特征，然后通过多层网络完成预测；文献[8]采用随机森林算法对母线负荷影响因素进行特征排序，并使用深度置信网络DBN（deep belief networks）模型进行预测；文献[9]提出一种利用CNN提取多因素主特征，采用多层门控循环单元GRU（gate recurrent unit）神经网络进行母线负荷预测的方法，结果表明该方法具有较高的精度。多层组合预测模型方法的优点是不需要对母线负荷原始数据进行太多的处理，合适的模型可以达到一定的预测精度，但往往根据不同母线的类型和特点需要“因地制宜”，泛化性不强，在预测的适用性上存在一定的问题。

（2）在选取预测模型之前，对母线负荷序列数据进行非线性特征提取，即进行周期化和趋势化处理，降低预测模型捕捉特征的难度。文献[10]提出一种基于小波分解和ANN的预测模型，对小波分解得到的子序列采用不同激活函数的ANN分别预测并求和，达到很好地预测精度。文献[11]采用相重构方法对母线负荷序列进行处理，然后利用DBN模型进行预测，在波动性较大的情况下得到较好的预测精度；文献[12]采用互补集合经验模态分解对母线负荷序列进行处理，并使用极限学习机ELM（extreme learning machine）对分解得到的子序列进行预测，与直接预测相比提高了准确率；文献[13]提出一种变分模态分解-长短期记忆VMD-LSTM（variational mode decomposition long short-term memory）分位数回归的母线负荷区间预测方法，改善了区间预测的宽度。这一方法的优点是泛化能力强，容易移植到不同母线预测的问题上，但预测精度可能会受到一定的影响。

本文针对多因素母线负荷短期预测问题和气象数据粒度粗糙的问题，结合深度学习方法和特征工程，提出一种基于Seq2seq模型的多特征母线负荷日前预测方法。首先，对母线负荷的时间连续性特征进行编码；然后，设置不同的特征组进行消融实验，实验前对Seq2seq模型的编码器和解码器进行优选，通过多次重复实验，选择效果最佳的双向门控循环单元 Bi-GRU（bidirectional gate recurrent unit）网络和LSTM神经网络，搭建Seq2seq模型对不同的特征组进行预测，包括单时间连续性特征、单气象特征和离散小波变换DWT（discrete wavelet transformation）分量特征等；最后，对不同的特征组和DWT方法进行对比实验，以验证本文预测方法的效果。

1 Seq2seq模型概述

Seq2seq模型早期主要应用于机器翻译和语音文本识别等自然语言处理任务，之后有研究将该模型应用在时间序列预测任务中，并取得了较好的预测效果[14]。Seq2seq作为典型的端到端序列映射模型，可以用编码器将不定长的母线负荷序列压缩编码为一个固定维度的向量，再由解码器解码该固定向量，输出不定长的未来母线负荷输出序列。

1.1 Seq2seq模型基本原理

Seq2seq模型本质上仍是神经网络模型的一种，该模型具有编码器-解码器（encoder-decoder）的结构[15]，输入序列与输出序列可以不等长，能够学习到输入序列和输入输出的映射关系。Seq2seq模型的基本框架由编码器、解码器和中间向量三部分组成，母线负荷预测的Seq2seq基本结构如图1所示。其中，一维序列的母线负荷数据及其他多因素特征作为x序列输入，编码器对x序列进行压缩编码，得到中间向量；再通过解码器进行映射解码，得到预测的母线负荷值。

图1 Seq2seq模型原理Fig.1 Schematic of Seq2seq model

通过编码器的编码过程，得到输入母线负荷序列的不同时刻隐藏层状态{h1,h2,h3…,ht}，编码器每一步的输入包括前一个时刻的状态信息及该步的输入序列信息，其计算公式为

式中：f为编码器的内部逻辑规则；xi为第i时刻模型输入的母线负荷序列及特征；t为时刻数量。

解码器的输入包括中间向量和每个时刻的隐藏层状态{S1,S2,S3…,St}，隐藏层状态Si的计算公式为

式中：f为解码器的内部逻辑规则；Yi为第i时刻模型的输出值。

1.2 Seq2seq编码解码器

Seq2seq模型编码器可以处理输入序列，捕捉序列的上下文信息，压缩成指定长度的中间向量完成编码；然后由中间向量传递最后一个隐藏层状态或所有隐含层状态的变换给解码器进行解码输出生成序列。中间向量的大小取决于解码器隐藏单元的数量。

Seq2seq模型的编码器和解码器并非是特定的某种神经网络模型，而是针对不同的任务，会使用不同的神经网络模型。例如，在图形处理任务中一般采用CNN模型；在文本处理、语言识别和时间序列预测任务中常使用循环神经网络RNN（recurrent neural network）系列网络模型。对于预测问题，编码器不仅可以采用LSTM和GRU等多种单向循环神经网络，还可采用双向长短期记忆Bi-LSTM（bidirectional long short-term memory）神经网络等双向循环神经网络，更好地提取输入负荷序列中的信息。而解码器为了避免未来信息的泄露，一般只采用单向RNN。

2 斯皮尔曼气象关联度分析

由于母线负荷特性各异且基数小，往往容易受到各种因素的影响。例如，在居民生活区域，温度的骤升或骤降会引起空调负荷的大幅度波动；在工业区和高铁牵引网等区域，冲击性负荷设备的启停会引起母线负荷的剧烈变化；在规模化分布式可再生电源接入的区域，气象因素对新能源出力的影响往往会给母线负荷带来一定的随机性与波动性，这些影响因素均增加了准确预测母线负荷的难度。

本节以提取30 min粒度的气象数据与母线负荷数据进行斯皮尔曼（Spearman）相关性分析，采用MinMaxScaler对气象数据和母线负荷进行归一化，即，

式中：s为待归一化的数据；s*为归一化之后的结果。

斯皮尔曼相关系数是利用单调方程评价2个变量依赖性和相关性的非参数指标，相关系数的范围为[-1，1]，绝对值越接近于1表示相关性越高，其计算公式为

式中：xi、yi分别为两类相关性计算的数据；分别为数据的平均值。

各类气象数据与母线负荷的斯皮尔曼系数计算结果如表1所示。

表1 斯皮尔曼相关系数计算Tab.1 Calculation of Spearman correlation coefficient

由表1可知，本文的母线负荷数据与风速、温度的相关联性较大，与湿度、能见度的相关联性较低。选取本文母线负荷数据更敏感的温度、风速和湿度作为气象因素，构建Seq2seq模型的输入特征进行预测。

3 母线负荷特征工程

3.1 时间连续性周期编码设计

母线负荷数据作为时间序列具有固有的时间周期属性，为了让预测模型对该属性具有敏感性，对母线负荷采样点的时间戳进行时间连续性周期编码。应先对时间进行归一化并变换长度取值，使预测模型对于对称时间节点具有相同的正弦值，例如00：00左右的23：55和00：05。但加入会导致模型无法区分00：00和12：00时间节点，因此，需成对加入加以区分，使每一个时间节点都具有位置唯一的特性，两点之间的距离对应于24 h循环的时间差，从而反映时间周期性。

对母线负荷的小时、星期、日在月（day of month）和周在年（week of year）的位置特性进行编码，即

式中：sin_time、cos_time为对应时间的编码计算值；T为不同时间的归一化周期。编码得到的特征分别为正弦小时特征sin_hour、余弦小时特征cos_hour、余弦周特征cos_weekday、正弦周特征sin_weekday、余弦月特征cos_month、正弦月特征sin_month、余弦年特征cos_weeksofyear、正弦年特征sin_weeksofyear。

3.2 输入特征设计

根据第3.1节得到的8个时间连续性特征，构造不同的预测模型特征组合，组合原则如下：

（1）研究时间连续性特征对气象特征的替代作用，选择时间连续性特征+分解分量特征与气象特征+分解分量特征进行对比；

（2）研究编码器和解码器对母线负荷序列特征提取的作用，选择原始数据特征进行预测；

（3）研究计及气象特征+时间连续性特征+分解分量多特征的预测效果，并与原始数据进行对比，不同组合特征如图2所示。

图2 母线负荷特征组Fig.2 Feature group of bus load

图2中的分量i特征为采用DWT方法进行处理所得的不同小波分量，DWT的小波基函数设置为对称函数sym7，对母线负荷进行分解特征提取，得到7个细节分量IMF1～7和一个近似逼近分量IMF8，其波形如图3所示。通过每个小波分量单独作为每轮预测的特征，最后合成得到母线负荷预测结果。

图3 DWT分解Fig.3 DWT decomposition

对构造的不同特征组，搭建Seq2seq预测模型进行消融实验，模型结构主要为Bi-GRU网络编码层、LSTM网络解码层和全连接输出层，其流程如图4所示。

图4 预测流程Fig.4 Flow chart of prediction

4 算例分析

4.1 数据预处理及误差指标

为验证所提方法的有效性，选取某地区实际母线负荷数据进行验证，采样间隔为30 min，即每日包括48个采样点，共计17 520个数据样本，训练集与测试集样本划分约为9：1。对划分好的训练与测试集，采用滑动窗口的方式进行预测，将前n个样本数据作为特征，第n+1个样本数据作为标签，将n个特征作为模型的输入，得到下1个时间节点的预测值，然后滑动窗口，将预测值作为新特征进行预测。

在预测前首先对母线负荷数据进行预处理，包括异常值辨识、异常值处理和缺失值填充等。为了防止网络不收敛，加快训练速度，在数据预处理中进行MinMaxScaler归一化，消除量纲影响，将原始负荷数据进行压缩，其计算公式为

采用平均绝对百分误差MAPE（mean absolute percentage error）、均方根误差 RMSE（root mean square error）和平均绝对误差MAE（mean absolute error）作为模型精度的评价指标，各指标可表示为

式中：ai为第i个预测点的母线负荷预测值，i=1，2，…，n，n为采样点个数；bi为第i个预测点的母线负荷真实值。MAPE、RMSE和MAE的值越小表示模型的预测精度越高。

4.2 消融实验

设计RNN、LSTM、GRU、Bi-LSTM和Bi-GRU网络作为Seq2seq模型的编码器，在RNN、LSTM和GRU中选择适合的解码器，对母线负荷数据进行信息特征提取。编码器和解码器神经元个数为64、滑动窗口长度为48、学习率设置为0.000 1、样本批量大小设置为32。训练时的损失函数选用均方误差MSE（mean square error）、优化器为Adam。得到不同编码解码器的预测误差如表2所示。

表2 编码解码器误差Tab.2 Encoder-decoder error

由表2数值分析对比可知，编码器为Bi-GRU网络、解码器为LSTM网络时，MAPE和RMSE误差较低，模型预测效果最佳。

确定Seq2seq模型的编码器和解码器后，设置不同的特征组，进行多次重复实验，特征组如表3所示。

表3 特征组分类Tab.3 Classification of feature groups

将不同特征组输入Seq2seq预测模型，计算MAPE、RMSE和MAE，其结果如图5所示。

图5 特征组误差柱状Fig.5 Histogram of feature group error

由图5可知，通过对不同特征组别的消融实验，特征组（5）即时间连续性特征+气象特征+原始母线负荷数据特征的预测效果最好，MAPE、RMSE和MAE误差分别为1.104%、0.188 4 MW和0.135 5 MW。特征组（1）与特征组（2），即时间连续性特征与气象特征对比，预测效果均好于原始母线负荷数据直接预测，但气象特征组预测效果略好；特征组（1）、（2）与特征组（3）对比，可得高维全特征的预测效果更佳；特征组（3）与（5）、（4）与（2）对比，可得经Bi-GRU网络与LSTM网络编码解码的母线负荷序列预测效果好于经DWT方法的母线负荷序列分解合成预测。特征组（5）的预测结果如图6所示。

图6 特征组（5）预测结果Fig.6 Prediction results of feature group（5）

由实验结果可得①与原始母线负荷序列直接预测的误差相比，加入时间连续性特征后，MAPE误差降低了1.24%，但略高于单气象特征组，说明时间连续性特征能够在气象数据缺失时，起到一定的补偿替代作用；②编码器能够通过对输入母线负荷序列的压缩编码，集合序列的时序信息，拷贝隐藏层状态，再通过解码器的映射，能够起到与DWT方法类似的特征提取作用，并且效果更佳。

5 结论

针对多因素母线负荷短期预测和气象数据粒度粗糙问题，结合深度学习方法和特征工程，本文提出一种基于Seq2seq模型的母线负荷短期预测方法。首先对母线负荷的时间连续性特征进行编码，然后设置不同的特征组进行消融实验。通过多次重复实验，选择效果最佳的Bi-GRU神经网络和LSTM神经网络分别作为Seq2seq的编码器和解码器，并设置不同的特征组进行消融实验，包括单时间连续性特征、单气象特征和DWT分量特征等。实验结论如下：

（1）与DWT方法分解合成的特征提取方法相比，Seq2seq模型的压缩编码映射解码机制同样可以对母线负荷数据的特征进行提取学习，并且预测误差更低；

（2）在Seq2seq框架下，多因素特征的预测效果更佳，构建的时间连续性特征可以在一定程度上弥补气象数据的缺失，获得更好的预测精度。

下一步研究工作将增加更多不同的特征组合进行消融实验，并针对Seq2seq预测模型的编码器和解码器等多维超参数进行优化，结合启发式优化算法进行进一步研究。