改进双向门控循环单元的电力系统负荷预测

孙 宁, 陈 田, 徐桂安

(上海电机学院 机械学院, 上海 201306)

电力系统负荷预测按预测时间分类可分为时分、日度、月度、年度预测等,在帮助电力部门合理安排发电目标的同时,精确的负荷预测还能降低发电成本、提升企业效益、增加电力系统的稳定性、保障正常的社会生产活动,因此负荷预测是电力系统经济调度中的一项重要内容[1],也引起了国内外专家的广泛讨论。

经过多年发展,电力负荷预测有了多种方法,这些方法大致可以分为3类。第1类为统计学方法,代表有专家系统法、线性回归法[2]、自回归法[3]等,优点是结构简单,建模方便,但是对于非线性问题效果不好,且历史数据一旦有较大误差就会导致结果不准确,无法进行预测。第2类为应用到了人工智能领域的方法,如支持向量机[4](Support Vector Machine,SVM)、粒度级联森林算法[5]、人工神经网络[6](Artificial Neural Network,ANN)等。SVM 无论对线性还是非线性都有着较好的效果,并且具备一定的泛化能力,但在数据量大的情况下收敛速度慢、准确率也会降低。而在ANN 方法中,虽然有着较好的非线性映射能力,但容易出现局部最优的情况。上述方法都各有其缺陷,单一模型不能全面考虑到各种影响因素。第3类为利用组合模型的方法,结合算法优化进行预处理,著名的有经验模态分解(Empirical Mode Decomposition,EMD)技术、集合经验模态分解(Ensemble Empirical Mode Decomposition,EEMD)技术、互补集合经验模态分解(Complementary Ensemble Empirical Mode Decomposition,CEEMD)技术[7]等,通过对时序数据预处理达到提升预测准确率的目的。组合模型能够做到互相补充、取长补短,擅长应对各种状况[8]。统计学方法难以处理非线性信息,机器学习方法难以保留信息中的时序信息[9]。随着计算机算力的增强,很多深度学习思想都能得到实现并加以运用,很快成为了负荷预测研究的关注目标。循环神经网络(Recurrent Neural Network,RNN)一经提出便成为深度学习中主要网络之一,其自反馈的神经元有着短期记忆的能力,能够处理时序信息,但在处理过程中,由于每一步都需要进行雅可比矩阵的累乘,一旦步数过多,就容易导致梯度爆炸或梯度消失,为解决这一问题,长短期记忆网络[10](Long Short-Term Memory,LSTM)应运而生,比起传统的RNN 网络多出来了3个门控制器:输入门、输出门和忘记门,在处理时序信息问题上得到了极为广泛的应用[11-13]。但是,仍然存在收敛慢、结构复杂的缺点,于是进一步优化了双向门控循环单元[14-15](Bidirectional Gated Recurrent Unit,BiGRU),简化结构的同时保证了良好的运算效率。

为提升电力系统短期负荷的预测精度,本文提出了一种基于注意力机制(Attention Mechanism,AM)[16-17]的卷积神经网络(Convolutional Neural Networks,CNN)网络和BiGRU 单元组合预测的方法,本方法先通过注意力机制应用于CNN 之上将权重分配给输出信息以达到对所需信息突出化的目的,使BiGRU 中的重要特征不会随着处理步数增加而消失。结果表明,本方法运行效率高、鲁棒性高。

1 相关模型原理

1.1 CNN

CNN在深度学习中是最为常见的网络结构,二维卷积神经网络(2D-CNN)在图像处理领域应用广泛,能够提取图像的特征信息,一维卷积神经网络(1D-CNN)也类似,可以权值共享、并行处理等。多用于自然语言处理,提取时序特征等,1DCNN可以通过卷积核从时序信息中提取多个具有细粒度特征的特征信息。

1.2 门控循环单元

门控循环单元是在LSTM 结构上进一步优化所得到的变体,结构简单的同时,有着良好的效果。LSTM 结构中有3个门控单元:输入门、输出门和忘记门,分别控制着输入值、输出值和记忆值。而门阀循环单元(Gate Recurrent Unit,GRU)中只有2 个门控单元:重置门r t和更新门z t,因此GRU 模型中参数更少,运算效率得到大幅提高,GRU 网络的基本结构如图1所示。图中,重置门和更新门的输入为t时刻的x t和t-1时刻的隐藏状态h t-1;σ为Sigmoid 激活函数,隐藏状态h t-1经过r t后与x t相加,通过tanh激活函数将范围控制在[-1,1],更新隐藏状态h t-1后得到h t。内部计算公式为

图1 GRU网络的基本结构

式中:Wz、Wr、W为重置门、更新门、隐藏层对应的权值为t时刻的隐藏状态。

1.3 BiGRU

在GRU 中,状态的传输是从前向后单方向传播的,然而在处理某些问题时,要考虑的不光是在之前的信息,之后的信息也同样重要,这种情况下就需要用到BiGRU 网络结构。

BiGRU 由前向GRU 和后向GRU 组成,其结构如图2所示,BiGRU 可以对整个时序信息进行预测,t时刻输入会同时提供给前向GRU 与后向GRU,最后输出t时刻的隐藏层状态由前向隐层状态与后向隐层状态取一定权重得到,其计算过程为

图2 BiGRU网络的基本结构

1.4 AM

AM 是在模型中嵌入的一种特殊的结构,能够使模型对重要的特征赋予更多的权重[19]。在负荷预测模型中,CNN 经常被用来提取历史数据与通道特征,但是所提特征的重要性往往不一而足,如果不经过处理直接将信息传入至下一层,很有可能造成信息丢失。AM 模块的加入可以改善这一情况的发生,强化模型对重要特征的保留能力,忽略次要的特征。AM-CNN的结构模型如图3所示。

图3 AM-CNN网络的基本结构

由图可知,特征通道数X的数量为C、特征列数的数量为Q,序列的长度为H的原始输入数据,经过一次卷积操作后得到U,全局最大池化(Global Max Pooling,GMP)和全局平均池化(Global Average Pooling,GAP)处理后得到通道信息提取向量T1,T2是非线性变化处理后的T1,最后经过加权得到～x。

2 预测模型简述

2.1 完全集合经验模态分解

为降低数据集中的噪声干扰以及数随机波动性,需要先对数据进行优化处理,传统的经验模态分解技术在分解信号的过程中会出现模态混叠的问题,在此基础上提出算法加入白噪声来减缓模态混叠,但无法完全消除白噪声的残留,其对后续处理形成了干扰[20]。

为解决上述问题,提出一种完全自适应噪声集合经验模态分解法(Complete EEMD with Adaptive Noise,CEEMDAN)改进算法,主要通过2个方面解决:①加入经验模态分解技术处理后的固有模态函数分量,不再直接向原始信号中添加白噪声;②CEEMDAN在每一次得到固有模态函数分量时进行一次集总运算,高效的解决了噪声的传递问题。处理过程如图4所示。

图4 CEEMDAN与预测模型组合预测流程

2.2 归一化

在电力负荷预测过程中,如果一次性网模型中输入大量的历史数据,模型的处理时间会显著提升,为了提高效率,需要对数据进行一定的预处理操作。采集到的数据集多轴之间量纲不同,为避免单一特征权重过大,需要对所采集到的数据进行归一化操作,通过线性方法将他们映射至(0,1),具体实现公式为

2.3 评价指标

为了能够有效的评估模型的效果,本文中采用平均绝对误差(Mean Absolute Error,MAE)、均方根误差(Root Mean Squared Error,RMSE)、平均绝对百分比误差(Mean Absolute Percent Error,MAPE),三者的数值越小越好,代表各自的模型的预测效果更好,其各自的表达式为

式中:n为预测样本的个数;A t、F t为测试集中的实际值和预测值。

2.4 优化器与损失函数的选择

本实验中的所有模型,在训练过程中选择的优化器均为Adam 优化算法,损失函数均选择RMSE。Adam 算法是在梯度下降基础上的扩展,既能用于梯度稀疏的场合也能缓解梯度波动的问题,迭代权重的效果更加理想,优化损失函数MSE。损失函数Loss为

式中:n为预测样本的个数;A t、F t为模型中的实际值和预测值。

3 实验结果及分析

3.1 实验环境

本文实验所用的环境为64位Win 10系统,运行内存为160 GB,显卡为Tesla K80。处理器型号Intel(R)Xeon(R)Platinum 8160 CPU,使用以Python为主体语言的深度学习框架TensorFlow进行网络的搭建,根据系统选择cuda 10.2作为GPU 支持,开发环境配置工具为Anaconda3(64-bit),编程语言选用Python3.9。

3.2 CEEMDAN算法分解

为了获取更加稳定的数据序列,在使用CEEMDAN算法对电力系统负荷时序数据分解过程中,将添加入每组的噪声信号幅度设置为0.1,原始电力系统负荷时序数据经过CEEMDAN 算法的分解后得到的结果如图5所示,经过分解后得到8组固有模态函数分量和一组残余量。

图5 CEEMDAN算法分解后的电力负荷数据

由图可知,分解后的每一个固有模态分量序列都十分有序,充分说明CEEMDAN 在处理时序信息上的优越性。

3.3 结果分析

本文采用澳大利亚维多利亚州负荷数据进行预测实验,将2015年1月—2015年6月的负荷数据作为训练集,将7月的负荷数据作为测试集。

为了体现本文方法的优越性,用RNN、BiGRU、本文中提出模型得到的结果和实际数据进行对比。预测结果对比如图6所示。明显看出本文中提出模型预测精度优于其他模型,且稳定性更好,验证了AM-CNN模型对BiGRU的优化效果。

图6 预测结果对比

为了能和其他模型有更为直观的比较,采用MAE、MAPE、RMSE进行对比展示,详细4个模型的3个评价指标数据见表1。

表1 4种模型预测效果对比

由表可知,文中所提出的模型在这3个指标评价中都有着较优的表现。MAE、MAPE、RMSE较其他3种方法都有着提升。

4 结 语

为提高电力系统未来负荷数据的预测效果,对电力工作人员提供一个更有参考价值的数据,利用CEEMDAN算法,减少数据不稳定对预测结果的不良影响。通过对多个模型实例分析和对比论证,AM-CNN-BiGRU 组合模型在电力负荷预测上有优越的预测性能和高鲁棒性,能够满足目前对于预测上的精度要求,为短期负荷预测提供了理论参考和方法依据。