基于高斯变异粒子群优化的短期负荷预测

杨 洋，栗风永

(上海电力大学计算机科学与技术学院，上海 200120)

1 引言

短期电力负荷预测是电力系统负荷预测的重要组成部分，有助于电力企业制定完善的发电计划，协助发电厂实现高效的削峰填谷[1，2]。已有的智能负荷预测模型参数大多是人为选择，常常因为无法找到合适的参数而导致预测模型性能提升乏力。尽管现有的预测模型可以通过优化算法寻找到合适的参数，但传统的优化算法在寻优过程中往往容易陷入局部最优化，导致最终的预测结果偏差较大。如果能够改善优化算法的寻优过程，获得全局最优的模型参数，则有助于提升负荷预测能力。

短期负荷预测发展至今已经提出了多种方法来提升预测精度，传统的预测方法有回归分析法、时间序列法以及灰色模型等。但是由于传统方法的学习能力较低，处理非线性数据以及规律性较弱的数据时能力较差，使得预测精度相对较低。随后以人工神经网络(Artificial Neural Network，ANN)和支持向量机(Support Vector Machine，SVM)为代表的智能方法受到了广泛使用[3]，但这些方法的特征与参数需要人工设定，参数预测误差较大，不适合长时间的负荷序列预测。文献[4]通过使用变分模式分解处理数据，利用粒子群优化的深度信念网络对短期电力负荷进行预测。文献[5]使用了PSO和支持向量回归(support vector regression，SVR)提升工业短期负荷预测的精度。文献[6]引入PSO对加权小波支持向量机的参数进行优化来实施短期负荷预测。上述方法对数据进行了合理的预处理，但都未考虑标准PSO算法容易陷入局部最优的问题，导致模型优化出的参数都是局部最优值。近年来，从循环神经网络(Recurrent Neural Network，RNN)的基础上改良出来的LSTM模型解决了RNN在梯度问题上存在的梯度消失等问题，同时由于电力负荷自身具有随机性与周期性，这使LSTM在负荷预测领域表现良好。文献[7，8]使用LSTM对短期电力负荷进行预测，验证了模型的有效性，但由于参数是人为选取的，无法最大化发挥模型的预测能力。

针对以上问题，本文设计一种基于高斯变异粒子群优化的长短时记忆神经网络负荷预测模型。首先对负荷序列数据进行预处理，通过引入非线性惯性权重和自适应高斯变异提升PSO算法寻优能力。最终，通过参数优化后的LSTM模型对包含不同日期类型的大规模负荷数据进行预测对比分析后证明提出的模型具有更优的预测性能。

2 相关工作

2.1 LSTM网络

作为一种优秀的RNN改良模型，LSTM神经网络基本结构包含了输入门，遗忘门和输出门[9]，如图1所示。

遗忘门通过单元输入ht-1和xt，决定每个细胞单元丢弃与保留的信息，再由sigmoid函数和tanh函数依次改变输入xt。

图1 LSTM基本单元结构

ft=σ(Wf·[ht-1，xt]+bf)

(1)

it=σ(Wi·[ht-1，xt]+bi)

(2)

确定两部分被存放在细胞状态中的新信息，将细胞状态为Ct-1的细胞单元更新为Ct。

(3)

(4)

最终通过sigmoid函数确定的输出部分与tanh函数处理的Ct进行运算得到模型输出。

ot=σ(Wo·[ht-1，xt]+bo)

(5)

ht=ot*tanh(Ct)

(6)

其中，σ为sigmoid激活函数，tanh为激活函数，ht-1和ht分别为单元输入与输出，xt也为单元输入，Ct表示t时刻细胞单元的更新状态，ft，it和ot分别为遗忘门，输入门和输出门的输出，W为权重系数矩阵，b为偏置项。

2.2 PSO算法

PSO算法可以根据群组的适应度来移动群组中的粒子，达到寻找最优解的目的[10]。每个粒子由自身在搜索空间中的位置和速度指定，根据自身和邻近粒子的经验进行更新。

(7)

(8)

3 提出的GPSO-LSTM模型

3.1 GPSO算法原理

PSO算法的一个明显弱点就是全局寻优能力以及粒子收敛速度有限，容易导致粒子在寻优过程中陷入局部最优解。为了解决这个问题，本文引入非线性惯性权重代替PSO算法中的固定惯性权重w。

(9)

其中wmax与wmin分别为最大与最小惯性权重，t为当前迭代次数，tmax为最大迭代次数。很显然，初始迭代时设置较大的惯性权重，扩展了粒子搜寻能力，增大了前期的全局搜索能力。随着迭代次数的增加，惯性权重减小，增加了局部搜索的精度，提升了粒子的收敛速度与寻优能力。

为了尽可能减少粒子陷入局部最优解的风险，本文进一步引入了高斯变异[11]对粒子进行自适应变异操作，在每次迭代后判断是否执行变异操作，若执行则将粒子重置在原来位置的附近某一位置，若不执行则继续按当前方向寻找最优解。

(10)

GV(x)=x×(1+N(0，1))

(11)

其中，r和N(0，1)是[0，1]之间的随机数，x为原始参数值，GV(x)为变异后的值。当式(10)成立时，可执行式(11)对粒子进行高斯变异操作。多次迭代后式(10)成立的几率逐渐减小，粒子发生变异的几率也逐渐降低。

自适应高斯变异操作可在初始阶段使粒子以较大概率发生变异，扩大粒子在解空间中的搜寻范围，保证了粒子群的多样性，避免粒子过早收敛而陷入局部最优，增加了寻找最优解的能力。

3.2 基于GPSO-LSTM模型的预测流程

基于GPSO-LSTM模型的负荷预测流程如图2所示。该模型考虑到了电力负荷数据的随机性与周期性，结合时间相关性较强的LSTM进行预测，使用提出的GPSO算法对LSTM的参数进行优化。具体步骤如下：

1)输入负荷数据，对原始数据中的异常值进行清洗并对缺失值重新填充。将处理后的数据随机划分为训练集和测试集。

2)初始化GPSO参数，随机生成粒子的初始位置与速度。建立初始LSTM预测模型，设置所需寻优参数(训练次数k，学习率α，两个隐含层神经元个数h1，h2)以及各参数的寻优范围。

3)利用均方误差(MSE) 计算每个粒子的适应度值，确定每个粒子初始的个体最优位置Pbest，将适应度最佳的粒子的位置作为全局最优位置gbest。

(12)

4)根据式(7)和(8)更新粒子的速度和位置，然后根据式(10)和(11)对粒子执行自适应高斯变异操作，计算粒子新的适应度值并更新粒子群的个体最优位置与全局最优位置。

5)达到最大迭代次数后，输出最优参数应用于LSTM模型进行负荷数据预测，输出最终的预测值。

图2 GPSO-LSTM模型预测流程图

4 实验结果与分析

4.1 实验准备

本文使用的数据集为中国南方某地区2012-2014年的电力负荷数据。该数据集每隔15分钟采集一次，一天96条数据，共计包含104609条数据，其中日期类型包括年、月、日、小时(1-96)，天气类型数据包括日平均温度、相对湿度、降雨量、日最低温度、日最高温度。数据集的各项特征与描述如表1所示。

表1 数据集中不同特征属性及描述

由于智能电表在采集和传输数据的过程中易产生缺失值和异常值，提出的算法在初始阶段对异常数据进行清洗并利用随机森林(Random Forest，RF)算法[12]对缺失值填充。相比传统的均值填充，插值法等方法，随机森林方法能够保证负荷数据在填充前后维持近似的分布模型，因此插值后可进一步提升数据之间的相关性。同时为了避免数据之间差异过大，方便LSTM模型的求解，算法对历史负荷、平均温度，降雨量和相对湿度进行归一化处理。归一化的公式如下

(13)

其中，xmax与xmin分别为数据的最大值与最小值，x与x*分别为归一化处理前后的数据。

为了在不同模型间进行公平对比，本文采用平均绝对百分比误差(Mean Absolute Percentage Error，MAPE)与均方根误差(Root Mean Square Error，RMSE)作为提出模型与已有模型的评价指标。很显然，MAPE和RMSE的值越小代表模型的预测精度越高。

(14)

(15)

4.2 最优特征选择

由于城市电力负荷数据的分布具有一定的周期性，为了使预测结果更加精准，本文选择与负荷数据具有近似周期分布的特征来构建学习模型。图3给出不同特征与负荷特征的周期性分布对比，其中图3 (a)是负荷数据，图3(b)、图3(c)、图3(d)、图3 (e)，图3 (f)分别表示了平局温度、最高温度、最低温度、降雨量和湿度的周期性分布。从图中可以看出数据集的各项特征中，温度、降雨量和湿度都与负荷数据的分布极为近似，因此本文实验选择日平均温度、日最低温度、日最高温度，降雨量和相对湿度五个属性构建模型学习的特征集。

4.3 参数选择与GPSO算法验证

1)实验参数选择

标准PSO算法的惯性权重通常设置为0.8，而提出的GPSO模型中重新设计了非线性自适应惯性权重。为了给出合理的权重参数，算法固定最大权重wmax=0.9和最小权重

wmin=0.1，并从该区间搜索最佳权重组合。

图3 负荷及气象因素历史数据归一化曲线

实验对比了四组不同的最大和最小的权重组合，(wmax，wmin)={(0.9，0.7)，(0.9，0.5)，(0.9，0.3)，(0.9，0.1)}。在这些实验中，PSO算法与GPSO算法粒子个数N设置为5，最大迭代次数t为100，学习因子c1=c2=1.5。同时将LSTM的两个隐藏层的神经元个数h1，h2的取值范围设置为[1，200]，训练次数k的取值范围为[100，500]，学习率α的取值范围为[0.001，0.01]，图4为适应度值取对数的实验结果。

可以看出GPSO模型使用非线性惯性权重，在优化时较PSO模型收敛速度更快，提升了GPSO的全局搜索能力。随着迭代次数的增加，当(wmax，wmin)=(0.9，0.1)时，可以获得较其它权重组合更好的适应度值，提高了GPSO的局部搜索能力。结合高斯变异，能最大限度降低粒子搜索陷入局部最优的风险。在后续的实验中，GPSO模型将固定参数(wmax，wmin)=(0.9，0.1)。

图4 不同自适应惯性权重参数组合下的GPSO与PSO适应度曲线

2)GPSO算法验证

本实验将GPSO与标准PSO、鲸鱼优化算法(WhaleOptimization Algorithm，WOA)、遗传算法(GeneticAlgorithm，GA)、灰狼优化算法(GreyWolfOptimization，GWO)在三个基准函数上进行性能测试，验证GPSO的有效性，使用的基准函数如表2所示。其中F1为单模态测试函数，F2为多模态测试函数，F3为固定维数的多模态基准函数，使用的基准函数如表2所示。通用算法参数设置为：种群数为10，迭代次数为100。

表2 测试函数

不同种类的测试函数搜索困难不同，单模态测试函数可以用来评估函数的收敛与开发能力，多模态测试函数可以用来评估算法的全局与局部搜索能力。图5可以看出无论是单模态还是多模态函数，GPSO在搜索精度与收敛速度上都优于其余算法，验证了GPSO具有更好的寻优能力。

图5 不同基准函数下的各寻优算法适应度曲线

4.4 结果与分析

由于实验数据跨度为3年(2012-2014)，本实验将预处理后的数据按年份分为3份，每次选取其中2年的数据为训练集，剩余1年的数据为测试集，整体实验需重复3轮，测试结果取三轮实验结果的平均值。为了展示提出的GPSO-LSTM预测模型的性能，选取3种已有的负荷预测模型，反向传播神经网络(Back Propagation Neural Network，BPNN)[13]，长短期记忆神经网络(LSTM)[14]，粒子群优化的LSTM(PSO-LSTM)[15]进行对比。实验共设计了3种不同日期类型场景的仿真分析，分别为工作日、休息日(均选取预测结果中的7天取均值)和节假日(2014年国庆假期7天取均值)，预测结果如图6所示。

由图6(a)和图6(b)可以看出，BPNN模型在工作日的凌晨与深夜，休息日的白天预测误差较大，这是因为BPNN在训练中容易陷入局部极值，处理大规模输入数据时泛化能力较差，同时该时间段用电不规律也有一定的影响。而LSTM模型参数由人为指定，因此泛化能力相比PSO-LSTM模型明显偏弱。本文提出的GPSO-LSTM预测模型在标准PSO中引入高斯变异，使得粒子寻优能力得到明显提升，增强了LSTM预测模型的稳定性与鲁棒性，进而提高了模型的泛化能力。整体上，在工作日与休息日的预测结果对比中，本文所提方法都优于其它模型。

此外，需要注意到图6(c)中各个模型对节假日的预测精度较正常日都有所下降，这是由于历史负荷数据中节假日数据较少，导致模型整体训练不足，但相对于其它三种已有的预测模型，GPSO-LSTM预测模型在节假日也具有相对更好的预测能力。事实上，如果增加异常日的历史数据，提出的模型也可以完成更高的预测精度。

为了给出精确的预测对比，表3和表4列出了3种日期类型的具体预测误差值。从表中可以看出，BPNN模型与LSTM模型泛化能力不足，预测结果较差，相比于提出的模型在工作日的MAPE值分别高了2.45%和2.04%，而PSO-LSTM由于寻找参数时容易陷入局部最优，导致工作日的MAPE值高了1%左右。整体来看，在不同日期中，本文方法平均预测准确率要提升1.4%以上。同时，由于提出的模型具备更强的泛化能力与鲁棒性，相比于其它预测模型，更适合于具有随机性与周期性变化的电力负荷预测。

图6 不同日期场景的预测对比，(a)工作日，(b)休息日，(c)节假日

表3 4种不同预测模型平均绝对百分比误差(MAPE)

表4 4种不同预测模均方根误差(RMSE)

5 结束语

本文提出一种基于高斯变异粒子群优化的长短时记忆神经网络负荷预测模型，可以有效解决现有短时预测方法精度不高及电网负荷数据不确定性变化的问题。提出的方法在对大规模负荷数据预处理的基础上，通过引入非线性惯性权重与自适应高斯变异操作，对标准PSO算法的粒子寻优结构进行调整，显著增强了PSO算法对模型参数的全局寻优能力，有效避免了PSO算法在寻优过程中容易陷入局部最优的弊端。大规模测试结果表明，本文提出的方法能够快速寻找到LSTM预测模型的最优化参数，使其预测能力显著优于已有的预测方法。