基于改进LSTM的区域综合能源系统多元负荷短期预测研究

田浩含，张智晟，于道林

（1.青岛大学电气工程学院，青岛 266071；2.国网莱阳市供电公司，莱阳 265200）

区域综合能源系统以小容量、分散式、模块化的形式近年来受到广泛应用，实现了能源自给自足、梯级利用，有效缓解了夏季用电高峰，提高了能源利用效率，且清洁环保无污染，是未来能源技术发展的核心，已成为国内外学者的研究热点[1]。

精确的多元负荷短期预测是区域综合能源系统运行及调度优化的基础，对系统的需求侧分析也具有重要意义。近年来，由于深度学习算法处理非线性映射的能力突出，其在负荷预测领域逐渐被使用[2]。例如，文献[3]利用一种基于小波分析和Elman动态神经网络的方法对电力负荷进行预测；文献[4]使用粒子群算法与卷积神经网络结合对电负荷进行预测。深度学习算法中长短期记忆LSTM（long short term memory）神经网络因对复杂数据的拟合和数据时间相关性分析的优势，在负荷预测中有较多应用。例如，文献[5]利用基于深度学习的LSTM神经网络对电力负荷进行预测；文献[6]提出了基于改进的长短期记忆神经网络算法的综合能源系统多元负荷预测。但是，单一的LSTM神经网络门控单元多、算法复杂、故训练速度慢、预测模型稳定性差。为此，文献[7]提出了基于混合神经网络和注意力机制的混沌时间序列预测，通过将注意力机制与神经网络结合，学习原始数据信息，赋予隐含层新的权重进行训练，提高预测精度和减少训练时间。

综上，针对冷热电负荷预测的时变性、耦合性和多元性等特点[8]，本文提出了改进的LSTM的区域综合能源系统多元负荷短期预测模型。利用注意力机制算法分析原始数据中的信息，赋予LSTM隐含层不同的权重，提高模型训练速度和预测精度；加入dropout层对模型进行正则化处理，增加预测模型的稳定性和泛化能力；采用粒子群优化PSO（particle swarm optimization）算法优化模型的超参数。通过算例结果分析表明，本文所采用的模型具有良好的预测精度，验证了所提方法的可行性。

1 多元负荷及气象因素相关性分析

区域综合能源系统中冷负荷、热负荷和电负荷具有较强的随机性和耦合性[9]。因此，在进行冷、热、电负荷短期预测前，应该针对负荷特性做全面分析，把握负荷规律，分析冷、热、电负荷之间的相关性，以及各影响因素对多元负荷产生的影响[10]。

区域综合能源的负荷相对电网较小，受影响因素较多，不同的影响因素对冷负荷、热负荷和电负荷的负荷特性的影响存在差异。本文选取对负荷影响最大的气象因素作为影响因子，利用灰色关联度分析GRA（grey relation analysis）方法定量分析各影响因子与冷、热、电负荷之间的相关性。

1.1 灰色关联度分析方法

GRA是一种多因素统计分析方法，以各因素的样本数据为依据用灰色关联度来描述因素间关系的强弱、大小和次序[11]。目前传统相关性分析大多选用Pearson法，主要用于分析变量间的线性关系[12]，但冷、热、电负荷之间及各气象影响因素相关性分析是多因素统计分析，各因素之间的关系是非线性的。GRA方法原理简单，适用于分析本文多元负荷及影响因素之间存在的非线性关系，可以很大程度地减少由于信息不对称带来的损失，且GRA方法不需要大量数据作基础，计算量小、运行速度快[13]。

1.2 基于GRA方法的多元负荷及气象因素相关性分析

对于GRA方法，关联系数和关联度的计算是关键问题，关联系数ξi和关联度γi的计算公式分别为

式中：x0(k)为归一化气象因素序列；xi(k)为归一化负荷序列；ρ为分辨系数，通常取0.5；n为序列个数。

根据曲线几何的相似程度（即关联度γi）判断相关性强弱[14]。本文通过DeST软件模拟出对某写字楼进行供能的区域综合能源系统一年的冷负荷、热负荷和电负荷，夏季（6月—8月）主要为供冷季，对区域综合能源系统的冷负荷和电负荷及多元负荷与各气象影响因素之间的相关性进行分析；冬季（12月—次年2月）主要为供热季，对区域综合能源系统的热负荷和电负荷及多元负荷与各气象影响因素之间的相关性进行分析。

夏季时，设冷负荷、电负荷及各气象影响因素序列形成如下矩阵：

式中：xC为冷负荷；xE为电负荷；xR为太阳辐射量；xT为温度；xM为空气湿度。

冬季时，设热电负荷数据及各气象影响因素数据序列形成如下矩阵：

式中，xH为热负荷。

设定好数据序列矩阵后，根据式（1）和式（2）求出关联系数和关联度，相关性分析结果如表1和表2所示，其中，E表示电负荷；H表示热负荷；C表示冷负荷；T代表温度；R表示太阳辐射量；M表示空气湿度。

表1 夏季相关性分析结果Tab.1 Correlation analysis results in summer

表2 冬季相关性分析结果Tab.2 Correlation analysis results in winter

由表1相关性分析结果可知，夏季时冷负荷和电负荷相关性指标达到0.87，且冷负荷和电负荷与温度、太阳辐射量和空气湿度都具有相关性。由表2相关性分析结果可知，冬季时热负荷和电负荷相关性指标达到0.67，且热负荷和电负荷与温度、太阳辐射量和空气湿度都具有相关性。可见，冷热负荷与电负荷及多元负荷与各气象影响因素之间存在很高的相关性；夏季的冷负荷和电负荷具有很强的耦合性，相对于此，冬季的热负荷和冷负荷数据间的相似度较夏季的冷负荷和电负荷数据间的相似度低。原因是夏季电负荷用量主要受空调用电影响，而冷负荷则是由空调产生的，因此夏季冷负荷和电负荷具有相同的变化趋势与规律，分析结果符合现实情况[14]。

由于电负荷与冷、热负荷之间的耦合性，因此将三者之间的相关性分析结果作为依据，综合建模预测能够提高区域综合能源系统负荷预测准确率。冷、热、电负荷与气象因素之间的相关性结果表明，温度、太阳辐射量、空气湿度对预测结果都有着不可忽略的影响，为预测数据集的构造提供了理论依据[15]。因此，本文将各气象因素设为影响因子，与多元负荷历史数据共同构成本次预测模型的输入数据集。

2 基于改进LSTM的区域综合能源系统多元负荷短期预测模型

2.1 PSO算法

PSO算法构造粒子来模拟鸟群中的鸟，通过群体中个体之间的协作和信息共享来寻找最优解[16]，其在全局寻优方面具有搜素速度快、收敛能力强等优点，广泛应用于神经网络的训练[17]。

本文利用PSO算法优化LSTM模型的超参数，通过设置模型参数为粒子，平均平方误差为目标函数适应度值，在解空间中搜索，不断迭代更新粒子的位置和方向找到最优解，确定参数和构建模型。

粒子的速度更新公式为

粒子适应度函数fit为

2.2 LSTM神经网络预测模型

LSTM神经网络是循环神经网络RNN（recur⁃rent neural network）的一种改进变型，保留有RNN对时间、负荷数据高效处理的能力，并有效解决了RNN中梯度消失、梯度爆炸等问题，提高处理时间序列中间隔或延迟较长样本的能力，兼具神经网络处理非线性数据的能力[18]。本文区域综合能源系统多元负荷预测属于非线性时间序列预测，维数较多，样本数据相比单纯电负荷预测数据数量大，因此本文选择LSTM神经网络做预测。

相较于RNN，LSTM神经网络在保持基本结构基础上重新设计了记忆单元，设置了3个控制门，分别是输入门it、输出门ot、遗忘门 ft，用来选择记忆反馈的误差函数随梯度下降的修正参数，优化了自循环的权重，保持权重的动态变化，其体系结构如图1所示[19]。LSTM在t时刻的输入数据为xt，输出值为ht，记忆状态为ct。

图1 LSTM体系结构Fig.1 Architecture of LSTM system

从图1可以看出，由上一时刻隐含层传入当前时刻的值ht-1和当前时刻输入值xt经过遗忘门后，计算丢弃无用的信息，计算公式为

式中：wf和bf分别是遗忘门里的权重矩阵和偏置向量；σ为激活函数，采用sigmoid函数。

新信息再经过1个sigmoid函数求取需要输入到记忆单元中的数据，同时经tanh函数创建1个新的候选状态，计算公式分别为

式中：wi和bi分别是输入门里的权重矩阵和偏置向量；wc和bc分别为细胞单元状态里的权重矩阵和偏置向量。

将输入门计算后的结果it和计算出的新单元状态值相乘并和遗忘门得出的结果 ft相加就得到当前时刻单元状态值，即

另外，传递给下一时刻的隐含层数据值ht是利用经过tanh函数处理的新单元状态和经过sig⁃moid函数分类后的数据ot得到的，即

式中，wo和bo分别为输出门里的权重矩阵和偏置向量。

2.3 注意力机制

注意力机制AM（attention mechanism）是由Tre⁃sisman和Gelade提出的一种模拟人脑注意力机制的模型，可以模拟人脑注意力的资源分配机制。人脑在某个特定时刻会将注意力集中在需要重点关注的区域，减少甚至忽略对其他区域的关注，以获取更多所需要关注的细节信息，抑制其他无用信息[20]。

AM算法能针对输入序列中影响输出结果的关键部分分配较多的注意力，更好学习输入序列中的信息，因此该算法使模型具有更好的优化作用，提高预测精度。

注意力结构如图2所示。其中，k∈[1，l]，l为输入数据长度；xt表示LSTM神经网络的输入；ht表示LSTM模型隐含层输出；αt表示AM对LSTM隐含层输出的注意力概率分布值；y为引入AM后LSTM神经网络的输出值。

图2 注意力结构Fig.2 Attention structure

AM算法中注意力权重矩阵α和特征向量v的计算公式分别为

式中：et,k为未归一化的权重矩阵；ws、bs和us分别为随机初始化的AM权值矩阵、偏置量和时间序列矩阵。

2.4 基于改进LSTM的多元负荷短期预测模型

本文设计的模区域综合能源系统多元负荷短期预测模型如图3所示，模型主要由输入层、LSTM层、attention层、dropout层和输出层组成，其中drop⁃out层中的虚线圆指随机选取的不参与训练的神经元。

图3 区域综合能源系统多元负荷短期预测模型Fig.3 Multi-load short-term forecasting model of regional integrated energy system

区域综合能源系统多元负荷短期预测模型中每层描述如下。

（1）输入层。以夏季负荷预测为例，将历史负荷数据进行预处理，输入到预测模型中。输入数据用第1.2节中矩阵Xs表示。

（2）LSTM层。将输入层输入数据Xs作特征向量提取，通过3个“门”结构控制构建神经网络单元，进而组成单层LSTM神经网络模型。LSTM层的输出记为矩阵H=[h1…ht…hn]T。

（3）attention层。引入AM算法放在LSTM层后，输入为LSTM层输出矩阵H，通过映射加权和学习参数矩阵赋予LSTM层隐含状态不同的权重，使网络专注于其特征关系进而更好地建模，使模型函数接近真实情况。

（4）dropout层。主要作用是防止过拟合，通过随机抽取模型中一定概率的神经元不参与训练，避免某些特征只在固定组合下才生效，有意识地让网络去学习一些普遍的共性，而不是某些训练样本所具有的特性，防止陷入局部最优[21]。

（5）输出层。输出层利用softmax函数归一化，变换成条件概率分布，输出最后结果。

本文的负荷预测流程如图4所示。

图4 负荷预测流程Fig.4 Flow chart of load forecasting

3 算例分析

3.1 输入样本数据

本文针对北方地区气候特点，通过DeST-C软件模拟出对某写字楼进行供能的区域综合能源系统一年的冷、热、电负荷，并与相应的气象影响因素构成仿真算例，冷、热、电负荷数据和气象影响因素均按照每天24个点记录，时间间隔为1 h。根据相关性分析结果将冷、热、电负荷数据与温度、太阳辐射量、空气湿度数据作为预测模型的原始样本集，并对其进行标准化处理后作为模型的输入。

3.2 模型构建及超参数设定

将输入数据分为训练集、验证集和测试集。训练集用于模型拟合的数据样本，一般取输入样本的60%；验证集用于调整模型的超参数和对模型的能力进行初步评估，一般取输入样本的20%；测试集用来评估最终模型的泛化能力，即进行预测日的训练预测，一般取输入样本的20%。

使用Adam优化算法代替传统的随机梯度下降算法。Adam算法即自适应时刻估计AME（adaptive moment estimation）方法，能计算每个参数的自适应学习率，与梯度下降算法相比，其收敛速度更快，学习效果更加有效。

由第2节冷、热、电负荷相关性分析结果可知，除了设定温度、太阳辐射量、空气湿度和日类型数据4个影响因素为特征向量外，在进行电负荷预测时，应把冷、热负荷作为影响因素进行训练建模；在对冷、热负荷预测时，把电负荷作为1个影响因素进行建模。

通过PSO算法获得最优的超参数值，设定隐含层中单元数为10，数据训练周期为200，每次训练样本数为15，初始学习率为0.1，学习率衰减度为0.9，dropout层参数设置为0.2。

3.3 区域综合能源系统负荷预测结果分析

为了验证本文预测模型的有效性，考虑工作日和休息日负荷模式的差别，选定该写字楼8月2日为夏季工作典型日、8月3日为夏季休息典型日进行预测分析；选定该写字楼1月25日作为冬季工作典型日、1月26日作为冬季休息典型日进行预测分析。为探究本文所提出的改进LSTM模型的预测效果，对Elman神经网络短期负荷预测模型和常规LSTM神经网络短期预测模型的预测结果与本文预测结果进行对比，这3个预测模型的预测值与实际值曲线对比如图5～图8所示，其中，模型1为Elman神经网络，模型2为不经PSO优化和AM算法改进的LSTM神经网络，模型3为本文所提出的改进LSTM神经网络。

图5 夏季电负荷预测曲线Fig.5 Electric load forecasting curves in summer

图6 夏季冷负荷预测曲线Fig.6 Cold load forecasting curves in summer

由图7和图8可知，在对冬季热负荷和电负荷的预测中，模型3预测曲线与真实值贴合最好。

图7 冬季电负荷预测曲线Fig.7 Electric load forecasting curves in winter

图8 冬季热负荷预测曲线Fig.8 Heat load forecasting curves in winter

冷、热电负荷预测误差如表3所示，其中，负荷预测误差采用平均绝对百分误差EMAPE和最大误差EMAX表示。从表3可以看出，模型3在夏季时冷负荷工作日和休息日的平均绝对百分误差分别为1.44%和1.63%，低于模型1和模型2，电负荷工作日和休息日的平均绝对百分误差分别为1.34%和1.57%，也低于模型1和模型2的预测结果，这说明模型3提高了预测精度，展现了更好的预测效果；模型3在冬季时热负荷工作日和休息日的平均绝对百分误差分别为1.39%和1.61%，比模型1和模型2误差小，电负荷工作日和休息日的平均绝对百分误差分别为1.41%和1.52%，在3个模型行中数值最小。可见，无论夏季还是冬季，模型3具有更好的预测效果，其工作日预测精度均高于休息日的预测精度，这是由于不同日类型在样本中所占的比例不同影响了模型训练造成的，符合实际情况。

表3 冷热电负荷预测误差Tab.3 Prediction errors of cold，heat and electric loads%

综合夏季和冬季冷、热电负荷预测分析结果可知，经过PSO算法优化超参数并在结构中加入AM算法和dropout层改进的LSTM神经网络预测模型，相较于Elman模型和常规LSTM模型具有更好的多元预测性能，预测精度高，模型合理。

4 结语

本文利用GRA方法分析了多元负荷之间的耦合性，证明了冷、热、电负荷之间相关性。针对负荷时间序列的非线性和观测时限性特点，采用改进LSTM模型对冷、热、电负荷进行预测，加入AM算法和dropout层对LSTM进行改进，使用PSO算法优化模型的超参数，提高预测精度。最后，通过仿真验证了模型的合理性和有效性。