基于CNN-LSTM的综合能源系统负荷预测模型

张文栋,刘子琨,梁 涛,刘 伟

(1.五凌电力有限公司,长沙 410000;2.山东电力工程咨询院有限公司,济南 250000)

0 引 言

随着信息技术的不断创新,以及清洁能源的大力发展,智慧综合能源系统正在一步步实现并运作起来[1]。智慧综合能源系统综合电力、天然气、供暖和制冷等多种能源供应[2],应用大数据、区块链[3]、物联网等先进技术,以协同互动、智能低碳的方式,来充分增强能源综合利用率,从而改善能源布局,激励清洁能源的消费[4]。智慧综合能源系统的主要功能包括能源监控、分析、管理、服务、交易等[5],其中,能源分析模块的作用主要是基于系统中获得的海量数据,开展综合能耗能效、异常用能等分析和预测,形成报告,为相关能源分配、调度等重大决策提供支撑。准确的用户侧能耗预测可以帮助决策者根据消费者的实际需求进行更好的决策,从而提高能源利用率。故对智慧综合能源系统中的能耗预测方法进行研究具有重要意义。

现今,已有多种不同的能源负荷预测方法被提出,根据考虑的出发点不同可将其分为三大类:①考虑数据时序性特征的方法,文献[6-8]预测热负荷时采用的线性回归(liner regression, LR)方法,文献[9-11]使用的多元线性回归模型来预测电负荷。此类方法充分利用了负荷数据的时间序列,但缺点是模型非线性拟合能力不足;②考虑负荷数据非线性特征的方法,文献[12]使用的支持向量机算法、文献[13]使用的最小二乘支持向量机算法、文献[14]采用的随机森林(random forest, RF)算法对电负荷进行预测,文献[15]的研究结果表明,利用神经网络进行冷热负荷预测的效率优于逻辑回归的结果。但这类方法不能很好地反应负荷数据的时序特征;③伴随着人工智能技术的不断创新,综合考虑负荷数据时序性和非线性特征的第三类方法随之产生,这类方法以长短期记忆(long short-term memory,LSTM)网络为基础。LSTM是递归神经网络的变种[16],具有同时处理时间序列和非线性数据的能力。LSTM正逐步应用于预测领域[17-18],文献[19-20]采用了LSTM进行短期电力负荷预测,文献[21]将支持向量机和LSTM进行结合来进行电力负荷预测,文献[22]的研究表明,在单住宅住户的短期负荷预测任务中,所提出的LSTM方法优于其他列出的竞争算法,文献[23]提出了一种用于短期风电功率预测的混合模型,该模型由变分模式分解、K均值聚类算法和LSTM网络组成。

智慧综合能源系统综合多种能源向用户供电、供冷、供热,负荷间通过装置可以进行转化,这使得3种负荷间存在耦合特性。负荷的合理调配可帮助减少能源在分配、存储、使用等环节的资源浪费,提高资源利用率。而用户侧负荷数据的准确预测是进行负荷调配的前提。上述负荷预测方法均未考虑电、冷、热负荷三者间的相关性,故为提高综合能源系统负荷预测的精准度。本文使用科普拉理论分析了电、冷、热负荷间的相关程度,在得到三者间是强相关关系的基础上,提出了一种基于深度学习的智慧综合能源系统负荷预测模型。该模型首先使用CNN来提取某负荷同其他种类负荷间的历史数据特征,然后对得到的特征量进行转化,将转化后的时间序列输入到LSTM中进行负荷预测。实验结果显示,在考虑了3种负荷间相关性的基础上,本文提出的基于深度学习的智慧能源系统负荷预测模型预测结果的加权平均精度达到了98.6%,具有更好的预测效果。

1 电、冷、热负荷相关性分析

智慧综合能源系统通过不同的装置对将光能、电能、风能等进行收集存储,然后将它们转化为用户使用的电、冷、热负荷,其系统架构如图1所示。

图1 智慧综合能源系统架构图Fig.1 Architecture diagram of intelligent integrated energy system

从图1可以看到,电、冷、热负荷之间可以通过热泵、微燃机、溴化锂机组等装置进行相互转化。每一种能源都可以由另外2种能源转化而来,故考虑它们之间存在相关性。在进行综合智慧能源系统负荷预测时,应将三者间的相关性考虑进去,从而帮助提高负荷预测精度。

现今分析变量间相关性的方法有:皮尔逊相关系数法[24-25]、科普拉理论[26-27]等。其中皮尔逊相关系数法适用于分析变量间的线性相关关系,科普拉理论更适用于在不确定线性相关系数的情况下,对变量进行分析。故本文采用科普拉理论对电、冷、热三负荷间的相关程度进行分析。

在多元分布的情况下,由斯科拉定理得:存在一个函数C,使得多元随机变量x1,x2,…,xn的联合分布H(x1,x2,…xn)等于函数C对各变量的边缘分布F1(x1),F2(x2),…,Fn(xn)作用下的结果,即

H(x1,x2,…xn)=C(F1(x1),F2(x2),…,Fn(xn))

(1)

这个函数C被叫为科普拉函数。

在确定出当前数据模型下最优科普拉函数C后,采用斯皮尔曼(Spearman)秩相关系数[27]ρ进行定量评价两变量间的相关程度。ρ的取值为[-1,1]。当ρ>0,两变量间具有正相关关系,且数值越大,相关性越强;当ρ<0,两变量间为负相关。对于随机变量x,y的ρ计算公式为

(2)

(2)式中,F(x),G(y)分别为变量x,y的边缘分布函数。计算流程如图2所示。

图2 Spearman相关系数计算流程Fig.2 Calculation process of Spearman correlation coefficient

2 CNN-LSTM组合预测模型

2.1 CNN模型

CNN具有很强的数据特征提取能力,故使用CNN可以有效提取电、冷、热负荷之间的耦合特征并建立相应的特征量。然而,CNN在时间序列预测方面表现一般,难以实现准确的时间序列预测。CNN包括对特征进行提取的卷积层、对提取出的特征进行选择和过滤的池化层和将特征转为向量输出的全连接层[28],其主要结构如图3所示。

图3 CNN结构图Fig.3 Structure diagram of CNN model

在CNN中处于核心地位的是卷积层,每个卷积层又都是由不等的卷积核组成。卷积核中会对输入数据进行运算,映射成特征。池化层中会对特征进行降维[29]。本文根据采集到的数据量的维度和大小,选择用CNN中具代表性的LeNet模型。该模型的典型结构是3层卷积池化,2层全连接,具有结构简单、应用性强的特点。负荷数据在经过LeNet模型提取特征和扁平化处理之后,被传入到LSTM模型中进行负荷预测。

2.2 LSTM网络

LSTM能够提取长、短时间序列的复杂特征关系,在处理时间序列方面具有良好的性能。这是因为,LSTM引入了“门机制”来解决时间序列信息的长时间记忆。通过控制输入门、遗忘门和输出门,LSTM向存储单元添加或删除当前和过去的时间状态信息[30]。LSTM结构图如图4所示。

图4 LSTM结构图Fig.4 Structure diagram of LSTM model

LSTM中,存储单元的状态更新过程如下。

1)遗忘门根据当前时间t的输入xt和先前时间t-1的输出ht-1从存储单元中删除信息,表达式为

ft=σ(wfh·ht-1+wfx·xt+bf)

(3)

(3)式中:ft为遗忘门的状态;wfh和wfx为遗忘门的权矩阵;bf为遗忘门的偏移量;σ为激活函数。

2)输入门确定存储在存储单元中的信息,表达式为

it=σ(wih·ht-1+wix·xt+bi)

(4)

(5)

3)根据遗忘门和输入门的状态,来更新单元状态Ct,表达式为

(6)

(6)式中,Ct-1为t-1时刻的单元状态。

4)在当前单元状态下,更新输出门的状态Ot,表达式为

Ot=σ(woh·ht-1+wox·xt+bo)

(7)

(7)式中:woh和wox是输出门的权重矩阵;bo是输出门的偏移量。

5)输出门的最终输出为

ht=Ot·tanh(Ct)

(8)

(8)式中,ht为t时刻的输出,也就是负荷值。

2.3 CNN-LSTM组合模型

本文采用CNN-LSTM组合模型对综合能源系统的电、冷、热负荷进行预测。与单CNN、单LSTM相比,该模型兼具对数据特征的强提取能力和对时间序列良好处理的能力,更适用于负荷预测场景。组合模型中首先采用CNN网络对负荷的历史数据进行处理,输出的特征量为3种负荷间的耦合特性。将CNN提取的特征量转为时序序列后,输入到LSTM进行负荷预测。CNN-LSTM组合模型的结构如图5所示。

图5 CNN-LSTM组合模型的结构图Fig.5 Structure diagram of CNN-LSTM composite model

考虑到CNN和LSTM网络的特点,该模型的输入矩阵X由电、冷、热负荷的所有相关因素的历史数据组成。根据综合能源系统设备的采样频率,每天采集24次负荷数据。考虑CNN模型对输入数据量的要求,每次输入同一种负荷的数据量为24×24,同时输入3种负荷,即得到3×24×24的矩阵。模型输入矩阵表示为

(9)

(9)式中;Xe、Xc和Xh分别代表电、冷、热负荷相关影响因素数据组成的特征矩阵。

在模型的训练和预测中,由一定步长的滑动窗口在矩阵X上滑动从而取相应的值输入到模型中,从而进行特征提取和时序预测。考虑LSTM的长记忆和短记忆功能,将滑动窗口的大小设为24,步长设为1。以时间为t时的电、冷、热负荷预测为例,首先将t-576到t-1的负荷数据输入到卷积层;然后将卷积后得到的阵列在最大池化层进行池化,从而减小矩阵大小。此时,输入数据经过多次卷积和汇聚,形成了一个120×1×1的特征矩阵,通过扁平层进行扁平化,形成一个1×96的时间序列,再将时间序列输入LSTM网络进行负荷预测,最后,在全连接层输出t时刻1×3维的电、冷、热负荷预测值。

3 样例分析

本文实验数据来源于中国某工业区的综合能源系统。现将该系统监测到2018年3—6月,每天间隔一小时采集到的电、冷、热负荷数据作为本次预测模型的数据集,其中,70%为训练集,30%为测试集。

3.1 负荷间相关程度分析

采用1.1节提到的科普拉理论对综合能源系统2018年3—6月的电、冷、热负荷历史数据进行相关计算分析,得到的三者之间的斯皮尔曼相关系数如表1所示。

表1 电、冷、热负荷之间的相关系数值

从表1可以看出,电、冷、热负荷三者之间的相关系数均在0.6以上。根据文献[31]中对变量间相关性强度及相关系数取值范围的阐述,系数值为(0.6-0.8],即代表变量间呈强相关的关系。因此,在综合能源系统的负荷预测中,可考虑利用一种负荷与其他种类负荷之间的耦合信息,来帮助提高模型的预测效果。

3.2 数据处理

对得到的负荷数据进行归一化,将值映射到0～1,以满足神经网络模型的输入要求。归一化方法为

(10)

3.3 评价指标

因本文的任务是做负荷预测,属于回归任务。故本文选择常用的回归模型评价指标为加权平均精度[25](WMA)。WMA的计算公式为

(11)

MA=1-MAPE

(12)

WMA=αeMAe+αcMAc+αhMAh

(13)

(11)—(13)式中:MAPE为平均绝对百分比误差;y′(t)和y(t)是t时刻的实际值和预测值;n是数据总数;MA为平均精度;αe、αc和αh分别是电、冷、热负荷各自的权重;MAe、MAc和MAh分别是电、冷、热负荷对应的平均精度。考虑到电力资源在综合能源系统中的主导地位和重要性,电、冷、热负荷的权重系数设定为0.6、0.2和0.2。

3.4 模型参数设置

不同的神经网络结构,会导致模型预测效果出现差异化。LSTM模块层数越多,模型的学习能力越强,预测精度越高。然而,层数过多也可能导致模型出现过度拟合现象。为此,本模型在采用LeNet模型提取数据特征的基础上,逐步增加LSTM网络的层数,同时比较不同层数模型的预测效果,选择最优参数组合构建负荷预测模型,测试结果如表2所示。

表2 模型结构测试结果

从表2可以看出,LeNet模型与3层LSTM相结合的模型拟合误差最小。因此,本文选用这种结构构建预测模型。对于LeNet中卷积核的个数,第一层设为6,大小为5×5;第二层设为16,大小为5×5;第三层设为120,大小为3×3。对于LSTM中神经元的个数,第一层和第二层都设为16,第三层设为32。而对于全连接层,则设了10个节点。初始学习率设置为0.01[32],采用Adam算法[33]作为优化算法。为了提高组合模型的运算速度并且防止模型过拟合,LSTM的每一层都采用dropout法[34]。

3.5 预测结果分析

本实验基于Tensorflow2.0框架,使用python语言编写代码,完成了CNN-LSTM组合模型的构建和训练。

为了验证该模型的有效性,本文共建立了4组预测模型:模型1—3为不考虑负荷间相关性直接进行预测模型训练的线性回归模型LR、随机森林模型RF、单LSTM模型,模型4则是本文提出的考虑负荷间相关性从而先使用CNN提取负荷间耦合特征再输入到LSTM中进行负荷预测的CNN-LSTM组合模型。模型3中相关参数也设置为3.3节中所述的值。采用相同的数据集,对各个模型进行训练和预测,得到的各模型对于电、冷、热负荷的预测结果如图6—图8所示,各模型的预测准确率如图9所示。

图6 电力负荷各模型预测结果图Fig.6 Electric load forecast result diagram

图7 冷负荷各模型预测结果图Fig.7 Cooling load forecast result diagram

图8 热负荷各模型预测结果图Fig.8 Heat load forecast result diagram

图9 各模型预测准确率比较图Fig.9 Model prediction accuracy comparison chart

通过图6—图9进行如下结果分析。

1)拟合效果分析。从图6—图8中可以看出,LR、RF模型的负荷预测值跟真实数据值比偏差的要多一些,从而造成该模型的负荷预测曲线与真实负荷值曲线的拟合效果不太好,而LSTM模型和CNN-LSTM组合模型的负荷预测值曲线与真实负荷值曲线的拟合效果更好一些。从图6和图8中的拐点部分,可以明显地看到,CNN-LSTM模型比单LSTM模型的负荷预测值曲线更加贴近于真实负荷值曲线。

2)预测准确率分析。通过对这4组模型预测结果的MAPE、MA和WMA的计算和统计,从图9可以看出,对于电、冷、热负荷中的任一负荷,CNN-LSTM组合模型的预测准确率相比其他模型,都是这4组模型中最高的。

3)预测精度分析。从图9可以得到,与不考虑负荷间相关性的LSTM模型相比,先进行了负荷间耦合特征提取再进行模型训练的CNN-LSTM组合模型,对电、冷、热负荷预测的平均精度分别提高了0.6%、1.7%和0.7%,加权平均精度达到了98.6%。

以上分析显示,在进行负荷预测时考虑负荷间的相关性,可帮助提高预测模型的精度。本文提出的CNN-LSTM组合模型可以对综合能源系统中用户侧的负荷数据进行更准确的预测,可以更好地为决策者提供参考,从而帮助决策者改善资源的调配,提高能源的利用率,减少能源的浪费,推动节能减排。

4 结 论

为了提高智慧综合额能源系统负荷预测的准确性,从而辅助决策者进行更加合理的系统资源分配及调度,提高供能侧与用能侧的资源利用率,本文在研究了电、冷、热负荷之间的耦合程度的基础上,提出了一种基于CNN-LSTM的智慧综合能源系统用能侧负荷预测模型。首先使用CNN进行了电、冷、热负荷之间的耦合特征的提取,然后采用LSTM对得到的特征进行预测。实验表明,本文提出的模型预测效果更好,可为智慧综合能源系统中用能侧的负荷预测提供参考。但本文未考虑季节等其他因素对用能侧负荷数据的影响,下一步工作将会综合季节因素进行相关负荷预测技术的研究。