基于PLESN和LESQRN概率预测模型的短期电力负荷预测

樊江川 于昊正 王冬生 安佳坤 杨丽君

摘要：针对现有电力负荷预测不能很好反映负荷数据的周期性和趋势性以及残差的波动性特征，提出一种考虑周期性建模的泄露积分型回声状态网络点预测模型和泄露积分型回声状态分位数回归网络概率预测模型组合的短期电力负荷预测方法。首先，为了捕捉负荷的多重特征，定义了周期性和趋势性损失函数，辅助优化点预测模型；然后，为克服残差的波动问题，利用概率预测模型对点预测值与真实值的残差进行建模预测；最后整合同时刻的点预测值与残差预测区间得到概率预测模型结果。实际算例结果表明，与其他模型相比，所提模型不仅有效抑制尖端振荡现象，而且能够生成可靠的概率密度分布。

关键词：短期电力负荷预测；周期性建模；泄露积分型回声状态网络；分位数回归

中图分类号： TM715文献标识码： ADOI：10.3969/j.issn.1007-791X.2024.01.0070

引言

短期电力负荷预测是智能电网规划、运行和能源交易等的重要基础[1]，精确的短期负荷预测结果具有重要的意义[2]。目前，应用较多的短期电力负荷预测模型包括统计学模型[3-4]、深度学习模型[5-6]和其他机器学习模型[7-8]等。其中，统计学模型思路简单，但难以提取数据间的非线性关系，致使其对未来数据的泛化能力较弱[9]。相比之下，将传统机器学习方法应用于负荷预测[10]具有较强的非线性规律提取能力和泛化能力，但对于长时间序列而言，存在信息丢失的问题，而且拟合精度也有待提升。近年来，随着计算机的运算能力逐渐加强，深度学习迅速发展，其在短期电力负荷预测领域表现优异，逐渐成为研究热点[11]。

目前，短期电力负荷预测类型主要分为点预测和概率预测。点预测是对未来某一时刻或某一段时间的具体负荷进行预测。文献[12]采用集合经验模态分解（Ensemble empirical mode decomposition，EEMD）将原始负荷序列分解为高频和低频分量，依次由門控循环单元和多元线性回归进行预测。文献[13]使用卷积神经网络提取负荷特征向量，将重构向量作为长短期记忆网络的输入以进行最终的预测，提高了预测精度。上述文献对点预测方法进行了研究，实现了更高的预测精度。另一方面，概率预测可以得到未来负荷的概率分布，更加全面地提供未来负荷的不确定性信息[14]，从而为电力系统的规划运行提供更有力的数据支撑。文献[15]将分位数回归应用于径向基函数（Radial basis function，RBF）中，以获得负荷的概率密度分布。文献[16]提出了支持向量分位数回归方法，将实时电价作为重要影响因素，有助于获得准确的负荷波动范围。文献[17]将注意力机制融合于时间卷积网络分位数回归之中，产生不同分位点之下的预测结果。上述文献针对概率预测方法，提高了所得概率密度分布结果的可靠性。然而，单一的点预测或概率预测都有各自的局限性：点预测所得结果的可靠性难以得到理论支撑，而概率预测所得概率密度分布要应用于优化、规划等其他领域又需要对分布进行抽样等操作，提高了研究过程的复杂程度。所以，在提高负荷预测精确度的同时，得到其概率密度分布的信息对于电力系统的运行、优化等领域具有重要意义。

基于此，本文提出一种基于考虑周期性建模的泄露积分型回声状态网络（Leaky integrator echo state network based on periodicity，PLESN）和泄露积分型回声状态分位数回归网络（Leaky integrator echo state quantile regression network，LESQRN）概率预测模型的短期电力负荷预测方法，通过LESQRN网络对PLESN所得结果的残差进行概率预测并对结果进行修正，在提高精确性的同时，得到负荷的不确定性分布特征。首先，由于负荷时间序列具有明显的周期性和趋势性，定义了周期性和趋势性损失函数作为网络训练的辅助损失函数。使点预测模型PLESN在拟合寻优时能充分考虑到负荷的性质与特征，实现对短期负荷的精确点预测。然后，由于点预测值与真实值间的残差具有极强的波动性，普通的点预测方法难以对其规律进行提取，本文将LESQRN概率预测方法作为残差预测模型，使产生的预测区间对未来的残差分布进行充分的反映。通过将上述两种模型整合，得到概率预测模型，利用同时刻的残差预测区间对点预测值进行修正，进一步提升预测精度。最后，以实际电力负荷数据为例，对本文所提模型进行验证。结果表明，本文所提出概率预测模型不仅具有较高的准确性，而且能够对未来负荷生成可靠的概率分布。

1负荷数据的周期性建模

本文在考虑负荷数据具有显著的周期性和趋势性的基础上，在神经网络中引入了周期损失和趋势损失[18]，在网络训练阶段对负荷数据的周期和趋势特性进行辅助建模。

1.1周期损失

针对具有周期性的负荷序列，本文考虑负荷当前数据的跨周期关系。在［t1，t2，…，tn］的时间窗上对负荷数据的周期性进行建模，得到如下周期损失函数：

式中，τ为周期，?t表示t时刻的预测值，yt－τ表示跨周期的真实值。

1.2趋势损失

除周期性模型外，考虑到负荷数据存在升降趋势和变化范围等约束，本文还对一段时间内负荷数据的整体状态进行建模。

在［t1，t2，…，tn］的时间窗上对负荷数据的趋势性进行建模，本文从均值、最大值、最小值和方差的角度进行考虑，得到趋势损失函数如下：

式中，Lmeant为均值趋势损失，Lmaxt为最大趋势损失，Lmint为最小趋势损失，Lvart为方差趋势损失，ω为趋势窗宽，反映模型考虑的趋势序列长短。

1.3联合优化

将周期损失和趋势损失作为网络训练的辅助损失函数，加入到原目标函数之中，联合优化网络模型。在此多任务学习框架下，得到新的目标函数如下：

式中，Lm为原目标函数，Ls为周期损失函数，Lt为趋势损失函数，λs为周期损失函数的权重，λmeant、λmaxt、λmint和λvart分别为各自趋势损失函数的权重。

2模型算法原理

2.1PLESN模型

泄露积分型回声状态网络（Leaky integrator echo state network， LESN）将普通回声状态网络的储备池神经元赋予泄露积分属性，使其能够更好地适应慢变动态系统[19-20]。而且这类神经元具有状态动力学属性，可以通过调整参数使网络适应各种类型的任务下的时间序列特征。LESN的结构图如图1所示。

结构中包含K个输入单元和L个输出单元。储备池包含N个神经元，它们之间进行稀疏连接。实线表示神经元之间存在的必要连接，虚线则表示神经元之间的连接在不同情形下有可能存在。

假设输入层的输入向量为u（k）=［u1（k），u2（k），…，uK（k）］T，储备池的状态向量为x（k）=［x1（k），x2（k），…，xN（k）］T，输出层输出向量为y（k）=［y1（k），y2（k），…，yL（k）］T。则PLESN的状态方程更新方式为

x（k+1）=（1－α）x（k）+αf（Winu（k+1）+Wx（k）+Wbacky（k）），    （8）

式中，u（k+1）为k+1时刻的输入向量，x（k）为k时刻的储备池状态向量，y（k）为k时刻的输出向量，α是泄露率，f（·）为各节点的激励函数，Win、W和Wback分别为输入、储备池和反馈权重矩阵。

由式（8）可以得知，当α=1时，LESN就变为普通ESN网络。改变参数而对预测结果产生的影响可以由另一个相关参数进行抵消，LESN依旧具有回声状态属性。因此，针对不同数据集，调整参数取值，便能使LESN的拟合能力优于普通ESN。

针对负荷数据进行周期性建模，可以使神经网络更好地提取负荷时间序列的周期和趋势特征。因此，本文在LESN的基础上，以对负荷数据进行周期性和趋势性建模的损失函数作为附加损失函数，对LESN进行联合优化训练，得到PLESN模型，并将其作为点预测模型。

2.2LESQRN模型

分位数回归（Quantile regression， QR）是在不同分位点之下优化自变量与因变量之间关系的一种建模方法。通过因变量对自变量进行回归，可以得到多个分位点下的拟合模型，进而在不同程度下反映自变量对因变量的影响。对多个条件分位点结果进行分析，便能得到完整的描述因变量Y的概率分布，实现了对传统点预测模型的扩充。

假设因变量Y，受到一系列因素X1，X2，…，Xk的影响。在不同分位点之下，可建立线性回归分位数函数模型：

QY（q|X）=XTβ（q），    （9）

式中，q∈（0，1）是分位點设定值，X为多个自变量形成的矩阵，β（q）为参数矩阵的估计，可以通过优化以下损失函数进行反向传播求得：

式中，ρq为q分位点对应的概率，Yi为与网络输出对应的实际值。

本文将式（10）作为QR附加损失函数，应用于LESN的训练过程中，得到LESQRN模型，构成残差概率预测模型。

3概率预测模型

3.1概率预测模型应用分析

通过训练好的PLSEN点预测模型，获得点预测值

式中，W和Xt表示表示点预测模型的参数和输入。

利用上述结果可以计算出预测残差：

上式表明，最终的预测结果yt的计算可以转化为点预测?t和残差预测εt的计算。负荷的预测问题进而转化为点预测问题和残差预测问题。

由于点预测值决定残差的大小，因此?t还用作残差预测模型的输入特征：

式中，gq和Wq为LESQRN残差预测模型及相应参数，εt，q为在q分位点下时间t的残差。

整合点预测值与残差预测区间便得到了负荷的概率预测结果，即采用一系列的分位点预测值来描述负荷的分布：

式中，?t，q表示在q分位点下时间t的负荷概率预测结果。

综上，将PLESN点预测模型与LESQRN概率预测模型进行整合，为残差预测区间对点预测值进行修正，进而得到概率预测模型。

3.2概率预测模型建模方法

该方法包括训练阶段和测试阶段：

训练阶段：

1） 将负荷数据分成T1、T2和T3三个部分，其中T1和T2是训练集，T3是测试集；

2） 应用T1数据集对PLESN点预测模型进行训练，应用此模型对T2数据集进行虚拟预测，进而结合点预测值和真实数据得到残差；

3） 将点预测值与T2数据集中的历史数据和气象特征相结合，以训练LESQRN残差预测模型。

测试阶段：

使用T3数据集中的历史数据和气象特征进行点预测；然后使用残差预测模型对残差数据进行建模，其中将点预测值、历史数据和气象特征一起用作输入特征；最后将点预测值与残差预测区间整合以产生概率预测。具体建模流程如图2所示。

此模型对于未来某一个时刻的概率预测结果是一个区间范围，可以更有效的反应短期负荷预测的波动情况，提供未来数据更多的不确定性信息。

3.3数据归一化

将数据输入网络模型之前，需对其进行归一化处理，这不仅能够减轻数据因量纲不同而产生的消极影响，而且有助于模型提取数据规律，加快收敛速度。归一化公式如下：

式中，xt为原始值，xm为归一化后的值，xmin和xmax分别为同一特征中的最小值与最大值。

3.4评价指标

为对模型的预测精度进行评估，选取如下评估指标：

1） 平均绝对误差：

2） 平均绝对误差百分比：

3） 均方根误差：

其中，n为样本数据的数量，yi、?i分别为真实值和点预测值。

4算例分析

本文所采用数据来自2016年“中国电机工程学会杯”全国大学生电工数学建模竞赛所提供的电力及气象数据，数据采样频率为15 min即每天有96个采样数据。其中气象数据包含每日最高气温、最低气温、平均温度、相对湿度、降雨量五种气象数据，电力数据即电力负荷数据。其中以2012年1月1日至2013年5月31日数据作为训练集1训练点预测模型，以2013年6月1日至2014年10月31日数据作为训练集2训练残差预测模型，以2014年11月1日至2014年12月31日數据当作测试集以检验模型效果。

应用本文模型在相应数据集上进行训练，得到测试集的概率预测结果，将本文提出模型所得结果与相同条件下的ESN模型、LESN模型和单一PLESN模型进行精度比较。

4.1实验环境配置

本文实验环境采用硬件平台为Core i9-9900k 3.6GHz CPU，NVIDIA GeForce RTX 2080Ti 11GB，DDR4 16G内存。软件模型采用 Python 3.6 作为编程语言，网络模型架构基于Pytorch框架。

4.2超参数确定

超参数的设置对本文模型的预测效果有着决定性作用。优选后，点预测模型和残差预测模型的参数分别设置如表1所示。

4.3预测结果分析

首先，用本文所提概率预测模型对2014年11月1日至7日数据进行预测。得到10%和90%形成的预测区间与真实值进行对比，如图3所示。

可见，无论是在负荷平稳变化的阶段，还是在不确定性较大的峰谷端附近，本文方法所产生的预测区间均能将真实值包含在内。这证明了应用本文方法对电力负荷进行概率预测具有较高的可靠性。

将2014年11月1日中5：00、11：00、17：00和23：00共计4个时刻的概率密度估计与真实值进行对比，如图4所示

可以看出，真实值不仅落在概率密度区间内，而且在概率密度值较大处，说明本文方法预测结果具有较强的可参考性。这4个时刻对应的误差分别为-96.65、80.92、4.97和-243.66。可见，LESQRN模型对较大的误差真实值进行概率预测时，精度会有所降低。这是因为在误差数据集中，较大的误差真实值已经偏离了误差的基本波动范围，增大了在不同分位点下的拟合难度。但LESQRN模型仍然可以对误差真实值赋予较大的概率密度，这为提高点预测模型的预测精度奠定了基础。

对比2014年11月1日一天内的真实值与各模型结果，如图5所示。

可见，PLESN模型与ESN模型、LESN模型相比，能够更好地拟合出负荷的变化趋势。但是，在具有较大不确定性的电力负荷变化尖端，其拟合效果欠佳。而本文方法由于加入了LESQRN模型考虑残差对点预测值进行修正，对此则显示出了优越的拟合能力，有效抑制了尖端预测值的振荡现象，使得预测结果更加贴近于真实值。

为比较不同模型的点预测精度，选取本文模型中位数预测结果与ESN模型、LESN模型和PLESN模型对MAE、MAPE和RMSE进行对比，如表2所示。

可知，PLESN模型比LESN模型更具优越性，其MAE、MAPE和RMSE分别提升了13.5%、11.2%和9.7%，证明了在损失函数中加入周期损失和趋势损失进行联合优化有利于提高预测精度的真实性。本文模型的预测精度与其他模型相比，MAE方面，比LESN和PLESN模型分别提高30.2%和16.7%；MAPE方面，比LESN和PLESN模型分别提高30.5%和21.7%；RMSE方面，比LESN和PLESN模型分别提高22.5%和14.3%。说明本文方法的预测精度比普通模型具有大幅度提升，应用残差预测值进行修正效果明显。而LESN模型与ESN模型相比精度提升较小，是因为相邻时刻数据集变化较小，使ESN模型储备池状态矩阵已经拥有了部分慢变性质。

在2014年11月1日至7日的时间尺度上，将本文方法中位数预测结果、LESN模型预测结果与真实值进行对比，如图6所示。

可以看出，本文方法预测结果与真实值基本重合。其中，11月2日的负荷数据与其他几天相比差距较大，导致了普通LESN模型难以考虑其特殊性，致使在负荷峰谷端均产生较大误差。而本文方法由于考虑了周期性建模，使得其在预测11月2日的负荷数据（第97到第192之间的数据）时，可以跨周期的提取到相同趋势下的负荷变化规律。进而结合残差预测区间进行修正，使得本文方法对11月2日的负荷数据仍然具有精确的拟合能力。说明本文方法具有较好的泛化能力和鲁棒性。

5结论

本文提出了一种基于PLESN和LESQRN概率预测模型的短期电力负荷预测方法。经实例验证，得到主要结论如下：

1） 在传统损失函数的基础上，定义周期损失和趋势损失进行联合优化，能够使网络模型进一步提取电力负荷数据的周期和趋势信息，有效减少预测值在尖端的振荡现象，提高模型泛化能力。

2） 在应用残差预测模型LESQRN对PLESN模型点预测值与真实值的残差建模中，多个分位点的应用可以使网络输出为预测区间，可以提升波动性较大的残差的预测可靠性。

3） 整合同时刻的点预测值与残差预测区间，使本文模型融合了点预测和概率密度预测的优点。不仅在点预测值的基础上进一步提高预测精度，而且可以对未来负荷数据生成可靠的概率密度分布。相比于其他预测模型，本文模型更具优越性。

然而，由于数据集的限制，本文考虑的相关特征仍不足，后续可以考虑加入电价、日期类别等其他与负荷数据相关性较大的特征，以优化模型预测结果。

参考文献

[1] 吴云， 雷建文， 鲍丽山， 等. 基于改进灰色关联分析与蝙蝠优化神经网络的短期负荷预测[J]. 电力系统自动化， 2018， 42（20）： 67-72.

WU Y， LEI J W， BAO L S， et al. Short-term load forecasting based on improved grey relational analysis and neural network optimized by bat algorithm[J]. Automation of Electric Power Systems， 2018， 42（20）： 67-72.

[2] 林珊， 王红， 齐林海， 等. 基于条件生成对抗网络的短期负荷预测[J]. 電力系统自动化， 2021， 45（11）： 52-60.

LIN S， WANG H， QI L H， et al. Short-term load forecasting based on conditional generative adversarial network[J]. Automation of Electric Power Systems， 2021， 45（11）： 52-60.

[3] 万昆， 柳瑞禹. 区间时间序列向量自回归模型在短期电力负荷预测中的应用[J]. 电网技术， 2012， 36（11）： 77-81.

WAN K， LIU R Y. Application of interval time-series vector autoregressive model in short-term load forecasting[J]. Power System Technology， 2012， 36（11）： 77-81.

[4] 麦鸿坤， 肖坚红， 吴熙辰， 等. 基于R语言的负荷预测ARIMA模型并行化研究[J]. 电网技术， 2015， 39（11）： 3216-3220.

MAI H K， XIAO J H， WU X C， et al. Research on ARIMA model parallelization in load prediction based on R language[J]. Power System Technology， 2015， 39（11）： 3216-3220.

[5] 陈纬楠， 胡志坚， 岳菁鹏， 等. 基于长短期记忆网络和LightGBM组合模型的短期负荷预测[J]. 电力系统自动化， 2021， 45（4）： 91-97.

CHEN W N， HU Z J， YUE J P， et al. Short-term load prediction based on combined model of long short-term memory network and light gradient boosting machine[J]. Automation of Electric Power Systems， 2021， 45（4）： 91-97.

[6] 王增平， 赵兵， 纪维佳， 等. 基于GRU-NN模型的短期负荷预测方法[J]. 电力系统自动化， 2019， 43（5）： 53-62.

WANG Z P， ZHAO B， JI W J， et al. Short-term load forecasting method based on GRU-NN model[J]. Automation of Electric Power Systems， 2019， 43（5）： 53-62.

[7] JIANG H， ZHANG Y， MULJADI E， et al. A short-term and high-resolution distribution system load forecasting approach using support vector regression with hybrid parameters optimization[J]. IEEE Transactions on Smart Grid， 2018， 9（4）： 3341-3350.

[8] GENDEEL M， ZHANG Y X， HAN A Q. Performance comparison of ANNs model with VMD for short-term wind speed forecasting[J].IET Renewable Power Generation， 2018， 12（12）：1424-1430.

[9] 吴潇雨， 和敬涵， 张沛， 等. 基于灰色投影改进随机森林算法的电力系统短期负荷预测[J]. 电力系统自动化， 2015， 39（12）： 50-55.

WU X Y， HE J H， ZHANG P， et al. Power system short-term load forecasting based on improved random forest with grey relation projection[J]. Automation of Electric Power Systems， 2015， 39（12）： 50-55.

[10] CECATI C， KOLBUSZ J，RZ.YCKI P， et al. A novel RBF training algorithm for short-term electric load forecasting and comparativestudies[J]. IEEE Transactions on Industrial Electronics， 2015， 62（10）： 6519-6529.

[11] CHEN K J， CHEN K L， WANG Q， et al. Short-term load forecasting with deep residual networks[J]. IEEE Transactions on Smart Grid， 2019， 10（4）： 3943-3952.

[12] 邓带雨， 李坚， 张真源， 等. 基于EEMD-GRU-MLR的短期电力负荷预测[J]. 电网技术， 2020， 44（2）： 593-602.

DENG D Y， LI J， ZHANG Z Y， et al. Short-term electric load forecasting based on EEMD-GRU-MLR[J]. Power System Technology， 2020， 44（2）： 593-602.

[13] 陆继翔， 张琪培， 杨志宏， 等. 基于CNN-LSTM混合神经网络模型的短期负荷预测方法[J]. 电力系统自动化， 2019， 43（8）： 131-137.

LU J X， ZHANG Q P， YANG Z H， et al. Short-term load forecasting method based on CNN-LSTM hybrid neural network model[J]. Automation of Electric Power Systems， 2019， 43（8）： 131-137.

[14] 李丹， 张远航， 杨保华， 等. 基于约束并行LSTM分位数回归的短期电力负荷概率预测方法[J]. 电网技术， 2021， 45（4）： 1356-1364.

LI D， ZHANG Y H， YANG B H， et al. Short time power load probabilistic forecasting based on constrained parallel-LSTM neural network quantile regression mode[J]. Power System Technology， 2021， 45（4）： 1356-1364.

[15] 何耀耀， 许启发， 杨善林， 等. 基于 RBF 神经网络分位数回归的电力负荷概率密度预测方法[J]. 中国电机工程学报， 2013， 33（1）： 93-98.

HE Y Y， XU Q F， YANG S L， et al. A power load probability density forecasting method based on RBF neural network quantile regression[J]. Proceedings of the CSEE， 2013， 33（1）： 93-98.

[16] 何耀耀， 刘瑞， 撖奥洋. 基于实时电价与支持向量分位数回归的短期电力负荷概率密度预测方法[J]. 中国电机工程学报， 2017， 37（3）： 768-776.

HE Y Y， LIU R， HAN A Y. Short-term power load probability density forecasting method based on real time price and support vector quantile regression[J]. Proceedings of the CSEE， 2017， 37（3）： 768-776.

[17] 庞昊， 高金峰， 杜耀恒. 基于时间卷积网络分位数回归的短期负荷概率密度预测方法[J]. 电网技术， 2020， 44（4）： 1343-1350.

PANG H， GAO J F， DU Y H. A short-term load probability density prediction based on quantile regression[J]. Power System Technology， 2020， 44（4）： 1343-1350.

[18] 徐任超， 阎威武， 王国良， 等. 基于周期性建模的时间序列预测方法及电价预测研究[J]. 自动化学报， 2020， 46（6）： 1136-1144.

XU RC， YAN W W， WANG G L， et al. Time series forecasting based on seasonality modeling and its application to electricity price forecasting[J]. Acta Automatica Sinica， 2020， 46（6）： 1136-1144.

[19] 倫淑娴， 胡海峰. 基于罚函数内点法的泄露积分型回声状态网的参数优化[J]. 自动化学报， 2017， 43（7）： 1160-1168.

LUN S X， HU H F. Parameter optimization of leaky integrator echo state network with internal-point penalty function method[J]. Acta Automatica Sinica， 2017， 43（7）： 1160-1168.

[20] LUN S X， HU H F， YAO X S. The modified sufficient conditions for echo state property and parameter optimization of leaky integrator echo state network[J]. Applied Soft Computing Journal， 2019， 77：750-760.

Short-term power load forecasting based on probabilistic

forecasting model of PLESN and LESQRN

FAN Jiangchuan1， YU Haozheng1， WANG Dongsheng2， AN Jiakun3， YANG Lijun2

（1.Economic and Technological Research Institute of Henan Electric Power Company， Zhengzhou， Henan 450002，China;

2.Key Lab of Power Electronics for Energy Conservation and Motor Drive of Hebei Province，

Yanshan University， Qinhuangdao， Hebei 066004，China;

3. Economic and Technological Research Institute of Hebei Electric Power Company， Shijiazhuang， Hebei 050011，China）

Abstract：In view of the fact that the current load forecasting can not reflect the periodicity and trend of load data and the volatility of residual， a short-term power load forecasting method based on the probability forecasting model of leaky integrator echo state network based on periodicity （PLESN） and leaky integrator echo state quantile regression network （LESQRN） is proposed. Firstly， in order to capture the multiple characteristics of the load， periodic and trend loss functions are defined to assist the optimization of the point prediction the PLESN model.Then， in order to overcome the fluctuation of residual error，the probabilistic prediction model is used to predict residual error for modeling prediction. Finally， the point prediction value and the residual prediction interval are integrated to obtain the result of the probability prediction model. The results of actual calculation examples show that， compared with other models， the proposed model not only effectively suppresses the tip oscillation phenomenon，but also can generates reasonable probability density distribution.

Keywords：short-term power load forecasting; periodic modeling; leaky integrator echo state network; quantile regression