基于CNN-TPA-GRU的电价预测模型研究与应用

刘科 王玲霞 苗伊 王梓霁 尚虹霖

DOI：10.19850/j.cnki.2096-4706.2024.01.035

收稿日期：2023-07-13

摘  要：文章介绍一种解决电力市场价格波动的电价预测方法。该方法利用卷积神经网络提取输入序列的局部特征，并降维处理。同时，应用时序模式注意力机制，考虑不同时间步之间的依赖关系，为每个时间步分配权重，优化门控循环单元的输入特征。该模型在TGE数据集上进行了验证，并与其他算法进行了比较，结果在各项评价指标上均达到最优，证实了其适应性和在电力现货市场中的可行性。

关键词：时序模式注意力；循环神经网络；电价预测；卷积神经网络；GRU

中图分类号：TP18；TM715      文献标识码：A      文章編号：2096-4706（2024）01-0165-06

Research and Application of Electricity Price Prediction Model Based on CNN-TPA-GRU

LIU Ke1， WANG Lingxia1， MIAO Yi1， WANG Ziji2， SHANG Honglin2

（1.Inner Mongolia Longyuan New Energy Development Co.， Ltd.， Hohhot  010000， China;

2.North China Electric Power University （Baoding）， Baoding  071003， China）

Abstract： This paper introduces a method of electricity price prediction to solve the fluctuation of electricity market price. In this method， Convolution Neural Networks are used to extract local features of input sequences and reduce dimensionality. At the same time， the Temporal Pattern Attention mechanism is applied to consider the dependencies between different time steps， assign weights to each time step， and optimize input characteristics of the Gate Recurrent Unit. The model is verified on TGE dataset， and compares with other algorithms， and reaches the optimal in each evaluation index， which confirmed its adaptability and feasibility in the power spot market.

Keywords： temporal pattern attention; Recurrent Neural Network; electricity price prediction; Convolutional Neural Network; GRU

0  引  言

近年来，许多国家纷纷实行了电力市场自由化，这意味着电力市场的参与者不再受限于单一供应商，而可以自由选择电力供应商和购买方式。在电力市场自由化建立以来，准确预测电力价格一直是一个关键的目标，因为它直接影响到能源公司的发电成本和利润优化，尤其在能源公司的决策和战略制定中，价格预测已经成为一项必不可少的投入。准确的价格预测有助于电力企业制定更有效的发电计划，优化能源资源的利用，提高电力供应的稳定性和可靠性，从而实现企业的盈利最大化。

目前，针对电价预测的方法主要包括两类，分别为基于统计学的方法和基于机器学习的方法。统计学的方法包括归条件异方差[1]和隐马尔科夫模型[2]等，通过学习不同时刻的电价递归关系实现电价预测，但是由于电价序列的复杂特征，如高波动性和非平稳性，预测效果并不佳。而在机器学习中采用支持向量机回归[3]等算法，通过引入用电负荷、天气、二氧化碳排放限额等相关信息，训练大量电力数据，可以在一定程度上提高预测精度，发现输出和输入之间的映射关系，但这类方法难以挖掘特征在非线性时间序列上的规律，预测精度还有提高的空间。

近年来，随着深度学习的广泛应用，许多学者将其应用在电价预测中，针对电价序列的非线性等特点，早期研究者们使用循环神经网络（Recurrent Neural Network， RNN）[4]进行预测，但是在处理较长的时间序列时，容易出现梯度爆炸或者梯度消失的问题，导致时间序列预测不准确。文献[5]提出基于FBM驱动的随机微分方程，其被离散化为一个离散增量模型，用于预测电价。但是这种传统方法仍然不能很好地归纳输入与输出二者直接的内在联系。为了解决上述问题，研究学者们又提出了长短时记忆网络（Long Short Term Memory， LSTM）[6-8]，循环神经网络中的门控循环单元网络（Gate Recurrent Unit， GRU）[9]等算法。深度学习方法在不同尺度的时间序列预测中具有更大的适应性和准确性。

卷积神经网络 （Convolution Neural Networks， CNN）[10]对输入的时序数据只能捕捉局部信息，必须通过层叠来获取全局的联系增强视野，而注意力机制可以灵活地捕捉全局与局部的联系，补齐CNN的短板。基于此，本文提出基于时序注意力机制的CNN-GRU短期电价预测模型，通过对序列数据中不同时间步的重要性进行建模，以解决传统电价预测模型存在的计算效率低、在电价跳跃点与尖峰点预测精度不高的问题。

1  相关工作

1.1  时序注意力机制

时序注意力机制[11]是一种用于序列数据的注意力机制，主要在处理序列数据时提取有用的信息。如图1所示，时序注意力模型会学习一个权重向量，用于给输入序列中不同的时间步分配不同的权重，以强调重要的时间步和抑制不重要的时间步。

在电价预测任务中时序注意力机制用于从历史电价时间序列中提取有用的信息。时序注意力可以将历史电价序列和其他特征输入到带有时序注意力机制的深度学习模型中，模型会学习历史时间步之间的关系，并为不同时间步分配不同的权重，以强调重要的时间步并抑制不重要的时间步。具体来说，时序注意力机制可以在每个历史时间步上计算出一个注意力权重向量，将其与历史电价序列相乘并求和，得到加权后的历史电价向量。然后，将加权后的历史电价向量和其他特征一起输入到预测模型中进行预测。在训练过程中，模型会通过最小化预测误差来优化注意力权重向量的学习。综上所述，时序注意力机制可以帮助电价预测模型更好地处理历史电价序列中的信息，提高模型的预测性能和泛化能力。

1.2  卷积神经网络

CNN是一种广泛应用于图像和视频等数据上的深度学习模型。在电价预测中，通常将时间序列数据转换成二维图像输入CNN卷积神经网络中，以学习输入数据中的模式和趋势。具体地说，可以将时间序列数据按照一定时间间隔进行切割，将每个时间段内的数据作为一行像素值，将多个时间段拼接成一个二维图像。二维图像可以看作图像的输入数据，再使用CNN对这些图像进行卷积和池化操作，同时对电价时间序列进行降维处理以及二次特征提取，最后通过全连接层汇总所有卷积单元提取的局部特征，输出预测结果。CNN不仅可以降低模型的复杂度，还采用梯度下降优化方法，有效减少过拟合现象，提高模型泛化能力。在电价预测中，CNN可以学习到不同时间段内电价的趋势和变化规律，进而预测未来电价的变化趋势，提高电力市场参与者的决策效果和利润水平。

1.3  GRU神经网络

LSTM的记忆单元可以选择性地保留和遗忘过去的信息有效地避免了梯度消失问题，同时可以处理更长的时间序列。然而由于其内部结构较为复杂，LSTM网络的训练较长。因此，在RNN的基础上相关学者提出一种门控循环单元（GRU）神经网络模型，GRU神经网络的结构单元如图2所示。

如图2所示，在GRU中，每个单元包含两个门：更新门（Update Gate）和重置门（Reset Gate），以及一个隐藏状态，其内部单元与LSTM的内部单元相似。在每个时间步，输入向量和前一个隐藏状态会经过一定的线性变换，然后会被送入到两个门控制的记忆细胞中。重置门控制着过去记忆对当前输入有多少影响，而更新门则控制着保留多少过去的记忆，并与当前输入相结合，并采用sigmoid激活函数控制二者。通过这种方式，GRU网络可以选择性地忘记和记忆过去的信息，并将当前的输入与过去的信息相结合，其内部关系[12]如下：

（1）

（2）

（3）

（4）

式中zt為更新门，rt为重置门，输入x与隐藏层输出结果ht-1相加得到ht，σ为sigmoid函数，Wz、Wr、Wh、Uz、Ur、Uh、bz、br、bh为单元的权重矩阵。相比于LSTM，GRU参数量更少，在计算效率和速度方面具有很大优势；同时由于GRU的结构简单，使得其模型更容易优化；最后，GRU通过门控制着过去的记忆对当前的输入有多少影响，同时控制着保留多少过去的记忆，并与当前输入相结合，可以更好地控制信息流动。

GRU通过其门控机制来捕捉序列数据中的长期依赖关系，从而经常被用于分析历史电价数据并预测未来的价格趋势，广泛应用在电价预测任务中。此外，对于电价预测而言，历史价格数据通常存在一定的时间相关性和趋势，GRU可以从历史价格序列中提取出相关的特征，如季节性变化等。因此，本文设计了基于CNN-TPA-GRU短期电价预测模型，通过一维卷积提取局部特征，TPA层处理时间依赖关系，GRU层增强表达和记忆能力。综合多模态数据和神经网络融合，有效提高电价预测准确性。

2   CNN-TPA-GRU预测模型

2.1  数据归一化

数据归一化可以将所有特征的取值范围都缩放到相同的区间内，使得不同特征的权重更加平衡，提高了模型训练的稳定性和准确性。同时，进行数据归一化还可以加速模型训练的收敛速度，提高算法的收敛精度，从而更好地实现数据预处理的目标。因此本文将所有数据缩放到[0，1]：

（5）

式中Xi为原始数据中的第i个特征，Xi，min和Xi，max分别为该特征的最大值和最小值，Xi，norm为归一化后得到的值。在预测模型输出结果时，为了使预测结果具有实际意义，对输出的数据进行反归一化，得到预测电价值，计算方法如式（6）所示：

（6）

2.2  模型结构

CNN-TPA-GRU模型的整体结构如图3所示。输入层接收形状为“时间步长，特征维度”的输入。CNN层接收输入层的输入，使用了一维卷积层和ReLU激活函数，一维卷积层的作用是从输入序列中提取局部特征并降维处理，这些特征可以用于后续的模型层进行进一步的特征提取和预测。之后再通过专门用于处理时间序列数据的TPA层。通过考虑不同时间步之间的依赖关系来为每个时间步分配权重，从而实现对时间序列数据的特征提取，将注意力权重与输入数据逐元素相乘，以实现类似的加权特征表示，并输出至GRU层。两个GRU层由门控循环单元组成，用于控制信息的流动和过滤，从而增强模型的表达能力和记忆能力。在本模型中，第一个GRU层的输出将作为第二个GRU层的输入，用于传递前一层提取的时间依赖关系信息和长期依赖关系信息，之后进入扁平化层。扁平化层将GRU层的输出展平为一个1D张量，以便连接到全连接层，而全连接层具有100个神经元，用于学习更高级别的特征表示。最后进入丢弃层，用于随机丢弃一定比例的神经元，以防止模型过拟合，丢弃完成后输出至输出层，后续经过反归一化，得到最终的预测结果。

电价预测任务中，除了历史价格序列外，本文通过考虑其他相关的多模态数据，如二氧化碳排放量、风发电量等。CNN具有强大的非线性建模能力，可以学习到更高阶、更复杂的特征表示，从而提高电价预测的准确性；同时TPA可以在序列数据中对不同时间步的特征进行加权和选择。通过将CNN、TPA和GRU融合，可以有效地融合这些多模态特征，在大量的历史电价数据上进行训练，可以学习到模型的参数和权重，使其能够更好地适应电价预测任务，并提高预测精度。

3  实验验证

3.1  数据集

本文实验选取来自波兰能源交易所（TGE）自2018年1月1日至2020年12月27日的日前市场（Day Ahead Market， DAM）电力交易数据作为仿真数据集[13]。数据集原始数据包含实时的时间、电价（波兰兹罗提/兆瓦时）、二氧化碳排放限额、用电负荷、风电出力量的序列，每条记录之间的时间间隔为一小时，总计26 207条记录。

3.2  实验设置

本文实验选择Ubuntu操作系统20.04.4 LTS，采用Nvidia RTX A5000（24 GB）GPU加速网络训练，Python版本为3.8，CUDA版本为11.7，深度学习框架选用Keras 2.9.0。在模型训练过程中，时间步长为30，数据特征维度为30，训练轮数为200，批处理大小为128。一维卷积层的卷积核大小为3×3，过滤器数为16。丢弃层丢弃率为0.2。模型使用Adam作为优化器，学习率为0.01。

3.3  评价指标

本文选取均方根误差（Root Mean Squared Error， RMSE）、平均绝对误差（Mean Absolute Error， MAE），平均绝对百分比误差（Mean Absolute Percentage Error， MAPE）和准确率（Accuracy， ACC）作为模型评价指标，计算公式如下：

（7）

（8）

（9）

（10）

式中，yi为第i个观测值的真实值， 为对应的预测值，n为样本数量。

3.4  DAM电价特征分析

电价具有影响因素多、波动性强的特点。由于波兰电力市场风电占比较高，DAM电价波动性强，常出现电价跳跃的情况，价格跳跃和价格尖峰给电价预测带来了巨大的困难，现有的方法很难预测出价格跳跃的准确时间和跳跃高度。2018年1月至2020年12月期间DAM的电价变化曲线如图4所示，可以看出电价出现较多尖峰，波动较大。

为了体现本文实现的算法在跳跃点预测结果的优越性，选用DAM的电力市场数据集进行实验验证。对电价时间序列的分析证实了电价的周期性变化性质[14]。图5说明了电價时间序列的自相关函数，从中可以看出，给定时间的电价受24小时的倍数延迟对应的历史电价值的显著影响。

3.5  数据预处理

本文按照约为6：2：2的比例将数据集划分为训练集、验证集、测试集，具体划分的时间段如表1所示。

在本文选用的DAM电力市场数据集中，包含实时的时间、电价（波兰兹罗提/兆瓦时）、二氧化碳排放限额、用电负荷、风电出力量的序列。电价和实时负荷相互关联，需求变动会直接影响电价，电价变化也会对能源消费产生影响。对于高风电渗透的电力市场，加入风发电量作为特征，能够更好地反映电价的变化趋势，提高预测准确率。所以，本文选取实时的用电负荷、风发电量以及1-7天内和14天前同一时刻的电价、用电负荷、风发电量的历史值作为模型输入，各个特征与实时电价的皮尔逊相关系数如表2所示。表中P为电价，D为用电负荷，W为风发电量，数字表示距该时刻的天数。

在电力市场中，二氧化碳排放限额管控极为严格，且每日电力交易分为高峰期（Peak Period，07：00—22：00）和非高峰期（Offpeak Period），因此，增加二氧化碳排放限额和是否为高峰期作为模型输入特征，皮尔逊相关系数分别为0.23和0.41。此外，考虑到电力市场节假日可能用电需求减少，电价可能有所下降，发现是否为节假日这一属性与实时电价的皮尔逊相关系数为-0.32，具有一定的负相关性，将其也作为预测模型的一个输入特征。

3.6  与其他算法的对比实验

为了检验本文所提出的CNN-TPA-GRU模型的学习能力更强、预测更准确的特性，对测试集上5 232个小时的价格进行了预测，并分别采用了GRU模型、Attention-GRU模型[15]、Attention-CNN-LSTM模型[16]、CNN-GRU模型和本文提出的CNN-TPA-GRU进行对比。对这五种预测结果与真实电价进行了比较分析，选取2020年5月26日至2020年6月6日共计288个小时的预测结果进行画图对比展示，如图6所示。

从图6中可以观察到，五种算法模型的预测值变化趋势与真实值大体上一致。然而，本文提出的CNN-TPA-GRU模型的预测值更接近真实值，而GRU原始模型的预测结果偏离真实值的差距最大，其后依次是Attention-CNN-LSTM模型、Attention-GRU模型、CNN-GRU模型。造成这种差异的原因主要是在本文提出的模型中，通过将CNN与TPA结合，以及考虑不同时间步之间的依赖关系来为每个时间步分配权重，从而实现对时间序列数据的特征提取，优先筛选关键信息，以优化输入到GRU网络的数据。而相较于Attention-CNN-LSTM模型，GRU与LSTM相比，由于GRU没有遗忘门，它对于短期记忆和快速变化的数据可以有更好的适应性，因此在处理短序列数据时，GRU的表现优于LSTM。因此，本文提出的CNN-TPA-GRU模型相较于其他四种更为精确。

从表3可以看出，本文提出的CNN-TPA-GRU模型的RMSE相较于GRU、Attention-GRU、Attention-CNN-LSTM、CNN-GRU分别降低了18%、9%、14%、4%，MAE分别降低了17%、8%、16%、5%，MAPE分别降低了17%、13%、16%、6%。各项评价指标均为本文提出的CNN-TPA-GRU模型最佳，进一步印证了对于图6的分析，本文提出的CNN-TPA-GRU模型具有良好的精确性。

4  结  论

本文针对新能源高风电渗透的电力市场，提出了一种基于CNN-TPA-GRU的市场短期电价预测算法，通过在卷积神经网络后加入时序模式注意力机制，实现对时间序列数据的特征提取，突出了卷积神经网络处理后的输入特征中的关键信息。同时，加入风发电量和二氧化碳限额作为输入特征，能更准确地反映电价去变化趋势，提升准确率，符合目前大力构建以新能源为主体的新型电力系统的现状。同时，本文采用TGE数据集进行分析，通过与各种算法进行对比，本文的模型在各种评价指标上均达到了最优，相比于Attention-CNN-LSTM等算法，本文模型对于短期记忆和快速变化的数据可以有更好的适应性，同时由于卷积神经网络的加入，更加优化了特征提取过程，在不丢失重要信息的情况下降低输入数据的维度，从而减少模型中的参数数量和计算复杂度。综合上所述，CNN-TPA-GRU能很好地解决新能源大量并入的电力现货市场短期电价预测问题，有着广阔的应用场景。

参考文献：

[1] 樊宇琦，丁涛，孙瑜歌，等．国内外促进可再生能源消纳的电力现货市场发展综述与思考 [J].中国电机工程学报，2021，41（5）：1729-1752.

[2] 王彩霞，李梓仟，李琼慧，等．丹麦新能源参与电力市场机制及对中国的启示 [J].中国电力，2018，51（9）：143-150.

[3] 翟鸿雁，曾晋明，曾纪霞.基于支持向量机的电力市场价格预测中的核函数比较 [J].计算技术与自动化，2011，30（2）：30-33.

[4] GRAVES A，MOHAMED A R，HINTON G．Speech recognition with deep recurrent neural networks [C]//2013 IEEE International Conference on Acoustics，Speech，and Signal Processing （ICASSP）.Vancouver：IEEE，2013：6645-6649.

[5] JAHANGIR H，TAYARANI H，BAGHALI S，et al. A novel Electricity Price Forecasting Approach Based on Dimension Reduction Strategy and Rough Artificial Neural Networks [J].IEEE Transactions on Industrial Informatics，2020，16（4）：2369–2381.

[6] HOCHREITER S，SCHMIDHUBER J.Long short-term memory [EB/OL].[2023-06-29].https：//max.book118.com/html/2017/0630/5030331033001034.shtm.

[7] DAS R，BO R，REHMAN W U，et al. Cross-Market Price Difference Forecast Using Deep Learning for Electricity Markets [C]//2020 IEEE PES Innovative Smart Grid Technologies Europe （ISGT-Europe）.The Hague：IEEE，2020：854-858.

[8] BUI D M，LE P D，CAO T M，et al. A Statistical Data-Filtering Method Proposed for Short-Term Load Forecasting Models [J].Journal of Electrical Engineering & Technology，2020，15：1947-1967.

[9] YANG H l，SCHELL K R．HFNet： Forecasting Real-Time Electricity Price via Novel GRU Architectures [C]//2020 International Conference on Probabilistic Methods Applied to Power Systems （PMAPS）．Liege：IEEE，2020：1-6．

[10] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. ImageNet Classification with Deep Convolutional Neural Networks [J].Communications of the ACM，2017，60（6）：84-90.

[11] SHIH S Y，SUN F K，LEE H Y. Temporal Pattern Attention for Multivariate Time Series Forecasting [J/OL].arXiv：1809.04206 [cs.LG].[2023-06-29].https：//arxiv.org/abs/1809.04206v1.

[12] JOZEFOWICZ R，ZAREMBA W，SUTSKEVER I. An empirical exploration of recurrent network architectures [C]//ICML'15： Proceedings of the 32nd International Conference on International Conference on Machine Learning.Lille：JMLR.org，2015，37：2342-2350.

[13] 馮道雨.浅析波兰电力行业现状及发展趋势 [J].能源与节能，2020（10）：152-154.

[14] 赵雅雪，王旭，蒋传文，等.基于最大信息系数相关性分析和改进多层级门控LSTM的短期电价预测方法 [J].中国电机工程学报，2021，41（1）：135-146+404.

[15] 谢谦，董立红，厍向阳.基于Attention-GRU的短期电价预测 [J].电力系统保护与控制，2020，48（23）：154-160.

[16] 吉兴全，曾若梅，张玉敏，等.基于注意力机制的CNN-LSTM短期电价预测 [J].电力系统保护与控制，2022，50（17）：125-132.

作者简介：刘科（1984—），男，汉族，内蒙古呼和浩特人，高级工程师，硕士，研究方向：电力交易；王玲霞（1984—），女，汉族，内蒙古呼和浩特人，工程师，硕士，研究方向：电力交易；苗伊（1989—），女，汉族，山西河曲人，中级经济师，本科，研究方向：电力交易；王梓霁（2000—），男，汉族，天津人，硕士研究生，研究方向：机器学习及其应用；尚虹霖（1999—），男，汉族，辽宁盘锦人，硕士研究生，研究方向：机器学习及其应用。