基于小样本数据和深度残差网络的月度供电量预测研究*

尹 力 周 琪

（国网武汉供电公司 武汉 430070）

1 引言

区域供电量预测是电气工程领域的一项基本工作，国内外已在该领域开展了多年的研究［1］。根据预测原理的不同，预测方法可概括为简单数学推理法、传统数学模型法和人工智能预测法三类。简单数学推理法有专家预测法、综合用电水平法、单耗法、弹性系数法、负荷密度法、平均增长率法、类比法、指数平滑法等［2］。简单数学推理法，能够对未来供电量情况做出初步预测，但却由于预测精度不足，现已很少采用。第二类为传统数学模型法，采用更为复杂的预测模型，能够得到较高的供电量预测精度，主要包括时间序列法［3］、回归分析法［4］、趋势外推法［5］等。第三类为人工智能预测方法，包括以各类神经网络为主的机器学习预测方法［6～9］、支持向量机预测法［10］等。

其中，随着人工智能技术的飞速发展，人工智能在供电量预测方面的研究受到了越来越多的关注。然而，以深度学习为代表的人工智能方法，需要大量的、标准化的样本集完成模型的训练。因此，在供电量预测样本准备中，需要完整的小粒度历史统计数据，包括按天统计的供电量数据、天气数据等。这种小粒度样本的准备，将极大增加统计工作量，并且可能由于历史数据的部分缺失，造成模型训练精度下降。

针对上述问题，本文提出了一种基于历史供电量月度统计数据，及少量按天统计的辅助数据的样本增强方法，实现了样本集的有效扩充；同时通过构建深度残差网络，解决预测模型训练过程中的网络退化问题，有效提高了模型的训练效率和预测精度。

2 样本增强

采用优化的生成对抗网络，实现以将全序列按月统计的供电量数据，结合少量按天统计的数据，模拟生成每天的供电量数据，实现样本空间的小粒度解析。

2.1 生成对抗网络

生成式对抗网络（Generative Adversarial Networks，GAN）是一种深度学习模型，由生成模型（Generative Model）和判别模型（Discriminative Model）两部分组成，通过两部分的相互博弈，使生成模型的输出不断优化，直至产生满足应用需求的模型输出。

2.2 网络优化

传统的GAN 模型，输入为随机噪声，生成的图片具有一定的随机性，模型无法应用于供电量的预测，需要对模型进行修改、优化。考虑和供电量预测最为密切相关的几个因素，分别为历史同期供电量参考、预测时间段天气情况，因此输入需在传统GAN 输入的基础上加上5 个维度：历史供电量、日期、天气（包括平均温度和平均降雨量）、该日期所在月份供电量数据，重新构建GAN 深度学习模型。优化、改进后GAN的结构如图1所示。

图1 改进GAN的结构图

2.3 样本集构建

需要构建专门的样本集，用于上述改进GAN的训练。样本集应包括供电量信息、时间信息和天气信息。以天为单位来制作样本，每个样本包括当天的供电量信息，日期信息以及天气信息。其中，供电量信息直接以数值表示；日期信息取值区间为［1，365］，标识按时序计量的一年中的每一天；天气信息，统计最为重要的温度信息和降雨量信息。因此，样本集中的每一个样本可用列向量表示：

式中，e表示该天供电量信息的具体数值；d取值［1，365］区间，标明日期信息；wt为该日期全天平均温度的数值信息；wr为该日期全天平均降雨量的数值信息；m为该日期所在月份的供电量信息。

3 深度残差网络

传统的卷积神经网络在不断增加神经网络的深度时，模型准确率会先上升然后达到饱和，再持续增加深度则会导致准确率下降，这种情况称之为网络退化问题（Degradation problem）。深度残差网络（Deep Residual Network，DRN）［11］能够有效解决上述问题。

深度残差网络是由多个残差学习模块重复堆叠形成的神经网络，与传统卷积神经网络区别在于学习模块内部结构的不同。通过残差学习模块的不同组合方法，可以构建多种不同架构、特性的卷积神经网络。如在文献［12］中，残差学习模块与Inception 模型结构结合，搭建了Inception-ResNet卷积神经网络模型，在众多公开数据集的分类问题上，取得了优异的性能。

3.1 残差学习模块

DRNs 模型的核心在于残差学习模块，其基本思想为通过在卷积神经网络单元训练过程中，保存部分原始输入信息，从而避免由于卷积层数过多引起的分类精度饱和问题；同时，残差模块（Residual Module）不需要学习完整的输出，只需学习输入、输出差别的部分，简化了学习目标和难度。

设x为输入，经过卷积层运算后输出为F(x,W)，激活函数采用Sigmoid或ReLU［13］，激活函数变换用f表示。因此，学习模块单元最终输出可定义为

同时，在所设计的残差学习模块中，还将采用批归一化（Batch Normalization，BN）处理技术［14］，以提升分类性能。

3.2 深度残差网络

每个残差学习模块内部包括两个卷积层，所设计的网络包括14 个残差学习模块，共28 个卷积层。在这28 个卷积层构成的完整神经网络中，设第n层输入为xn（1 ≤n≤28），最后总的输出为y。由于第i层输出等于第i+1 层输入，其中（1 ≤n≤28），因此有：

至此，便可构建完整的深度残差网络，用于供电量预测模型的训练。

4 算例分析

实验采用谷歌公司的开源机器学习框架Tensorflow（V2.0）的Slim 模块完成基于生成对抗网络的样本增强和深度残差网络训练模型的搭建，同时使用GPU 计算加速训练过程，硬件运行环境选择为TitanX 显卡、16G 内存。实验数据来源于某区域2016 年1 月至2019 年11 月的供电量数据，数据按月度统计，共47组数据。数据情况如图2所示。

图2 2016～2019年某区域月度供电量数据

同时，收集了334 天的按天统计的供电量信息，为2019 年1 月～11 月每天的供电量数据。此外，整理了近4 年该区域每天的天气数据，包括平均温度与平均降雨量。

将上述数据按照前述方法，整理为样本集。

4.1 样本增强实验

将整理好的334 组样本分为两部分：一部分为320组样本，作为训练集；另一部分为14组，作为测试集。运用深度残差网络进行生成模型训练，并将训练好的模型在测试集上计算准确率。模型输入参数为随机噪声z、日期d、该日期其它年份供电量数据e、该天所在月份的供电量信息m。其中，若e在原始样本集中缺失，则以平均供电量数据代替（月度供电量/该月天数）。

分别在训练1000 步、5000 步、1 万步、2 万步时统计测试集上的平均精度如图3所示。

图3 测试集上模型精度统计

如图3 所示，由于样本集较小，训练过程在10000步时，即已达到了94%的模型精度，增加一倍迭代次数后，20000步时精度达到95%，说明生成模型已趋于稳定。

将模型应用于2016 年1 月～2019 年11 月所有日期的供电量数值生成，增强按天统计的供电量样本。其中1096 天供电量数据缺失，需要运用模型生成。由于这部分生成的样本数据，没有真实数据比对，无法直接计算准确率。因此，实验采用生成样本（每天的供电量数据）按月汇总求和，并与月度供电量统计数据对比分析的方式，计算准确率。运用训练20000 步生成的模型，2016 年1月至2018 年12月，各月度供电量样本精度如图4所示。

图4 2016～2018年月度供电量预测精度（生成样本精度）

每年度的月度供电量平均预测精度统计如表1所示。

表1 2016～2018年每年平均预测精度（生成样本精度）

由表1 可见，从2016 年～2018 年，生成样本（每天供电量）的精度逐年攀升，主要由于原始样本集为2019 年数据，时序上越近的年份，生成的样本越真实。

4.2 供电量预测实验

运用前述方法构建的深度残差网络，对扩充后的样本集进行深度学习训练。扩充后样本集共1430 组数据，每组数据包含当天的供电量数据、平均温度数据、平均降雨量数据、当前日期供电量数据，以及该日期所在月份的供电量数据。数据集将分为三部分：一部分为1300 组数据，用于预测模型的训练；一部分为100 组数据组成测试集，用于评估模型性能；剩下的30 组数据选定2019 年11 月1日～2019 年11 月30 日的数据，用户最终月度供电量预测精度评估。分别在训练10000 步、20000 万步、50000 步和100000 步时，生成预测模型，模型在测试集上精度如图5所示。

图5 不同训练步长的预测模型精度

将模型运用于2019 年11 月的第三组数据，生成30个预测结果，将30个预测结果相加，得到最终2019 年11 月供电量的月度预测结果。重复5 组预测模型训练，每次训练100000 步，得到最终的预测结果如表2所示。

表2 月度供电量预测精度统计

上表平均预测精度为95.36%。

为比较采用样本增强和深度残差网络后的模型性能，增加两组实验。两组实验均不做样本增强。第一组用传统的卷积神经网络（Convolutional Neural Networks，CNN）直接对原始按月度统计的供电量信息进行训练，训练生成的模型用于预测2019 年11 月的月度用电量信息；第二组用深度残差网络对原始样本集训练，同样用生成模型预测2019 年11月的月度用电量信息。每组实验重复五次，训练步长均为100000 步，求得平均预测精度。最终比较结果如表3所示。

表3 月度供电量预测精度比较

比较结果显示，本论文采用的样本增强方法和残差神经网络用于月度供电量预测，对比同类型的传统方法，具有较为明显的优势。

5 结语

本文提出了一种基于样本增强和深度残差网络的月度供电量预测方法。首先，提出了一种改进的生成对抗网络模型，通过该模型将所有按月度统计的供电量数据，同分布生成小粒度的按天统计的供电量信息，实现有效样本的增强，避免深度学习预测模型训练过程中，由于样本量不足造成的欠拟合现象；其次，运用深度残差网络，对增强后的样本集实现与预测模型训练；最终通过不同实验，验证并分析了本文所述方法，能够有效提升同类传统模型的预测精度。