基于改进深度信念网络的电力欠费预警研究*

廖嘉炜 孙煜华 吴永欢 池燕清 徐炫东

（广州供电局有限公司 广州 510620）

1 引言

随着电力客户用电量快速增加和外部坏境的不断变化，供电公司面临的电费回收风险和不确定性也在逐年加大［1］。市场上出现了预付费电表，可设置用户先买电后用电的控制方式［2～3］。然而，为所有客户安装新型电表费用较大。因此，有效监测客户用电行为特征，利用数据分析技术预测欠费行为，督促用户从后付费模式向预付费模式转化，是当前营销工作的重要内容之一［4］。

目前电费回收相关分析技术尚未涉及到直接预测用户会欠费时间、欠费金额以及未来欠费的可能性，这也是最直观的预警方式［5］。由于指标难以选择，缺乏有效的分析预测方法，目前电费回收常用两类技术方法：一类是利用层次分析法［6］、主成分分析［7］、层次聚类［8］、灰色关联分析［9］等算法分析用户历史用电行为和缴费记录，建立风险模型［10］评估用户预警级别；另一种是利用神经网络［11］、SVM［12］等监督类算法学习用电特征预测用户高危风险度［13］。上述两种方法都不能直接预测用户欠费相关信息，多结合自适应算法等，提高网络的收敛时间［14～16］。

本文提出一种基于改进的深度信念网络电费回收预测模型，并结合具体数据研究和验证其实用性。该方法将欠费问题转为更有针对性的预测变量，包括用户欠费时间和欠费金额，并设计关联指标用于训练模型，得到较精准预测结果。

2 电费回收预测模型

2.1 欠费预测预测流程

构建电费欠费预测模型，首先设计欠费时间和欠费金额的预测方式，建立相关指标体系，形成模型输入特征；然后抽取指标对应的电力营销数据，构建学习样本；进而对比所构建深度信念网络模型和BP-神经网络预测结果，验证欠费预测精度。模型流程如图1所示。

图1 电费回收预测模型流程图

2.2 用户欠费时间预测

以现有信息系统预测能力，难以直接预测下次欠费发生的时间。由于不同月份可能具有不同的用电行为特征，且各个月份用电行为关联较小，因此缺少直接有效的指标和特征参数。本文通过研究预测用户下次欠费距离本次欠费的间隔时长来得到下次欠费时间，并利用欠费历史数据来构造指标体系。利用用户欠费记录数据构建指标体系，基于欠费时间数据和基础信息以及用电行为数据建立特征参数集用于预测模型的输入。基于指标体系的特征参数可以更加精准地反映用户用电行为与欠费时间之间的关系；最近一次欠费距今间隔时长作为欠费时间预测模型的检验指标。

2.3 用户欠费金额预测

结合经验可以知道，下次可能欠费金额与历史欠费金额有密切的关联关系。用户欠费金额预测是利用欠费历史数据来构造指标体系，基于欠费金额数据和基础信息以及用电行为数据建立特征参数集用于预测模型的输入来预测用户的欠费金额。基于指标体系的特征参数可以更加精准地反映用户用电行为与欠费金额之间的关系，将欠费金额作为欠费金额预测模型的检验指标。

3 深度信念网络模型

3.1 受限制玻尔兹曼机原理

受限制玻尔兹曼机（Restricted Boltzmann Machine，RBM）是通过缩减玻尔兹曼机（Boltzmann Machine，BM）的网络结构得到的，忽略可见层与隐含层的连接，如图2 所示。可见层即对象的特征或指标；隐含层是抽象的可见层节点信息，没有具体物理意义。

图2 单层玻尔兹曼机

对于给定可见层和隐含层状态(v，h)，受限制玻尔兹曼机具有的能量计算如式（1）。

式中θ是RBM 的参数{W，a，b}，均为实数；n是可见层节点数量；m是隐含层节点数量；vi是第i个可见单元的状态；hj是第j个隐单元的状态；ai是可见单元i的偏置；bj是隐单元j的偏置；Wij是可见层单元i与隐含层单元j的连接权重。

当网络的连接权重W、可见层偏置a、隐含层偏置b等参数固定后，若固定可见层或隐含层节点取值后，另外一层节点之间的状态符合条件独立分布，可以利用能量函数E(v，h|θ)计算 (v，h)的出现机率。给定可见节点的状态时，第j个隐含层节点的激活概率如式（2）和式（3）。

一般使用CD-k算法计算可见层取值与输入数据进行比较产生重构计算误差，调整参数。

1）算法初始化

给定训练样本集合S；模型训练周期J，学习速率ω以及CD-k 算法参数k；设置算法可见层节点数量m和隐含层节点数量n；初始化可见层偏置向量a，隐含层偏置向量b和网络权重W。

2）训练阶段

（1）对s∈S（对所有的训练样本），s(0)=s行k次采样，依次计算当t=1，2，…，k时的可见层和隐含层的状态，如式（4）和式（5）。

（2）分别在t=1，2，…，k 时计算梯度值，根据式（6）-（8）计算当i=1，2，…m，j=1，2，…，n时的 Δwi，j，Δai和 Δbj：

（3）直到最后t=k时据式（9）～（11）计算出w，a，b。

（4）使用训练后得到参数重构样本数据，并与实际值进行比较，如果它们之间的差值足够小就可以认为训练数据集与样本数据是一致的，否则说明误差太大。通常将最大次数设置在1000～5000 间，当计算次数满足最大值时，无论参数训练是否完成都退出迭代过程。

3.2 深度信念网络构建及训练

深度信念网络由一个输入层和输出层，以及多个隐含层组成的网络模型。每个隐含层可以从它前面的单元获取相关的特征信息。

DBN由多层受限制玻尔兹曼机组成，可以看成是由多个RBM层的叠加而成，如图3所示。第一层RBM 网络隐含层的输出，作为第二层RBM 网络输入层的输入。

图3 RBM叠加构成DBN

DBN 网络可以看作多层RBM 网络的叠加，逐层对RBM 进行训练，然后调整DBN 模型的全部参数。DBN训练主要分为两个阶段：

1）预训练

首先把训练数据si作为第一层RBM 可见层的输入数据，使用对比散度算法对RBM 进行训练，得到权值矩阵、偏置等参数；利用第一层RBM 训练得到的权值计算，通过前向计算方法计算隐含层取值；将计算结果作为第二层RBM 的输入层数据，然后对第二层RBM 进行训练；最后，递归训练后面网络的模型参数。

2）微调

使用误差反馈方式将预测的误差从输出层反馈传递到网络输入层，然后对网络参数进行细微调整。设置预测值为模型标签，对DBN 网络进行有监督学习，微调网络参数。经过多层RBM 训练过程，预测模型得到数据的特征信息，这属于无监督学习。

4 实验验证

4.1 数据集

研究所采用的数据集来自于某省国家电网电力用户营销数据库系统，由于用电特殊性，本研究利用大工业用户的行为数据进行实验研究；数据集共167553 条送电时间一年及以上，时间范围为2017年1月至2017年12月的大工业用户。

图4 预测用户欠费时间相关指标

依照上述欠费时间与金额的预测方法抽取数据进行数据预处理。预测用户欠费时间和欠费金额使用的指标分别如图4和图5所示。对时间预测模型的数据集作初步分析，发现欠费间隔有大部分只欠费一次和没有欠费过的用户，将没有欠费过的用户的欠费间隔置为12，只欠费过一次的用户的欠费间隔置为这次违约距2017 年12 月的月份差值。对欠费金额预测模型的数据集作初步分析，发现每次欠费金额分布在0～100万，为便于DNB模型的收敛，将欠费金额以千元计，并保留一位小数。

数据预处理包括去除异常数据、特征量化、不同类型数据转换、不同数据源整合以及特征工程等；并以1∶4的比例构建模型的测试和训练样本。

图5 预测用户欠费金额相关指标

4.2 DBN精度实验结果及分析

电费回收预测DBN 模型训练过程为：首先初始化DBN 网络，根据样本的特征设计输入窗口的大小，根据预测窗口设置输出窗口的大小；随后设置最大训练次数，初始化网络参数；然后预训练网络模型，无监督地训练网络中每一层RBM 网络，使RBM 网络的特征映射最优；最后微调DBN 网络模型参数。将预测值作为DBN 网络的输出层，有监督训练整个网络，对DBN 电费回收预测模型进行微调。

分别使用基于RBM 的BP 和DNB 神经网络对两套模型进行训练和测试。通过实验得到两套预测模型网络结构对比如表1所示。

表1 网络结构设置

设置RBM 和BP 的迭代次数分别为1000 和500 时，基于DBN 的欠费时间间隔的预测混肴矩阵如表2 所示。混肴矩阵的行坐标为原违约间隔，纵坐标为预测出的违约间隔，可以看出大部分违约间隔被预测出来，在矩阵对角线上三角位置的不为0数值为被偏小预测的间隔，可以设想这部分用户是否有更频繁的欠费行为未被察觉，加大审查力度，用以电费回收预警。

表2 模型性能评价混淆矩阵表

由于欠费金额分布范围较广，设置可信区间为5%，在区间内小范围的震荡的预测值都可认为是正确预测了欠费金额。由于数据量较多，随机取100 个数据作曲线对比，并对欠费时间和欠费金额的预测进行精度分析，如图6 所示，可看出算法精度差异。

图6 对不同算法准确率对比

从图6 中可以发现叠加了RBM 训练的DBN 算法比BP 神经网络模型的准确率，不管在欠费金额预测还是欠费间隔预测模型上均有所提高。且随着DBM 迭代次数的增加，收敛时间增大，当迭代次数由RBM 1000-BP 500增至RBM 2000-BP 1000时时间和金额模型的准确率分别由91.44%提升到91.94%和由90.56%提升到90.87%。同时，模型学习速度也有所牺牲。总体可以看出DBN 算法对电费回收时间和金额的预测均有比较好的效果，并且具有很好的实施性和实时性。

5 结语

本研究针对电费回收预测方法，构建了基于DBM 的电费回收预测模型。将欠费问题转为用户欠费时间和金额的预测，利用历史数据构建了训练模型的动态和静态指标体系。在构建指标时充分考虑用户地域行业等基础特征，并结合用电行为特征指标。同时，在构造训练样本集时，对不同用电级别的企业用电数据均进行特征工程和规范化处理，降低了指标变化对模型稳定性的干扰。采用DBM 建立电费回收时间和金额的预测模型，由于增加了RBM 特征提取算法，且采用最近一年的数据，可以更好地对样本数据进行模式匹配，与BP神经网络迭代结果对比，进一步表明提出的算法具有可行性、有效性和实用性。