基于贝叶斯正则化深度信念网络的电力变压器故障诊断方法

王德文，雷 倩

(华北电力大学 控制与计算机工程学院，河北 保定 071003)

0 引言

电力变压器是供电系统中的关键设备之一，其正常运行与整个供电系统的安全联系密切，因此有必要及时对其进行故障分析[1-2]。在检测电力变压器内部的潜伏性故障方面，油中溶解气体分析DGA(Dissolved Gas Analysis)技术是目前常用且有效的方法[3-5]。

近年来，由于在线监测、人工智能等技术的快速发展，利用DGA技术与人工神经网络(ANN)[6]、模糊逻辑[7]、支持向量机(SVM)[8]等人工智能技术相结合的方法可以有效地实现变压器的故障诊断，开辟了新的发展途径。然而，这些方法也存在一些问题。模糊逻辑技术中，模糊隶属度函数需要专家经验或反复试验才能确定[9]；SVM在样本较小的情况下也能取得较好的诊断结果，并具有较好的泛化能力，但其核函数必须满足Mercer条件，规则化参数的确定较为困难[10]；ANN是随着当代神经生物学发展起来的，利用ANN解决故障诊断问题时，普遍采用BP神经网络(BPNN)，但其网络存在着难以收敛、易陷于局部极小、易产生振荡等不足[11]。上述方法都是浅层的机器学习方法，虽然有一定的学习能力，但是当故障诊断精度达到某一高度时，就很难再有大幅度的提高。

由 Hinton教授提出的深层机器学习方法深度神经网络DNN(Deep Neural Network)[12]具有较强的从样本中提取特征以及对特征进行转换的能力，学习能力强，在训练时采用无监督机器学习方法，对模型参数进行优化，并且提升判别的精确性。目前几种比较有代表性的DNN模型，包括深度信念网络DBN(Deep Belief Network)[13]、深度自编码网络DAEN(Deep Auto-Encoder Network)[14]、卷积神经网络CNN(Convolutional Neural Networks)[15]等，部分已用于变压器、发电机等电力设备故障诊断领域的研究中。文献[16]开展了基于DNN的变压器故障诊断方法研究，有效选取未标记数据输入到网络进行训练，能够解决其他一些诊断方法不能充分利用未标记样本的问题。在这些故障诊断方法中，使用受限玻尔兹曼机RBM(Restricted Boltzmann Machine)为基本模块的DBN，被认为是目前比较有效的人工神经网络之一。文献[17]开展了基于DBN分类器的变压器故障分类研究，样本信息的提取能力较强，并且有着较强的自适应能力，其性能优于BPNN和SVM。然而，这些方法虽然使准确率得到了提高，但由于网络规模较大、难以收敛、训练时间变长，降低了网络的泛化能力，不能较快速地得到诊断结果。

因此，为了提高电力变压器故障诊断的性能，本文首先分析DBN、RBM的结构和算法，针对它们的不足，利用贝叶斯正则化的算法改进传统的DBN，构建了贝叶斯正则化深度信念网络BR-DBN(Bayesian Regularization-Deep Belief Network)模型；然后，提出一种基于BR-DBN的故障诊断方法，该方法的诊断准确率较高，同时也可以减少整个DBN的训练时间，从而较快地收敛整个网络，提高了网络的泛化水平。通过MATLAB平台对本文方法进行实验仿真，与BPNN、DBN方法进行对比，仿真及对比结果均验证了本文方法的有效性。

1 DBN

1.1 RBM

Hinton教授提出快速学习算法后，RBM成为了机器学习领域中最受关注的研究热点之一。作为DBN的关键组成成分，RBM已成功应用于任务分类、回归、降维与图像特征提取等领域[18]。RBM是一种随机神经网络，其由可见层与隐含层相互连接构成，层与层的节点之间全连接，但同一层的节点之间无连接。以一层RBM为例，RBM的结构如图 1 所示。

图1 RBM结构Fig.1 Structure of RBM

从图1中可以看出，RBM包括1个可见层V和1个隐藏层H。 V层和H层自身的节点之间不相互连接，但V层和H层的节点之间两两互连。假设V层有n个可见单元，H层有m个隐单元，则可见层节点和隐藏层节点(v，h)之间的能量函数[19]为：

(1)

其中，vi为V层第i个单元的状态；hj为H层第j个单元的状态；θ={wij,ai,bj}为训练RBM时的参数值，wij为V层第i个单元和H层第j个单元之间的连接权值，ai和bj分别为V层第i个单元和H层第j个单元的偏置值。基于该能量函数，可得到(v，h)的联合概率分布为：

(2)

(3)

学习RBM就是为了求出θ的值，以拟合给定的训练数据。

1.2 DBN

DBN由多层RBM组成，如图2所示。

图2 DBN结构Fig.2 Structure of DBN

首先，通过无监督学习方式，利用上文所述的RBM算法对多层RBM进行自底向上的逐层无监督训练，使每层RBM获得对应的参数值，形成DBN的初步框架。然后，采用BP算法，有监督地对整个网络进行自顶向下的微调，使每层参数得到优化，从而使整个网络达到最优[20]。DBN 作为DNN中比较常用的深度模型，其层数的增长会使得到的特征更抽象、准确率更高。图2中的DBN由3层RBM组成，以图2为例，DBN的训练流程如图3所示。

图3 DBN训练流程图Fig.3 Flowchart of DBN training

然而，针对DBN相关的理论和学习算法，仍有许多尚未解决的问题，例如,如何在无监督训练过程中提高特征的识别能力，或者提高特征的近似能力而不增加隐层神经元等。如果网络规模太大，或被过度训练，即使误差很小，DBN的泛化能力也可能变差。相关研究表明，对于特定数据集而言，如果参数设置不合理，则很难得到合适的网络模型。

2 BR-DBN模型

2.1 贝叶斯正则化RBM

在样本数据量相同的情况下，DBN的泛化能力和其规模密切相关。如果网络复杂性远低于样本数据量，则过拟合现象发生的概率较小，但寻求到一个适当规模的网络是非常困难的。贝叶斯正则化法可以产生新的性能指标函数，在保证训练误差尽量小的同时，也可以使得有效权值数量尽量少，则网络的复杂性远低于训练数据量，从而可以提高神经网络的泛化能力[21-22]。

根据上述贝叶斯正则化法的思想，将RBM中的训练性能函数[23]变为：

Fw=αP+βEw

(4)

(5)

P=P(v,h)∝exp(-E(v,h))=ehTWv+bTv+aTh

(6)

其中，Fw为新的训练性能函数；Ew为贝叶斯正则化法中的复杂度惩罚项；P为原始的训练性能函数；α、β为决定权值和阈值等参数分布的超参数，网络学习的目的取决于α、β的大小，如果α≫β，则网络学习的目的是最大限度地降低训练误差，如果α≪β，则网络学习的目的是最大限度地减少网络的有效参数；W为V层和H层单元之间的连接权值；a和b分别为V层和H层各个单元的偏置值。在应用研究中，网络学习的目的需要进行中和考虑，这样不仅可以降低学习误差，又可以自动缩减网络的规模以提高计算速度。

在传统网络的训练过程中，贝叶斯正则化法也可以确定α和β。初始化α、β，采用Nguyen-Widrow法初始化权值，将权重视为随机变量，并利用 Levenberg-Marquardt算法最小化目标函数Fw，采用Gauss-Newton法逼近 Hessian 阵这一贝叶斯准则就可以得到α、β的值。但是在RBM中，因为所有隐藏单元通常都是随机二值变量节点(只能取值为0或1)，使得Hessian 矩阵不能被计算，所以本文中采用实验的方式选取适合的α、β值。依据正则化法中超参数取值的经验，在满足0.5≤α≤1、0≤β≤0.5的条件下，多次随机设定α、β的值，并经过大量的重复实验，选出合适的α、β值以得到较好的识别效果。

2.2 BR-DBN

本文构建的BR-DBN模型，其底部由若干层贝叶斯正则化的RBM(BR-RBM)堆叠。该模型自底向上地对每层BR-RBM数据进行提取，尽可能地保留重要信息，将每层的输出值当作上层的输入值，将最后的BR-RBM层的输出信息作为输出层的输入信息。每层BR-RBM只对该层的参数，而不是整个BR-DBN的参数进行训练优化，所以本文采用BPNN作为输出层，自上而下地微调BR-DBN，框架如图4所示。

图4 BR-DBN模型Fig.4 Model of BR-DBN

当BR-DBN用于故障诊断时，可以分为预训练和调优2个阶段：预训练阶段采用未标记样本作为网络的输入，通过贝叶斯正则化的RMB算法完成底部若干层参数的初始化；调优阶段采用标签样本对包含BP层的整个网络进行微调，使其在保持精度的同时也能提高计算速度。具体流程如图5所示。

图5 BR-DBN模型2个训练阶段的流程图Fig.5 Flowchart of two training stages of BR-DBN model

BR-DBN模型2个训练阶段的基本流程如下：

a. 选取样本数据，对样本数据进行标准化，并在网络中输入未标记样本数据；

b. 在无监督学习中，各层都经贝叶斯正则化训练，并保存每层的各个参数值；

c. 在有监督学习中，输入标签样本，利用BP算法调优，并对参数值进行更新，计算期望误差e，直到e≤emin(emin为给定的误差最小值)，网络收敛。

3 基于BR-DBN的电力变压器故障诊断

3.1 网络输入输出节点的确定

本文将BR-DBN的输入特征向量选取为 DGA样本数据。随着输入向量形式的确定，输入层上的节点数也会确定下来。将故障类型作为输出模式，以二进制形式来表示输出结果。参照《变压器油中溶解气体分析和判断导则》，反映变压器状态、具有代表性的特征气体为7种，本文选取其中的5种特征气体的气体含量，即H2、CH4、C2H2、C2H4和C2H6的气体含量，作为节点输入向量。节点输出向量的分量O1、O2、…、O6分别对应正常、中低温过热、高温过热、低能放电、高能放电和局部放电6种故障，如表1所示。经过上述分析最终确定输入节点为5个，输出节点为6个。

3.2 样本数据的选取

预训练样本可以选取变压器油色谱在线监测数据，这些数据均为未标记数据。对于调优阶段，可收集经测试的故障数据，这些数据均无标签数据。由于 DGA 数据的差异较大，为减小差值带来的影响，使计算误差得到最大限度的降低，在训练样本数据前需对初始数据进行归一化处理。

表1 故障类型和相应的节点输出Table 1 Fault types and corresponding outputs

3.3 基于BR-DBN的电力变压器故障诊断模型

基于BR-DBN的电力变压器故障诊断模型如图6所示，其输入为5种气体含量值(已进行归一化处理)，相应样本的故障类型经最上层BP网络输出。

图6 基于BR-DBN的电力变压器故障诊断模型Fig.6 Power transformer fault diagnosis model based on BR-DBN

4 实验仿真及分析

本文在Intel(R) Core(TM) i5-3230M处理器、内存为4 GB、操作系统为Windows7 64位的环境下，利用MATLAB R2015b对电力变压器的几种常见故障进行诊断仿真实验。

4.1 不同BR-DBN层数和迭代次数下的仿真实验

本文选用从河北省衡水供电公司、上海市供电公司以及相关文献中获取的电力变压器DGA数据进行仿真分析验证，将其中的552组无标签数据作为预训练集，另外的300组故障样本数据按照2∶1的比例分别用作调优集和测试集，故障样本数据集分组情况如表2所示，部分预训练样本数据如表3所示，部分故障样本实验数据如表4所示。

表2 故障样本数据集组成Table 2 Grouping of fault sample data

表3 部分预训练样本数据Table 3 Partially pre-trained sample data

表4 部分故障样本实验数据Table 4 Partial experimental data

对于本文方法，输入层和输出层节点数分别与数据集输入属性和输出类别对应，隐藏层单元数量是在参考经验公式的前提下，综合考虑实验初期大量的调参过程和贝叶斯正则化方法，将各层神经元节点均取为100，初始化网络参数W、a、b，初始学习速率设为0.1，学习速率的最小值设为0.001，学习速率变化系数momentum值设置为0.001，批量大小batchsize设置为69(在初期调参过程中根据经验将其由低到高调整得到)，调优阶段的迭代次数numepochs设置为1 500，根据实测数据进行如下测试。

首先，对不同BR-DBN的中间层数和每层不同的迭代次数下的电力变压器故障诊断平均错误率进行了测试。平均错误率通过控制变量的方式得出，当中间层数为z(1≤z≤8，且z为整数)时，分别仿真得到0—3000次迭代数下的平均错误率。相同数据集下，预训练阶段的BR-DBN每层RBM迭代次数、中间层数与故障诊断的平均错误率之间的关系如图7所示。在其他条件相同的情况下，实验结果为多次实验的平均值。

图7 不同BR-DBN的中间层数和每层不同迭代次数下的平均错误率Fig.7 Average error rate for different BR-DBN levels and different iterations per layers

从图7中可知：随着BR-DBN层数和迭代次数的增加，电力变压器故障诊断的平均错误率逐渐降低；当BR-DBN的中间层数到达5层、每层的迭代次数达到1500后，电力变压器故障诊断的平均错误率趋于平稳。随着BR-DBN的中间层数和每层迭代次数的增加，整个网络模型的复杂度和训练时间也会增加，成本较大，所以在与其他算法的对比实验中，本文选取BR-DBN的中间层数为5，每层BR-RBM的迭代次数设为1500。

4.2 基于BR-DBN与BPNN、DBN方法的对比实验

4.2.1 平均错误率对比情况

对基于BR-DBN、DBN的电力变压器故障诊断方法，训练集(为与基于BPNN的诊断方法对比，此处的训练集指预训练阶段的数据集)分别选取100、300、500条数据，调优集和测试集均选取200、100条数据，预训练和调优阶段的迭代次数均设为1 500次，网络的中间层数均设为5，则网络层数一共为7层，其他网络参数与前文设置相同。对基于BPNN的电力变压器故障诊断方法，训练集分别选取100条、300条、500条数据，测试集选取100条数据，迭代次数设为1 500次。3种诊断方法的对比结果如表5所示。

表5 基于BPNN、DBN、BR-DBN的方法在不同训练集下的平均错误率对比Table 5 Comparison of average error rate among methods based on BPNN，DBN and BR-DBN under different data sets

从表5中可以看出：基于DBN和基于BR-DBN电力变压器故障诊断方法的平均错误率随着训练集数量的增加都有所降低，而基于BPNN的电力变压器故障诊断方法在训练集超过300条后其错误率基本保持不变，表明其可扩展性差，不适合用于大量数据的训练。在训练集中的数据分别为100、300和500条时，基于DBN和BR-DBN的诊断方法的平均错误率均低于浅层神经网络BPNN。而本文提出的基于BR-DBN的方法虽然在训练集不同时，错误率与基于的基于DBN的方法相差不多，但是仍然有小幅优势，尤其是在训练集数据为500条时，本文方法的平均错误率可降低到10%以下。

4.2.2 诊断训练时间对比情况

在实际训练中，随着网络中间层数的增加，训练的时间会变长，通过研究本文提出的基于BR-DBN的方法在训练的时间上是否也优于基于DBN的方法，探究前者的泛化能力是否也优于后者。

实验过程，基于DBN的方法采用图3的训练流程，本文方法采用图5的训练流程。对比图3和图5可知，本文方法中的RBM经过贝叶斯正则化处理，得到BR-RBM后再加以训练，而基于DBN的方法仅训练RBM。2种方法选取相同的数据集，W、a、b、学习速率变化系数、迭代次数等网络参数均与4.1节中相同。对2种方法在不同中间层数下的训练时间，实验结果取为多次实验结果的平均值，并得到采用这2种方法的训练时间差值，如图8所示。

图8 不同网络中间层数下基于BR-DBN和DBN的方法的训练时间Fig.8 Training time of methods based on BR-DBN and DBN under different network layers

由图8可见：随着网络中间层数的增加，训练时间也会变长；本文方法的训练时间优于基于DBN的方法，并且随着网络中间层数的增加，白色条形部分的面积越来越大，可以得出，在网络中间层数逐渐增多的情况下，本文方法在保证训练误差尽量小的同时，也可以使有效权值尽量少，则BR-DBN的复杂性远小于训练数据量，提高了计算速度，比基于DBN的方法节省时间。

4.2.3 故障诊断的综合对比情况

根据上文的对比结果，本文从故障诊断的错误率和训练时间2个角度综合比较了本文方法和基于DBN的方法，如图9所示。

图9 基于BR-DBN和DBN的方法综合对比情况Fig.9 Comprehensive comparison between methods based on BR-DBN and DBN

由图9可知，本文方法不论从诊断错误率，还是从训练时间上都低于基于DBN的方法，这表明BR-DBN可以用于电力变压器故障诊断，其不仅有较高的准确率，而且可以较快地收敛整个网络，其泛化能力要优于基于DBN的方法。

5 结语

本文构建了BR-DBN模型，提出了基于BR-DBN的电力变压器故障诊断方法，减小了网络的复杂性，使网络在保持精度的同时还能加快计算速度，从而提高了网络的收敛速度。本文方法在小样本无标签数据的情况下的准确率也较好，克服了传统的DBN方法在大量无标签样本的情况下才能得到较高准确率的缺点，并且与BPNN方法相比，错误率更低。本文方法在训练时间上优于传统的DBN方法，提高了泛化能力提高，可以较好地满足电力变压器故障诊断需求。

本文通过MATLAB平台进行实验仿真，由于在计算速度上有一定的局限性，而且随着训练集的不断增加，训练时间也会增长，所以选取的训练集数据不是很多，未来的工作可以尝试在Paddle、Spark等平台下进行并行训练，增加训练集数据和网络层数以获得更好的效果。

参考文献：

[1] 潘翀，陈伟根，云玉新，等. 基于遗传算法进化小波神经网络的电力变压器故障诊断[J]. 电力系统自动化，2007，31(13)：88-92.

PAN Chong，CHEN Weigen，YUN Yuxin，et al. Fault diagnosis of power transformers based on genetic algorithm evolving wavelet neural network[J]. Automation of Electric Power Systems，2007，31(13)：88-92.

[2] 赵文清. 基于选择性贝叶斯分类器的变压器故障诊断[J]. 电力自动化设备，2011，31(2)：44-47.

ZHAO Wenqing. Transformer fault diagnosis based on selective Bayes classifier[J]. Electric Power Automation Equipment，2011，31(2)：44-47.

[3] 汪可，李金忠，张书琦，等. 变压器故障诊断用油中溶解气体新特征参量[J]. 中国电机工程学报，2016，36(23)：6570-6578.

WANG Ke，LI Jinzhong，ZHANG Shuqi，et al. New features derived from dissolved gas analysis for fault diagnosis of power transformers[J]. Proceedings of the CSEE，2016，36(23)：6570-6578.

[4] 王德文，刘晓建. 基于MapReduce的电力设备并行故障诊断方法[J]. 电力自动化设备，2014，34(10)：116-120.

WANG Dewen，LIU Xiaojian. Parallel fault diagnosis based on MapReduce for electric power equipments[J]. Electric Power Automation Equipment，2014，34(10)：116-120.

[5] 蔡红梅，陈剑勇，苏浩益. 基于灰云模型的电力变压器故障诊断[J]. 电力系统保护与控制，2012，40(12)：151-155.

CAI Hongmei，CHEN Jianyong，SU Haoyi. Fault diagnosis of power transformer based on grey cloud model[J]. Power System Protection and Control，2012，40(12)：151-155.

[6] ZHANG Y，DING X，LIU Y，et al. An artificial neural network approach to transformer fault diagnosis[J]. IEEE Transactions on Power Delivery，1996，11(4)：1836-1841.

[7] SU Q，MI C，LAI L L，et al. A fuzzy dissolved gas analysis method for the diagnosis of multiple incipient faults in a transformer[J]. IEEE Transactions on Power Systems，2000，15(2)：593-598.

[8] 尹金良，刘玲玲. 代价敏感相关向量机的研究及其在变压器故障诊断中的应用[J]. 电力自动化设备，2014，34(5)：111-115.

YIN Jinliang，LIU Lingling. CS-RVM and its application in fault diagnosis of power transformers[J]. Electric Power Automation Equipment，2014，34(5)：111-115.

[9] CHEN A P，LIN C C. Fuzzy approaches for fault diagnosis of transformers[J]. Fuzzy Sets and Systems，2001，118(1)：139-151.

[10] 吕干云，程浩忠，董立新，等. 基于多级支持向量机分类器的电力变压器故障识别[J]. 电力系统及其自动化学报，2005，17(1)：19-22.

LÜ Ganyun，CHENG Haozhong，DONG Lixin，et al. Fault diagnosis of power transformer based on Multi-Layer SVM classifier[J]. Proceedings of the CSU-EPSA，2005，17(1)：19-22.

[11] 魏星，舒乃秋，崔鹏程，等. 基于改进PSO-BP混合算法的电力变压器故障诊断[J]. 电力自动化设备，2006，26(5)：35-38.

WEI Xing，SHU Naiqiu，CUI Pengcheng，et al. Power transformer fault diagnosis based on improved PSO-BP hybrid algorithm[J]. Electric Power Automation Equipment，2006，26(5)：35-38.

[12] AREL I，ROSE D C，KARNOWSKI T P. Deep machine learning-a new frontier in artificial intelligence research[J]. Computational Intelligence Magazine，IEEE，2010，5(4)：13-18.

[13] 冯蕴天，张宏军，郝文宁，等. 基于深度信念网络的命名实体识别[J]. 计算机科学，2016，43(4)：224-230.

FENG Yuntian，ZHANG Hongjun，HAO Wenning，et al. Named entity recognition based on deep belief net[J]. Computer Science，2016，43(4)：224-230.

[14] 石鑫，朱永利，宁晓光，等. 基于深度自编码网络的电力变压器故障诊断[J]. 电力自动化设备，2016，36(5)：122-126.

SHI Xin，ZHU Yongli，NING Xiaoguang，et al. Transformer fault diagnosis based on deep auto-encoder network[J]. Electric Power Automation Equipment，2016，36(5)：122-126.

[15] 段宝彬，韩立新. 改进的深度卷积网络及在碎纸片拼接中的应用[J]. 计算机工程与应用，2014，50(9)：176-181.

DUAN Baobin，HAN Lixin. Improved convolutional neural networks and its application in stitching of scrapped paper[J]. Computer Engineering and Applications，2014，28(8)：176-181.

[16] 石鑫，朱永利. 深度学习神经网络在电力变压器故障诊断中的应用[J]. 电力建设，2015，36(12)：116-122.

SHI Xin，ZHU Yongli. Application of deep learning neural network in fault diagnosis of power transformer[J]. Electric Power Construction，2015，36(12)：116-122.

[17] 石鑫，朱永利，萨初日拉，等. 基于深度信念网络的电力变压器故障分类建模[J]. 电力系统保护与控制，2016，44(1)：72-77.

SHI Xin，ZHU Yongli，SA Churila，et al. Power transformer fault classifying model based on deep belief network[J]. Power System Protection and Control，2016，44(1)：72-77.

[18] HINTON G. A practical guide to training restricted boltzmann machines[D]. Toronto，Canada：University of Toronto，2010.

[19] 孙劲光，蒋金叶，孟祥福，等. 深度置信网络在垃圾邮件过滤中的应用[J]. 计算机应用，2014，34(4)：1122-1125.

SUN Jinguang，JIANG Jinye，MENG Xiangfu，et al. Application of deep belief nets in spam filtering[J]. Journal of Computer Applications，2014，34(4)：1122-1125.

[20] HINTON G，OSINDERO S，THE Y. A fast learning algorithm for deep belief nets[J]. Neural Computation，2006，18(7)：1527-1554.

[21] 黄新波，宋桐，王娅娜，等. 基于贝叶斯和模糊L-M网络的变压器故障诊断[J]. 电力建设，2014，35(2)：1-6.

HUANG Xinbo，SONG Tong，WANG Yana，et al. Transformer fault diagnosis based on Bayesian and fuzzy L-M network[J]. Electric Power Construction，2014，35(2)：1-6.

[22] WANG Hao，YEUNG D Y. Towards Bayesian deep learning：a framework and some existing methods[J]. IEEE Transactions on Knowledge and Data Engineering，2016，28(12)：3395-3409.

[23] PAN Guangyuan，QIAO Junfei，CHAI Wei. An improved RBM based on Bayesian regularization[C]∥International Joint Conference on Neural Networks. Beijing，China：IEEE，2014：2935-2940.