深度学习神经网络在电力变压器故障诊断中的应用

石鑫，朱永利

(华北电力大学控制与计算机工程学院，河北省保定市071003)

0 引言

由于油浸式电力变压器在不同运行状态时油中溶解气体的类型和含量不同，油中溶解气体分析(dissolved gas-in-oil analysis，DGA)长期以来成为判别其运行状态的一种有效手段［1-5］。随着人工智能技术的发展，国内外学者基于DGA提出了人工神经网络(artficial neural network，ANN)［6-7］、支持向量机(support vector machine，SVM)［8-9］和极限学习机(extreme learning machine，ELM)［10］等电力变压器智能诊断方法。但是ANN方法收敛速度慢、易发生震荡［6-7］;SVM方法本质上属于二分类算法，在多分类问题上存在构造学习器困难及分类效率低的缺点，而且核函数的选择和参数的确定比较困难［8-9］;ELM方法训练速度快，但是稳定性比较差［10］。同时，上述方法均属于浅层机器学习方法，学习能力有限，诊断准确率达到一定高度时很难再有大的提高;而且它们要求样本准确、完备，方能得到比较满意的诊断结果，这样便无法有效利用变压器油色谱在线监测所获得的大量无标签样本。

深度学习神经网络(deeplearningneural network，DLNN)是2006年由Hinton教授提出的一种深层机器学习方法［11］，具有较强的从样本中提取特征以及对特征进行转换的能力，学习能力强，是近几年国内外研究和探讨的一个热点［12-15］。深度学习神经网络在训练时采用无监督机器学习方法，从而可以利用变压器油色谱在线监测所获得的大量无标签样本完成模型的预训练过程，优化模型参数，进而提高模型分类的准确率。目前，它已经成功应用于语音识别［16-17］、目标识别［18-19］、自然语言处理［20］等方面，但在电力变压器故障诊断方面应用的研究才刚刚起步。

基于DLNN，本文首先构建分类深度学习神经网络模型，并用典型的分类数据集对其分类性能进行分析验证。然后，结合电力变压器油色谱在线监测数据和DGA数据特征及故障类型，提出一种新的变压器故障诊断方法。该方法采用半监督机器学习方法，学习能力强，能够诊断出电力变压器各种运行状态的概率，为工作人员决定是否对变压器进行检修提供更多参考信息。最后，对文中提出的方法予以工程实例测试，并与基于BP神经网络和SVM的故障诊断方法进行对比分析。

1 深度学习神经网络介绍

DLNN简单可以理解为具有多个隐含层的神经网络，通过特征转换或特征提取来发现数据的内在属性，使其分类更加容易，进而提高分类的准确率。DLNN的方法主要包括自动编码器(autoencoder，AE)、受 限 玻 尔 兹 曼 机 (restricted Boltzmann machine，RBM)和卷积神经网络(convolutional neural network，CNN)［21-22］，其 中，CNN主要用于图像处理方面，并不适用于变压器故障诊断，这里不再作过多介绍。

1.1 自动编码器

根据美国斯坦福大学教授Andrew Ng的课程笔记［23］，自动编码器的相关理论简单介绍如下。

一个基本的AE可视为一个3层的神经网络，其中输出层与输入层具有相同的规模，结构如图1所示。通常，将输入层到隐含层的变换过程称为编码，将隐含层到输出层的变换过程称为解码。设f和g分别表示编码和解码函数，则2个过程可分别表示如下:

式中:Sf和Sg通常取为sigmoid函数;W表示输入层与隐含层之间的权值矩阵;WT表示隐含层与输出层之间的权值矩阵;p表示隐含层的偏置向量;q表示输出层的偏置向量。为下面表示方便，将AE的参数记为θ。

图1 AE结构Fig.1 AE structure

假设训练样本集S={x1，…，xn}，预训练AE的过程实质上就是利用S对参数θ进行训练的过程。为此，我们首先需定义一个训练目标，即解码后的y应与输入x尽可能接近，这种接近程度可以通过重构误差函数L(x，y)来刻画，L(x，y)定义为

基于重构误差函数，针对训练数据集S，损失函数如式(4)所示，通过对损失函数作极小化处理便可以得到该层AE参数θ。

然而，在实际应用中，如果直接对损失函数作极小化，有时候很可能得到的是一个恒等函数。为了避免这种情况，我们可以对损失函数进行稀疏性限制，即稀疏自编码。实现时通常采用一种基于相对熵的方法，则损失函数如式(5)所示:

式中:β为控制稀疏性惩罚项的权重系数;ρ为稀疏性参数;ρ∧j表示输入为xi时隐藏层上第j号神经元在训练集S上的平均激活度。KL(ρ||ρ∧j)的表达式如式(6)所示:

1.2 受限玻尔兹曼机

依据文献［12］和［13］，RBM 相关理论简单介绍如下。

一层RBM包含一个可视层v和一个隐含层h，结构如图2所示。假设v层有r个可见单元，h层有t个隐单元。那么，一个RBM的能量可以表示为

式中:vi为可见层单元i的取值;hj为隐含层单元j的取值，取值为1时表示该单元处于激活态，为0时表示处于未激活态;RBM的参数W、a和b简记为θ，W为可视层与隐含层之间的连接权重;a为可视层的偏置向量;b为隐含层的偏置向量。基于RBM的能量表示，(v，h)的联合概率分布可以表示为

式中:Z(θ)= ∑v，he－E(v，h|θ)为归一化因子，即配分函数，则P(v|θ)的似然函数可以表示为

图2 RBM结构Fig.2 RBM structure

通过梯度下降法对式(9)进行极大化便可求得参数θ，为计算简便，等效为对其对数进行极大化，关键步骤是计算lnP(v|θ)关于参数θ的偏导数，即

式中:＜·＞P表示关于分布P的数学期望;P(h|v，θ)表示可视层限定为已知的训练样本v时隐含层的概率分布;P(v|h，θ)表示可视层与隐含层的联合概率分布。

为方便表示，用“data”表示 P(h|v，θ)，用“model”表示 P(v|h，θ)，现在假设只有1 个样本，则lnP(v|θ)关于参数θ的偏导数分别为:

式中:＜·＞data表示对数据集的期望;＜·＞model表示模型中定义的期望值。

实际应用中，很难得到无偏样本，所以＜·＞model难以计算，通常采用CD算法对重构数据近似采样，更新网络参数θ［12］。以从训练集中选取的一个训练样本x0为例，算法步骤如下。

步骤1:初始化网络参数θ及可视层单元的初始值v0=x0，设定RBM最大训练迭代次数。

步骤2:对所有隐单元计算P(h0j=1|v0)=

步骤3:对所有可见单元，计算P(v1i=1|h0)=中抽取 v1～P(v1|h0)。

步骤4:对所有隐单元计算P(h1j=1|v0)=

步骤5:按下列各式更新各个参数:

步骤6:重复步骤2到5，直至达到最大迭代次数或重构误差足够小，结束该层RBM的训练。

2 分类深度学习神经网络

2.1 分类深度学习神经网络模型

本文构建了分类深度学习神经网络(classification deep learning neural network，CDLNN)模型，它的前部由若干层AE或RBM堆叠而成，顶部增加代表期望输出变量的最后层，即分类层，框架如图3所示。这里，分类器选用Softmax，它适用于多分类问题，能够以概率形式给出各分类结果，与CDLNN结合起来，往往会获得较优的判别性能［24-25］。

图3 CDLNN模型Fig.3 CDLNN mo del

CDLNN用于多分类问题时，训练过程分为预训练和调优2个阶段。预训练主要是采用无标签样本或去标签样本作为网络的输入，通过BP算法或CD算法完成底部若干层AE或RBM参数的初始化;调优则是通过标签样本对包括分类层在内的整个网络参数进行微调，使得网络判别性能达到最优。

2.2 CDLNN分类性能测试

采用2.1节中构建的CDLNN对Iris、Synthetic、Fourclass、Diabetes这4个数据集进行分类，网络参数θ初始化为服从高斯分布的随机较小数值，初始学习速率值设为0.1，参数更新速率值设为0.01。

为便于下面描述，笔者将CDLNN分为CDLNN1和CDLNN2，CDLNN1表示模型前部由若干层AE堆叠而成，CDLNN2表示模型前部由若干层RBM堆叠而成。表1给出了CDLNN1和CDLNN2对不同数据集的分类情况。从表1中可以看出，CDLNN1和CDLNN2对不同数据集均具有较高的平均分类正确率，表明所构建的CDLNN模型适用于多分类问题。

表1 CDLNN对不同数据集分类情况Table 1 CDLNN classification on different datasets

3 基于CDLNN的变压器故障诊断方法

3.1 选取样本数据

为避免样本集偏斜，同时又能保证得到足够多的样本，可以选取多个工程现场记录的投运年限相近的相同型号变压器发生故障前后较短一段时间内的油色谱在线监测数据，这些数据为无标签数据，可以用作预训练样本。对于调优阶段采用的少量调优样本，可以通过搜集相同型号故障变压器DGA结果样本数据获得，这些样本为带标签样本。

3.2 选取特征变量

根据工程现场在线监测数据特点，考虑到CDLNN具有较强的样本特征转换及特征提取能力，选取 H2、CH4、C2H6、C2H4、C2H2、CO、CO2这 7 种特征气体变量。为了缩小特征气体含量值的差异，减小计算误差，采用式(14)对各特征气体含量值进行标准化处理。

式中:xnew为标准化后气体的含量值;x为气体原始含量值;xmean为训练集或测试集X中该类气体含量的均值;xstd为X中该类气体含量的标准差值。

3.3 变压器状态编码

根据电力变压器运行过程中易发生的故障，将其诊断结果分为6种，具体故障类型及编码如表2所示。

表2 变压器状态编码Table 2 Transformer status encoding

3.4 变压器故障诊断CDLNN模型

变压器故障诊断的CDLNN模型，结构如图4所示。模型的输入为3.2节中经标准化处理的7种油中溶解特征气体含量值，模型的输出为变压器处于各种运行状态的概率，概率值最大的状态即为故障诊断结果。

变压器故障诊断CDLNN模型的训练过程同CDLNN一样，分为预训练和调优。预训练主要是采用大量预训练样本完成网络底部若干层AE或RBM参数的初始化;调优则是通过少量调优样本对包括分9类器层在内的整个网络参数进行微调，使得网络的故障诊断性能达到最优。

图4 基于CDLNN的变压器故障诊断模型Fig.4 Transformer fault diagnosis model based on CDLNN

3.5 基于CDLNN的变压器故障诊断方法

基于CDLNN的变压器故障诊断步骤如下:

(1)选取样本数据和特征变量;

(2)对变压器状态进行编码;

(3)建立变压器故障诊断CDLNN模型;

(4)初始化变压器故障诊断CDLNN模型参数为服从高斯分布的较小随机数值;

(5)采用预训练集中无标签样本通过BP算法或CD算法对模型底部若干层AE或RBM进行预训练;

(6)采用调优集中标签样本通过BP算法对整个CDLNN网络进行微调;

(7)保存训练好的网络并利用测试集样本对网络诊断性能进行测试。

4 工程实例分析

本文选用某变压器厂多个工程现场记录的同一型号变压器发生故障前后某段时间内的油色谱在线监测数据，通过DBSCAN算法对其进行聚类，平衡选取正常簇、近似故障簇和故障簇样本数据共1 500条作为预训练集，另用工程现场搜集到的300组相同型号故障变压器DGA实验样本用作调优集和测试集，比例为2∶1。与2.2节相同，用CDLNN1和CDLNN2分别表示模型前部由若干层AE和RBM堆叠而成的CDLNN模型，对于CDLNN故障诊断方法，笔者由工程数据作了如下测试。

(1)不同AE层数时CDLNN1故障诊断情况。

分别测试了AE层数从0到10时基于CDLNN1的变压器故障诊断平均正确率，如图5所示。图5中“诊断平均正确率－AE层数”曲线表明，AE层数达到3层时，故障诊断平均正确率已经很高，之后随着AE层数增加，正确率增长缓慢。实际训练时，随着AE层数的增加，训练时间增长，综合考虑故障诊断效果和训练时间2个因素，下面测试中选取AE层数为3层。

图5 不同AE层数时基于CDLNN1的变压器故障诊断情况Fig.5 Correct fault diagnosis rate of transformers based on CDLNN1 with different AE layers

(2)CDLNN2故障诊断情况与预训练集、网络层数的关系。

测试中，笔者发现基于CDLNN2的变压器故障诊断平均正确率与预训练集大小和网络层数均有一定的关系，而且预训练集不同时，网络最优层数也会发生相应变化。由实测数据经过大量实验，绘制出三者之间的关系图，如图6所示。

图6 不同网络层数、预训练集时基于CDLNN2的变压器故障诊断情况Fig.6 Correct fault diagnosis rate of transformers based on CDLNN2 with different network layers and pre-training sets

由图6可知，随着预训练集的增大，CDLNN2故障诊断平均正确率达到最高时的最少网络层数由开始时的6层增加到8层，层数逐渐增加。在预训练集一定的情况下，随着网络层数的增加，故障诊断平均正确率呈上升趋势，达到一定层数时，上升趋势变缓。

(3)不同预训练集时CDLNN故障诊断情况。

笔者测试了不同预训练集时CDLNN1和CDLNN2这2种方法的故障诊断情况，如表3所示。

表3 不同预训练集时基于CDLNN的变压器故障诊断情况Table 3 Transformer fault diagnosis based on CDLNN in different pre-training sets

从表3中能够看出，随着预训练集的增大，基于CDLNN1和CDLNN2的变压器故障诊断平均正确率不断提高。同时，基于CDLNN1的变压器故障诊断平均正确率略高于CDLNN2，但总体来看，二者均具有较优的故障诊断性能，这表明CDLNN适用于变压器故障诊断。

作为对比，相同实验条件下笔者对GB 7252—2001推荐的改良三比值法［26］、BPNN和SVM 这3种故障诊断方法分别进行了实验，实验结果如表4所示。表4中，cepochs和vlr分别表示BPNN最大训练迭代次数和学习速率，C和γ分别表示SVM规则化系数和核函数参数，这里核函数选用RBF。

表4 不同训练集时基于BPNN、SVM的变压器故障诊断情况Table 4 Transformer fault diagnosis based on BPNN and SVM in different training sets

通过表3和表4的故障诊断结果对比可知，本文提出的CDLNN故障诊断方法同三比值法、BPNN、SVM方法相比，具有更高的平均故障诊断准确率，可以为检修人员提供更为准确的参考信息。此外，笔者在测试中发现CDLNN故障诊断方法平均诊断正确率会随着训练集的增大不断增高，增长趋势逐渐变缓;而BPNN和SVM诊断方法的平均诊断正确率在训练集超过200时基本保持不变，甚至会略有降低。这表明CDLNN相对于BPNN和SVM方法，训练时采用半监督学习方法，具有更强的学习能力，可扩展性更好。

5 结论

(1)构建了分类深度学习神经网络模型，并对其分类性能进行了分析，典型数据集测试表明，CDLNN适用于多分类问题。

(2)提出了基于CDLNN的电力变压器故障诊断新方法，它采用半监督机器学习方法，可以有效利用油色谱在线监测所获得的无标签样本对网络进行预训练，克服了BPNN、SVM方法无法利用无标签样本训练的缺点，具有更强的学习能力，故障诊断性能更优。

(3)工程实例分析表明，CDLNN诊断方法随着预训练集增大，故障诊断平均正确率不断增高，该方法适用于大量样本的训练，可扩展性好，与BPNN、SVM故障诊断方法相比，诊断平均正确率更高，可以为变压器检修提供更为准确的参考信息。

致 谢

本研究受到国家电网公司浙北—福州特高压输变电工程专项研究经费资助，在此表示感谢!

［1］ Tang W H，Wu Q H．Condition monitoring and assessment of power transformers using computational intelligence［M］．New York:Springer-Verlag Press，2011．

［2］朱德恒，严璋，谈克雄，等．电气设备状态监测与故障诊断技术［M］．北京:中国电力出版社，2009．

［3］王国平，余涛，傅森木，等．基于DGA的变压器故障诊断智能方法分析［J］．电力建设，2015，36(6):34-39．Wang Guoping，Yu Tao，Fu Senmu，et al．Intelligent methods for transformer fault diagnosis based on DGA［J］．Electric Power Construction，2015，36(6):34-39．

［4］尹金良，朱永利，俞国勤，等．基于高斯过程分类器的变压器故障诊断［J］．电工技术学报，2013，28(1):158-164．Yin Jinliang，Zhu Yongli，Yu Guoqin，et al．Fault diagnosis of transformers based on Gaussian process classifier［J］．Transactions of China Electrotechnical Society，2013，28(1):158-164．

［5］王致杰，徐余法，刘三明，等．电力设备状态监测与故障诊断［M］．上海:上海交通大学出版社，2012．

［6］王涛，王晓霞．基于改进PSO-BP算法的变压器故障诊断［J］．中国电力，2009，42(5):13-16．Wang Tao，Wang Xiaoxia．Power transformer fault diagnosis based on modified PSO-BP algorithm ［J］．Electric Power，2009，42(5):13-16．

［7］周建华，胡敏强，周鹗．基于共轭梯度方向的CP-BP算法在变压器油中溶解气体诊断法中的应用［J］．中国电机工程学报，1999，19(3):41-45．Zhou Jianhua，Hu Minqiang，Zhou E．On the application of CP-BP algorithm for DGA-NN diagnosis in power transformer［J］．Proceedings of the CSEE，1999，19(3):41-45．

［8］张艳，吴玲．基于支持向量机和交叉验证的变压器故障诊断［J］．中国电力，2012，45(11):52-55．Zhang Yan，Wu Ling．Transformer fault diagnosis based on C-SVC and cross-validation algorithm ［J］．Electric Power，2012，45(11):52-55．

［9］尹玉娟，王媚，张金江，等．一种自主核优化的二值粒子群优化-多核学习支持向量机变压器故障诊断方法［J］．电网技术，2012，36(7):249-254．Yin Yujuan，Wang Mei，Zhang Jinjiang，et al．An autonomic kernel optimization method to diagnose transformer faults by multi-kernel learning support vector classifier based on binary particle swarm optimization［J］．Power System Technology，2012，36(7):249-254．

［10］遇炳杰，朱永利．加权极限学习机在变压器故障诊断中的应用［J］．计算机工程与设计，2013，34(12):4340-4344．Yu Bingjie，Zhu Yongli．Transformer fault diagnosis using weighted extreme learning machine［J］．Computer Engineering and Design，2013，34(12):4340-4344．

［11］Hinton G E，Salakhutdinov R R．Reducing the dimension-ality of data with neural networks［J］．Science，2006，313(5786):504-507．

［12］Hinton G E，Osindero S，Teh Y W．A fast learning algorithm for deep belief nets［J］．Neural Computation，2006，18(7):1527–1554．

［13］ Bengio Y．Learning deep architectures for AI［J］．Foundations and Trends in Machine Learning，2009，2(1):1 – 127．

［14］Bengio Y，Courville A，Bincent P．Unsupervised feature learning and deep learning:a review and new perspectives［R］．Montreal:DepartmentofComputerScience and OperationsResearch，University of Montreal，2012．

［15］ Hinton G E．A practical guide to training restricted Boltzmann machines［R］．UMTL Tech Report 2010-003．Toronto，Canada:University of Toronto，2010．

［16］Baker J，Deng L，Glass J，et al．Developments and directions in speech recognition and understanding，Part 1［J］．IEEE Signal Processing Magazine，2009，26(3):75-80．

［17］Yu D，Deng L．Deep learning and its applications to signal and information processing ［J］．IEEE Signal Processing Magazine，2011，28(1):145-154．

［18］ Zhang Lijing，Liang Yingli．A fast method of face detection in video images［C］//The 2nd IEEE International Conference on Advanced Computer Control(ICACC 2010)，Shenyang，China，2010:490-494．

［19］Kalal Z，Mikolajczyk K，Matas J．Face-tld:Tracking-learningdetection applied to faces［C］//2010 International Conference on Image Processing(ICIP2010)，HongKong， China， 2010:3789-3792．

［20］ Collobert R，Weston J．A unified architecture for natural language processing:deep neural networks with multitask learning［C］//Proceedings ofthe 25th International Conference on Machine Learning，2008:160-167．

［21］余凯，贾磊，陈雨强，等．深度学习的昨天、今天和明天［J］．计算机研究与发展，2013，50(9):1799-1804．Yu Kai，Jia Lei，Chen Yuqiang，et al．Deep learning:yesterday，today，and tomorrow［J］．Journal of Computer Research and Development，2013，50(9):1799-1804．

［22］孙志军，薛磊，许阳明，等．深度学习研究综述［J］．计算机应用研究，2012，29(8):2806-2809．Sun Zhijun，Xue Lei，Xu Yangming，et al．Overview of deeplearning［J］．Application Research of Computers，2012，29(8):2806-2809．

［23］Andrew Ng．UFLDL Tutorial． http://openclassroom．stanford．edu/MainFolder/CoursePage．php?course=DeepLearning

［24］马勇，鲍长春，夏丙寅．基于辨别性深度信念网络的说话人分割［J］．清华大学学报:自然科学版，2013，53(6):804-807．Ma Yong，Bao Changchun，Xia Bingyin．Speaker segmentation based on discriminative deep belief networks［J］．Journal of Tsinghua University:Science and Technology，2013，53(6):804-807．

［25］孙劲光，蒋金叶，孟祥福，等．一种数值属性的深度置信网络分类方法［J］．计算机工程与应用，2014，50(2):112-115．Sun Jinguang， Jiang Jinye， Meng Xiangfu， etal． DBN classification algorithm for numerical attribute［J］．Computer Engineering and Applications，2014，50(2):112-115．

［26］王昌长，李福祺，高胜友．电力设备的在线监测与故障诊断［M］．北京:清华大学出版社，2006．