基于卷积神经网络的变压器故障诊断方法*

2017-12-21贾京龙余涛吴子杰程小华

电测与仪表 2017年13期

贾京龙，余涛，吴子杰，程小华

（华南理工大学电力学院，广州510640）

0 引言

随着经济发展，国民生活水平不断提高，相应地对供电可靠性要求也越来越高。变压器是电能传输和转换的重要枢纽，是电网的重要组成部分，电厂发出的电需要通过升压变压器将电送到电网，电网的电需要通过降压变压器将电送至用户，变压器的正常运行关系到电网安全稳定，关系到国民经济的发展，因此对变压器故障做出及时准确地诊断具有重要意义。

变压器故障时会在绝缘油中产生大量气体，基于油中特征气体的比例可以判断变压器相应故障类型，目前分析变压器油中溶解气体组分与含量是监视充油变压器安全运行的最有效措施之一，我国已有40多年的使用历史，并且取得了不错的效果。基于特征气体比例的分析方法有三比值法、改良三比值法等等，但是存在编码不全，编码界限过于绝对的问题，因此一直以来相关人员对基于DGA的变压器故障分类做了大量研究工作，提出了很多种方法，主要有模糊推理［1］、专家系统［2-3］、人工神经网络［4-6］以及支持向量机［7］（Support Vector Machine，SVM）等，这些方法克服了三比值法的不足，但是这些方法又都存在诸多的问题。

深度学习（Deep Learning）是人工神经网络的一种，网络通常由很多层组成，由Geoffrey Hinton教授在2006年提出［8］，相比于传统的浅层神经网络，深度学习解决了BP神经网络等浅层网络表达能力不足，容易过拟合的缺陷，并表现出强大的特征提取与分类能力。深度学习模型目前主要有深度置信网络（Deep Belief Networks，DBN）和卷积神经网络（Convolutional Neural Networks，CNN）。DBN是多层深度学习网络，使用大量无标签数据通过逐层贪婪训练算法进行训练，然后再使用少量有标签数据对整个网络进行微调（fine-tune）。DBN已经在变压器故障诊断中进行应用［9-10］，相比浅层神经网络取得了更好的效果，但是需要大量的无标签数据进行预训练。卷积神经网络由Yan LeCun提出［11］，是第一个能够真正成功训练多层网络的学习算法，是当前语音分析和图像识别领域的研究热点，是现在应用最多的深度学习模型之一。鉴于CNN具有强大的特征提取能力，文章将CNN应用到到变压器故障诊断中去，将网络用于油气样本数据的处理，并取得了不错的效果。

1 卷积神经网络介绍

卷积神经网络和BP神经网络一样都为有监督学习算法，因此需要用有标签的数据作为网络训练的样本，然后用学习得到的模型对待识别样本进行预测。卷积神经网络是在传统全连接网络的前面加上用于特征提取的卷积层和采样层，典型的卷积神经网络LeNet-5的结构如图1所示，分为输入层Input、若干卷积层C和采样层S、全连接层F6以及输出层Output，相比单隐含层或双隐含层BP神经网络，卷积神经网络要深得多。其中卷积层C为特征提取层，卷积层上的每个神经元与前一层的局部感受野相连，卷积层的输出为提取到的特征。采样层S为特征映射层，通过采样操作，可以有效降低网络连接的数量。

1.1 卷积层

卷积层通过不同卷积核对前一层做卷积运算，每种卷积核对应一种提取到的特征，卷积核与前一层的局部感受野相连，同种卷积核共享网络连接权值，每种卷积核提取信息有限，因此一般使用多种卷积核来获得更多的特征。同时卷积核具有局部特征提取以及共享权值的特点，使得网络权值的数量小于连接数量，这在一定程度上降低了网络复杂性。

图1 卷积神经网络LeNet-5网络结构图Fig.1 Network structure diagram of convolution neural network LeNet-5

局部特征提取是指卷积核每次只提取前一层的部分区域的特征，通过卷积核在前一层上滑动进而对前一层所有数据提取特征，局部连接可以有效增强局部区域的显著特征，并且有效减少权值参数的数目，在输入数据维度很高时，效果会更加明显。

权值共享是指同一种卷积核对前一层提取特征时的权重是相同的，即同一种卷积核共享相同的权重参数，因此权重参数的数目就只与卷积核个数有关，往往只需要较少的参数即可求得对应的输出特征。

1.2 采样层

采样层对卷积层提取到的特征进行下采样操作，采样方法有最大值采样和均值采样。最大值采样是计算每一个采样区域的最大值，将其作为采样层的一个输出；均值采样是将每一个采样区域的平均值作为采样层的一个输出。采样层没有可学习的参数，因此训练过程中不需要进行迭代运算。通过下采样操作，提取到的特征的节点数大大减小，有效地降低了网络的连接数目，降低了网络计算的复杂度。

2 变压器故障诊断方法

2.1 数据处理

根据DL／T 722-2014《变压器油中溶解气体分析和判断导则》［12］，变压器油中溶解气体主要包括氢气（H2）、甲烷（CH4）、乙烷（C2H6）、乙烯（C2H4）、乙炔（C2H2）、一氧化碳（CO）以及二氧化碳（CO2）。变压器故障类型主要有低温过热（小于300℃）、中温过热（介于300℃到700℃之间）、高温过热（大于700℃）、低能放电、高能放电、局部放电以及正常状态。我们选取七种气体中的前五种气体的含量作为模型的输入特征数据，选取七种不同的故障类型作为模型的输出。

由于油中各种气体含量差别较大，为防止输入到模型的数据出现大数吞小数的情况以及为了模型更好地收敛，需要对输入数据进行归一化，本文对输入数据作出如下处理，将气体占比作为输入量，格式如下［13］：

式中 φ（H2）、φ（CH4）、φ（C2H6）、φ（C2H2）和φ（C2H2）分别代表氢气、甲烷、乙烷、乙烯以及乙炔的含量；φ代表气体总含量；φC代表烷烃类气体总含量。

本文用输出层七个神经元对应7种故障类型，输出层神经元激活值为1表示输入数据对应的是该故障类型，为0表示输入数据对应的不是该故障类型，因此可对故障类型做出编码如表1所示。

表1 故障类型编码Tab.1 Fault type code

2.2 卷积神经网络模型的搭建

本文提出的卷积神经网络采用一个卷积层和采样层的组合，这是由于输入数据只有五种气体对应的含量，数据结构较为简单，增加卷积层与采样层数目会增大网络复杂度，增加网络学习时间。其中为适应一维的输入数据，将卷积核设置为一维卷积核，不同的卷积核提取输入数据的不同特征，然后经过采样层的降维操作，使得采样层输出节点大大减少，网络计算量也随之减少，但是采样层的输出还不能作为分类结果使用，需要在采样层后面连上全连接层以及Softmax回归层得到各种状态对应的概率［14］。本文提出的卷积神经网络结构如图2所示，图中只画出了一种卷积核对应的特征提取过程，在实际操作中，往往需要用到多种不同的卷积核以获得更多的不同特征。

假设单个输入样本为x，其包含5个元素，卷积核个数为n，每个卷积核大小为m×1，因此每种卷积核对应的输出特征的大小为（6-m）×1，其中卷积层与输入层之间连接数为（6-m）×（m+1）×n，可训练的参数数目为（m+1）×n。卷积层第k种卷积核的输出结果为：

图2 基于油中溶解气体含量的卷积神经网络模型Fig.2 Convolutional neural network model based on dissolved gases content in oil

式中aC1，i，k表示第k种卷积核输出的第i个元素；Wk（j）表示第k种卷积核的第j个元素；bk表示第k种卷积核的偏置；f表示卷积层所采用的激活函数。

采样层进行均值采样操作，对卷积层输出按一定规则进行求均值作为采样层输出。假设采样宽度为p×1，并保证p可以被（6-m）整除，则每个特征对应的采样输出大小为（（6-m）／p）×1，因此第k个卷积核对应的采样层S2的输出结果为：

式中aS2，j，k表示第k种卷积核对应采样层的第j个输出；aC1，i，k表示第k种卷积核输出的第i个元素。

采样层输出与一个隐含层F3全连接，然后再与Softmax层全连接进行分类，输出层神经元输出的是概率值，7个神经元输出值之和为1。

模型采用反向传播算法（Back Propagation Algorithm）进行训练，即通过不断地迭代使模型目标函数收敛到最小，得到最优的权重和偏置参数。模型的目标函数为：

式中m为训练数据的样本数；yi为输入样本xi对应的期望输出；F（xi）为输入样本xi对应的实际模型的输出。

对单个样本，反向传播算法的一般步骤如下：

（1）计算网络各层的误差灵敏度：

误差灵敏度表示节点输入对目标函数的影响，输出层的误差灵敏度为：

式中y表示输入样本x对应的期望输出；F（x）表示输入样本x对应的实际模型输出。

如果l层与l+1层全连接的，那么第l层的误差灵敏度为：

当接在卷积层的下一层为采样层时，则卷积层的误差灵敏度计算方法为：

式中upsample表示上采样操作，对于均值采样，通过上采样操作，采样层的误差会平均分布在卷积层上的采样区域。k表示第k个卷积核，f′（·）表示激活函数的导数，zlk表示第l层第k个卷积核神经元的输入。

（2）计算目标函数对权重W以及偏置b的偏导数，计算方法为：

式中al表示第l层的输出。

（3）迭代更新权重和偏置参数：

式中 α表示学习率，范围为［0，1］。

3 算例研究

卷积神经网络模型卷积核大小、个数以及采样宽度如何选取对变压器故障分类结果具有很重要的影响，因此需要对这些参量如何影响模型性能进行研究。本文采用从论文中收集到569组变压器油中气体含量数据及对应的故障类型［15］，随机选取其中的450组数据作为训练数据，剩余的119组数据作为测试数据。

首先研究卷积核大小对模型分类性能的影响，假设卷积核个数为8个，采样宽度为2×1，观察卷积核大小分别为4×1以及2×1时的模型准确率，并将分类准确率填入到表2中，可以看出随着卷积核大小的增加，测试集准确率有所下降，这是由于卷积核大小越小，从输入数据提取的特征越精细，获得的特征越能描述输入数据，因此模型的分类能力会更好。

表2 卷积核大小对模型准确率的影响Tab.2 Influence of convolution kernel size on the accuracy of model

然后分析卷积核个数对模型分类性能的影响，假设卷积核大小为2×1，采样宽度为2×1，观察不同卷积核个数时模型对应的准确率以及训练时间，并将其填入表3，同时绘制不同卷积核个数对应的收敛曲线，如图3所示。可以看到，随着卷积核个数的增加，测试集准确率会有所提高，这是由于提取到的特征种类增多，因此提高了模型的分类能力。但是继续增大卷积核个数测试集准确率将不会再增加，而且随着卷积核数增加，网络计算量增大，训练时间也会大大增加，因此卷积核个数也不宜过多。

表3 卷积核个数对模型准确率的影响Tab.3 Influence of convolution kernel number on the accuracy ofmodel

图3 不同卷积核数对应的误差收敛曲线Fig.3 Error convergence curves of different convolution kernel numbers

表4 采样宽度对模型准确率的影响Tab.4 Influence of sampling width on the accuracy of model

最后研究采样宽度对模型分类效果的影响，采样层可以有效降低模型参数的数目，同时增强模型的鲁棒性，而采样宽度对模型分类能力也有影响，因此本文做如下仿真，假设卷积核大小为2×1，卷积核个数为8，观察不同的采样宽度对应的模型准确率，并将其填入表4，可以看到增大采样宽度，训练集和测试集的准确率都有明显的降低，这是因为采样宽度增大会减小模型的复杂度，丢失更多卷积层提取到的信息，从而减小模型对输入样本数据的拟合能力。

综上所述，卷积神经网络分类准确率随着卷积核大小的减小而升高，随着卷积核个数的增加先增而后不再增加，随着采样宽度的减小而升高，因此在实际应用时可以根据实际情况来确定这些结构参数的取值，以达到更快的训练速度和更高的分类准确率。

然后比较卷积神经网络跟BP神经网络在变压器故障分类问题上的效果，根据上述卷积核大小、个数以及采样宽度对模型分类准确率的影响，本文选取卷积核大小为2×1，卷积核个数为8，采样宽度为2×1，卷积层和采样层组合的输出与全连接隐含层以及输出层组成常见的三层神经网络结构，根据经验以及不断地尝试选取全连接隐含层神经元个数为8，因此建立网络结构如图4所示的卷积神经网络。为保证对比的合理性，需要将卷积神经网络的卷积层和采样层等价为BP神经网络的一个隐含层，因此BP神经网络有两个隐含层，第一个隐含层神经元个数取16，第二个隐含层神经元个数取8。BP神经网络有295个参数，卷积神经网络有223个参数。

模型的输入数据需要进行预处理操作，具体方法见2.1节。同时将两个模型网络的权重W和偏置b初始化为0到1之间的随机数，分别对两个模型进行训练，观察并记录模型的准确率、训练时间以及测试时间，如表5所示。

图4 卷积神经网络仿真模型Fig.4 Simulation model based on convolutional neural network

表5 BP神经网络与卷积神经网络准确率Tab.5 Accuracy of BP neural network and convolutional neural network

通过对比BP神经网络以及卷积神经网络的准确率、训练时间以及运行时间可知，卷积神经网络在训练集准确率以及测试集准确率上都更为优秀，这是由于卷积神经网络可以从输入数据中提取到更好的特征。虽然在训练时间上卷积神经网络比BP神经网络要慢很多，但是卷积神经网络在119组测试数据上的识别速度比BP神经网络快了13.9%。因此，提出的卷积神经网络相较比于BP神经网络在变压器故障识别上具有更高的准确率，同时具有更快的识别速度。