基于深度学习的电力设备红外图像故障诊断方法

陈达，唐文虎，牛哲文

(1.深圳供电局有限公司，广东 深圳 518020；2.华南理工大学 电力学院，广东 广州 510641)

变电设备长期运行中，可能产生各种各样的内生缺陷，变电站运维人员普遍地运用红外测温工具周期性对设备进行巡视，尽早从设备运行的异常状况中预判故障，从而避免设备突然停运。这种方式对运维人员的经验和技术有一定要求，同时存在覆盖不全面、工作效率低的缺点。在智能化改造过程中，无人机、巡检机器人等智能设备也产生了大量巡检图片，却缺乏相应的智能分析能力；因此，对图像数据进行自动分析，从中诊断电力设备状态，对于及时了解电力设备的运行状况，提高电力设备运行、维护和管理水平具有十分重要的意义。

为了在红外图像上实现设备故障诊断，一方面需要读取准确的温度，另一方面需要对设备类型进行准确分类，结合这2种信息才有可能准确判定设备状态。文献[1]基于历史数据和层次分析法建立了柱上开关成套设备状态评估方法，克服了层次分析法较为主观的问题。在温度测量方面，文献[2]考虑了温度随测温距离和风速的变化，通过模拟试验得到了温度修正系数。文献[3]从外部故障和内部故障2个角度分析了各类型设备产生热故障的可能原因，并给出各种故障特征下具体的温度判据。实际工作中，运维人员一般按照DL/T 664—2008《带电设备红外诊断应用规范》[4]要求，使用表面温度法和相对温差法来判定具体缺陷等级。

图像分类中的特征构建可分为2大类：传统图像特征和深度图像特征。目前，基于传统方法构建特征的电力设备分类方法仍为主流。文献[5]采用Hu不变矩作为特征，使用最近邻分类器进行分类，取得了较满意的分类准确率，该方法具有尺度缩放不变性，但依赖于预处理中图像分割的效果，并且需要建立图像数据库。文献[6]同样基于Hu不变矩，应用支持向量机(support vector machine，SVM)实现了较高的分类准确率。Hu不变矩中冗余信息较多，文献[7]选择了更优的Zernike矩，在此基础上使用BP神经网络进行分类，并将2种矩进行对比。结果表明，以Zernike矩作为特征，分类准确率略高于Hu不变矩，若样本集过小，两者差异不明显。文献[8]使用方向梯度直方图特征描述图像并用SVM分类，在设备三分类中取得较好的结果。文献[9]使用相对温差法对分割后的温度区域进行故障判断，效果符合实际，但因为没有利用分类器，无法根据目标不同针对性选用缺陷判定标准。文献[10]使用SVM对红外图像中提取的颜色矩和形状不变矩进行多分类，但问题主要是样本集过小。以上文献中所考察图片中无背景干扰元素，边缘提取难度相对较小，整体效果依赖于特征提取有效性，没有充分考虑到实际应用中面临的复杂环境对智能识别所形成的影响。文献[11]专注于电缆终端，使用模板匹配的方法找出设备区域，在提取疑似过热区域和参考区域后，进行温度参数的计算，但是电力设备种类众多，有必要研究适合于多种设备诊断的分析软件。

在传统图像检测方法的局限性逐步显现时，随着深度学习的快速发展，其在图像领域的突出表现受到众多关注。在电力工业领域由于专业性较强，深度学习没有得到充分重视，该交叉领域仍有大量待填补的空白。电力设备图像数据集较少，场景复杂且不同设备相似度较高，一般的深度学习方法也由于数据不足无法得到充分训练。文献[12]使用快速区域卷积神经网络(faster region convolutional neural network,Faster-RCNN)模型提出了红外输变电设备异常发热点目标检测方法，具备较好的检测效果。文献[13]使用随机森林分类器来改进卷积神经网络(convolutional neural network,CNN)，较常规CNN平均识别准确率高出约6.8%，但对于小样本限制准确率提升的问题没有提出有效的解决办法。文献[14]使用3D建模生成大量训练集来对CNN进行预训练，然后用小样本真实数据集进一步训练的方法来解决样本短缺的问题，但其研究基于自然光图像而非红外图像。目前较少有人将深度学习应用于分析电力设备红外图像。近年来，迁移学习的出现使得模型能利用在通用图像数据集中学习到的特征，去识别现有小样本电力设备数据集的目标，从而规避了数据不足的问题[15]。

鉴于此，本文提出基于深度学习的变电设备红外图像故障诊断方法。首先选取轻量化的移动网(MobileNet)网络结构，应用迁移学习技术，将在自然场景下获取的预训练权重用于初始化网络；继而冻结网络除末端分类层外的所有神经元，使用电力设备小样本数据集微调训练网络末端的特征分类器，网络具备对设备分类的能力，自动故障诊断系统根据网络分类结果选取缺陷温度判据。另一方面，使用光学字符识别(optical character recognition,OCR)技术从图像中获得最高温度及温度范围的具体数值，结合选取的缺陷判定温度给出诊断结果。

1 基于深度学习的电力设备故障诊断系统

系统综合运用深度学习图像分类方法、OCR温度提取方法和故障诊断判据，实现电力设备的自动故障诊断。在维持足够准确率的前提下，系统能够对输入的红外图像自动归类，并提取相应的温度信息，例如实测温度、图像温度范围等，结合相应诊断规则给出结果进行判断。系统流程如图1所示。

图1中：基于MobileNet的图像分类器可直接获取原始伪彩色红外图像输入到MobileNet网络中，自动进行特征学习而无需人工构建特征，而且其特征更加抽象，表达能力更强，可直接输出分类结果；在得到设备类别后，使用类别结果从故障诊断判据中寻找相应故障温度阈值，结合提取的温度运用表面温度法或相对温差法判断，给出诊断结果。

图1 算法流程图Fig.1 Algorithm flowchart

1.1 基于深度学习的电力设备图像分类

1.1.1 MobileNet算法

在实际生产环境中，终端设备的计算能力一般较弱，而性能强大的深度CNN 通常要求强大的计算资源。目前有2类思路解决该矛盾：一种是真正进行模型部署时进行模型结构或权重参数的精简，使得我们以现实能接受的方式进行模型推理；另一种则是设计计算复杂度更低、训练参数更少的网络。

按照第二种思路设计的MobileNet V1由谷歌在2017年提出的，是一种适用于移动端或者嵌入式设备的轻量级CNN[16]。该网络的主要贡献在于使用了深度可分离卷积的方法，使用1×1的卷积核，减少了一般网络中标准卷积层的卷积核数目。深度可分离卷积由深度卷积和点卷积组成，共同完成其他大型网络中标准卷积的功能，如图2所示。

假设输入通道的特征映射尺寸为(DF，DF，M)，若采用的标准卷积大小为(DK，DK，M，N)，其中M为输入通道数，N为输出通道数，DF为输入特征映射的边长，DK为深度卷积核的维度，则计算量为

图2 深度卷积和点卷积Fig.2 Deep convolution and point convolution

(1)

在MobileNet中，标准卷积的过滤和转换功能分别由深度卷积和点卷积实现。假设深度卷积尺寸为(DK，DK，1，M)，点卷积尺寸为(1，1，M，N)，综合计算量为

(2)

为了提高知识的利用效率，避免反复训练，迁移学习技术可对不同但近似领域问题使用已经获得的知识进行解答，核心是发现已有知识和新知识之间的抽象相似。现有的知识称为源域，而新获取的知识称为目标域。源域和目标域不同，但是有一定相关性。

本文中迁移学习的源域为ImageNet大型图像数据集[18]中所包含的自然场景图像，目的域为电力设备红外图像;因此，将在源域中训练所得的权重预置在MobileNet中，然后使用目标域的训练集对模型分类器部分进行微调。在微调完毕后，该网络即可用于对测试集中的设备进行分类。

1.1.2 数据增强技术

由于小样本数据集样本过少，容易出现过拟合问题，模型容易趋向于记住训练集而失去泛化能力，导致最终结果较差；因此，在微调时，本文使用数据增强技术处理训练集，即对训练集进行翻转、缩放、旋转、裁剪等操作，相当于扩充了更多训练样本，之后再输入到模型中，充分发掘和利用数据集信息。模型在多种条件下接受同个物体训练，明显提高泛化能力[19]。图3为数据增强的效果展示。

图3 数据增强示例Fig.3 Data augmentation

由于收集更多的样本存在困难，实验中将采用数据增强技术扩充训练集，参数设置为：

a)随机左右翻转，概率为50%；

b)随机正负旋转小于30°的角度；

c)随机裁剪小于20%的图像面积。

1.2 基于OCR的温度提取及故障诊断方法

对于1张输入红外图像，首先将其灰度化并舍弃图像中自带的各种标识区域。在得出的区域内，读取最亮点的温度作为该设备的实际温度。

基于图像灰度与物体的热辐射呈对应关系这一原理，可直接利用图像对温度场进行检测[20]。原理可以分为2大类：第1类是直接检测法，它的本质是全辐射测温；第2类则是比色法，即借助比色条读取温度。本节将采用第2类方法，根据红外图像，找出最亮点并计算出该点所对应的温度值。

为了使用OCR技术获取温度数值，第1步要截取数字区域。本文所获取的红外图像(320×240)中，温度范围及比色条位置固定，集中在右边部分。因此考虑截取右上角的最高温度以及右下角的最低温度值。

本文在提取温度数值上应用TesseractOCR识别插件对所截取局部图像进行识别，所使用的TesseractOCR是一款由HP实验室开发、Google维护的开源OCR引擎[21]。在参数设定方面，使用—psm命令指定文本模式，选定为6，即单行文本；使用—oem命令指定OCR引擎，选定为0，即默认原始引擎，因为对于简单数字来说，没有必要使用长短期记忆神经网络模型；同时，必须设置识别结果白名单，识别结果只允许为10个阿拉伯数字。以上设置保证了准确率能满足使用要求，但小数点无法被识别，例如36.2会被认为是362，因此将识别结果缩小为原本的十分之一输出即可。

1.2.1 灰度-温度拟合函数

对于每张图像，处理过程在经过灰度化后的图像上进行，分别读取比色条最上端和最下端的灰度值作为图像中的温度范围极值，和上述OCR识别的温度数值组合成元组，然后使用数值方法进行一次函数拟合。根据拟合函数可得知任意像素的灰度值所表示的实际温度。

伪彩色和热度之间的关系满足换算公式[22]

I=(X-128)R/256+L.

(3)

式中：I为设备热度；X为图像亮度；R为热像仪的范围；L为热像仪的热平。由此可知，在R和L固定后，X和I呈线性关系。由于伪彩色和灰度之间同样为线性关系，因此灰度和I也呈线性关系,即:

I0=I/(τ),

(4)

{t}℃=B/lg[(A/I0+1)/C]-273.15.

(5)

式(4)—(5)中：I0为实际的热值；τ为透射率；为物理发射率，一般取0.9；t为温度；A、B、C为热像仪标定曲线常数,对于短波系统，C=1。根据灰度-温度拟合函数，本文取去除文字部分后的图片中灰度值最大点为热点，计算对应温度作为设备发热温度。

1.2.2 故障诊断判据

提取热点温度和温度范围数值后，系统根据深度学习网络的分类结果选取诊断标准，实现对图像中设备状态的自动诊断。诊断标准以DL/T 664—2008为准。诊断分析规则主要有表面温度判断法和相对温差判断法。部分设备的缺陷温度见表1和表2。

表1 故障表面温度判断表Tab.1 Fault surface temperature judgment table ℃

表2 设备故障相对温差判断表Tab.2 Relative temperature difference judgement table of equipment faults %

以上温度判断标准内置在诊断软件中。使用时，软件根据分类网络输出的分类结果，在内置的温度判断表内，读取相应标准的热点温度报警值和温升报警值。如果设备实际热点温度超过热点温度报警值或超过基准温度与温升值之和，软件将该设备认定为缺陷状态，否则认定为正常。

2 实验结果

2.1 电力设备红外图像数据集

本文研究数据来源于深圳供电局有限公司变电管理二所紫荆巡维中心，紫荆巡维中心下辖12座变电站，包括:500 kV紫荆站、220 kV廷苑站、220 kV贤兴站以及其他9座110 kV变电站。数据主要分为5大类:主变压器(以下简称“主变”)本体、套管、避雷器、高压开关柜、气体绝缘开关(gas insulate switchgear ,GIS)设备。数据集每类有100张图像，共计500张，图像分辨率为320×240，如图4所示。

所输入的电力设备图像为三通道伪彩色图像，伪彩色即是通过指定灰度图中每一灰度所对应彩色而形成，因此和源域中自然场景彩色图像格式一致。图5所示为伪彩色图像红、蓝、绿各通道分量提取图像。

图4 各类型设备红外图片Fig.4 Infrared images of different equipment

图5 伪彩色图片及各通道提取Fig.5 Pseudo-color images and channel extraction

根据用于不同目的，机器学习中的数据被切分为训练集、验证集以及测试集。训练集是用于模型训练的数据样本；验证集是在训练过程中，不参与训练但中途评估模型所使用的样本集，它可以用于对推测能力进行初步评估，帮助调整模型的超参数；测试集用来评估最终模型的得分，但无法作为调整参数、选择特征等算法的依据。本文从500张图像中选择10%作为验证集，10%作为测试集，其余80%为训练集。

2.2 深度学习图片分类结果

图6为训练集与验证集准确率曲线。

图6中：以交叉熵作为损失函数，当交叉熵波动小于设定阈值时，判定模型收敛。由于所使用的预训练模型中初始权重较合适，训练集准确率在100步内迅速达到了94%，同时验证集准确率为80%，说明以自然场景为源域的知识是可以有效迁移应用到变电设备的红外场景中的；在训练至3 000步时，训练集准确率基本稳定在99%，验证集稳定在90%，此时基本收敛，即训练集和测试集的准确率不再随训练步数的增加而增加，趋近于稳定值。最终测试准确率为80.6%。

图6 训练集与验证集准确率曲线Fig.6 Accuracy curves of training set and validation set

在上述实验中，训练集和验证集准确率相差较大，测试集准确不高。在训练集准确率趋近100%时，验证集准确率只有90%，模型出现了明显的过拟合问题；所以按照前文所提的参数，使用数据增强技术，其训练结果如图7所示。

图7 数据增强后训练集与验证集准确率曲线Fig.7 Accuracy curves of training set and validation set after data augmentation

由图7可知：在训练至3 000步时，训练集准确率约为98%，验证集准确率约为91%，最终在相同测试集上新模型达到95.7%的分类准确率，相比于数据增强前测试集分类准确率80.6%提高了近15%。该结果表明，数据增强充分发掘了训练集中所含信息，并缓解了过拟合问题。

将测试集分类结果按照类别进行统计，以精确率、召回率2个指标进行评价。精确率是预测结果中正确数量占比，召回率是全部样本中的正例有多少被预测正确。结果见表3。

表3 分类准确率及召回率评价表Tab.3 Evaluation table of classification accuracy and recall rate %

由3表可知：该网络对不同类型设备分类准确率有所不同，其中较为准确的是主变本体、避雷器及套管，而GIS设备分类准确率较低。其原因为：①以所有GIS设备作为1个类型进行分类过于宽泛，有必要将GIS设备按照电压等级或者具体设备继续细分，如分为500 kV的GIS开关、220 kV 的GIS开关、GIS出线套管、GIS刀闸等。②由于场地、视角及拍摄角度限制，巡检人员对于除GIS设备外的其他4种设备类型拍摄角度较为固定，图像特征较为明显且统一；而对于GIS设备，巡检人员可选择的拍摄角度较多，训练集中包含由各个角度拍摄的图像，相同数量样本下学习难度较大，需进一步增加样本数量。

2.3 不同模型方法比较及结果分析

为了验证本文方法的有效性，以三层CNN作为比较基准，对比经迁移学习、未经迁移学习的MobileNet以及使用迁移学习方法的InceptionV3网络。InceptionV3网络是一种网络层数与MobileNet接近，但并未采用轻量化设计的经典网络结构。所有网络所使用训练集均使用数据增强方法。三层CNN的结构如图8所示。

将三层CNN以随机权重作为初始点在相同数据集上进行训练，使用数据增强技术，训练至100步左右网络基本收敛，测试集准确率为67.2%，低于基于MobileNet网络结构的95.7%；为了验证迁移学习对MobileNet的增强效果，在同样的小样本数据集上使用数据增强技术，但是不加载预训练权重(即不使用迁移学习)，而是从随机权重为初始点进行训练。实验结果见表4。

由表4可知：即使使用数据增强方法，在较为简单的三层CNN和未经预训练的MobileNet上最多也只能达到约67%的分类准确率，而使用本文方法所得结果的准确率远高于其他2种方法。其原因在于样本少导致信息量不足，充分训练网络也不能学习到足够的知识，无法达到令人满意的效果。该实验证明了经过预训练的MobileNet从其他大型图像分类数据集中获取的知识能有效运用到电力设备红外图像分类中。

图8 三层CNN结构Fig.8 Three-layer CNN structure

表4 各结构网络实验结果对比Tab.4 Comparison of each structural network

将MobileNet与InceptionV3实验结果进行对比，MobileNet实验结果准确率略低1%，但平均分类时间仅有后者的十分之一左右，与理论值相近，体现出MobileNet轻量、计算量少的特征。该网络易于应用在算力较弱的终端设备中。

2.4 温度计算结果分析

为了验证灰度-温度拟合函数的准确性，本节将原图左上角显示的最热点温度与灰度最大值计算所得温度对比，进行误差分析。在计算误差时，因摄氏温度属于区间属性，不可直接用于误差计算，需将摄氏温度转换为比率属性的绝对温度。实验在52张图片上进行计算和统计，总体误差均值为-0.29%，误差的标准差为1.56%。在实际工程使用中，原图所显示热点温度可与计算温度综合使用，以便提高判定的准确性。

3 电力设备红外图像故障诊断软件开发

3.1 软件诊断流程设计

本节分析诊断流程，并将以上所述的分类算法和温度计算整合成为易于使用的软件；同时，所使用的MobileNet计算量小，该软件可轻松移植，部署在手机、红外测温仪或巡检机器人上，直接快速诊断结果，为提高各终端的智能化水平打下基础，提供借鉴。

软件诊断流程包括图像输入、温度提取及计算、设备分类、故障诊断判据选取以及最后的诊断。诊断流程图如图9所示。

根据本文所阐述算法，软件根据设备类型，如套管、主变本体等，在内置设备标准中进行文本匹配，从而获取故障诊断判据中具体的温度阈值和当前环境温度下允许的最大温升，然后将计算所得最热点温度与温度阈值和允许的最大温升进行比较，如果最热点温度大于该设备温度阈值或允许最大温升的任何一项，即判定为故障状态，否则判定为正常状态。

图9 故障诊断流程Fig.9 Fault diagnosis flow chart

3.2 软件界面

本文使用的编程语言为Python，计算机视觉库为OpenCV，深度学习框架为TensorFlow。图10为软件界面，通过界面下方的按钮读入待处理图片，读入的原图显示在图中左上角；程序调用本文方法进行分析，将结果显示在右方。从图10诊断结果可知：该设备为套管的概率为89.44%，从图片中读取的直接提取的温度为42.7 ℃，实际的温度为42.03 ℃。可见使用本文方法可准确诊断设备类别，给出确信概率，也可准确获取图片内的温度数值。

图10 电力设备红外图像故障诊断软件界面Fig.10 Infrared image fault diagnosis software interface

结合系统设备类型和内置故障诊断规则，可以知道套管的故障判定规则为表面温度大于55 ℃或者温升大于40 K。在本次分析中，从绝对温度来看无论是原温度还是校正温度都小于55 ℃。将比色条中的最低温25.5 ℃作为环境温度，则表面温度相对于环境温度的温升小于40 K。上述条件为“或”逻辑，综合可知判定设备没有故障，正常运行。

在实际使用中，软件可批量处理图像，自动将图片文件重命名为“间隔名+设备类型+实际温度”归档，并将温度、设备类型及诊断结果等数据输出为Excel报表，便于检索和迅速发现故障设备。

4 结束语

本文搭建了一种基于深度学习的电力设备故障诊断方法。首先，由于故障诊断温度在不同设备类型上不一致，需要运用图像分类方法对设备类型进行判断，为了缓解数据集样本较少的问题，本文选用经过迁移学习的MobileNet作为深度学习的网络结构对设备类型进行分类。该网络对比未使用迁移学习的MobileNet和三层CNN，分类准确率均提高了约30%。为了进一步缓解红外图像样本不足的问题，本文模型使用了数据增强技术，提高了约15%分类准确率，最终测试集准确率达到95.7%，该结果证明了以一般场景作为源域所提取的图像特征能有效迁移到红外图像目标域。

在判断出设备类型为套管、电容式电压互感器、GIS设备、开关柜和主变本体其中某一类后，本文利用了红外图像中所包含的比色条及其温度范围，建立了图像灰度值和实际温度间的函数关系，从而可根据灰度值换算设备实际温度。对拟合热点温度和实际温度进行误差分析，误差均值为-0.29%，误差的标准差为1.56%，满足使用要求。之后可据设备类型选用相应故障温度判据，结合实际温度与环境温度判断设备是否处于正常运行状态。

经实验证明，所提方法可准确高效地对设备故障与否实现判断。最后对该方法使用图形界面进行了软件封装，便于运维人员使用；另外该诊断流程也可嵌入到手机或巡检机器人等终端中。下一步可考虑使用YoloV3网络进行目标监测，以期单独提取1张图片内多相设备的各相温度，从而更加准确判断故障。