多源信息融合的设备热缺陷智能实时检测方法

赵 锐，周雪枫

(国网大同供电公司，山西 大同 037008)

1 引言

变电站设备在长期受高压、高温工作状态后，设备部件会因破损、氧化腐蚀等原因导致劣化或过热运行[1]，甚至造成重大事故，因此定期对设备进行巡检是有必要的。红外技术因其速度快、精度高、非接触性而被广泛应用于变电站设备的热缺陷诊断[2]。通常是技术人员利用手持式红外热像仪巡查，或进行后续的人工或计算机识别，诊断效率较低。

随着人工智能技术发展，基于红外图像的变电站设备缺陷智能评估成为可能。Ahmed.M M[3]等提出了多层感知网络模型，对电气设备红外热像进行热缺陷智能预测和诊断。李文璞[4]等提出基于Faster RCNN算法对变电设备的缺陷识别。更多研究者针对热缺陷检测的实时性进行研究。

王彦博[5]等提出改进SSD算法，对热像图中的设备进行热缺陷检测。武建华[6]等人提出基于YOLOv3算法的绝缘子红外图像缺陷检测方法。基于此，卷积神经网络具有自动识别红外图像缺陷的能力[7]，但当前红外成像技术发展水不敏感，对图像设备类型识别准确率不高。

近年来，研究者提出将可见光和红外图像融合并应用于电力设备热缺陷诊断。Bushra Jalil[8]等集成红外与可见光图像来检测电力线热点。曹培[9]等提出基于多光源图像决策级融合的绝缘子污秽状态诊断方法。但上述文献只针对一类或少类的设备进行研究，在多目标设备检测方面，孙海铭[10]等基于Mask R-CNN算法对可见光图像识别，并结合红外测温技术对电力设备进行智能监测。Jin Yilin[11]等提出基于CNN对可见光图像进行分类，利用深度信任网络对融合图像进行缺陷诊断的方法。然而可见光和红外图像融合进行智能缺陷诊断仍较难满足实时性需求。

针对以上问题，本文提出综合利用可见光图像和热红外信息，改进的YOLOv4算法实现对可见光图像中多种设备识别与定位，并结合红外诊断技术对其主动测温并进行热缺陷判定，最终提出的多源信息融合的变电站设备缺陷检测方法，能够在不停电、无接触、无损的情况下实时精确地定位出缺陷的位置及缺陷严重程度，有助于实现电力设备热缺陷诊断的智能化和自动化。

2 图像预处理

2.1 红外图像预处理

由于采集的部分电力设备红外图像会受到外部环境因素的干扰，存在不清晰、噪点多等问题，且红外图像中的多个设备之间相互重叠，在一定程度上影响后续的监测结果，因此首先采用中值滤波对图像进行去噪，然后基于Gamma变换增强设备部位对比度的同时降低背景的对比度，使目标更加明显，Gamma变换方法如下

S=(I+ξ)γ

(1)

其中，I为输入的归一化灰度图，S为输出的归一化灰度图，ξ为补偿系数，γ为系数，本文基于实验对比选择ξ=0.1且γ=1.5。去噪和增强后的红外图像比原始图像更清晰、对比度更高、设备细节更明显。结果如图1和图2。

图1 原图像 图2 处理后图像

2.2 图像配准

可见光与红外图像配准是多源信息融合与热缺陷检测的基础。SIFT(Scale-invariant feature transform)描述子，不受视角变化和噪点的干扰，具有不变性和稳定性，可在图像中检测出关键点。然而可见光图像与红外图像尺度变化在不同方向存在明显差异，提取到的匹配特征点数会随之下降，从而导致配准可靠性降低。

因此，将粒子群优化(Particle swarm optimization，PSO)[12]算法作用于搜索匹配的特征点方法上，利用SIFT算子提取匹配特征点进行配准处理，从而获得准确的红外与可见光图像的变换关系。将图像匹配特征点数与相似度函数结合构成适应度函数，其中相似度函数同时考虑到距离、角度两个因素，fitness(·)越小，提取的匹配特征点越多，特征向量相似性越大，待匹配图像与基准图像匹配程度越高。适应度函数如下方法：

(2)

(3)

(4)

(5)

其中，u、v分别为待匹配图像与基准图像；N1、N2分别表示u、v提取到的SIFT匹配特征点个数。对于本文的多源图像，若直接采用SIFT算子进行图像配准，最终匹配正确点特征点极少，图像匹配失败；而粒子群优化后的SIFT算子，最终提取到一定数量的正确匹配特征点，实现可见光图像与红外图像的精准融合。配准过程和结果如图3。

3 改进YOLOv4的电力设备识别与定位

在对电力设备进行热缺陷监测之前，需利用深度学习算法实现设备的识别与定位。YOLOv4[13]算法在原有YOLOv3[14]的基础上，结合现有的技术进行了改进[15]，但由于骨干网络Cspdarket53结构复杂，需消耗大量的计算资源，该网络模型通常部署在GPU上，对硬件要求极高。本文提出优化的YOLOv4算法，减少模型参数、提升推理速度，使之能够在边缘端设备运行，并增加遮挡目标检测尺度与自适应空间特征融合(Adaptively Spatial Feature Fusion，ASFF)模块，有效地提高物体检测的准确率，弥补参数的减少导致的精度损失。改进YOLOv4模型结构如图4所示，主要由以下四个模块组成，分别在3.1，3.2，3.3，3.4节中进行阐述。

3.1 GhostNet特征提取网络

选择GhostNet[16]替换CSPDarket53作为骨干网络。2020年，华为诺亚方舟实验室提出GhostNet轻量级网络，其网络结构如图4，由多个Ghost bottleneck堆叠而成。当Stride=1时，Ghost bottleneck由两个堆叠的Ghost module组成，Ghost module结构如图5，shortcut负责连接输入和输出，当Stride=2时，在两个Ghost module间添加深度卷积，使用shortcut连接输入和输出。GhostNet作为轻量级网络，是由于网络中的Ghost module能够利用线性运算降低卷积层的计算成本，在移动设备上快速推理的各种任务上。

图3 图像配准流程与结果

图4 改进YOLOv4模型结构图

当输入数据X，高度为h和宽度为w，通道数为c，运用常规卷积生成的n个卷积层高度为h′，宽度为w′，卷积过程需要的运算量约为h·w·c·n·w′·h′，而Ghost module卷积其步骤可总结如下：

1)用常规卷积得到p个特征图Y′w′×h′×p，如式(6)所示

Y′=X*f

(6)

运算量约为h·w·c·p·w′·h′(忽略偏置项)。其中fc×k×k×p是滤波器，m≤n，*为卷积操作。

2)将Y′w′×h′×p每个通道的特征图Y′，用一系列轻量线性运算η操作来产生z个Ghost特征图Yij，如式(7)所示

Yij=ηi，j(Y′i)∀i=1，…，p，j=1，…，z

(7)

3)将第一步得到的本征特征图和第二步得到的Ghost特征图拼接，得到OutPut。

图5 Ghost module结构

3.2 PANet模块

YOLOv4选择路径聚合网络(Path Aggregation Network，PANet)作为特征融合模块。而变电站背景复杂、设备极易被遮挡，各类型设备位置密集，为了提高GhostNet对不同大小目标的检测精度，将GhostNet与PANet相结合，原有的3个尺度扩展为4个尺度，并且为了减少参数量和节约运算成本，将PANet模块的普通3x3卷积替换为深度可分离卷积(depthwise separable convolution，DSC)。

以416×416大小的输入图像为例进行说明。如图4所示，将特征图P1依次进行1次、2次、3次上采样，然后分别与相对输入图像8倍、4倍、2倍降采样的特征图进行concat(张量拼接)及5次卷积后，得到特征图P2、P3、P4，此时P4输出104×104的极小目标检测征图，同时P4下采样与P3融合并经过卷积后，输出52×52的小目标检测特征图，同时进一步下采样，与P2融合并经过5次卷积，得到26×26的中目标检测特征图，继续下采样与P1融合并经过卷积，得到13×13的大目标检测特征图。此时，得到了具有不同感受野的4个预测特征图。

3.3 ASFF模块

在变电站场景中，电流互感器、电压互感器、避雷器、套管、绝缘子等设备类型纹理边缘等特征信息颇为相似，PANet主要采用concat的融合方式得到的4个尺度特征图，如果直接进入YOLO Head进行多类设备检测时，在不同尺度之间存在语义鸿沟的问题，并不能充分利用不同尺度的特征，为解决多层间不同特征尺度之间的不一致性问题，添加ASFF模块，旨在自适应找出最合适的融合特征。ASFF过程如下：

1)以第m层特征图输出的尺寸大小c×h×w为基准，对其余特征图进行上下采样操作，保证待融合的多层特征图尺寸统一。

2)将得到的4个层级特征图经过1×1×N的卷积操作，N的设定如下

N=d·(5+nc)

(8)

其中，nc表示设备类别数量，d=4表示尺度数，得到尺寸均为N×h×w的4个空间权重向量，然后对其进行通道方向拼接，输出大小为4N×h×w的权重融合图。

3)对上述特征图经过1×1×4的卷积操作，得到4×h×w的权重向量。

(9)

(10)

5)将4个向量乘加到4个特征图上面，得到融合后的c×h×w特征图。方法如下

(11)

6)最终得到如图3所示的四个不同尺度的特征图：ASFF-1，ASFF-2，ASFF-3，ASFF-4。

3.4 YOLO Head预测模块

采用K-means算法获得12个锚点框，将每个图分成13×13、26×26、52×52、104×104的网格，每个网格需要预测3个边界框，并输出边界框中是否包含目标、边界框准确度的置信度以及每个网格预测属于nc个类别的概率。对所得边界框经过非极大值抑制筛选，得到最终预测结果。

算法的损失函数Lloss包括边界框坐标预测误差、边界框的置信度误差以及识别物体所属类别预测误差，即如下方法

Lloss=LcIou+Lcoord+Lcls

(12)

边界框坐标预测误差LcIou计算如式(9)所示

(13)

(14)

(15)

(16)

边界框置信度误差Lcoord计算方法如下

(17)

分类预测误差Lcls计算方法如下

(18)

4 电力设备热缺陷诊断

红外相机与可见光相机相对位置保持不变，因此经过图像配准后，图像间建立了一一对应的关系，红外相机对可见光图像所识别得设备区域进行主动测温，并且通过测温将被测物体的最高温度在融合图像上可视化，依据DL/T664—2016《带电设备红外诊断应用规范》[17]，针对所识别的不同类型的电力设备进行缺陷诊断，主要通过表面温度判断法，同类比较判断法和相对温差判断法将热缺陷严重程度分为三个等级：一般缺陷，严重缺陷，紧急缺陷。相对温差方法如下。

(19)

其中t1为热点温度；t2为正常对应点的温度；t0为环境温度基准体的温度；τ是相对温差。

5 实验设计与结果分析

5.1 实验环境

在太原市某220 kV变电站进行数据采集，数据集样本量为3547，包括绝缘子、套管、互感器、避雷器、变压器等多种设备类型，对数据按照VOC2007数据集格式进行标注，从总样本集中按6：2：2比例划分训练集、验证集、测试集。

红外传感器采用分辨率为384×288的XCore LT系列测温型非制冷红外机芯组件，可见光相机采用640×480像素AF自动对高清摄像头模组，镜头25mm。操作系统为Linux ubuntu 16.04 LTS，Intel core i7-6800k CPU，计算机内存8GB，采用Pytorch 1.6、CUDA 10.1等环境搭建模型，使用GeForce GTX 1080显卡进行模型训练等。

模型训练时设置Batchsize大小为32；初始学习率0.01；衰减率设置为0.0005，epoch为10000，动量momentum为0.9。使用聚类得到12个锚框，大小为(6、20)、(10、59)、(11、32)、(16、48)、(19，89)，(24，148)、(29，44)、(30，75)、(35，105)、(40，195)、(58，264)，(104，224)，将它们均匀分布到四个特征图中。

5.2 模型检测结果分析

模型训练过程的Loss曲线如图6，横坐标表示模型训练轮数，纵坐标表示对应损失值，训练开始时，损失值约为0.9，随着训练轮次的增加，损失值逐渐减小，在训练8000轮后，损失值稳定在0.1左右，达到较好的训练效果。

图6 训练过程中的损失变化

改进模型对可见光图像中套管的检测结果如图7所示，该算法对背景复杂、设备外观极为相似、遮挡目标、不易被人眼察觉的设备都可精准识别与定位。利用训练好的改进YOLOv4模型进行了一系列实验，并通过测试图像验证了算法的性能。测试指标主要包括精度(Precision)、召回率(Recall)、平均精度(Mean Average Precision，mAP)、FPS等。

图7 改进模型检测结果

5.2.1 主流实时检测模型性能对比

为了验证在构建的数据集上所选用基础网络YOLOv4的性能，将YOLOv4与主流检测模型SSD[18]、YOLOv3进行了比较。由表1可知，无论是在准确率、召回率、mAP还是预测速度上，YOLOv4表现均优于其它模型。

表1 主流模型性能对比

5.2.2 不同特征提取网络性能对比

为了验证所替换的轻量级网络的优越性，在YOLOv4基础上，将深度可分离卷积代替普通卷积后，使用不同轻量级特征提取网络进行实验。如图8所示，在目前比较先进的轻量级网络中，GHostNet参数量最少，且在保证了mAP最高的同时预测速度达到了最快，原因在于MobileNetv3[19]和ShuffleNetv2[20]模型中1×1卷积层会占用大量内存，且并未很好利用特征映射之间的相关性和冗余性，而GhostNet网络识别性能相当的同时，可降低卷积层的计算成本，是部署到边缘设备进行快速推断的最佳选择。

图8 不同backbone的YOLOv4性能对比

5.2.3 不同改进方案的模型性能对比

由图7可知，替换特征提取网络与普通卷积后，模型虽减少大量参数，但造成检测结果的精度损失。因此，在轻量化处理模型的基础上，研究了四尺度检测(4L)，ASFF模块对算法的影响，实验结果如表2所示，在分别引入ASFF模块和小目标尺度后，检测的mAP分别提高了2.5%，4.0%，而文中算法mAP达到了93.56%，极大提高了设备检测的准确率，弥补了由于减少参数带来的精度损失，且只是增加了极少的计算量，仍然获得了良好的实时性。

表2 不同改进方案的模型性能对比

5.3 热缺陷诊断结果

本文最终实现了可见光图像与红外图像融合可视化，对设备精准识别定位并进行缺陷检测等功能。如图8所示为在变电站进行试验后的结果，环境温度为20℃。以变压器套管为例，如图9(a)所示，一共检测到四个套管设备中最高温度为27.8℃，最低温度为21.8℃，各相设备温差较小，经不同相位对比判定图像中所有套管并无异常发热症状，均处于正常工作状态。如图9(b)所示，检测到的套管表面温度虽小于55℃，但与其它同类设备两个测温点对应温差较大，根据式(11)计算，相对温差超过35%，从而判定为一般缺陷。如图9(c)所示，其中一个套管表面最大温度已超过55℃，且与同类设备温差相差甚大，从热像图也可直观看出此设备区域存在明显的温度差异，判定为严重缺陷。

5.4 近期研究比较

对近期文献中基于单源信息与多源信息的缺陷检测研究对比结果见表3，文献均采用自建非公开的数据集，因此文中的对比采用文献中提供的结果。文献A将Faster RCNN算法与温度阈值判别法结合进行缺陷识别，检测平均精度达到90.61%，缺陷识别准确率为81.33%。文献B采用MobileNet骨干网络的SSD算法对设备以及缺陷进行识别，最终设备检测与缺陷检测准确率86.7%，速度17FPS。文献C基于改进的YOLOv3网络模型对高压引线连接器红外图像进行缺陷诊断，平均检测精度时间分别为84.26%、0.308s。文献D利用CNN网络与深度信念网络来判断设备缺陷，缺陷分类最高准确率为88.33%。文献E利用Mask R-CNN算法与红外测温技术对设备区域进行诊断，设备识别准确率为93.2%。本文基于改进YOLOv4算法，检测精度达到93.56%的同时，推理速度提升到35FPS，可应用于边缘端设备。

图9 热缺陷检测结果

表3 不同研究方法的结果对比

6 结论

本文针对现有目标检测算法对变电站设备缺陷诊断准确率不高，难以满足边缘端设备实时检测等问题，提出将可见光图像与红外信息融合，对设备进行识别以及缺陷诊断的方法。通过对YOLOv4模型进行改进，采用轻量级网络GhostNet作为特征提取网络，将深度可分离卷积代替普通卷积，大幅削减参数量，并在此基础上增加遮挡目标尺度检测，引入ASFF增强特征信息，在保证高精度的同时实现了推理速度的大幅提升，最终mAP值达到93.56%，推理速度达到35FPS，实现了对不同类型的变电设备热缺陷的诊断，可用于变电站场景的设备热缺陷实时监测。