一种瓷支柱绝缘子红外图像目标检测算法

2023-11-28周阳洋胡俊华尹骏刚李庆明吴慧玲

浙江电力 2023年11期

周阳洋，胡俊华，徐华，尹骏刚，李庆明，吴慧玲

（1. 国网浙江省电力有限公司，杭州 310007；2. 湖南大学电气与信息工程学院，长沙 410082；3. 湖南湖大华龙电气与信息技术有限公司，长沙 410205）

0 引言

支柱绝缘子作为绝缘控件，被广泛应用于变电站中。由于支柱绝缘子暴露在室外复杂环境下长期运行，受到机械载荷、浮尘、冰雹、酸雨、震动等多种复杂因素的影响，其机械性能与绝缘性能会逐渐下降，进而产生缺陷［1-3］。缺陷支柱瓷绝缘子无法承受正常的机电负载，会导致异常发热、局部放电等现象，甚至出现断裂事故，对电力系统安全稳定运行产生严重威胁［4-5］。

目前，瓷支柱绝缘子故障检测方法包括超声波、振动声学、可见光、红外检测等，其中，支柱绝缘子红外检测技术分为红外热波法和红外热像法两类。王黎明等［6］提出一种基于红外热波技术的支柱瓷绝缘子无损检测方法，利于闪光灯对支柱绝缘子施加高能光脉冲，通过分析红外热像仪采集的红外热图序列识别缺陷支柱绝缘子。红外热像法应用于悬式绝缘子劣化检测的时间相对较早，研究人员在边缘检测、目标分割、特征提取、智能识别等方面开展了大量研究，取得了较好的实用化效果［7-9］。杨高坤［10］提出一种基于YOLOv4的电力设备红外图像故障诊断算法，平均精度与检测速度分别达到了91.23%和69.1帧/s。段中兴等［11］针对电力设备红外图像存在的图像视觉效果差、尺度差异性大、数据类别不平衡等问题，提出了一种基于改进YOLOv4 的目标检测模型，所提方法对8 类电力设备的平均识别精度达96.31%，检测速度达71帧/s。顾星等［12］针对红外场景中目标检测精度低、实行性差的问题，提出一种基于注意力机制的红外目标检测方法，检测精度和速度有了显著提高。刘冬等［13］针对地面复杂场景下，红外目标检测准确率低、网络模型过大难以应用于移动或嵌入式平台等问题，提出一种轻量级红外实时目标检测模型MCA-YOLO。王媛彬等［14］提出一种基于轻量骨干网络和注意结构的变电设备红外图像识别算法，通过在YOLOv5 骨干网络中引入Ghost 卷积，实现网络轻量化，使得整体识别精度达到93.80%，检测速度达到了90.9 帧/s。刘国特等［15］提出了一种基于改进级联Gentle Adaboost（G-Adaboost）的支柱绝缘子红外图像AI 识别算法，将支柱绝缘子作为正标签，其他作为负标签，利于Haar-like 进行特征提取，通过改进弱分类器和权值更新规则，提高精度和减少检测时间，并将其串联，得到的模型对多目标检测精度达到了93.90%。

总的来说，目前针对支柱绝缘子红外热像目标检测模型的研究较少。随着深度学习技术的迅速发展，其卓越性能远超经典算法，图像检测精度大幅提高。本文提出一种瓷支柱绝缘子红外图像轻量级目标检测算法，通过改进YOLOv7 训练一种针对瓷支柱绝缘子的轻量级目标检测模型，将普通卷积核替换为膨胀卷积核，使用DMobilenet 替换主干网络ELANCSP，实现红外图像多目标快速检测和精准定位。

1 目标检测模型结构

1.1 主干网络替换

YOLO 目标识别定位算法，开创性地将候选区与对象识别两个阶段变成一个阶段，极大地提高了检测速度，在目标识别领域被广泛使用。当前的YOLOv7结构主要分为主干网络ELANCSP、加强特征提取的SPPCSPC（空间金字塔池化）及PANet预测网络。本文使用D-Mobilenet网络替换ELANCSP网络，如图1所示。

图1 YOLOv7模型网络结构替换Fig.1 Network structure replacement of YOLOv7 model

1.2 膨胀-深度可分离卷积

膨胀卷积通过给卷积核增加间隙来变相地增大感受野。如果每两个相邻元素之间有D-1 个空洞，则卷积核的有效大小可表示为：

式中：K为膨胀卷积核实际尺寸；k为标准卷积核尺寸；D为膨胀率，当D=1时卷积核为标准的卷积核。

该卷积增加感受野同时不增加参数量，利于提取更深层次的特征，本文提出一种类似Mobilenetv2的轻量级神经网络，在深度可分离卷积层中加入膨胀卷积核。DDSC（膨胀-深度可分离卷积）结构如图2所示，通过逐点卷积将深度卷积输出的无关特征图融合。

图2 膨胀-深度可分离卷积结构Fig.2 Structures of dilated convolution and depthwise separable convolution

根据式（2）得标准卷积计算量：

根据式（3）得深度卷积的计算量：

根据式（4）得逐点卷积的计算量：

式中：Gc为标准卷积计算量；Gf为标准卷积后特征图边长；Gk为标准卷积核边长；I为输入通道数；O为输出通道数；Dc为深度卷积计算量；Df为膨胀卷积后特征图边长；Dk为膨胀卷积核有效参数边长；Pc为逐点卷积计算量。

输入6×6×3 的特征图，padding（填充）、stride（步幅）分别为1，卷积核为3×3（膨胀卷积核5×5），输出6×6×4 的特征图。普通卷积参数为108（3×3×3×4，卷积核大小×输入通道数×输出通道数），计算量为3 888（6×6×108，卷积核移动次数×普通卷积参数）。膨胀-深度可分离卷积参数为39（3×3×3+3×4，膨胀卷积核有效大小×输入通道数+输入通道数×输出通道数），计算量为624（4×4×39，膨胀卷积核移动次数×膨胀-深度可分离卷积参数）。与普通卷积相比，DDSC的参数量与计算量明显减少。

本文提出D-Mobilenet网络，由于在检测过程中使用膨胀卷积，会丢失部分图像连续信息，影响对小目标的识别。为保持对于小目标识别的足够精度，仅在主干网络高层加入了部分膨胀卷积。

1.3 特征金字塔结构

本文特征金字塔的网络结构是指网络替换后，除去YOLO Head 和D-Mobilenet 外的部分，模型使用SPPCSPC 层，防止图像拉伸和裁剪过程中，由于输入图像尺寸不一致，导致图像失真的现象。SPPCSPC层结构如图3所示。

图3 SPPCSPC结构Fig.3 Structure of SPPCSPC

使用大小不同的池化核（无处理、5×5、9×9和13×13）对D-Mobilenet 主干网络的末尾特征层进行最大池化，增加轻量级网络的感受野，分离出红外图像中的有效特征。PANet（路径聚合网络）结构如图4所示。

图4 PANet结构Fig.4 Structure of PANet

其中，Multi_Concat_Block、UpSampling2D、Transition_Block 分别是多重分支堆叠、上采样、分支堆叠下采样模块。由于残差结构容易优化，因此多重分支堆叠中大量使用该结构，同时可以增加网络深度来增加精度。但为避免网络深度过深造成梯度消失，在残差块中使用大量跳跃连接。

1）多重分支堆叠模块

Left1 使用一个CBS（Conv2d+BN+SiLU，卷积标准化激活函数），Left2 使用一个CBS，Left3 使用3 个CBS，Left4 使用5 个CBS，将4 个特征层堆叠后再使用一个CBS来特征整合。

2）分支堆叠下采样模块

左部分是一个最大池化和一个卷积，右部分是两个卷积，将两部分的结果堆叠输出。

多重分支堆叠模块与分支堆叠下采样模块如图5、图6所示。

图5 多重分支堆叠模块结构Fig.5 Structure of multi-branch stacked modules

图6 分支堆叠下采样模块结构Fig.6 Structure of branch-stacked sampling modules

使用FPN（特征金字塔网络）的PANet 结构对有效特征层进行特征融合。

1.4 预测框机制

本文的轻量级网络模型在对红外图像多目标检测时，首先是在多尺度特征图的中间层、中下层和底层上提取3个有效特征层。它们的shape（形状）分别是（80，80，512）（40，40，1 024）（20，20，1 024）。输出层的shape 分别是（20，20，18）（40，40，18）（80，80，18），输出层shape的最后一维度为18，是因为支柱瓷绝缘子代表1个类，再加上4个调整参数（x_offset 和y_offset 代表x和y坐标偏移量，h和w代表框的高和宽）和置信度1，就有最后的维度3×（1+5）=18。

表1 先验框与真实框比值结果Table 1 Ratios of prior bounding box to ground truth box

YOLOv7 的9 个先验框分别为［12，16］、［19，36］、［40，28］、［36，75］、［76，55］、［72，146］、［142，110］、［192，243］和［459，401］。假设真实框为［200，200］，设定阈值为4，比较结果比值如表1所示。

取表1 每行的最大比值，获得下述矩阵：［16.66666667，10.52631579，7.14285714，5.55555556，3.63636364，2.77777778，1.81818182，1.215，2.295］

由上可知，矩阵中比值小于4的有5个，在其分别对应的不同尺寸先验框中，［76，55］、［72，146］属于40×40，［142，110］、［192，243］和［459，401］属于20×20，此时的先验框可用作真实框的预测。

YOLOv7的Loss（损失）由3个部分组成：

1）通过真实框获取对应先验框的预测框，用真实框和预测框计算损失，如式（5）所示。

式中：RCIOU为完整交并比；RIOU为交并比；k为预测框中心；kt为真实框中心；ρ2（k，kt）为两个中心欧式距离；c为两框最小闭包区域对角线距离；α为v的影响因子；v为预测框。真实框宽高比相似度由式（6）、式（7）得出。

式中：ht和wt分别为真实框的高和宽。

2）把真实框对应先验框看为正样本，其余的看作负样本，根据样本和特征点预测位置是否包含目标计算交叉熵损失。

3）获取真实框和预测框的种类预测结果，计算预测结果交叉熵损失。

2 数据增强

2.1 红外图像数据集

本文实验采用某变电站支柱瓷绝缘子的红外图像（共计450 张）作为模型训练样本，通过SJS（剪切、抖动、缩放）方法将数据扩充至650张，并进行标注，最后得到约1 300个检测对象。

2.2 数据增广

SJS方法是对图像进行仿射变换、缩放，并且进行长和宽的扭曲、旋转、平移，在其多余的地方填充黑条将图片变得更加多样。如图7所示，一张红外图像生成了新的4 张图像，形态发生了变化。经过这样处理的图像，可以增强神经网络鲁棒性，有利于网络对小目标的识别，提高了识别精度。

图7 红外图像增广Fig.7 Infrared image augmentation

Mosaic 数据增强是随机对4 张不同红外图像分别使用仿射变换、翻转、放缩等技巧，并且贴合进行摆放，最后将4张新图片拼接为一张可用作训练的新图像，如图8所示。

图8 Mosaic数据增强效果Fig.8 Mosaic data enhancement effect

这样在进行BN（批归一化）过程中，会有4个目标红外图像的信息。使用Labelimg 手动标注上述红外图像目标并自动保存xml 文件，其中包括框的坐标信息Xmin、Ymin、Xmax、Ymax以及框内检测对象类名称，将标注好的xml 文件和支柱瓷绝缘子的红外图像转化为标准格式的Pascal VOC 数据集。

3 实验结果及分析

3.1 实验环境与实验流程

实验环境：在Windows10 64 位操作系统中采用PyTorch 框架搭建网络，GPU：NVIDIA Ge-Force RTX 2080Ti。CPU：Intel Core i5-11600KF@3.90GHz。

本文的轻量级模型为减少参数量、增加输出单元的感受野，提出D-Mobilenet 主干网络结构，并且替换YOLOv7 中的ELANCSP，提取3 种不同尺度的有效特征层。通过SJS 方法进行数据扩充，运用K-means 聚类方法确定先验框的个数与尺度，将用于训练的红外图像全部设置为640×640大小。

在迁移学习中设置多阶段训练方式，将Pascal VOC权重参数迁移过来作为初始权重，可以加快网络收敛，减少训练时间。在前50 轮冻结训练中，将学习率设置为1×e4，后250 轮训练中，学习率设置为上限1×e6、下限1×e7，使用余弦退火技巧调整学习率，避免陷入局部最优解。在训练过程中同时使用Mosaic 数据增强来提高网络的训练效果。利用训练好的模型对目标进行检测时，采用非极大抑制对检测产生的有效边框进行筛选，不断重复操作，保留最后的框。最后构建基于YOLOv4、YOLOv5、YOLOv7、G-Adaboost 算法的输电线路目标检测模型与本文算法的轻量级目标检测模型进行性能比较。

3.2 评价准则

本文用mAP（平均精度均值）、模型内存大小和FPS（每秒帧率）作为模型性能判断依据，计算公式为：

式中：APi为检测单个目标的精度；N为目标个数；NS为检测图片总时间；WmAP和WFPS分别为mAP和FPS的计算值。

3.3 消融实验

在输入图像分辨率为640×640 条件下，对测试集图像进行YOLOv7 与两种改进模型的消融实验。由表2 可见，VOLOv7 骨干网络替换为MobileNet 后，与原网络相比，精准度虽下降0.6%，但模型体积减少61%，检测速度提升9.1%。进一步地，在MobileNet加入膨胀卷积核后，相比原网络，精准度虽降低0.2%，但模型体积减少67.5%，检测速度提升了18.4%。由此可见，D-MobileNet更具实时检测的优越性。

表2 YOLOv7与改进模型的消融实验研究Table 2 Study of ablation experiment of YOLOv7 and the improved model

3.4 模型检测效果

为验证本文轻量级模型可用性，因此训练YOLOv4、YOLOv5、YOLOv7、G-Adaboost 算法的红外图像目标检测模型，从保存的权重文件选取损失最低的进行检测性能对比，如表3 所示。可知本文算法的mAP 高于YOLOv4、YOLOv5、G-Adaboost。与YOLOv4 相比，YOLOv7 减少75%的参数，36%计算量，AP 增加1.5%，完全满足支柱瓷绝缘子红外图像识别的需求。值得关注的重点是，本文提出的轻量级模型大小只有51.1MB，但又保持了较高的精度，可以满足移动端或嵌入式设备上部署的条件。

表3 不同算法模型的性能对比Table 3 Performance comparison of different algorithmic models

将本实验算法与YOLOv4、YOLOv5、YOLOv7 以及G-Adaboost 检测算法的识别效果进行比较。如图9 所示。本文所提出的轻量级算法模型，检测速度更快、精度更高，能够快速、准确地识别出目标，预测框更贴合检测对象，用低于YOLOv7模型0.2%的识别准确率换取了18.4%的检测速度提升。