输电线路金具巡检图像倾斜缺陷检测技术研究

摘 要：针对当前输电线路无人机巡检图像中金具倾斜缺陷存在角度量化困难、判定主观性强的问题，提出融合多尺度残差网络的金具倾斜类缺陷检测技术。通过中心点坐标和旋转角结合的方式表示有向边界框，实现设备倾斜角度的有效量化；利用角度回归提高倾斜锚框检测灵敏度，实现输电线路倾斜类缺陷的识别和精确定位。经现场验证，线夹偏移类缺陷检测准确率由86.2%提升至95.02%，均压环倾斜类缺陷检测准确率由87.76%提升至98.11%，绝缘子倾斜类缺陷检测准确率由85.34%提升至96.12%，满足现场应用需求。

关键词：多尺度残差网络；旋转锚框；均压环倾斜检测；线夹偏移缺陷；绝缘子倾斜检测

中图分类号：TP391.4； TP183 文献标识码：A 文章编号：2096-4706（2024）16-0113-05

Research on Tilted Defect Detection Technology of Transmission Line Fitting Inspection Image

Abstract： Aiming at the problems of difficult angle quantification and strong subjectivity in determination of tilted defect of fitting in the current UAV inspection image of transmission line， the tilted defect detection technology of fitting tilted class is proposed by integrating Multi-scale Residual Network. Through the combination of cen145b1e8a0a34fc10d14bf916493ad273ter point coordinates and rotation angle to represent the directed bounding box， the effective quantification of the tilted angle of the equipment is realized. The angle regression is used to improve the detection sensitivity of the tilted anchor box， and to realize the identification and precise positioning of the tilted defect in transmission line. After on-site verification， the detection accuracy of clamp offset defect is increased from 86.2% to 95.02%， the detection accuracy of grading ring tilted defect is increased from 87.76% to 98.11%， and the detection accuracy of insulator tilted defect is increased from 85.34% to 96.12%， which meets the requirements of on-site application.

Keywords： Multi-scale Residual Network; rotate anchor box; grading ring tilted detection; clamp offset defect; insulator tilt detection

0 引 言

随着输电线路规模的不断增长，输电线路巡检任务与人员配置不足的矛盾日益突出。输电线路巡检方式亟须由人工巡检向大规模智能化巡检方式转变。输电线路巡检机器人、无人机等智能装备的应用，有效提升了巡检效率，同时产生了海量图像数据。机器学习、深度学习等深度网络模型技术的发展，为海量数据智能分析提供了解决方案[1]，但随着深度模型技术在输电巡检图像分析中的应用探索，输电巡检图像中金具倾斜、污秽、松动等受拍摄角度、部件位置、周边环境影响较大的缺陷，模型无法实现精准检测。如何对复杂环境下特征表现复杂、受巡检人员主判别影响大的输电线路设备缺陷进行精确定位识别，是当前输电线路缺陷智能识别中亟待解决的重要问题。国内外学者针对以上问题进行了大量研究，文献[2]使用最大类间方差法和霍夫变换结合的方法对绝缘子掉串缺陷进行识别，但未对绝缘子故障精确定位。文献[3]对绝缘子骨架进行提取，实现绝缘子故障分类识别，因受航拍图像中复杂背景的干扰存在局限性。文献[4]根据RGB各分量阈值和范围实现对目标和背景的分割，根据纹理特征对绝缘子串进行定位，该方法易受到天气、光线影响将绝缘子串误判为背景。文献[5]使用Faster R-CNN（Fast Region-based Convolutional Network）算法，对输电线路上防震锤进行定位检测，但未实现防震锤典型故障检测。文献[6]利用密集连接网络替换SSD（Single Shot MultiBox Detector）模型的骨干网络，结合特征金字塔，提升模型对小目标的检测能力。但小目标受杆塔等背景的影响较大，缺乏缺陷检测适用性。文献[7]将真实巡检影像和虚拟巡检影像组成联合训练集，利用Faster R-CNN模型对销钉缺陷进行检测，但是存在网络结构复杂，利用率低下问题。文献[8]将SSD的VGG（Visual Geometry Group）主干网络替换为Resnet50，在扩大感受野的同时保留更多浅层语义信息，故障检测精度有待提高。文献[9]、文献[10]使用多尺度区域建议网络MS-RPN（Multi Scale-Region Proposal Network）替换RPN网络，使用RoI（Region of Interest）卷积池化，提升鸟巢等小目标检测率，但该方法只针对少量类别进行检测，较难满足实际应用。文献[11]通过改进Faster R-CNN模型以解决输电线路缺陷中金具的遮挡问题，主要解决遮挡的一系列金具故障问题，缺少对金具整体故障检测效率的提升。文献[12]根据温度信息对悬式磁绝缘子的劣化状态进行判断，该方法仅针对单个绝缘子红外图像进行故障诊断，无法对原图像的绝缘子故障进行精确定位。文献[13]为提高轮廓曲率的控制能力，使用融合Hessian矩阵的balloon Snake模型对防震锤缺陷进行识别，使用传统方法实现，实时性较差。

综上所述，现有的目标检测算法均通过水平锚框进行缺陷定位和识别，无法真实反映均压环倾斜、线夹偏移等倾斜类的目标形状，因此对此类故障的识别效果较差。为解决输电线路上倾斜类故障研究检测困难、缺陷识别效率低下问题，扩充倾斜类故障研究策略，本文以均压环、线夹、绝缘子的缺陷检测为主要目标，受遥感目标检测方法的启发[14]，通过分析旋转样本标注方法，融合多尺度残差网络，结合SE（Squeeze and Excitation）注意力机制模块、角度回归等方法，对输电线路倾斜类缺陷进行检测。

1 多尺度残差网络

Resnet网络提出了残差单元的跳层连接方式，将输入单元直接与输出单元加在一起，解决了深度神经网络的退化问题和梯度消失问题。因此本文使用多尺度融合的残差网络对特征进行提取。

Res2net重建普通的Resnet架构，模块架构图如图1所示。在原有残差单元中增加小残差块，改变其中的bottleneck block，在一个给定残差块中使用分层的、层叠的特征组，取代单个通用的3×3卷积核，增加每一层感受野的大小。为保证计算量不发生改变，Res2net结构采用更小卷积组来代替bottleneck block中的3×3卷积，首先将经过1×1输出的特征图按照通道数均分为s块，每一部分为xi，每一部分为xi，i∈（1，s）。图中，kj表示3×3卷积操作，其中j的取值范围为（1，s-1）。除第一个x1直接输出到对应y1外，从x2开始，每一分块均进行3×3卷积，将卷积后的结果进行两次处理：一条线路将结果送入xi+1特征图中，与xi+1特征相加后继续进行3×3卷积；另一条线路直接将特征图向前传播给yi。重复以上操作，直到处理完s个特征图分块。最后，将所有组输出的yi连接起来送入到下一个1×1的模块，进行信息的完全融合。Res2net省略x1的3×3卷积，不仅在增加s的同时减少参数量，而且对提取的全局和本地信息进行重复利用，增加了感受野大小。

2 算法改进策略

2.1 SE（Squeeze and Excitation）模块

输电线路巡检图像，包含大量大视野图像，大视野图像背景极度复杂，在分辨率较高的图像下，缺陷样本的像素占比较小。Faster R-CNN、YOLO（You only look once）等识别方法对缺陷本身学习效果较差，复杂背景对其影响较高。SE模块为通道注意力模块，该模块利用卷积特征通道之间的相互依赖关系，实现网络的特征重新校准机制。通过该机制，提升网络使用全局信息的能力，选择性的强调关键信息特征，抑制非关键特征。因此将Res2net网络与注意力SE模块融合，提高模型在复杂大视野下关键信息学习效率，抑制非关键信息。

Excitation操作衔接于Squeeze操作之后，该操作将1×1×C通道描述符作为输入，产生每个通道调制权重的集合。生成的权重集合被应用于原始的特征图U上，以得到SE模块的输出结果，该结果将直接送到网络后续层。

Squeeze操作利用全局平均池生成通道统计信息，将全局信息压缩到通道描述符中。Zc为特征图U通过其空间维度H×W收缩产生的，具体操作如下：

为充分利用Squeeze操作中聚合的全局信息，Excitation操作使用融合Sigmoid激活函数的筛选机制，用以获取各通道之间的非线性关系。

将学习到的各个通道使用Sigmoid函数激活，乘以U上原始特征，获得SE模块的最终输出：

在SE模块中，全连接层和特征融合相乘是SE实现注意力机制的重要途径。假设输入1个H×W×C图像，经过全局池化和全连接层，输出图像为1×1×C，与原图像相乘，对图像每个通道赋上权重。为降低计算量，对每个噪声点均赋予权重，并自动将低权重的噪声点去除，保留高权重噪声点，减少网络运行所需时间。

SE模块的整个操作学习到了各个通道权重系数，使模型对各个通道的特征更加具有辨识能力。

2.2 旋转损失函数

目前，主流目标检测算法均使用边界框回归模块进行目标定位。边界框回归方法使用矩形边界框预测目标对象在样本图像中的位置，使预测边界框位置更加精细化，提升定位准确率。该方法常见损失函数在水平目标检测中效果显著，对于倾斜和密集物体检测存在一定局限性。本文利用输电线路典型缺陷存在的偏移角度特点，以Sigmoid函数与Focal Loss函数为基础，结合带有旋转参数的OBB，引入多任务损失函数，对线夹偏移和均压环移位缺陷进行检测。

为同时提高旋转角度和IoU（Intersection over Union）准确率，直接反应物体间IoU的情况，在回归子网络中附加角度偏移。将地面真实矩形的八点坐标作为输入数据，使用最小外接矩形函数计算目标的最小外接矩形，并返回x、y、w、h、θ五个参数，θ为最小外接矩形的角度信息，表示矩形的高w相对于X轴的锐角的角度，其数据范围为[-π/2，0]。回归边界框计算方法如下：

其中（x，y）表示最小外接矩形中心点坐标，w、h、θ分别表示最小外接矩形宽度、高度和角度。xa、ya、wa、ha、θa表示Anchor框中心点坐标、宽度、高度、角度，x′、y′、w′、h′、θ′表示预测边界框相关参数。角度示意图如图3所示。

多任务的损失函数如下：

其中，N表示Anchor的数目，tn’取值为0和1，当为前景区域时取1，当为背景区域时取0，即只对目标区域进行回归。v’表示预测的偏移量，v表示地面真实框的信息，tn表示目标对象的标签类别，pn表示用Sigmoid函数计的多个单独类别的概率分布，配合Focal Loss使用。表示超参数，默认为1，控制着Focal Loss和Smooth L1 Loss的平衡。Lcls、Lreg用Focal Loss和Smooth L1 Loss计算。

2.3 样本处理策略

因训练样本获取过程中，拍摄角度和距离的原因，样本图片的分辨率较高，单张图像包含的线路缺陷部件较少、且占原图比例较小。为提高模型学习率，在输入模型前对样本进行预处理。针对样本缺陷数量较少的问题，使用缺陷随机融合与切片的方法对图像中的缺陷目标进行扩充，提升缺陷数量，提高目标缺陷特征学习率。主要思想如下：

1）创建一张与原图相同大小的全黑图片作为背景。

2）根据输入样本的标注文档，确定原图中目标区域。根据目标区域坐标将黑色背景中相同位置填充为白色，之后将原图与黑色背景相与，在黑色背景上得到目标区域。

3）之后根据原图像和目标包围框的宽度和高度，设置待复制区域的复制范围和复制次数。最后计算偏移后的目标区域和其他目标区域的IoU，避免重叠和遮挡。

为了解决目标区域在全局图像中所占比例较小、下采样后目标特征容易被忽略的问题。采用对大分辨率的图像进行切片的方法，例如8 230×3 260的原始图像，切割成若干小图像进行推理。为防止某些目标被分割和截断，在两个小图像之间设置重叠区域。每张小图检测完成后，将所有box放在大图上，对大图进行NMS（Non-maximum suppression）操作，去除重叠区域的重复box。图5为切片后的样本效果。

3 算法改进策略

本文采用Resnet50为主干网络，融合Res2net模块和注意力机制的SE模块；损失函数为带有角度回归的损失函数；训练数据集包含缺陷正负样本训练正样本类别为2类：均压环倾斜和线夹偏移。为了更好验证本文所提出方法对缺陷检测的有效性，将本文方法与多阶段检测方法Cascade R-CNN进行比较，采用同一批数据进行训练和测试。本次训练共采集了5 700多个训练样本，并选择了430个样本进行测试，阈值设置为0.5。

表1呈现了改进方法的实验结果，使用AP值进行了对比，AP值计算方法如下：

式中：TP表示正确正样本值，FP表示错误正样本值，TN表示正确负样本值，FP表示错误负样本值。pi表示第i类的精确度，ri表示第i类的召回率。得到的AP值为第i类的平均精度。

其中“√”表示检测方法使用了该改进策略。针对输电线路设备存在多尺度及所处背景复杂等问题，引入SE模块；利用倾斜类缺陷具有的角度特征，在损失函数中加入角度参数，使用五参数进行回归，使算法检测的目标边界包围框更加精细；针对数据量少和相对分辨率低下问题，使用复制和切片的数据处理方法。表1直观的说明了引入SE模块后，检测方法的识别率有了明显提升，相比于融合Res2net模块的ResNet50模型，平均精确度提升了5.11%；引入角度参数后精确度提高了7.32%。经实验验证，两种方法的级联效果优于单一改进方法的检测效果。

从表2可以看出，本文对线夹偏移类和均压环移位的缺陷识别具有较好的效果，AP值在0.85以上。在相同条件下相比于Cascade R-CNN算法，线夹偏移类和均压环倾斜类分别提高了8.82%和10.35%。

为了证明本文缺陷识别的效果，图6、图7展示了两类方法的可视化结果对比。根据图中，Cascade R-CNN对于线夹倾斜和均压环倾斜的缺陷检测存在漏检，加入SE模块后，增加了召回。Res2net模块增强了感受野，之后使用旋转锚框的五参数进行回归，使样本缺陷检测精度提高8%～10%。

4 结  论

本文根据输电线路中倾斜类目标所具有的特点，构建了一种基于多尺度残差网络的缺陷识别技术。采用SE模块使网络学习关键特征的能力得以提升；使用Res2net模块替换Resnet-50网络中的bottleneck block模块，用以进行各层信息之间的融合，提升了每一层的感受野；使用x、y、w、h、θ五个参数进行有向锚表示，融合角度参数θ进行损失函数的计算，提升对偏移多尺度缺陷识别的速率和鲁棒性。根据实验结果，本文针对输电线路倾斜类缺陷的特点提出的改进方法，更加准确地对该类缺陷进行了定位和识别，线夹偏移类和均压环倾斜类精度分别提高8.82%和10.35%。下一步将继续研究提高样本质量的方法，并提高倾斜锚框在输电线路其他类缺陷识别中的适用性。

参考文献：

[1] 姜浩然，金立军，闫书佳.航拍图像中绝缘子的识别与故障诊断 [J].机电工程，2015，32（2）：274-278.

[2] 翟永杰，王迪，伍洋，等.基于骨架提取的航拍绝缘子图像分步识别方法 [J].华北电力大学学报：自然科学版，2015，42（3）：105-110.

[3] 唐波，覃乔，黄力.基于色彩模型和纹理特征的输电线路绝缘子串航拍图像识别 [J].电力科学与技术学报，2020，35（4）：13-19.

[4] 王万国，田兵，刘越，等.基于RCNN的无人机巡检图像电力小部件识别研究 [J].地球信息科学学报，2017，19（2）：256-263.

[5] 谭红臣，李淑华，刘彬，等.特征增强的SSD算法及其在目标检测中的应用 [J].计算机辅助设计与图形学学报，2019，31（4）：573-579.

[6] 谈家英，付晶，蔡焕青，等.一种基于Faster R-CNN深度学习的销钉缺陷检测方法 [J].高电压技术，2018，44（zk2）：100-104

[7] 李瑞生，张彦龙，翟登辉，等.基于改进SSD的输电线路销钉缺陷检测 [J].高电压技术，2021，47（11）：3795-3802.

[8] 罗海保.基于改进Faster R-CNN的多尺度小目标检测算法研究 [D].北京：北京交通大学，2019.

[9] 王纪武，罗海保，鱼鹏飞，等.基于Faster R-CNN的无人机航拍图像小目标检测 [J].测试科学与仪器：英文版，2020，11（1）：11-16.

[10] 赵振兵，李延旭，甄珍，等.结合KL散度和形状约束的Faster R-CNN典型金具检测方法 [J].高电压技术，2020，46（9）：3018-3026.

[11] 高嵩，陆倚鹏，王笑倩，等.基于深度学习的悬式瓷绝缘子红外图像识别方法 [J].电力科学与技术学报，2020，35（5）：119-125.

[12] 戴永东，王茂飞，唐达獒，等.基于双视卷积神经网络的输电线路自动巡检 [J].电力科学与技术学报，2021，36（5）：201-210.

[13] HAIBIN W，YANPING X，WEIMIN F，et al. Damper Detection in Helicopter Inspection of Power Transmission Line [C]//2014 Fourth International Conference on In-strumentation and Measurement， Computer， Communication and Control （IMCCC）.Harbin：IEEE，2014：628-632.

[14] HAN J，DING J，XUE N，et al. Redet： A Rotation-Equivariant Detector for Aerial Object Detection [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Nashville：IEEE，2021：2786-2795.