基于自适应关键点的破损旋转绝缘子检测方法

龙玉江，卫 薇，舒 彧，张正刚，王道累，李 峰

（1.贵州电网有限责任公司 信息中心，贵阳 550000；2.上海电力大学 电气工程学院，上海 201306）

0 概述

随着现代社会的发展，人们对电力需求越来越多，需要更快速且便捷地实现电力线路巡检。绝缘子作为输电线路的重要组成部分，为线路提供机械保护。绝缘子的失效和损坏将直接威胁到输电线路的稳定性和安全性［1］。大部分绝缘子暴露在野外恶劣的气候条件下，容易出现裂缝、脏污、缺陷或雷击等安全隐患。据不完全统计，由绝缘子缺陷或雷击引起的线路跳闸等事故占比达到了电力系统故障的最高比例［2］。

近年来，由于航拍无人机具有高效、准确、安全等特点，因此这些设备已成为输电线路巡检的重要手段［3］。将计算机视觉中的目标检测技术应用于电网巡检可以显著减少人工工作量，提高检测效率，避免漏检和误检［4］。

尽管目前主流的卷积网络检测模型可以实现优异的检测效果，但是它们最终的回归帧是水平的，未考虑目标的倾斜角度和多样性。水平框的方法会产生更多的冗余信息，并影响检测后非极大值抑制结果［5］，导致网络过拟合，且无法准确提取绝缘体信息。绝缘子通常处于复杂的自然环境下，塔架和树木的遮挡和干扰使常规的检测方法无法精准地定位绝缘子目标。因此，在复杂背景下快速准确地检测输电线路中的绝缘体是当前研究热点［6］。

旋转目标检测主要应用于自然场景文本、航空图像等领域，这些检测器通常使用旋转边界框来描述对象的位置，例如，RRPN［7］使用旋转锚框提高区域建议的质量，R2CNN［8］是一种多任务文本检测器，可同时检测旋转和水平边界框，在TextBoxes++［9］中，使用长卷积核并增加Proposals 的数量来适应文本的细长特征。文献［10］提出1 个简单而强大的检测模型，在自然场景中进行快速准确的文本检测。文献［11］提出一种特征增强方式，将图像的全局特征与区域信息相结合。文献［12］从级联角度提出一种基于不同尺度卷积模块的旋转目标检测方法。文献［13］为提高模型对目标特征信息的关注度，设计一种像素注意力机制，并对模型损失函数进行改进，以解决旋转目标检测中的边界问题。文献［14］使用4 种边长比例表示边界框偏移值，并根据其真实边界框和水平矩形框的面积差异得到角度信息。文献［15］根据边界框的2 条中线实现目标的定位与识别。文献［16］通过Mask 分支预测得到旋转检测框，并设计细化特征金字塔网络（Feature Pyramid Network，FPN）结果以解决特征层尺度差异问题。文献［17］提出一种新型的FPN 结构，通过横向加强特征融合能力，提升网络在复杂环境下的检测效果。文献［18］提出1 个旋转平衡的特征对齐网络，采用对齐卷积层解决卷积特征对齐问题。文献［19］在YOLOv5 模型基础上实现旋转框检测，提升网络针对大纵横比物体检测的适用性。

为解决绝缘子检测中无法表现方向信息和复杂背景下检测困难的问题，本文针对Oriented RepPoints［20］中特征利用率较低、多尺度间信息混淆等问题提出一种多角度故障绝缘子检测方法。根据递归特征金字塔（Recursive Feature Pyramid，RFP）和坐标注意力（Coordinate Attention，CA）机制［21］设计一种递归强化特征金字塔网络（Recursive-enhanced Feature Pyramid Network，Re-FPN），大幅优化算法检测性能。

1 Oriented RepPoints 目标检测算法

传统的Anchor-base 方法通过直接回归边界框参数实现目标的识别和定位，但无法准确地反映目标的表现状态，如目标的形状、角度等。因此，在使用Anchor-base 方法时往往无法排除背景信息的干扰。针对该问题，当前大部分的旋转框检测器在回归时添加角度因子，这种方法可以快速生成旋转先验框，但仍存在损失不连续以及边界位置所带来的精度下降问题。因此，本文选用以自适应关键点为基础的Oriented RepPoints 检测方法，与直接回归角度参数相比，通过目标中心生成可自动学习的适应点转换作为边界框，具有更精细的定位能力和更优的对象特征提取效果。不同旋转框生成方法的提取效果对比如图1 所示。

图1 不同旋转框生成方法的提取效果对比Fig.1 Extraction effect comparison among different rotation box generation methods

Oriented RepPoints 检测器通过1 组自适应点进行建模，并逐步细化包围盒。自适应点集的初始化和自适应计算式如式（1）和式（2）所示：

其中：n表示采样点总数，默认设置n=9；为新采样点相对于旧采样点的预测偏移量。

采样点的学习由目标定位损失和目标识别损失共同主导，在计算定位损失时Oriented RepPoints 首先使用转换函数G将采样点转换为伪框，再计算转换后的伪框与真实框之间的差异。定向转换函数如式（3）所示：

其中：OOB表示从学习点集R转换而来的定向框。Oriented RepPoints 使用3 个定向转换函数完成采样点到真实框的转换。minAreaRect 函数旨在从定向对象上的学习点集找到具有最小面积的旋转矩形。NearestGTCorner 函数根据真实框信息，从学习点集中找到最近的点作为预测角点，用于构建四边形边界框。ConvexHull 函数用于定向实例多边形。

Oriented RepPoints 检测器的输出由2 个基于可变形卷积网络（Deformable Convolution Network，DCN）的识别阶段构成，其结构如图2 所示。可变形卷积可以很好地与Oriented RepPoints 配对。由于Oriented RepPoints 的卷积是在不规则分布的样本点集上进行计算的，因此其识别反馈可以指导这些点的定位训练。

图2 Oriented RepPoints 结构Fig.2 Structure of Oriented RepPoints

2 破损旋转绝缘子检测方法

本文对Oriented RepPoints 算法进行改进，结合CA 机制与RFP 提出一 种Re-FPN结构。其中，CA 机制将通道注意力分解为2 个一维特征编码过程，分别沿2 个空间方向聚合特征，从而加强模型对特征的方向感知。Re-FPN 通过递归融合信息获得更强的特征表示能力，解决Oriented RepPoints 算法方向信息感知不明显、忽略尺度归一化以及特征表现能力弱的问题。

2.1 递归强化特征金字塔网络结构

特征金字塔网络是目标检测的常用手段，在原Oriented RepPoints 中使用特征金字塔以解决多尺度检测问题，但是模型在分配采样点时无法根据目标真实框大小进行分配，导致在特征金字塔各层级间具有一定的相似性，且特征信息相互混淆。为此，本文使用Re-FPN 的递归操作深度融合不同层级间的特征信息，解决特征表现能力差的问题。Re-FPN 的结构如图3 所示。

图3 递归强化特征金字塔网络结构Fig.3 Structure of recursive-enhanced feature pyramid network

主干网络输出的特征图首先经FPN 处理，其计算式如下：

其中：Bi表示自下而上主干网络的第i级；Fi表示自上而下FPN 操作的第i级；xi表示输入特征图；fi表示输出特征图。图像经主干网络输出1 组特征映射{fi|i=1,2,…,S}，S为阶段数。

将FPN 输出的特征图进行特征转换，在将它们连接回自下而上的主干网络之前，Re-FPN 的输出特征fi定义为：

通过Re-FPN 使特征图不断地进行递归操作，并将其展开为1 个连续性网络，即∀i=1,2,…,S；t=1,2,…,T,T为展开迭代的次数，本文将T设置为2，其计算式如下：

其中：t表示步骤t的操作和特征图。

输出与反馈回主干的特征变换部分R由空洞空间金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）实现，以特征作为输入，并将其转化为Re-FPN 特征。ASPP 模块结构如图4 所示。

图4 空洞空间金字塔池化网络结构Fig.4 Structure of atrous spatial pyramid pooling network

ASPP 模块共有4 个并行支路，其中3 个支路使用空洞卷积层和ReLU 层，输出通道数为原始的1/4。第4 个支路使用全局平均池化层用于压缩特征，再用1×1 的卷积层和ReLU 层将压缩后的特征通道数转换为1/4 大小，最后将4 个支路的输出进行拼接，得到变换后的特征。

2.2 坐标注意力机制

输电线路大多数情况处于野外自然环境下，无人机拍摄的图片背景多为草地、塔架等，复杂的纹理信息会干扰网络对绝缘子纹理和轮廓信息的关注度，降低检测精度。为提高网络对特征的敏感度，本文采用CA 机制，通过2 个全局平均池化操作（XAvgPool 和YAvgPool）得到具有嵌入特定方向信息的2 个注意力特征图，再将注意力权重应用在初始特征图中，以强调注意区域的表示。坐标注意力机制结构如图5 所示。

图5 坐标注意力机制结构Fig.5 Structure of coordinate attention mechanism

网络将输入注意力的特征图分为高度和宽度2 个方向，各自进行全局平均池化，在得到沿宽度和高度2 个方向的全局感受野后，将2 个特征图拼接在一起，利用1×1 的卷积对其进行降维，调整特征通道数。采用Sigmoid 激活函数对其进行批量归一化和非线性处理。将得到的特征图再按照初始的2 个方向分别进行1×1 的卷积操作，将通道数调整为初始水平，并经过Sigmoid 激活函数处理得到初始特征图沿高度和宽度方向的注意力权重。最后将2 项权重加权至初始特征图，得到具有注意力权重的特征图。

2.3 损失函数

损失函数计算包括2 个阶段。第1 阶段通过从目标中心点细化生成自适应点集。第2 阶段通过最小化损失函数进一步获得精确调整。损失函数L如式（7）所示：

其中：λ1和λ2为平衡加权，其取值分别为0.5 与1.5；Ls1和Ls2分别表示第1 阶段和第2 阶段的空间定位损失；Lcls表示分类损失。Lcls损失函数如式（8）所示：

其中：Ri，cls表示预 测置信 度；bj，cls表示真 实类别；Fcls为焦点损失；Ncls表示点集的总数。每个阶段的Ls可表示为：

其中：Lloc表示转换后定向框的定位损失；Ls.c.表示空间约束损失。

本文设置Nloc为正样品点集总数，bj，cls表示真实框位置，则Lloc定义如下：

其中：Floc为定向四边形的GIoU 损失。

由于输电线路通常位于复杂的自然环境下，因此复杂的背景信息可能影响部分学习点的定位，导致其移出真实边界框。因此，本文定义一种空间约束加大偏移学习点的损失，空间损失定义如下：

其中：ρij表示惩罚函数；Na表示目标的正样本点集数；No表示点集中偏移出真实框的点数。

设pc为真实框的几何中心，给定边界框外的采样点po，惩罚函数定义如下：

3 实验结果与分析

3.1 数据集

为验证本文提出的算法在用于检测图像中的绝缘体数据集时的鲁棒性，本文构建一定数量级的绝缘体图像数据集，通过无人机巡检拍摄图片，结合公开数据集CPLID（Chinese Power Line Insulator Dataset）［22］共得到2 590 张绝缘子图像。

本文所构建的数据集是基于PASCAL VOC 数据集构建方法和Mosaic 数据增强方法得到的，通过水平镜像翻转、裁剪和随机旋转对现有绝缘子图像进行处理和过滤，最终构建8 650 张绝缘子数据集图像，按照8∶2 的比例划分为训练集和测试集。通过RoLabelImg 工具标注输电线路图像中的绝缘子，该工具可以标记具有多个角度的矩形，因此，在标记时矩形框应完全适合绝缘体目标，以防止混入其他冗余信息。

3.2 实验环境与评价指标

在本文实验中，训练采用Ubuntu16.04 位操作系统，NVIDIA Tesla T4（16 GB 显存）完成，PyTorch 采用1.7.0 版本。训练参数设置如下：为节省计算内存，将输入图像的大小调整为1 024×1 024 像素，权重由ImageNet 数据集的预训练模型初始化，模型训练150 epoch，batch_size 为16。SGD 用于更新权重，权重衰减和动量分别设置为0.000 1 和0.9，初始学习率为0.01，在40、80 和120 epoch 时，学习率除以10。

本文在目标检测中常用的模型评价指标为平均准确度（Average Precision，AP）。AP 由精度（P）和召回率（R）曲线所包围的区域构成。AP 计算式如下：

其中：P代表精度；R代表召回率；R'代表召回率阈值。

3.3 对比实验

在本文中，改进的算法被用作最终的训练模型来测试绝缘子图像数据集。通过与其他算法进行比较验证改进算法的优势，使用当前主流深度学习目标检测网络对绝缘体数据集的图像进行训练和测试，得到的对比结果如表1 所示。各检测算法的参数设置与开源代码中的原始参数相同，各检测算法的训练策略与第3.2 节相同，在模型训练收敛后记录相应精度参数。

表1 不同算法的实验结果对比 Table 1 Experimental results comparison among different algorithms %

本文算法的AP@0.5 达到96.1%，超过所有主流目标检测算法，与原始Oriented RepPoints 算法（主干网络ResNet101）相比，本文算法提高了2.1 个百分点，验证本文算法在绝缘子目标检测问题上的实用性。图6 所示为常用目标检测算法YOLOv4 与本文算法检测效果的对比。从图6 可以看出，在复杂背景（森林、草地及塔架等）及图像中存在多绝缘子情况下，YOLOv4 算法出现部分漏检的情况，而本文算法依然能准确地定位和识别绝缘子目标，并表现出其方向特征。

图6 YOLOv4 算法与本文算法的可视化结果对比Fig.6 Visual results comparison between YOLOv4 algorithm and the proposed algorithm

3.4 消融实验

本节采用ResNet50 和ResNet101 作为主干网络进行消融实验。消融实验结果如表2 所示。从表2可以看出，以ResNet50 和ResNet101 作为主干网络时，加入递归强化特征金字塔的AP@0.5 分别提升1.4 与1.3 个百分点，加入CA 时AP@0.5 分别提升0.8和0.5 个百分点。消融实验结果证明该算法在不同主干网络上均能有效提升检测准确度。

表2 消融实验结果 Table 2 Ablation experiment results %

本文对Re-FPN 的最优递归次数T进行消融实验，采用ResNet50 作为主干网络，使用坐标注意力机制，训练参数均与第3.2 节一致。递归次数消融实验结果如表3 所示。

表3 递归次数消融实验结果 Table 3 Recursive times ablation experiments results

从表3 可以看出，递归次数越多，网络检测准确度越高，但是模型参数量也相应增多，检测速度降低。相比1 次递归，2 次递归的AP@0.5 提升1.3 个百分点，模型参数量提升58.5×106。相比2 次递归，3 次递归的AP@0.5 仅提升0.3 个百分点，但是模型参数量和检测速度已经无法满足实际需要。因此，本文选择2 次递归的Re-FPN 结构。

4 结束语

本文提出一种基于自适应关键点的破损旋转绝缘子检测方法。针对Oriented RepPoints 算法方向信息感知不足及特征表现能力差的问题，设计递归强化特征金字塔网络（Re-FPN）结构，提升多尺度特征融合度，加强特征表现能力。引入坐标注意力机制，通过2 个空间方向聚合特征，在没有增加额外计算开销的前提下，提升模型信息敏感度。实验结果表明，本文改进后的算法相比原始Oriented RepPoints的AP@0.5 提升2.1 个百分点，AP@0.5 检测准确率达到96.1%。改进后的算法能够取得较优的检测效果，在电力维护方面具有良好的应用前景。下一步将继续完善电网巡检图像数据集，实现绝缘子故障检测和自爆故障检测，以及其他电力设备的故障诊断和高效智能检测。