改进RetinaNet的电力设备目标检测方法

王秋忆，周 浩，郑婷婷

（云南大学信息学院，云南 昆明 650500）

0 引 言

电力是维持现代社会正常运转和日常生活必不可少的基础能源，随着经济的飞速发展，电力在我国社会中的应用越来越普遍，需求量越来越大，普及的地区也越来越广泛。但传统的巡检方法由于需要大量人工识别和检查，且输电线路大都在地形复杂的地方，面临着人工巡检的危险性高、效率低和周期长等问题［1-4］。而在科技的发展进步下，电力系统逐渐走向智能电网时代，向着精细化、智能化和自动化方向发展［5-7］。为了确保电力设备的正常运行，需要对各种电力设备进行定期的巡视检查以及时排除故障，在电力系统中应用图像目标检测技术有利于快速发现有故障和缺陷的设备并进行定位。智能电网系统的发展对开展设备状态检修，确保供电网络安全畅通、可靠运行有重要意义。

近几年，深度学习飞速发展，在电网系统中用基于深度学习的目标检测技术对电力设备进行自动检测与分析应用越来越广泛。现在主流的深度学习目标检测方法分为2 类：一类是双阶段目标检测方法，例 如RCNN［8］、Fast-RCNN［9］、Faster-RCNN［10］等 模型，先通过一个阶段的Selective Search［11］生成候选区域，然后在另一阶段的网络中利用Region Proposal Network［10］对候选区域进行准确预测得到目标类别和位置等信息；另一类是单阶段目标检测方法，包括YOLO［12］和SSD［13］等算法，不生成候选区域，模型训练直接从端到端在特征图上进行位置预测和类别预测，这一类方法的检测速度更快，但精度一般低于双阶段目标检测方法。在将深度学习的方法应用到各个领域的趋势下，李军峰等［14］利用卷积神经网络提取电力设备的特征，实现了结合深度学习的随机森林分类方法，准确检测了绝缘子、变压器、断路器、输电线电杆和输电线铁塔这5 种电力设备，平均识别准确率达到了89.6%。薛艺为等［15］用ResNet［16］作为骨干网络进行特征提取，使用基于Faster RCNN 的方法优化具有配网设备特点的区域提议网络，在红外图像上准确地检测出了套管、绝缘子、导线、电压互感器、避雷针、断路器、隔离开关、变压器8 种电力设备的缺陷，准确率达到92.54%。何启远等［17］将注意力模块SE-Net［18］与卷积神经网络结合，使网络挖掘深层特征信息的能力进一步提高，使得在避雷器、断路器、电流互感器、电压互感器上的平均识别准确率达到了92.53%。徐凯等［19］使用具有更深层次的骨干网络GoogLeNet Inception-V3［20］进行特征提取，以解决普通卷积神经网络对复杂特征提取困难导致识别准确率低的问题，对断路器、电流互感器、绝缘子、避雷器和电压互感器的平均识别准确率达92.0%。熊凯飞等［21］为解决雾霾天气下电力设备检测困难的问题，结合去雾算法对图像进行处理，识别绝缘子、断路器、电压互感器、避雷器和隔离开关目标的平均准确率可达92.5%，同时对YOLOv4［22］模型进行轻量化改进以满足在巡检机器人上部署目标检测算法的要求，模型参数量减少了80.21%。安玉宾［23］对电力设备的航拍图像使用超分辨率生成对抗网络［24］进行像素扩增，提升了小目标的分辨率，使得Faster-RCNN 网络对销钉的故障检测精度达到73.4%。林润滋［25］结合RFCN［26］网络和自适应中值滤波和小波变换对红外电力设备图像去噪，同时用直方图均衡化增强图像对比度和减少图像失真，实现了引线接头、隔离开关和线夹等电力设备小目标的准确识别，故障诊断的平均精度达到80%以上。陈凡同［27］使用SMOTE 算法对数据样本集进行均衡化操作，在YOLOv3［28］网络中加入NIN 卷积层并通过K-means 聚类设置锚框个数和尺寸，最终对线夹、绝缘子、套管和隔离开关的平均识别准确率达到88%以上。

以上方法是使用通用的目标检测网络针对不同的电力设备进行检测，由于本文的电力设备图像中待检测设备大部分是小目标，本文方法主要针对电力设备中的小目标检测性能进行改进。为了在不牺牲检测精度的同时能提升检测的速度，本文提出一种基于RetinaNet［29］的电力设备目标检测方法，该方法能够较好地平衡检测的速度和精度。但使用RetinaNet 对电力设备进行检测，仍存在以下3个问题：

1）RetinaNet 作为通用目标检测网络，原始的anchor不适用于电力设备检测，导致网络的检测精度低。

2）由于数据集的样本数量不足，网络训练时容易出现过拟合现象。

3）对于小目标的检测精度明显低于大目标样本。

为了解决以上存在的问题，并且把提高电力设备小目标的识别精度作为制定相关策略和实验的基本思路进行算法设计和改进，包括：

1）重新设计anchor 的长宽比、尺度大小，用Kmeans 聚类算法分析电力设备数据集，找到最合适的参数，设置与待检测物体的大小和长宽比更贴近的anchor。增加适用于小目标检测尺寸为16×16 的anchor，删除尺寸为512×512的较大的anchor。

2）为了获得更多的小目标特征信息，在特征金字塔中融合浅层特征层P2。

3）引入通道注意力机制，使得网络能够利用全局信息有选择地提升对任务有用的特征通道，并抑制那些不太有用的通道，使无效的或不太有用的特征图权重较小，这样模型训练就能取得更好的效果。

1 基本原理

1.1 RetinaNet简介

RetinaNet 是一阶段的目标检测方法，通过在骨干网络ResNet 上加入图像特征金字塔FPN（Feature Pyramid Networks）［30］共同进行特征提取，2 个全卷积（Fully Convolutional Networks，FCN）子网络分别负责位置回归和分类回归，并引入Focal loss［29］以解决正负样本不均衡的问题。RetinaNet 的原始网络结构如图1所示。

用Focal loss 代替传统的交叉熵损失函数，在训练过程中减少了简单样本的损失权重，集中学习复杂样本，解决了样本不平衡的问题。Focal loss 引入了一个调制因子（1-pt）γ与一个类别加权因子α，并构建了如下的损失函数：

其中，e为常数，pt指训练样本类别预测的置信度，α和γ为超参数，本文分别使用经验值0.25和2.0。

1.2 电力设备数据集的K-means聚类分析

原始模型是在COCO 公共数据集上进行调参的网络，普适性较差，不能适应不同的数据集和目标类别。本文用聚类分析的方法，选择合适的anchor尺寸和长宽比，最大程度地减少了anchor的运算量。

RetinaNet 中anchor 的基本尺寸包括32×32、64×64、128×128、256×256 和512×512 这5 种、{1:2，1:1，2:1}这3 种宽高比和{20，21/3，22/3}这3 种缩放比例，基于此在不同特征图的每个空间位置生成9 个anchor。对于原始图像中面积为16×16 的目标，对应的anchor 最小面积为32×32，所以重叠率小于0.25（由（16×16）/（32×32）得到），远低于常规的阈值0.5。

读取VOC 格式下存储标注真实anchor 大小和坐标的xml 文件，然后对所有电力设备的anchor 尺寸进行K-means 聚类。实验输出anchor 的分布统计图如图2所示。

图2 anchor分布统计图

由图中柱状图分布可以看出，电力设备图的尺寸大部分集中在400×400 分辨率以下，宽高的比例集中在0.5~2.0。原始图片分辨率为1920×1080，考虑到显存大小和训练时长的限制，将训练样本输入大小设置为640×640 分辨率。所以根据等比例缩放，选定适合该电力设备数据集的锚点框尺寸为16×16、32×32、64×64、128×128、256×256，最佳宽高比为{1:1，3:2，2:1}。

使用真实的标记框进行维度聚类的方法，重新设计anchor的尺度大小和长宽比，使训练中anchor的尺寸更接近检测物体的真实值，让模型更容易检测到待检测目标的真实位置并进行回归，并且合适的锚框更容易在训练中学习到一些特别大和特别小的极端样本，从而降低网络的训练难度，提高目标检测的准确率。

1.3 FPN调整方法

使用FPN将浅层特征和高层特征结合起来，融入更多的低层语义信息，在一定程度上改善了小目标的检测性能，但仍不能满足工业检测的要求。因为在通过FPN 之后的中层和高层特征图经过多次卷积运算之后高度压缩了小目标的特征［31］，导致特征信息严重损失，难以检测到小目标。

由于电力设备中的销钉、绝缘子和工程车尺寸都较小，图像所包含的像素信息更少，使用原始的RetinaNet 网络进行电力设备检测的效果很差，想要提升检测性能需要尽可能多地保留小目标的像素信息。因此，在RetinaNet 特种融合的过程中，考虑将C2 层加入FPN，并与特征图P3 进行融合生成比P3 分辨率更高的融合特征图P2，使得网络能学习到保留更多信息的浅层特征，网络结构如图3 所示。改进的特征提取结构加入了融合特征图P2，与P3 至P7 相比，P2只需要较少的卷积运算，特征抽象程度较低，但存储了更多的像素信息，从而使小目标检测的精度更高。

图3 调整后的特征提取结构

1.4 通道注意力机制ECA-Net

注意力机制是一种模拟人脑对图像的注意力以此优化深度学习模型的方法，也就是在重点关注的区域投入更多注意力资源，同时对无用信息进行有效抑制［32］。

部分电力设备数据集如图4 所示，图像中含有电塔、电杆、销钉和绝缘子多个目标，这些目标大都存在分布密集、颜色发暗、遮挡过多、尺寸过小等问题，无法准确区分前景和背景，可能会在训练中被混淆为图像的背景，所以普通的目标检测方法很难检测到小目标。

图4 电力设备分布情况

WANG等［33］提出一种高效通道注意力模块（Efficient Channel Attention module，ECA），是一种不降维的局部跨通道交互策略，其有效避免了降维对通道注意力的预测效果产生的负面影响。该模块只涉及极少数的几个参数，但具有明显的效果增益。ECANet的结构如图5所示。

图5 ECA-Net结构

ECA-Net 通过大小为K的快速一维卷积实现，其中核大小K表示局部跨通道交互的覆盖范围。为了避免手动调整K的值，需要一种自适应的方法确定K，而跨通道交互的覆盖范围K的大小与通道维度成比例。则K和C之间可能存在某种映射Φ：

最简单的映射是线性函数：

然而以线性函数为特征的关系太有限，而且通道数量C一般设计为2 的幂次方，因此K和C之间的映射可扩展为非线性函数，表示为：

最终对于不同的通道数量C，只要给定一个值，就能自适应选择卷积核的大小：

其中，γ=2，b=1。

ECA-Net作为极轻量级的通道注意力模块，证明了适当的跨通道交互可以在保持模型性能的同时降低模型的复杂性，加入ECA 模块的ResNet 结构图如图6所示。

图6 加入ECA模块前后的ResNet示意图

2 实验与结果分析

2.1 电力设备数据集制作

目前没有公开的电力设备数据集，本文选取国内某省一段时期内的航拍巡检图像进行人工分类，挑出能正常显示电力设备的图像4290 张，用图像标注工具LabelImg进行标注，将电塔、销钉、工程车、绝缘子、电杆分别标为tower、nail、car、insulator、pole这5类，并将数据集按7:2:1 的比例随机划分为训练集、测试集和验证集。

为了防止训练过程中由于数据不足出现过拟合的现象，增强网络的鲁棒性，对原始数据集进行数据增强，包括使用平移、剪切、随机翻转、随机旋转角度、随机改变对比度等方式对数据进行增强，最后形成一个包含5 类电力设备拥有12870 张图像的数据集。5 类电力设备目标原始样本数量和数据增强后的样本数量如表1 所示，数据增强后的部分图像如图7所示。

表1 数据增强前后5类样本数量对比

图7 数据增强后的电力设备图像

2.2 评价指标

评估指标使用平均精度均值（mAP），平均精度是综合查准率和查全率的性能指标，其定义如式（6）所示：

其中，Rn、Pn分别表示第n个检测阈值下的查全率和查准率。

此外，由于大部分电力设备所处的背景密集复杂，且图像受天气和光线的影响较大，检测时容易出现错检和漏检情况，因此还选择召回率（Recall）作为模型评价指标，可表示为：

其中，XTP为正确检测到的电力设备样本数量，XFN为被漏检的电力设备样本数量。考虑到电力设备检测应用于移动端的可能，将每秒传输帧数（FPS）也作为各模型的检测指标之一。

2.3 网络训练环境配置

实验使用的网络训练环境如表2所示。

表2 网络训练环境

2.4 对比实验

验证本文针对电力设备小目标对RetinaNet 的改进效果，由表3 结果可知，本文的改进方法在电力设备数据集上平均准确率可达到89.1%，比原始的RetinaNet 提高了18.1 个百分点，对比经典的二阶段检测网络Faster-RCNN 和一阶段检测网络SSD 及YOLO v3，平均检测精度分别提高了13.3 个百分点、4.6个百分点和11.2个百分点。由于本文根据电力设备的特殊尺寸增加了锚点框的尺度，并且引入了浅层的特征图进行特征提取，还加入了注意力机制，这就增加了网络的层数和复杂度，所以检测速度有所下降，但电力设备检测对实时性的要求不高，核心是提高电力设备检测的准确率，能更全面地识别出电力设备，所以牺牲一定的检测速度是值得的。

表3 不同目标检测算法对比

检测的5类电力设备的准确率和召回率如表4所示。从表4 的结果分析可知，本文改进后的RetinaNet检测方法在待检测的5类电力设备和整体的识别结果上都得到了最高的准确率和召回率，尤其是小目标占比最多的销钉和绝缘子，改进方法检测的准确率有大幅提升，分别提升了42.5个百分点和25.2个百分点，这表明本文改进的RetinaNet 不仅能有效提高大部分电力设备的检测准确率，而且对小目标检测过程中容易出现错检漏检而导致检测精度低的问题进行了有效改善。

表4 5类电力设备检测的准确率和召回率对比

2.5 消融实验

表5 是对本文改进的各个模块进行分析的结果。从表5 中第1 行和第2 行的数据对比可以看出，本文通过K-means 标签聚类的方法手动设置anchor 的超参数，使锚框的尺寸和宽高比更接近真实框的尺寸，更有利于网络训练，相比于原始的RetinaNet，整体的mAP 提高了10.2 个百分点，并且在设置合适的锚点框之后，检测速度也有提升。这表明了使用K-means聚类方法修改原始网络使其适用于电力设备检测是极其有效的。

表5 改进RetinaNet各模块贡献

从表5 中第2 行和第3 行的数据对比可以看出，在金字塔特征提取网络里增加的浅层特征层P2虽然特征的抽象程度较低，但所进行的卷积运算次数更少，保留了更多像素信息，有利于提高小部件识别的准确率，使mAP进一步提高了5.1个百分点。

从表5 的中第3 行和第4 行的结果对比可以看出，加入注意力机制后，模型能够应对目标尺度变化较大的情况，从局部特征中判断出电力设备的种类，使得mAP再提高0.6个百分点。

比较原始的RetinaNet 网络和本文改进的RetinaNet 网络，对于电力设备的识别精度整体上提升了18.1 个百分点，其中销钉的精度提升了42.5 个百分点，效果最为明显；其次是绝缘子，提升了25.2个百分点；其余电力设备也有一定程度的精度提升，由于本文主要是针对小目标进行的改进，所以在小目标的电力设备上精度提升的效果最为明显。

改进方法的检测效果如图8 所示，图8 中，（a）为原始RetinaNet 网络检测的图像，（b）为对应原图使用本文改进后的方法检测的图像。

图8 检测结果对比图

由检测图像的对比可以看出，电力设备图像中存在密集小目标销钉，原始RetinaNet 的检测结果存在漏检和错检的情况，而改进后的RetinaNet 则可以把所有的销钉都识别出来，没有漏检和错检的情况，并且识别结果的置信度都有明显提升。这表明本文方法能够有效地提升图像中尺寸较小的电力设备目标检测的准确率和全面性。

3 结束语

本文创建了电力设备数据集，并通过样本增强方法扩充了数据集，并在RetinaNet 网络的基础上，针对小目标电力设备检测精度低的问题，通过K-means聚类分析设定符合电力设备的锚点框，并加入低层融合特征图P2，再由ECA 模块引入通道注意力机制对特征图进行加强。实验结果表明，本文改进的RetinaNet 方法大幅改善了电力设备的识别效果，尤其是对电力设备中的小目标检测有着很大的有效性和优越性，具有较高的应用价值。虽然网络结构上的改进能够有效地提升小目标的检测效果，但是限制小目标检测性能好坏的关键因素是小目标本身包含的有限的分辨率和特征信息。基于此，要进一步研究怎样提升小目标的分辨率和尽可能多地增强小目标包含的特征信息，才能真正有效地提高小目标的检测精度和网络性能。