基于改进Faster RCNN 的输电线路航拍绝缘子检测

易继禹，陈慈发，龚国强

（三峡大学计算机与信息学院，湖北宜昌 443000）

0 概述

绝缘子是输电线路中的重要组成部分，在长期自然环境以及恶劣条件作用下，绝缘子可能发生故障，影响电力系统的稳定运行［1］，因此定期巡检输电线路绝缘子，及时发现并处理故障绝缘子对电力系统的稳定性与可靠性具有重要意义。目前，我国主要的输电线路巡检方式是无人机巡检［2］，它在一定程度上弥补了传统人工巡检的不足，有效降低了巡检人员登杆检查的工作强度并提高了安全性，能快速且准确地判断缺陷情况［3］，显著提高巡检效率以及线路维护的响应速度。无人机巡检主要通过采集海量航拍图像进行检测，因此航拍图像中的绝缘子自动检测研究就显得十分重要。

最初的图像识别算法主要通过搜集图像，再对图像进行处理以实现绝缘子检测。文献［4］采用边缘检测方法实现对绝缘子的检测。文献［5］利用自适应形态学算法实现可见光图像中绝缘子的检测。文献［6］通过图像的灰度信息计算绝缘子和背景区域的形状特征值，设计分类决策条件进行绝缘子检测。文献［7］提出基于可见光图像的绝缘子识别与故障检测方法。文献［8］利用阈值分割进行分步定位提取绝缘子。文献［9］通过结合形态学、Lab 彩色空间与最大类间方差法来实现绝缘子“掉串”故障检测。文献［10］提出基于最优阈值的改进型Canny 算子电力设备图像检测算法。上述方法能实现简单目标的绝缘子检测，但局限于某一类别，在现实应用中受到环境等因素的影响，导致检测结果不理想。随后，基于机器学习方法的绝缘子识别成为研究人员关注的热点问题。文献［11］利用目标建议算法与结构搜索对绝缘子进行识别定位。文献［12］采用支持向量机（Support Vector Machine，SVM）算法实现对高压输电线路故障的识别与分类。机器学习技术可在一定程度上提高识别可靠性，但在识别时间和准确率上仍有进一步提升的空间。

近年来，深度卷积神经网络（Convolutional Neural Network，CNN）在目标检测［13］任务中表现突出并得到广泛应用。文献［14］运用Faster RCNN 网络实现多种类别的小部件识别定位。文献［15］结合深度学习和随机森林对电力设备图像进行检测。文献［16］利用深度迁移学习提出一种单阶段多框检测器的目标检测算法，并采用软性惩罚非极大值抑制等方法进行优化，实现电力小部件检测。上述方法相较传统识别方法在识别时间和准确率方面均有较大的性能提升，但其研究主要集中于绝缘子识别和故障检测，对于复杂背景下的绝缘子检测研究较少。本文针对航拍图像中的输电线路绝缘子检测问题，通过多尺度训练提升系统鲁棒性，优化区域生成网络（Region Proposal Network，RPN）候选框比例使检测结果更贴合目标，改进Faster RCNN［17］模型并引入遮挡掩膜生成困难样本，通过不断检测学习提升遮挡情况下的绝缘子检测精确度。

1 绝缘子检测方法

在RCNN［18］和Fast RCNN［19］的基础上，2015 年微软研究院的任少庆等人提出了Faster RCNN 算法，该算法将特征提取、建议框提取、边框回归、分类回归整合于一个网络中，使得整体性能得到大幅提升，尤其在检测速度方面，真正实现了端到端的目标检测框架。

在海量航拍图像中，绝缘子形态不一且目标检测鲁棒性差。为提高目标检测准确性和检测速度并降低漏检率，本文选用Faster RCNN 为基础模型进行航拍绝缘子检测，在此基础上结合多尺度训练、候选区域比例微调和遮挡样本的对手生成策略，解决目标尺寸不一、遮挡等因素对绝缘子检测的影响，进一步提高绝缘子检测的精确度。航拍绝缘子检测流程如图1 所示。

图1 航拍绝缘子检测流程Fig.1 Procedure of aerial insulator detection

1.1 航拍图像处理及数据集建立

本文中的绝缘子数据集涵盖了不同地点、不同时期的6 500 张无人机巡检航拍绝缘子图像。航拍图像中部分图像拍摄角度视野过大，检测目标不明显，于是对部分图像进行预处理以减少非目标信息，并对训练集中每张图像出现的绝缘子进行标记。为更好地识别出测试集中的绝缘子，在标注时尽量减少标注框内的其他物体信息，同时较好地贴合航拍图像中的绝缘子，如图2 所示。对于测试样本，本文选用400 张图像作为测试集，并且测试集中不使用训练样本中的图像。在识别测试集时，标记出航拍图像中的绝缘子，包括残缺和遮挡的绝缘子，表示实现一次成功的识别。

图2 图像处理及标注Fig.2 Image processing and labeling

1.2 Faster RCNN 检测方法

Faster RCNN 检测方法的基本流程如图3 所示，检测过程具体如下：1）输入需要测试的图像；2）通过一组基础的CNN 网络对输入的整张图像进行特征提取；3）每张图像通过RPN 网络生成300 个建议窗口；4）将建议窗口映射到CNN 网络的最后一层卷积特征图上；5）通过感兴趣区域（Region of Interest，RoI）池化层使每个RoI 生成固定尺寸的特征图；6）对分类概率和边框回归进行联合训练。

图3 Faster RCNN 检测方法的基本流程Fig.3 The basic procedure of the Faster RCNN detection method

Faster RCNN 检测方法包括提取候选框的RPN网络和检测目标的分类回归网络两部分。RPN 的本质是基于滑窗的无类别目标检测器，作用是提供高质量的目标候选框，结构如图4 所示，特征图中每个像素点都配备了k种锚点作为初始检测框，判断该锚点是否成功覆盖目标以及为物体锚点进行坐标修正。由于RPN 网络对输入样本数据的分类为二分类问题，使得分类层可得到2k个评分，并且坐标修正为4 个值（x，y，w，h），因此回归层可得到4k个参数化坐标。

图4 RPN 结构Fig.4 RPN structure

在训练RPN 时，对交并比（Intersection over Union，IoU）大于0.7 的候选框分配正标签，IoU 小于0.3 的候选框分配负标签。损失函数计算公式为：

1.3 改进的Faster RCNN 网络模型

为使Faster RCNN 网络模型更好地应用于绝缘子检测，本文在原始Faster RCNN 网络模型的基础上结合多尺度训练、候选区域比例微调和对手生成策略增强模型性能。

1.3.1 多尺度训练

在输电线路中，绝缘子尺寸差异较大，原始Faster RCNN 模型通常会对所有训练图像采用恒定的尺寸，在这种情况下会使尺寸不同的目标检测效果较差。本文采用多尺度训练，在保持绝缘子图像原有比例不变的前提下，将图像大小进行随机调整，将图像较短一边的像素设置为480、600 和750，并在这3 种条件下进行网络训练。实验结果证明，多尺度训练使Faster RCNN网络对绝缘子尺寸具有一定鲁棒性。

1.3.2 候选区域比例微调

Faster RCNN 网络的主要优势为选用提取候选RPN 网络代替耗时较多的选择性搜索过程。在原始Faster RCNN 网络中RPN 共使用128×128、256×256、512×512 这3 种缩放比例以及1∶2、1∶1、2∶1 这3 种候选区域比例，因此每个锚位置产生了9 个锚框。由于航拍图像中绝缘子尺寸与公共数据集中多数目标不同，因此为了得到更好的识别结果，需要微调候选区域比例。对航拍绝缘子图像训练集中6 500 张图像进行统计，图像中多数绝缘子候选区域比例为1∶1、1∶2、1∶3、1∶4 和1∶5，绝缘子数量分别为552 张、981 张、1 877 张、1 789 张 和751 张。将RPN 网络中原有3 种候选区域比例进行扩展，寻找最适宜的比例，如图5 所示。

图5 改进前后的候选区域比例对比Fig.5 Comparison of the proportion of candidate regions before and after improvement

1.3.3 对手生成策略

由于航拍中的不确定因素以及输电线路结构的复杂多样，因此导致航拍图像中出现了背景物件过多且绝缘子被遮挡的情况，如图6 所示，在图6（a）中中间绝缘子颜色与杆塔近似且大部分与杆塔重叠，在图6（b）中左上角两个绝缘子也出现了类似情况。

图6 被遮挡的绝缘子样本Fig.6 Samples of shaded insulators

基于上述情况，如果直接对绝缘子进行检测，则将会导致识别率大幅降低。借鉴A-Fast-RCNN［20］网络模型中使用对抗网络生成遮挡来训练检测网络的思想，本文将对手生成策略引入Faster RCNN 网络中解决遮挡样本的检测问题。改进的Faster RCNN网络框架如图7 所示。

图7 改进的Faster RCNN 网络框架Fig.7 Improved Faster RCNN network framework

将RoI 池化层之后的部分称为CO 网络，它将原始的一个网络扩展为两个共享网络。网络1 的输入是Faster RCNN 中RoI 池化后的特征图，通过全连接层生成遮挡掩膜，判断在特征图中哪些部分应丢弃后生成困难样本，并且所有操作都是向前的。网络2中包含向前和向后操作，它的输入是网络1 所产生的困难样本，输出的损失函数能使网络1 中的掩膜进行自动调整。在整个过程中会训练一个对手网络，产生检测困难的遮挡样本。经过训练的检测网络会检测出某个区域被遮挡，从而遮挡此区域特征，以便使检测网络对困难遮挡情况进行充分分析，最终得到更高的检测准确率。

网络1 的输入是特征图，而掩膜会丢弃特征图某一部分的特征，从而使特征对象更难检测。特征X的尺寸为d×d×c，其中，d是 空间维度，c是通道数。掩膜Y会输出d×d个值，这些值为0 或1。若Yij是第i行、第j列的掩膜值，则Xij是第i行、第j列的k通道特征值，其中∀K表示任意的k通道。当Yij=1时，丢弃特征图上的所有通道值，计算公式为：

在训练过程中，使用d/3×d/3 的滑窗丢弃滑框内的特征值，生成候选区域中的新特征向量。在所有滑窗中选取损失最高的滑窗，利用该滑窗生成单一掩膜，对于n个候选区域生成n个训练样{(X1,Y1),本(X2,Y2),…,(Xn,Yn)}。假 设O是CO 网络的生成器，那么O（X）就是生成的困难样本，训练CO 网络的损失函数计算公式为：

其中，F是检测器，X是候选目标。式（6）表明在对生成特征进行分类时，若过程较顺利，则产生的损失较大，反之产生的损失较小，目的是生成使网络具有高损失值的掩膜，其交叉熵损失函数计算公式为：

其中，Y表示困难样本中的生成掩膜，Oij(Xε)表示输入特征图Xε的（i,j）位置中的网络输出。

2 实验结果与分析

本文实验运行在配置为Inter Core i7-9700F@4.50 GHz、8 GB 内存、RTX2070 Super Ultra OC GPU的计算机上，选取含有绝缘子的航拍图片共6 500 张，其中，6 100 张为训练集，400 张为测试集，航拍图像示例如图8 所示。

图8 航拍图像示例Fig.8 Examples of aerial images

为评估本文实验的有效性，使用精确度（Precision）和召回率（Recall）［21］来衡量模型检测结果，计算公式为：

其中，TTP表示正值正样本，FFP表示负值正样本，FFN表示负值负样本。

2.1 网络训练对检测结果的影响

在训练时设置批次大小为128，即每次输入128 张航拍图像进行训练，权值衰减为0.000 5，初始学习率为0.001。通过损失值来判断网络训练效果，如图9所示。可以看出，损失值随着迭代次数增多逐渐呈现下降趋势，在迭代次数达到一定值时，无限收敛于0，说明随着迭代次数的增加，训练效果越来越好。

图9 损失值随迭代次数的变化曲线Fig.9 The change curve of the loss values with the number of iterations

平均准确率与迭代次数的关系如图10 所示。获取额外100 张图像作为验证集，在模型迭代4 000 次后，验证集中绝缘子识别的平均准确率接近80%并逐渐上升，在迭代次数为14 000 次时达到87%的最大值。本文将迭代14 000 次后的网络模型作为目标检测模型，并使用不同方法进行检测。

图10 平均准确率随迭代次数的变化曲线Fig.10 The change curve of the average accuracy with the number of iterations

2.2 候选区域比例对检测结果的影响

通过调整RPN 网络中候选区域的比例数量，对本文建立的数据集进行检测，得到的检测结果平均精度（Average Precision，AP）如表1 所示。

表1 不同候选区域比例下的检测结果Table 1 Detection results under different proportion of candidate regions

由表1 可知，最优的候选区域比例为1∶4、1∶3、1∶2、1∶1、2∶1、3∶1、4∶1。随着候选区域比例数量的增加，会使检测精度降低，微调后的模型精度比初始模型提升了8.16%。微调候选区域比例前后的实验结果如图11 所示，在图11（a）中两串绝缘子被单独识别，在图11（b）中识别框更贴合绝缘子目标，说明微调候选区域比例后，改进的Faster RCNN 网络模型能更准确地识别绝缘子区域，减少识别区域内的非绝缘子信息。

图11 微调候选区域比例前后的实验结果对比Fig.11 Comparison of experimental results before and after fine tuning the proportion of candidate regions

2.3 改进Faster RCNN 网络模型的检测结果

Fast RCNN、YOLOv3［22］、Faster RCNN 和改进的Faster RCNN 网络模型的检测结果如图12 所示。可以看出，本文改进的Faster RCNN 网络模型相较Fast RCNN、YOLOv3 和Faster RCNN 网络模型，能更完整地识别出被杆塔遮挡的绝缘子部分，且能识别出微小的绝缘子目标，同时识别框更贴合目标绝缘子。

图12 4 种网络模型的检测结果对比Fig.12 Comparison of detection results of four network models

本文使用不同网络模型对400 张测试集进行检测，若能准确标识出图像中的所有绝缘子，包括残缺以及遮挡绝缘子，且标识框能较好地贴合绝缘子，则将其视为能正确标识测试图片，得到的检测结果如表2 所示。可以看出，改进的Faster RCNN 网络模型的精确度相较Fast RCNN、YOLOv3 和Faster RCNN网络模型分别提升了5.10、3.58 和4.33 个百分点，召回率分别提升了9.75、5.75、7.75 个百分点。从表3可以看出，改进的Faster RCNN 网络模型的平均检测时间相比YOLOv3 和Faster RCNN 网络有少许增加，但仍能满足巡检要求。

表2 4 种网络模型的检测性能对比Table 2 Comparison of detection performance of four network models

表3 4 种网络模型的平均检测时间对比Table 3 Comparison of average detection time of four network models s

本文采用5 种策略对网络进行训练和测试，进一步验证改进的Faster RCNN 网络模型的有效性。策略内容具体如下：1）未改进候选区域比例，未使用多尺度训练和对手生成策略；2）改进候选区域比例，未使用多尺度训练和对手生成策略；3）改进候选区域比例，使用多尺度训练和未使用对手生成策略；4）改进候选区域比例，未使用多尺度训练和使用对手生成策略；5）改进候选区域比例、使用多尺度训练和对手生成策略。如表4 所示，策略2 相比策略1 调整了候选区域比例，使得检测精确度提升了0.67 个百分点，可以更精确地检测多尺寸绝缘子，策略3 相比策略2 采用多尺度训练，使得检测精确度提升了2.15 个百分点，具有更好的鲁棒性，策略4 相比策略2 将对手生成机制引入网络模型中，使得检测精确度提升了2.92 个百分点。综上所述，改进候选区域比例，使用多尺度训练和对手生成策略这3 种方法均能提升改进的Faster RCNN 网络模型的检测精确度。

表4 基于5 种策略的改进Faster RCNN 网络模型检测结果比较Table 4 Comparison of detection results of improved Faster RCNN network model based on five strategies %

3 结束语

本文提出一种基于改进的Faster RCNN 网络模型的输电线路航拍绝缘子检测方法，引入多尺度训练提升目标检测鲁棒性，通过微调RPN 候选区域比例，使得检测结果更精确且检测框更贴合绝缘子，并设计对手生成策略提高困难样本的检测精确度。实验结果表明，改进的Faster RCNN 网络模型的检测精确度相比Faster RCNN 网络模型提升了4.33 个百分点，但平均检测时间有所增加，并且实验数据集中的图像均为理想环境下拍摄得到，因此后续将通过添加红外、缺陷等绝缘子图像扩充实验数据集，并进一步优化Faster RCNN 网络模型，从而减少测试时间及提升检测准确性。