深度学习在输电线路工程验收智能缺陷识别中的应用

邹 捷，许瑞庆，习雨同

（国网江西省电力有限公司建设分公司，江西南昌 330043）

0 引言

近些年来，随着电网建设的不断加速，传统输变电工程的人力竣工验收模式会在一定程度上制约工期，同时由于城市农村发展建设，可用征地走廊越来越有限，导致在验收过程许多关键点没有得到有效控制，给后期输电线路建设带来不便，因此有必要提高验收效率和准确度。无人机技术的不断发展，给项目管理工作提供了新的平台与视角，可实现输电线路的高效和自动化开展，以便及时发现输电设备的紧急或重大缺陷。

通过无人机端采集大量图像数据可提高验收效率，但是实现对大批量的数据进行智能化缺陷分析归类就显得尤为重要，需要根据验收工程建立相应杆塔模型库和缺陷库，进行比对分析，从根本上优化图像识别还原算法才能真正地使得线路工程缺陷验收分析数字化。

1 无人机立体智能验收应用平台

“无人机立体智能验收系统平台”包括无人机飞行控制系统和数据管理系统。其中，无人机飞行控制系统包含从地面飞行至输电线路巡视目标以及从验收巡视目标返回地面两个过程，涉及禁飞区域的识别、飞行路径的确定和障碍物避险、飞行巡视路径自动规划等。数据管理是指无人机飞行任务结束后返回，将采集的数据进行过滤清除，数据分类预识别，缺陷智能识别，缺陷问题智能分类、自动导出验收报告、深度学习自动优化缺陷库等。

2 输电线路缺陷图像智能识别

2.1 线路工程典型缺陷

通过统计大量线路工程验收工作中不同缺陷种类发生的频率，得到了11种最为常见的缺陷，常见缺陷大致分为金具及绝缘子、杆塔、导线三大类，具体典型的有鸟巢、导线异物、绝缘子自爆、绝缘子污秽、导地线断散股、销钉缺失、均压环倾斜及损坏、螺母缺失、防振锤损坏、放电间隙损坏、线夹倾斜共计11种细类别缺陷，据统计，其中销钉缺失、均压环倾斜及损坏占金具缺陷的70%，鸟巢及塔位施工垃圾占杆塔缺陷的75%，导线异物和导地线断散股占导线缺陷的80%。而目前针对这些缺陷的识别通常采用人工航拍巡视的方法，然而人工识别缺陷图像存在工作量大、效率低的问题，因此有研究者引入了传统的图像分类方法来对输电线路工程验收过程中巡检图像的故障进行检测分类，他们将检测过程一共分为了图像特征提取、图像分割、图像目标定位和图像故障分类四个步骤。文献[1]着重研究了在非下采样轮廓波变换条件下的绝缘子提取方法；文献[2-3]则重点研究了在巡视照片中典型防震锤和绝缘子图像定位技术；文献[4-6]主要研究绝缘子在航拍巡检图像中的分离算法；文献[7-12]主要研究了对巡视图像中绝缘子故障、导线断股、间隔棒故障、覆冰等缺陷隐患的检测。同时比较传统HOG+SVM、DPM[13-14]等算法，这些算法在目标图像处理中比较容易受到大小、形态、背景、目标材质等因素的影响，且计算过程也较为耗时，因此在实际工程中也难以应用。因此有学者引入了深度学习技术来解决这些问题，深度学习类技术通过对大量巡查图像数据的卷积神经网络的训练，最终生成一个支持多目标的识别分类模型，相比于传统的图像处理方法，深度学习技术具有特征提取能力强、抗干扰能力强和表达能力强等优点。在文献[15]中，作者采用AlexNet作为图像特征提取的网络结构，并使用随机森林算法来对变压器、绝缘子等已标注的图像进行识别分类。在文献[13-14]、[16-17]中，作者使用的Faster R-CNN算法则有别于传统的将目标检测任务分为多个子任务的方式，该算法实现了鸟巢、绝缘子破损等多类输电线路巡视图像故障和缺陷的端到端的识别检测，并能够对图像中的故障进行准确的分类和定位，很好的避免了图片细节损失的弊端。

上述的深度学习类的输电线路缺陷图像识别分类算法虽然较传统的图像处理算法具有一定的优势，但也依旧具有一定的局限性，一方面上述算法的研究主要围绕鸟巢、绝缘子破损等常见故障以及防震锤、绝缘子、均压屏蔽环等电力线路部件缺陷，依旧是选择了部分缺陷种类进行检测，缺陷覆盖范围还存在一定不足。一方面随着深度学习技术的不断发展和进步，上述算法也依旧存在很大的优化空间。因此本文提出引入基于R-FCN的输电线路工程验收图像缺陷识别方法，全卷积目标检测器R-FCN方法可通过生成选择性池化和位置区域敏感得分图的方式直接得到识别候选框的分类与数据回归结果，其算法系统中的检测子网络由全连接层简化成了池化操作，这样能大大提高了运行速度，能够满足线路验收工程缺陷识别的计算需要。应用该算法对11类缺陷图像目标进行数据识别和学习，并与Faster R-CNN[18]、YOLOv3[19]的方法进行对比。

2.2 典型缺陷图像智能解译体系

基于深度学习的输电线路工程典型缺陷图像智能解译体系如图1所示。

图1 典型缺陷图像智能解译体系流程图

2.2.1 工程验收缺陷数据集的构建

本文数据集主要来源于线路工程验收过程中无人机所拍摄的图片，图片在季节上涵盖了春、夏、秋、冬4个季节，拍摄地点和地形多样化，多方位拍摄角度，且无人机采集的图片具有很高的分辨率，样本覆盖大量实际工程。

首先对输电线路工程无人机验收工作发现的缺陷种类进行统计汇总，得到11种常见缺陷类别，并从图像集中挑选相应缺陷类别的5 000张图片，图像集涵盖多种输电线路验收工作场景，之后依据目标和缺陷类别对图像集中的目标及缺陷逐一进行人工标注。其中图像对应的标注信息共包含鸟巢、销钉缺失、导线异物、绝缘子自爆、绝缘子污秽、导地线断散股、均压环倾斜及损坏、螺母缺失、防振锤损坏、放电间隙损坏、线夹倾斜，共计11种类别缺陷。图2-图4为三类典型输电线路航拍巡查场景的缺陷示例，依次为绝缘子污秽、导地线断散股、鸟巢缺陷。

图2 某220 kV线路工程39号塔绝缘子脏污缺陷

图3 某220 kV线路工程18号塔散股缺陷

图4 某200 kV线路工程16号塔鸟巢缺陷

最后，将标注好的图片集按照缺陷类别比例进行随机划分，其中4 000张图片指定为训练集，用于算法模型训练，1 000张图片指定为测试集，用于算法模型评估。

2.2.2 模型算法对比选择

结合实际输电线路工程验收对输电线路巡视图像缺陷识别的速率和准确率的实际需求，本文提出一种基于R-FCN[11]算法的输电线路巡检图像部件及故障检测方法，构建11类输电线路工程验收智能缺陷识别数据集，并将该方法与目前主流的两个有代表性的图像目标检测算法进行实验效果对比，这两个算法分别是Faster R-CNN算法、YOLOv3算法，其中Faster RCNN算法此前被广泛的应用于输电线路巡检图像目标检测，设定三种算法在IoU阈值为0.5情况下，比较其mAP（mean Average Precision，平均精度均值）差异。

2.3 模型训练学习方法

本文算法的基础网络为ResNet-101，其中模型的训练采用MXNet 1.1.0深度学习框架，硬件GPU采用英伟达的NVIDIA GeForce Titan Xp显卡。其中模型权重的初始化采用微软常见目标数据集（Microsoft Common Objects in Context，MS COCO）预训练模型。模型训练数据集图像分辨率大小统一归一化为800*1200大小，同时采用小批量梯度下降法（mini-batch SGD），每个批次（batch）大小为2张图像，学习率分为两个，在前2000 batch时为的预热（warm-up）学习策略，后续则采用为的学习率，其中学习率衰减策略采用阶梯式衰减。衰减系数为0.1，衰减批次分别为22，000、26，800、32，000，一共训练36，000个批次。

RPN网络层锚框（anhor）[18]的宽高比例为0.5、1、2共三种，锚框基础尺寸为2、4、8、16、32共五种，二者组合共计15种锚框。

如图5所示为R-FCN算法的网络结构，与Faster RCNN算法相比该算法主要从以下两个方面进行了优化改进，首先由于池化操作会导致目标位置信息的丢失，因此算法采用PSROIPooling“位置敏感”的区域池化层（Position Sensitive Region Of Interest Pooling Layer）来替换ROIPooling层；其次在区域池化层之前通过卷积神经网络生成目标属于每个类别概率大小和相对位置的分值，然后通过PSROIPooling层将得到的这两个分值映射为相同的大小，之后再对映射后的分值求他们的平均值就可得到图像每个区域属于不同类别的概率和相对位置。

图5 R-FCN网络结构

其中R-FCN算法与Faster R-CNN算法的RPN网络层参数和学习率参数取值一样。而YOLOv3算法的图像样本分辨率大小设为800×800。模型训练共进行4000个批次，其中前1000个批次采用逐渐增大的动态学习率，学习率衰减策略为阶梯式衰减，衰减批次为2500及3200，衰减系数为0.1，后续批次的学习率为0.001，其中每个批次取64张图像；在此采用在MS COCO数据集上聚类得到的9组锚框。

3 实验结果与分析

3.1 模型评估

在特定交并比（IOU，Intersection over Union）阈值条件下，召回率（Recall）和准确率（Precision）是衡量一个算法模型性能好坏的基本指标，然而召回率和准确率却都受置信度阈值的影响，他们之间此消彼长，因此单单考虑其中的一个性能指标是无法对算法模型有一个准确评价。因此本文采用平均准确率AP（Average Precision）来作为评价算法精度的指标，即在不同召回率下的准确率均值。同时算法的综合评价指标采用的是平均准确率在不同类别间的均值mAP（mean Average Precision）。

3.2 模型结果及对比

按照11类缺陷对测试集进行分类，并用于检测和测算YOLOv3算法、Faster R-CNN算法和R-FCN算法的目标平均准确率AP，从得到的所有缺陷的AP值来看，如表1所示R-FCN算法均优于其他两类算法。

表1 R-FCN算法及对比算法的目标检测AP

在IoU阈值为0.5时，YOLOv3算法、Faster R-CNN算法和R-FCN算法的mAP（记作mAP@0.5，下同）如表2所示。R-FCN算法的mAP与Faster R-CNN高约4%，比YOLOv3 800算法的mAP高约7%。

表2 R-FCN及对比算法目标检测mAP及推理时间对比%

可见R-FCN的目标定位相比Faster R-CNN和YOLOv3算法更加准确，R-FCNN算法在部分典型缺陷识别效果如图6-图8所示。

图6 绝缘子脏污识别

图7 鸟巢识别

图8 散断股识别

3.3 典型缺陷识别率分析

针对线路工程典型缺陷进行识别准确率分析。本文提出引用的R-FCN算法在11种输电线路缺陷识别中，鸟巢、防振锤损坏、绝缘子自爆等缺陷的识别具有较高的缺陷检出率，平均识别准确率达到90%，其原因是该类缺陷较背景因素影响较小及缺陷结构特征同时较为明显。同时导线异物、导地线散断股、销钉缺失等缺陷检出率较低，原因可能如下：1）缺陷类别目标较小；2）缺陷结构特征不够明显，且缺陷训练数据集不足；3）缺陷标注中外界背景因素干扰过多。

4 结语

本文围绕输电线路工程验收应用中缺陷识别的智能化展开，针对工程验收这一特定场景，对工程中典型缺陷进行研究分析，提出了一种基于R-FCN的计算方法，通过在同一训练集和测试集上的识别结果对比，证明了在输电线路工程验收巡视图像多目标故障检测方面的有效性，该方法在绝缘子自爆、防震锤损坏、鸟巢等典型缺陷具有较高的识别精度，可以满足智能化验收工作的要求，能够提高验收过程中的缺陷的识别准确度，有利于对工程质量的高保证要求，同时减少投运后运行维护巡检缺陷和隐患的发生。