基于深度学习的复杂背景下绝缘子图像识别及定位

卢胜标　夏良标　石英　韩西坪　庞统　莫止范　刘晓伟　李德洋　田丁

摘 要：针对复杂背景下航拍图像中绝缘子识别定位困难问题，引入深度学习算法，利用基于区域建议的Faster R-CNN算法实现图像中的绝缘子识别及定位。利用采集的绝缘子图像进行Faster R-CNN网络的训练，使其自主学习绝缘子图像特征。在卷积网络输出的特征图上运用RPN生成绝缘子目标候选框，RPN与Faster R-CNN网络共享卷积结果，使网络运算速度明显提升。对于训练好的基于区域建议的Faster R-CNN模型，输入待检测图像，模型将根据自主学习的图像特征，自动判断图像中是否存在绝缘子，判断绝缘子类型，并用方框定位出绝缘子所在区域。最后，采用输电线路巡线中无人机拍摄的现场照片对该模型检测效果进行了测试，结果表明，相对于传统目标识别方法，该方法极大的提升了识别精度，并有效缩短了检测时间。

关键词：绝缘子识别 无人机巡检 航拍图像 深度学习 区域建议网络

中图分类号：TP391 文献标识码：A 文章编号：1003-9082（2019）01-00-03

引言

近年来随着我国经济快速增长，输电线路规模不断随之增加。尤其是超、特高压输电线路，跨越崇山峻岭，暴露在野外恶劣的自然环境下，长期承受着风吹日晒、机械拉力、电磁辐射、雷击闪络等危害。绝缘子作为输电线路重要的绝缘部件，承担着绝缘、机械支撑等作用，一旦发生绝缘子闪络、破损、掉串等故障，极易引发输电线路故障，导致供电中断，严重时甚至导致大规模线路断电。因此，针对绝缘子缺陷的巡检是输电线路巡检内容的重要一环。

目前输电线路巡检方式主要包括传统人工巡检、直升机巡检及无人机巡检等。其中传统人工巡检由于耗时费力正逐渐被取代，而直升机巡检成本高安全性差，随着自动化、智能化程度的提高，轻巧灵便的无人机巡检得到越来越广泛的应用[1]。同时，随着无人机巡检拍摄了大量图片，对其的智能化处理也变得越来越重要。

由于绝缘子处在环境复杂的户外，目标物体的角度、光照、阴影、背景等条件纷繁复杂。希望利用计算机判别绝缘子缺陷，如何在图片中定位绝缘子便成为了其首要问题。目前绝缘子图像识别的算法主要是基于絕缘子的轮廓、颜色、纹理等特征，识别精度不高，运算速度较慢，效率低；尤其是其识别效果严重依赖设定参数，算法对于不同背景适应性较差，识别率稳定性差。

针对复杂背景下航拍图像中绝缘子识别难、速度慢的问题，本文提出了一种基于Faster R-CNN算法的绝缘子图像识别方法，并以输电线路无人机巡检拍摄的绝缘子图像进行了验证。。

一、绝缘子识别网络框架

本文提出的基于深度学习的复杂背景下绝缘子图像识别算法总体框架如图1所示，利用深度学习算法实现图像中绝缘子识别，不需要人为提取绝缘子的特征，实现复杂背景下绝缘子图像智能化自动识别。

二、基于区域建议的Faster R-CNN算法

本文利用基于区域建议（Region Proposal Networks，RPN）的Faster R-CNN算法实现绝缘子图像的识别，能够大大缩短算法运行时间，并提高识别精度。RPN是一种全卷积网络，通过端对端训练产生目标候选区域，将RPN产生的候选区域映射到Faster R-CNNs的最后一层卷积特征图上，实现RPN与Faster R-CNNs的共享卷积计算，进而通过Softmax Loss和Smooth L1 Loss对分类概率和边框回归联合训练，输出图像的目标区域。

1.Faster R-CNN性能提升机理

Fast R-CNN是一种近年来用于目标检测中性能较为优异的网络模型，其检测目标图像的步骤为：输入测试图像，利用SS算法提取图像中的目标候选框，再将整张图像输入到卷积神经网络CNN中提取特征，并将SS算法提取的目标候选框映射到CNN的最后一层卷积特征图上，通过RoI pooling层使每一个目标候选框生成固定尺寸的特征图后，利用Softmax Loss（探测分类概率）和Smooth L1 Loss（探测边框回归）对分类概率和边框回归（Bounding box regression）联合训练，就可输出最后的图像目标检测框。

相对于R-CNN将一张图像上生成的目标候选框全部当成独立的图像进行后续的CNN特征提取及SVM目标分类，Fast R-CNN对于一张图像只提取一次卷积层特征，并将每个目标候选框的卷积层特征输入到全连接层进行后续操作，因此大大降低了运算时间。但是由于每个目标候选框的尺度不同，而全连接层的输入要求是固定长度，因此增加RoI pooling层固定目标候选框的维度。

基于区域建议的Faster R-CNN在上述基础上，使用RPN代替原来的SS算法生成目标建议框，并将产生目标候选框的卷积神经网络CNN与目标检测的卷积神经网络CNN共享。这个过程能够在保证检测精度的前提下，使目标候选框的数量由2000个降低到300个，大大缩短模型运算时间。

2.RPN网络

神经网络中使用较多的候选区域的产生方法主要有Selective Search（SS）和Edge Boxes两种，但这两种方式在产生候选框时都比较慢（SS每张图像2秒，Edge Boxes每张图像0.2秒）降低了网络的实用性[2，3]。而RPN方法通过与目标检测网络共享卷积层的方式，极大的减少了耗时（每张图像10毫秒），与整个网络的计算时间相比几乎可以忽略。

基于区域的目标检测器所利用的卷积特征映射同样可以用于产生目标候选框，基于此设计的RPN具体实现方式为：在最后一个可共享的卷积层输出的卷积特征映射上，滑动一个n*n（本文中采用的n=3）的小窗口，并映射成一个低维度特征向量，该特征向量传输到两个分支连接层，一个是分类框层（cls），另一个是回归框层（reg），如图2所示。

在每一个滑动窗位置，预测k（k为绝缘子标签的类型，本文中k=9）个候选框，cls层输出2k个带有分数的候选框，分数表示该候选框是否是目标的概率；reg层有4k个输出，表示候选框中心锚点坐标和候选框的宽高。滑动窗的形式也使得cls层、reg层关联了所有卷积特征映射。

对于cls层输出的候选框，有一些框间重叠度较高，因此采用非极大值抑制法（Non-maximum Suppression， NMS），设置重叠度（IoU）阈值为0.7，即舍弃重叠度大于0.7的候选框，最终每张图像约剩下2000个候选框，在进行目标检测时，仅检测得分较高的前300个候选框，在进行模型训练的时候则使用2000个候选框。这种方法对最后的目标检测精度没有影响，但会大大降低候选框的数量，提高运算速度。

三、绝缘子图像识别

利用上述建立的目标检测网络识别复杂背景下航拍图像中的绝缘子，具体过程可以分为样本采集及加注标签（用于模型训练）、CNN模型预训练、RPN网络和Fast RCNN网络联合训练及针对输出模型的测试。

1.样本采集及标定

在采集绝缘子图像样本工作中，重点考虑了绝缘子类型、图像背景及多角度三个方面的数据多样性[4]。绝缘子类型，考虑到不同类型绝缘子缺陷各有不同，在定位绝缘子位置的同时得到绝缘子类型对，可有效降低后续缺陷检测的范围，提高处理速度及检测精度。从图像分析角度将输电线路常见的绝缘子分为瓷绝缘子、玻璃绝缘子和硅橡胶复合绝缘子三类[5]。图像背景，考虑到输电线无人机巡检图片中背景复杂度高的特点，采集的样本图片背景包含杆塔塔材、交跨线路、树木、天空、房屋、山石、田地、公路等。不同背景下的样本图片如图3所示。多角度，样本中应尽量覆盖所有无人机巡检中绝缘子串的可能拍摄角度，以提高绝缘子检测识别的精度。最终样本集包含三类绝缘子各1500张（一张图片中可能包含多串绝缘子），共4500张图片。将其中3600张作为训练样本集，900张作为测试样本集。

（a）土地背景样本

（b）杆塔背景样本

（c）树木背景样本

然后通过人工为每张样本图片加注目标标签，生成与样本图片对应的xml文件，文件中记录了目标名称及目标框体的顶点坐标，用于神经网络的训练及测试。

2.CNN模型预训练

本文所使用的数据集有限，仅依靠其对一个随机初始化的卷积神经网络训练用于提取图像特征，难以保证效果，且速度缓慢。利用已有预训练模型结合任务数据进行迁移学习是一种在有限训练样本集基础上有效缩短神经网络训练时间的方法。在绝缘子图像识别任务中，神经网络仅需识别绝缘子，数据规模较小，使用前五层为卷积层，后三层全连接层的ZF网络较为合适。所以本文采用基于ImageNet分类库的ZF网络预训练模型作为CNN网络初始权重。

3.RPN网络训练

在CNN模型预训练基础上，继续训练达到检测绝缘子的目标，精细调整RPN网络参数。针对ZF网络的第五层，即上文中提到的共享卷积层，采用3*3的滑窗在该层输出的特征图上进行卷积运算，获得一个256维的特征向量，代表原始图像中相对应位置的特征。并且为每个滑动窗口考虑9种区域建议：以滑动窗口为中心，设定三种不同的尺度和三种不同的长宽比。每一个位置的滑动窗口产生9个绝缘子目标候选框，使得候选框计算更加准确，有利于后续的分类和绝缘子目标框调整。

每个绝缘子候选框均输出到两个全连接层，即cls层和reg层。cls层用于分类，针对4个标签（背景、玻璃绝缘子、复合绝缘子、瓷绝缘子）给出置信度得分。最终每张图像得到约2000个带有得分的绝缘子目标候选框，其中得分较高的300个绝缘子目标候选框用于绝缘子分类训练。reg层用于绝缘子位置的框定，输出框体顶点坐标，训练则采用全部2000个绝缘子目标候选框以提高检测精度。

4.RPN网络和Fast RCNN网络联合训练

将RPN网络提取的绝缘子目标候选框映射到Fast R-CNN的最后一层卷积特征图上，并通过RoI pooling层使每一个绝缘子目标候选框生成（16+4+1）*256固定尺寸的特征图后，利用Softmax Loss（探测分类概率）和Smooth L1 Loss（探测边框回归）对分类概率和边框回归（Bounding box regression）联合训练。

5.输出检测结果

完成模型训练之后，以原始图像作为共享卷积网络层的输入，提取共享特征图。由区域建议网络RPN生成目标候选框，保留得分较高的前300个框。通过Faster R-CNN网络对300个框对应特征图进行计算，即可得到绝缘子的检测结果。

四、实验结果与分析

实验用图形工作站配置为CPU：Intel（R） Xeon（R） CPU E5-2620 v4 @ 2.10GHz 8核、显卡Nvidia Quadro M4000 8G、内存 8GB（2133MHz） * 4；系统Ubuntu 16.04 LTS，基于Caffe框架，CUDA版本8.0.44。

训练设定迭代次数为35000次，平均每次迭代耗时2.74s，共耗时26.6小时。对该模型进行测试，根据VOC competition评价标准进行测试，测试结果见表1。测试中平均每张测试图片检测时间为0.312ms，实验检测结果如图4所示。

（a）树木背景

（b）公路背景

（c）土丘背景

由實验结果可以看出，基于RPN的Faster R-CNN模型具有非常高的检测精确度，能够在各种背景下准确识别绝缘子，并定位出目标区域。

五、结论

本文引入深度学习算法即基于RPN的Faster R-CNN算法，实现了在复杂背景下无人机巡检图像中自动识别并定位绝缘子。主要结论如下：

1.无需人为设定绝缘子特征，通过足够丰富的样品训练后，基于RPN的Faster R-CNN算法可自动实现绝缘子识别并定位；

2.利用基于RPN的Faster R-CNN算法检测无人机巡检图像中的绝缘子，相对传统目标检测方法能够大大提高运算速度及检测精度；

3.利用目标图像匹配度可以检测绝缘子的掉串、破损等缺陷，在基于RPN的Faster R-CNN算法基础上，进行更精细化计算，检测绝缘子缺陷故障是下一步的研究重点。

参考文献

[1]翟永杰，王迪，赵振兵等. 基于空域形态一致性特征的绝缘子串定位方法[J]. 中国电机工程学报，2017，37（05）：1568-1578.

[2]翟永杰，王迪，赵振兵. 基于目标建议与结构搜索的绝缘子识别方法[J]. 华北电力大学学报（自然科学版），2016，43（04）：66-71+78.

[3]伍洋. 基于机器学习的航拍图像绝缘子识别方法研究[D].华北电力大学，2016.

[4]王淼，杜毅，张忠瑞. 无人机辅助巡视及绝缘子缺陷图像识别研究[J]. 电子测量与仪器学报，2015，29（12）：1862-1869.

[5]阳武. 基于航拍图像的绝缘子识别与状态检测方法研究[D]. 华北电力大学（北京），2016.

作者简介：卢胜标，男，广西电网有限责任公司玉林供电局，主要从事架空送电线路的生产运行、维护检修管理及无人机线路巡检技术研究等工作。