无人机巡检图像中电力部件的识别研究综述

青岛大学 张 雯 山炳强 王 贞

引言

随着我国经济的快速发展，社会各界对电能的用量和质量都有了更多的需求[1]。电力部件的完整性是电力系统稳定运行的重要保障，对输电线路进行巡检能够及时排除故障，确保供电的安全性和可靠性。在无人机技术日益成熟的基础上，融合了图像识别等技术的无人机在多种领域受到了广泛的青睐。利用无人机进行输电线路的巡检，在确保供电的安全性和可靠性的同时，能够克服地形约束和环境限制，降低巡检的风险，并一定程度上提高巡检的效率[2]。

无人机在输电线路巡检中的应用提高了巡检效率，降低了巡检作业人员的安全风险以及巡检成本。然而，无人机巡检中所采集的大量图像信息基本依赖于人力来进行识别，其准确率和效率仍有待提高。近年来，图像处理技术的不断发展和深度学习的逐步引入，显著提高了对电力部件识别的效率和准确率。本文系统总结了取得的成果，主要对巡检图像去噪预处理和电力部件识别两方面进行评述，同时展望了未来的研究趋势，期望对该领域的进一步研究提供参考。

1 巡检图像去噪预处理

由于输电线路固有的电磁特性，不可避免会对无人机巡检时采集的图像有一定的噪声干扰，影响图像质量。为了避免影响巡检图像中电力部件的识别效果，去除图像中的噪声干扰便非常重要。其中，椒盐和高斯噪声是影响所采集图像的主要噪声，可以通过对巡检图像去噪预处理的方式来解决该问题。

为消除噪声干扰，主要通过滤波的方法来解决。中值滤波法算法简单，是一种经典算法，对处理椒盐噪声有较好的效果。但是该算法容易引起原来的样本图像失真以及边缘模糊的现象发生，且仅仅在低密度噪声时效果较好。针对该问题文献[3]提出了一种开关中值滤波算法，利用特定值对噪点进行分类，一定程度上改善了边缘模糊的问题。

文献[4]提出了一种基于三维直方图的算法，全面引入建立像素点各种特征之间的关系，图像去噪性能有了更高的水平，但仅在噪声密度较小时改善效果明显且运算量较大。在此基础上文献[5]对算法进行改进，提出一种三维轴距的算法，消除了图像边缘噪声和块状噪声的影响，随着计算机运算性能的提高而拥有更好的去噪性能，三位轴距结构示意图见图1。

图1 三维轴距结构示意图

文献[6]在此基础上检测出噪声点后，结合改进权重公式的非局部均值滤波算法，提出了一种基于三维轴距与非局部均值的算法。该算法不仅能够很好的去除椒盐噪声，同时解决了图像失真和边缘模糊的问题。文献[7]提出了一种模糊去噪滤波算法，在图像椒盐噪声去噪应用中优势明显且对图像还原度较高，同样拥有不错的去噪效果。

高斯滤波是一种经典的去除图像中高斯噪声的方法，但存在致使边缘信息模糊的问题。文献[8]提出的双边滤波是一种改进的高斯滤波方法，且同时能够改善图像边缘模糊的问题，但是容易出现“块效应”。文献[9]通过指数-Turky 型权值核函数改进算法，并融合结构相似性和欧氏距离来有效选择权值，提出一种改进的非局部均值（NLM）滤波算法，在去除高斯噪声上有很好的表现能力。文献[10]提出了一种基于伽马范数最小化的算法，在有效去除高斯噪声的同时，能够避免图像边缘模糊的问题，且在细节内容上有更好的表现。

可以发现，以上所述滤波算法基本只针对某一种图像噪声有显著的去噪效果，但图像去噪能力比较单一。针对该问题，文献[11]提出了一种基于非局部自相似性的混合噪声滤波算法，能够同时有效去除椒盐噪声和高斯噪声，并在很大程度上保证图像不失真。文献[12]提出了一种中值滤波和改进的阈值函数滤波算法，通过改进小波阈值函数来克服硬阈值和软阈值缺陷，并结合中值滤波，在去除混合噪声上拥有很好的表现能力。同时，能够较好地恢复原图像丰富的细节，具有较高的实用性。

2 巡检图像中电力部件识别

2.1 传统电力部件识别方法

由于无人机巡检采集的图像数量众多，单纯依靠人力对海量数据信息进行识别效率低下，无法实现对电力系统的实时和持续性监测，可靠性较低。一些鲁棒性较好的特征提取算法，比较经典的有尺度不变的特征变换（SIFT）、梯度直方图（HOG）和SURF 等，通过融合支持向量机（SVM）以及增强学习中的Adaboost 迭代算法和Random Forest等算法，来实现对被检测物的识别。

文献[13]提出了一种基于HOG 和改进SVM参数的方法，实现对绝缘子的识别。但是，该方法仅在小样本容量时表现较好，无法满足对无人机巡检时采集的大量图像中电力部件识别的要求。文献[14]利用聚类分析和Adaboost 算法实现对绝缘子的识别，提高了识别的效率。文献[15]提出了一种利用Candy 边缘特征与SURF 来达到对绝缘子智能识别的算法，识别效率较高，鲁棒性较好。但这些方法依赖于人工设计的特征，可拓展性差，效率和准确率都不能满足要求。

2.2 基于深度学习的电力部件识别方法

随着计算机视觉技术和硬件性能不断进步，卷积神经网络逐渐取代以往特征提取方法，基于深度学习的算法不断发展并成为热门，主要包括基于回归的一阶段算法和基于区域兴趣的二阶段算法。一阶段算法以SDD 和YOLO 为代表，只经过一个卷积神经网络；二阶段算法则以R-CNN 系列为代表，通过先提取候选区再进行识别的方法来实现对目标的检测。

基于区域提议的卷积神经网络方法，是一种经典的方案。与以往不同的是，其通过深度卷积网络实现对目标特征的提取，并通过Selective Search替代原滑动窗口的方式，使得效率和准确率有了明显的提高。但是，由于需要对卷积神经网络、支持向量机和回归分类器单独训练，并对所有的特征区域进行特征提取，存在训练阶段耗时和预测阶段较慢的问题。

文献[16]针对该问题提出一种空间金字塔池化网络（SPPnet）的算法，利用共享计算改善预测阶段速度较慢的问题。但是由于仅对Pyramid Pooling Layer 后的Layer 进行微调，在深层网络准确率上表现一般，仍旧有待提高。Fast R-CNN算法，不同于R-CNN 的是该算法将整张目标图像输入到CNN 网络中来得到特征图进而得到特征矩阵，并通过引入Adaptive Pooling 方法对整个网络调优，具有较高的识别效率，同时解决了SPPnet 在深层网络上准确率较低的问题。由于仍采用Selective Search 算法生成候选区域、比较耗时，识别效率上仍有提升的空间。针对该问题，利用Regional Proposal Network（RPN）代替以往所用的Selective Search 方法的Faster R-CNN 算法，进一步提高了识别的效率，但是在具有干扰物的情况下表现一般。

文献[17]针对此问题提出了一种MASK LSTM-CNN 算法，能够在有干扰和遮挡的环境下同样保持较高的准确率。文献[18]采用“Hot Anchors”采样代替滑动窗口均匀采样的锚点，对Regional Proposal Network layer 进行修改，提出了一种改进的Faster R-CNN 算法，避免了大量的额外计算从而减轻了计算负担，并进一步提高了识别的效率和准确率。改进的RPN 结构见图2。

图2 改进的RPN 结构示意图

二阶段目标检测算法的R-CNN 系列随着不断地发展已经达到了无论在识别的精度还是识别效率上都已具备很高的水准，基本能够满足对无人机巡检图像中电力部件识别的要求。但是由于需要先进行候选区域的提取，其在检测速度上仍有提高的空间。一阶段目标检测算法由于省去了候选区域提取的步骤，具有更高的检测效率。

SSD 算法具有更快的识别速度，但是由于仅通过VGG16来提取网络conv4_3layer，不具备足够丰富的语义信息而导致识别准确率相对稍逊一筹。YOLO 算法同样具有识别速度高，但识别准确率较低的问题。

文献[19]提出了一种基于改进的YOLO9000框架，在保证较高识别速度的同时，提高了识别的准确率。但是，存在分割精度较低和易受图像背景影响的问题。随着YOLO 系列不断迭代升级，YOLOv3算法在识别的效率和准确率上都达到了更高的水平，而且在目标被干扰或者被遮挡的情况下依旧具有不俗的表现。文献[20]在此基础上，引入最小凸集的损失函数，解决了目前算法所存在的仅针对某种部件或者缺陷的问题，并利用级联网络分步操作实现了多目标识别检测的效果，其最小凸集示意图见图3。

图3 最小凸集示意图

3 结语

无人机巡检所采集的图像容易受到噪声的干扰，进而影响对电力部件的识别效果。随着图像处理技术的不断发展，已经达到了能够很好的去除掉图像中的混合噪声的水平。在电力部件识别方面，随着深度学习的引入和不断地发展，无论在识别效率还是准确率上都达到了很高的水准，具有很高的鲁棒性，而且能够达到对目标实时识别的程度。在无人机巡检的广泛深度应用中，发挥了重要的贡献作用。

未来，随着5G 技术的不断发展和普及，无论在传输速度还是质量上都将有很大的飞跃。通过搭建云平台实现实时识别，对无人机减负，将会有助于解决无人机续航的问题。同时，配合无人机自主导航技术，实现无人机的全自动巡检将是未来的研究趋势。