基于目标建议与结构搜索的绝缘子识别方法

翟永杰，王　迪，赵振兵

(1.华北电力大学 控制与计算机工程学院，河北 保定 071003；2.华北电力大学 电气与电子工程学院，河北 保定 071003)



基于目标建议与结构搜索的绝缘子识别方法

翟永杰1，王迪1，赵振兵2

(1.华北电力大学 控制与计算机工程学院，河北 保定 071003；2.华北电力大学 电气与电子工程学院，河北 保定 071003)

针对目前航拍图像绝缘子识别算法具有识别精度不高以及运用传统遍历识别运算速度慢的特点，提出了一种基于目标建议算法(object proposals)与结构搜索的绝缘子分步识别方法。利用目标具有的梯度轮廓闭合性特点进行目标建议，减少检测窗数量；提取绝缘子局部特征训练分类器，对检测窗进行识别，实现绝缘子粗定位；计算绝缘子骨架结构的特征描述子，以此描述子进行绝缘子结构搜索，实现绝缘子的细定位。实验中，绝缘子识别率达到了89%，运算速度相较于传统遍历识别提升了9倍。实验结果表明，所提算法具有较好的识别精确性和运算快速性。

绝缘子识别；目标建议；机器学习；结构搜索

0　引　言

绝缘子是输电线路中的重要元件，起到电气绝缘及线路支撑的作用；同时也是故障频发元件，自爆、破损、裂纹和异物等故障严重威胁着输电线的安全可靠运行[1]。据统计，因绝缘子故障导致的跳闸事故占目前输电线路事故的81.3%[2]。

因此，定期监测绝缘子状况，及时发现绝缘子故障至关重要。近几年，因无人机巡线的高效、快捷、可靠、成本低、不受地域影响等优点[1]，通过对无人机巡线采集的图像数据进行分析处理，从而发现绝缘子故障已成为研究热点。而实现绝缘子的精确定位是实现绝缘子故障自动诊断的重要前提。目前国内外识别绝缘子的方法可大致分为以下3种：

(1)基于轮廓提取。文献[3]通过检测图像中的圆形轮廓来对应绝缘子片的圆形结构；文献[4]基于非下采样轮廓波变换提取绝缘子轮廓，取得了一定成果；文献[5]认为航拍图像中绝缘子为椭圆形状，并通过椭圆拟合实现了绝缘子的定位。但航拍图像背景复杂，并且拍摄角度和视距的多变性导致了绝缘子轮廓的不确定性，使得轮廓提取算法的准确度降低。

(2)基于颜色特征。文献[6]依据玻璃绝缘子的蓝色特征初步定位绝缘子，对于玻璃绝缘子有较好效果；文献[7]认为绝缘子偏绿，对应HIS颜色空间的S分量，采用最大熵阈值分割定位绝缘子；文献[8]采用分块统计HIS空间中的H分量和S分量属于泛绿的区域作为绝缘子的粗定位；但以上方法针对性较强，对于白色、红褐色和黑色的瓷质绝缘子难以达到理想效果。文献[9]在饱和度分量S中对绝缘子进行阈值分割；但不能排除饱和度分量与绝缘子相近的其他目标的干扰。

(3)基于纹理特征。文献[10]利用灰度共生矩阵提取绝缘子的纹理特征；文献[11]基于MPEG-7纹理特征对绝缘子进行定位，对于背景简单且绝缘子纹理性较强的图像检测效果较为理想。但是基于纹理特征的方法计算量大，并且航拍图像也可能存在纹理特征与绝缘子相近的伪目标，导致该方法的应用性不强。

现有方法没有考虑绝缘子串独特的骨架结构特征和梯度图像的轮廓闭合性，文献[12]虽考虑到了绝缘子骨架结构的特殊性，取得了较好的检测效果，但是单以检测骨架图像中的直线实现绝缘子的粗定位，没有全面的表征绝缘子的骨架结构特征，导致存在误检率较高的问题。

本文引入目标建议算法[13]，从精确性和快速性着手，依据基于目标建议算法的机器学习方法对绝缘子进行粗定位，提炼绝缘子骨架结构的特征描述子，依据描述子进行结构搜索，实现对绝缘子的精确定位。

1　算法的总体框架

本文提出的航拍图像绝缘子检测算法如图1所示，以分级分步的方式分为2个部分：绝缘子粗定位、绝缘子细定位。

图1　绝缘子识别流程图Fig.1　The flow chart of insulator recognition method

2　粗定位

本文运用机器学习算法实现航拍图像中绝缘子的粗定位，首先提取梯度特征进行绝缘子目标建议，生成检测窗，再提取局部特征运用adaboost算法训练分类器，对检测窗进行分类识别，实现绝缘子粗定位。

2.1基于梯度特征的目标建议

基于机器学习的目标检测从传统意义上来讲是基于“滑动窗法”的图像分类问题，即采用一个大小固定的窗口在整个图像区域上进行自左及右、自上而下的滑动，对每个窗口的区域进行特征提取，之后用训练完成的分类器进行分类，实现目标检测。以一幅640*480大小的图像为例，若以24*24大小的窗口进行步长为2的遍历滑动，则一个典型的滑动窗检测方法在一幅图像上将获得大约7×104个检测窗。同时，目标识别为了达到高识别率，通常采用融合多特征、采用复杂分类器来实现，这使得以“滑窗”形式进行检测时产生海量计算，牺牲了检测效率。

而目标建议是在底层图像特征的基础上生成一系列具有区分目标和背景意义的检测窗[14]。此时获得的检测窗数量相较于传统“滑动窗法”具有几个数量级的减少，能实现显著的算法加速，并提高检测效率，其中的目标被定义为具有清晰且封闭的轮廓边界和中心的一切独立事物[13]。

目标建议的方法近几年被提出了很多种[15-18]。其中的Bing算法[18]利用目标具有封闭边缘这一先验知识，将一般物体归一化到8×8的小尺寸，此时物体都有一个很好的轮廓共性，即目标的边缘梯度比较明显，组合成一个闭合的轮廓。而对于绝缘子识别，尽管绝缘子的颜色、角度、结构各异，但其边缘梯度明显并且轮廓闭合。如图2所示，将绝缘子与非绝缘子(输电线、天空、杆塔等)的梯度图像缩放到8×8后，绝缘子的梯度图具有明显的闭合轮廓，而非绝缘子则不具此轮廓共性。

图2　绝缘子(红色)与非绝缘子(绿色)轮廓共性比较Fig.2　Comparison of contour commonality between insulator(red) and non-insulator(green)

运用BING目标建议算法对航拍绝缘子图像进行处理主要有以下三个部分：计算梯度特征、计算分类模型w、计算窗口分数sl。

(1)计算梯度特征。计算8×8窗口中的梯度值，将64维梯度向量二值归一化后作为梯度特征。

(2)计算分类模型。分别将绝缘子正负样本集缩放到8×8大小，提取正负样本集的梯度特征输入线性支持向量机，通过不断的学习训练得到线性分类器模型w，模型可近似表示为

(1)

(2)

一个64维特征gl可由二值归一梯度特征Ng定义：

(3)

(3)计算窗口评分。训练分类器后，对待测航拍图像进行尺寸的量化，将其缩放为36种不同的尺寸，并生成梯度图，通过滑窗的方式计算8×8窗口中的梯度值，提取64维梯度特征。运用分类器进行分类识别得到检测窗，并对这些窗口进行评分，评分越高则该候选窗中包含物体的可能性越大。窗口的评分sl与分类器模型w、梯度特征有关，相关公式如下：

(4)

(5)

(6)

其中，vi,ti∈R分别代表学习系数和每个量化尺寸i的偏差项。为了得到公式中的vi和ti，我们在训练图像中评估尺寸i下的sl并且使用选择的建议作为训练样本。因此，有着BING特征bk,l的图像窗口滤波分值计算公式如下：

(7)

在遍历图像中每一个8×8的窗口时，利用位操作进行加速计算，如图3所示，每次计算下一个窗口特征时，对上一个窗口特征进行移位运算，然后将窗口最后一行数值与下一行数值进行逻辑或运算即得到下一个窗口的特征。

图3　位运算遍历窗口Fig.3　Sliding window by bit operation

对航拍图像进行目标建议处理后，得到大约1 600多个检测窗，同时处理速度为0.003 s/幅，这相较于传统遍历搜索产生的检测窗数量降低了至少两个数量级。效果评估如图4所示，图中的红色矩形为目标建议生成的检测框中与人工标注最接近的检测框。

图4　最匹配的检测框Fig.4　the best match window

2.2基于局部特征的分类器识别

局部特征相对目标整体而言具有旋转不变、对遮挡和姿态变化鲁棒等优良的特性，基于局部特征的目标检测方法取得一定效果。其中Hu不变矩特征作为一种表征图像局部结构信息的几何特征，由于其特有的旋转、平移、尺度不变性[19]，在目标识别方面被广泛应用。在航拍过程中由于角度和视距的差异，图像中的绝缘子会出现不同程度的倾斜和不同的尺寸。而不变矩特征能很好的解决这些问题。

本文提取正样本集与负样本集的Hu不变矩特征作为训练特征。并使用具有高精度特点的AdaBoost算法进行分类器训练[20]，对目标建议算法所生成的检测窗进行分类识别。并对初始识别结果框进行基于重合密度的合并，得到粗定位结果，如图5所示。

图5　粗定位结果Fig.5　The rough positioning

3　细定位

3.1骨架图像提取

将粗定位区域进行二值化后，对二值图像中的对象进行骨架化处理，如图6所示。处理过程中不断删除对象边界上的像素直至其成为单像素，但不允许对象断开。因此，这些骨架仍保留原始对象形状结构的重要信息[12]。

图6　提取粗定位区域的骨架Fig.6　Extracting the skeleton of rough positioning region

3.2绝缘子骨架特征描述

本文研究发现，输电线路中绝缘子类型繁多，绝缘子片形状有所差异，但整串绝缘子与其他目标相比，在骨架结构上具有独特的特征，如图7所示，这些特征可以概括为以下3点：

特征描述1：绝缘子串中心轴的骨架结构为一条长直线，绝缘子伞裙的骨架结构为若干条短直线；

特征描述2：所有短直线被长直线二等分，并且短直线的数量较大；

特征描述3：绝缘子伞裙的短直线长度相等，并且所有短直线都等间距的垂直排列于中心轴的长直线上。

将以上3个特征描述子进行数字化描述，以此对绝缘子进行结构搜索。

图7　绝缘子(红色)与非绝缘子(绿色)骨架特征比较Fig.7　Feature comparison of skeleton between insulator(red) and non- insulator(green)

3.3绝缘子细定位过程

将绝缘子骨架结构的三个特征进行数字化描述，并以此进行绝缘子的结构搜索，实现绝缘子细定位，结构搜索步骤如下：

(1)中心轴搜索。在获取绝缘子骨架后，通过直线检测确定绝缘子的中心轴。将所有检测到的长度满足式(8)的直线均作为绝缘子的疑似中心轴，如图8所示。

Li≥1/3max(Qw,Qh)

(8)

式中：Li为第i条直线的长度；max()为求最大值公式；Qw、Qh分别为粗定位区域的宽和长，依据绝缘子粗定位情况的经验值，将大于1/3倍粗定位区域最长边长的直线作为疑似的绝缘子中心轴。

图8　疑似中心轴搜索Fig.8　Searching of suspected central axis

(2)伞裙搜索。沿疑似中心轴的垂直方向搜索被疑似中心轴二等分的直线，并统计直线数量N，若满足式(9)则继续进行后续判断。

(9)

其中，直线数量N即对应绝缘子片数量，考虑到架空线路中绝缘子片数量情况和识别的有效性，将阈值T设置为5，搜索方式如图9所示，图中黑色直线代表中心轴，绿色箭头代表伞裙搜索方向。

图9　不同方向绝缘子的伞裙搜索示意图Fig.9　Search way of umbrella skirt of insulator with different directions

(10)

式中：Li为第i条直线的长度，i=1,2,…,N-1；Dj为第j个间距长度，j=1,2,…,N-1，以直线长度的方差表征短直线的相等性，以直线间距的方差表征短直线的等距性，阈值Tr依据实验数据设置为5。

图10　细定位结果Fig.10　The fine positioning

4　实验结果与分析

为了验证本文算法的有效性，选取了12幅复杂背景的航拍绝缘子图像，利用本文的算法进行绝缘子图像提取，识别率统计如表1所示。并将其与基于Haar特征和AdaBoost的检测方法(Haar+ada)、文献[12]的方法进行比较，如图11所示。为验证本文方法的快速性，将其与使用传统“滑窗”方式进行检测的方法进行运算速度比较，如表2所示。

图11　识别方法比较Fig.11　Comparison of different methods

如图11所示，基于Haar与adaboost的方法能大致检测到绝缘子，但存在较大误检和绝缘子串定位不全、定位不准确的问题；文献[12]在绝缘子识别率上有较大改善，但由于此方法单一的通过检测骨架图像中的所有直线进行粗定位，未对骨架结构进行细致的描述，使得粗定位结果中存在很多同样具有直线骨架的伪目标(如电线、杆塔)，而该方法通过机器学习进行细定位，无法完全过滤掉伪目标，并且无法对绝缘子串进行更精确的定位；本文使用基于目标建议的机器学习进行粗定位，能快速的识别绝缘子，并使用更完善的骨架特征进行绝缘子结构搜索，准确剔除伪目标的同时更精确的定位绝缘子串。

表1　绝缘子识别率

表2　目标建议提速验证

5　结　论

文章通过引入目标建议算法，并结合结构搜索实现了航拍图像中绝缘子串的自动识别及定位。主要结论如下：

(1)引入基于边缘梯度闭合性的目标建议算法进行处理，有效的筛选出目标物体的候选区，为粗定位奠定了基础，并且显著减少了使用传统“滑窗”方式产生的搜索窗，提高了算法的快速性。

(2)提炼出绝缘子骨架结构的特征描述子，以此进行绝缘子结构搜索，实现了绝缘子的细定位。

(3)绝缘子的骨架特征对于绝缘子串的结构具有一定代表性，在骨架特征的基础上进行绝缘子掉串故障的检测是下一步的工作重点。

[1] 黄珊珊, 钱政. 智能电网中输电线路绝缘子在线检测方法综述[J]. 仪器仪表学报，2010, 31(增刊)：159-163.

[2] 仝卫国, 苑津莎, 李宝树． 图像处理技术在直升机巡检输电线路中的应用综述[J]． 电网技术, 2010, 34(12): 204-208．

[3] OBERWEGER M, WENDEL A, BISCHOF H.Visual recognition and fault detection for power line insulators[C]//Proceedings of the 19th Computer Vision Winter Workshop.Kǐting, Czech Republic: CVWW, 2014, 1-8.

[4] 赵振兵, 金思新, 刘亚春. 基于NSCT的航拍绝缘子图像边缘提取方法[J]. 仪器仪表学报, 2012, 33(9): 2045-2052.

[5] 陈芳, 姚建刚, 李佐胜, 等. 绝缘子串红外图像中单个绝缘子盘面的提取方法[J]. 电网技术, 2010, 34(5): 220-224.

[6] 马帅营, 安居白, 陈舫明. 基于区域定位的绝缘子图像分割[J]. 电力建设, 2010, 31(7): 14-17.

[7] 黄宵宁, 张真良. 直升机巡检航拍图像中绝缘子图像的提取算法[J]. 电网技术, 2010, 34(1): 194-197.

[8] 林聚财, 韩军, 陈舫明, 等. 基于彩色图像的玻璃绝缘子缺陷诊断[J]. 电网技术, 2011, 35(1): 127-133.

[9] 张少平, 杨忠, 黄宵宁, 等. 航拍图像中玻璃绝缘子自爆缺陷的检测及定位[J]. 太赫兹科学与电子信息学报, 2013, (4): 609-613.

[10] WU Q G, AN J B, LIN B. A texture segmentation algorithm based on PCA and GMAC for aerial insulator images[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing,2012, 5(5): 1509-1518.

[11] 李卫国, 叶高生, 黄锋, 等.基于改进 MPEG-7 纹理特征的绝缘子图像识别[J]. 高压电器, 2010, 46(10): 65-68.

[12] 翟永杰, 王迪, 伍洋, 等. 基于骨架提取的航拍绝缘子图像分步识别方法[J]. 华北电力大学学报, 2015, 42(3): 105-110.

[13] HOSANG J, BENENSON R, DOLLAR P, et al. What makes for effective detection proposals?[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016,38(4): 6644-6665.

[14] ALEXE B, DESELAERS T, FERRARI V. Measuring the Objectness of Image Windows[J]. IEEE Transactions on Software Engineering, 2012, 34(11): 2189-2202.

[15] ENDRES I, HOIEM D. Category-independent object proposals with diverse ranking[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2013,36(2):222-234.

[16] MANEN S, GUILLAUMIN M, VAN G L. Prime object proposals with randomized prim’s algorithm[C]//IEEE International Conference on Computer Vision.Sydney,NSW:IEEE,2013:2536-2543.

[18] CHENG Mingming, ZHANG Ziming,LIN Wenyan,et al.BING: binarized normed gradients for objectness estimation at 300fps[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Columbus:IEEE,2014:286-3293.

[19] 刘政, 刘本永. 基于图像深度信息的尺度不变特征变换算法误匹配点对剔除[J]. 计算机应用, 2014, 34(12): 3554-3559.

[20] 孔英会, 景美丽. 无人值守变电站监控视频异常模式识别方法[J]. 华北电力大学学报(自然科学版), 2011, 38(6): 11-16.

Recognition Method of Insulator Based on Object Proposals and Structure Research

ZHAIYongjie1，WANG Di1，ZHAO Zhenbing2

(1.School of Control and Computer Engineering，North China Electric Power University，Baoding 071003，China;2.School of Electrical and Electronic Engineering, North China Electric Power University, Baoding 071003, China)

Aiming at the low accuracy of the insulators recognition in aerial image and the limited speed of using traditional sliding window algorithm, a step by step insulator recognition method based on object proposals algorithm and structure research was proposed. First of all, reduce the amount of detection windows by using the object proposals algorithm based on the gradient profile closed. Second, extract the local feature to train the classifier and recognize the detection window for achieving insulator’s coarse positioning. Finally, the insulator skeleton structure feature was calculated, which was used to search the insulator more specifically. In the experiment, the insulator recognition rate reached 89%, and was promoted 9 times compared to the traditional sliding window method. The results show that the proposed algorithm has good recognition accuracy and rapidity.

insulator recognition; object proposals; machine learning; structure research

10.3969/j.ISSN.1007-2691.2016.04.11

2015-12-31.

国家自然科学基金资助项目(61401154)；中央高校基本科研业务费专项资金资助项目(2014MS140).

翟永杰(1972-)，男，副教授，研究方向为模式识别、数字图像处理、计算机控制技术；王迪(1991-)，女，硕士研究生，研究方向为模式识别、图像处理；赵振兵(1979-)，男，副教授，研究方向为电气设备智能检测与图像处理。

TM726

A

1007-2691(2016)04-0066-06