基于红外图像的绝缘子提取方法

赵利鸿，高 强，于 晓，李大华

基于红外图像的绝缘子提取方法

赵利鸿，高 强，于 晓，李大华

（天津理工大学 电气电子工程学院，天津市复杂系统控制理论及应用重点实验室，天津 300384）

绝缘子是输电线路上的重要设备，若发生故障会给电力设备带来巨大损失，从拍摄的输电线路红外图像中定位和提取绝缘子，基本上能反映多种绝缘子故障，在绝缘子的识别和故障诊断中更具实用性。本文提出了一种基于红外图像的绝缘子提取方法，依次使用Speeded Up Robust Features（SURF）算法提取测试红外图像的关键特征点、基于改进Fuzzy C-means（FCM）算法聚类划分特征点、根据绝缘子的形状特征值识别和定位绝缘子、基于改进的图像开运算精确提取绝缘子。该方法充分发挥了红外图像的优点，能够准确提取绝缘子，为基于红外图像的绝缘子故障诊断奠定了基础。

绝缘子；红外图像；SURF特征点；FCM算法；图像开运算；

0 引言

输电线路检测是保证电网安全可靠运行的重要工作，绝缘子检测是其中的重要内容之一[1]。由于受地形环境、人员素质、气象条件等因素的影响，传统的长周期人工巡线效率低、精度不高[2]。近年来，直升机和无人机的智能检测正逐步取得进展[3]，但检测所获得的数据需要人工处理，工作人员需要查看大量的视频和图像来查找故障，这一过程容易出现问题，且耗时长[4]。

近年来，图像识别技术开始应用于航空影像中的绝缘子识别，进而对绝缘子故障进行诊断，但由于可见光图像易受天气和输电线路周围环境的影响，实际结果不能满足现场的要求[5]，近年来开始使用红外图像对绝缘子故障进行检测。

为了提高红外图像目标的提取精度，国内外学者提出了多种方法，主要有阈值[6]、马尔可夫随机场（Markov Random Field）[7]、主动轮廓模型[8]、模糊c均值（FCM）聚类[9]和神经网络（Neural Network，NN）[10]等。文献[11]基于阈值的方法在灰度差较小的图像中，由于没有考虑空间信息，容易产生误分类。文献[12]基于MRF的方法具有严格的数学理论和较强的可扩展性，但是，它们可能会陷入局部最优，因此需要一个合适的初值。文献[13]基于主动轮廓模型的方法可以自动处理拓扑变化，具有捕获局部变形的优点，但对初始曲线敏感。文献[10]基于神经网络的方法需要大量的红外图像进行训练，训练的准确率与训练涉及的图像数量有关。

本文提出了一种基于红外图像的绝缘子提取方法，该方法充分发挥了红外图像的优点，能够准确提取绝缘子，为基于红外图像的绝缘子故障诊断奠定了基础。首先，提取图像的SURF特征点；其次，基于改进FCM算法聚类特征点；最后，找到所有相关的每个类的区域，计算最小外接矩形以及每个区域的形状特征值以识别绝缘子，并通过矩形框将其定位；然后基于改进的图像开运算精确提取绝缘子。该方法可作为绝缘子故障检测基于图像处理技术诊断的依据。

1 算法设计

为了在复杂背景下从航拍图像中提取绝缘子，提出一种基于红外图像的绝缘子提取方法。图1是该方法的流程图。

图1 绝缘子提取流程图

1.1 SURF特征点检测

利用SURF算法提取红外图像的SURF特征点。SURF算法定位“兴趣点”，这些点是明确的，在局部和全局扰动下保持稳定，不随图像的缩放和旋转改变，甚至对噪声，遮挡，3D视角转变，仿射变换和照明变化都具有鲁棒性。在一定尺度空间水平上计算积分图像和行列式响应，对行列式响应图进行尺度归一化和非极大值抑制，以便在尺度空间定位“兴趣点”。然后将非极大值抑制结果与预先确定的阈值进行比较。最后，实现“兴趣点”在尺度空间的定位。

1.2 改进的FCM算法

由于电气设备的存在，红外图像具有边缘模糊、电气设备强度突出、噪声污染严重的特点。电气设备红外图像的特点增加了电气设备故障诊断的难度，FCM算法是解决这一问题的合适方法。然而，FCM算法存在非自适应、复杂度高、忽略背景干扰等缺点。为了弥补这些不足，提高设备故障检测的准确性，本文提出了一种改进的FCM算法。

1.2.1 初始化聚类参数

原始红外图像对初始聚类中心的敏感性和低对比度都会影响聚类结果。本文提出一种显著性检测算法来获取显著性图像，该算法可以确定聚类中心。将像素之间的差异度定义为：

(p,p)＝gray(p,p)×exp(－×position(p,p)) (1)

式中：gray(p,p)是指像素p和p在灰度空间的欧式距离；position(p,p)是指像素p和p在位置空间的欧式距离。将gray(p,p)和position(p,p)标准化到[0,1]。是空间距离的权重因子。当像素p高度不同于其他所有像素点，就认为像素点p是显著点。实际上，只需要考虑与中心像素点p最相似的像素。因此，我们在图像中以像素p为中心寻找个最相似的像素{q}＝1。像素点p的显著值定义为：

式中：(p)是空间优先加权项，定义为：

(p)＝exp(－9d2) (3)

式中：d是像素p到图像中心的距离。像素坐标标准化到[0,1]。根据以上步骤，得到显著性图像。

根据显著性图像将原始图像划分为多个区域，每个区域可以得到一个直方图。在每个直方图中，根据最大密度准则确定一个聚类中心，计算方法如下：

式中：是聚类的数量。是窗口的大小，窗口在直方图上从左向右滑动，滑动步长为，start是第个子直方图的起始灰度，I是第个直方图中灰度值为的像素个数。当K为最大值时，第个聚类中心可以确定为：

1.2.2 具有局部空间约束的FCM算法

模糊聚类算法基于一定准则，通过最小化目标函数对未标记数据进行分类。聚类标准函数定义为：

式中：是聚类的数量；是加权指数，可以控制聚类结果的模糊度；(＝×)是图像的总像素；u∈[0,1]是属于第个聚类的第个像素的模糊隶属度。所有像素的隶属度可以构成一个矩阵＝[u]，矩阵的大小是×。d＝||x－v||是指第个像素到第个聚类中心的欧氏距离。是聚类中心的集合。

在目标函数中引入提高局部邻域像素相似度度量水平的智能控制因子G，并将其定义为：

D＝||x－v||2(8)

式中：x是位于窗口(N)的邻域像素；D是第个像素和第个聚类中心之间的距离。v是第个聚类的聚类中心。d表示第个像素和第个像素之间的欧氏距离。

本文中，采用灰度表示像素来压缩数据空间。在预处理阶段，计算每个像素所属的灰度。在每次迭代中只需要计算一次灰度，从而降低了模糊聚类方法的计算复杂度。

为了以较少的迭代次数实现算法的收敛，D重新定义为：

D¢＝||x2－v2||(9)

提出一种新的局部空间约束，定义为：

像素的模糊隶属度发生显著变化，加快了算法的收敛性。将灰度和局部空间约束G¢引入到目标函数中，将改进的FCM定义为：

式中：是图像中灰度的总数；()是红外图像的直方图；＝0,1,…,－1表示图像灰度级；N代表以灰度为的像素为中心的8邻域窗口；是N中的一个像素点。这种改进可以有效降低计算复杂程度。

1.3 识别和定位绝缘子

绝缘子的形状特征值有细长度、圆形度、占空比和u不变矩。从拍摄的绝缘子红外图像中，随机选取40张，本文计算细长度和占空比两个特征值。

1）细长度lwratio

细长度是指该区域的最小外接矩形的纵横比。细长度的计算公式如下：

式中：length和width分别为最小外接矩形的长和宽。

图2为选取的绝缘子红外图像中，绝缘子和背景区域的最小外接矩形的细长比。由图可知，绝缘子的细长比在[2.1386, 7.9532]之间，而背景区域细长度则普遍较小。

图2 各区域的细长度

2）占空比dutyfactor

占空比是指目标区域占外接矩形的比例。占空比的计算公式如下：

式中：area表示目标区域的面积；boundingbox表示区域外接矩形的面积。

图3显示了选取的绝缘子红外图像中，绝缘子和背景区域的占空比。图中绝缘子的占空比在[0.5261, 0.7936]之间，背景区域具有宽范围的占空比变化，很强的随机性，并且大多数都低于绝缘子。

图3 各区域的占空比

由以上分析可知，一般情况下绝缘子的细长比和占空比大于塔架，本文利用这两个指标来找出绝缘子。利用改进的FCM算法聚类特征点，聚类的连通区域视为可疑目标。如果一个聚类的形状特征值满足条件，则可以将其定义为绝缘子。因此，所有区域都可以获得并计算最小外接矩形和每个区域的形状特征值来识别绝缘子。用长方形标记绝缘子，所有的绝缘子可以被识别和定位出来。

1.4 绝缘子的精确提取

绝缘子故障检测需要从图像中提取出纯粹的绝缘子串图像。在确定绝缘子区域后，从中提取最大连通域。使用绝缘子区域定位后，即使图像主要部分仍然是塔架和电线，也可以精确地分离绝缘子区域。尽管定位效果好，但通过传统方法获得的图像中仍有不属于绝缘子部分如电线和一些小的结构，这会干扰分割结果，从而降低了结果的质量和效果。

图像的开运算可以达到断开细小连接并去除图像边缘上的毛刺的效果。图像开运算是图像形态处理的基本操作，是先腐蚀目标图像然后进行膨胀的过程。

本文提出一种改进的图像开运算方法。

1）选用较小的结构元素来腐蚀图像，以减少图像本身的变化，还可以消除干扰。

2）提取最大连通域。

3）膨胀连通域，避免由于结构太小导致的本应分离的结构发生重新连接。

即在图像的开运算过程中，在腐蚀和膨胀之间，加入提取最大连通域。

2 实验结果与分析

2.1 实验结果

为了验证该方法的有效性，做了大量实验。但考虑到空间的限制，仅详细列举了其中一张绝缘子红外图像的提取过程如图4。

本文选取4组不同场景下拍摄的绝缘子红外图像，从中提取绝缘子区域。在聚类特征点时，分别采用传统FCM算法、K-means算法、均值漂移聚类算法、DBSCAN（Density-Based Spatial Clustering of Applications with Noise）算法提取绝缘子最终结果和本文算法进行对比实验，实验结果如图5所示。

图4 绝缘子图片

图5 实验结果对比图

由实验结果对比可以定性地分析出，在绝缘子红外图像中，本文算法可以准确获得绝缘子的完整形态，提取出纯粹绝缘子串。传统FCM算法、K-means算法、均值漂移聚类算法、DBSCAN算法在聚类特征点时，效果不好，导致绝缘子定位失败，最终提取效果不好。虽也提取到完整的绝缘子区域，但也提取出大量背景区域，提取纯粹绝缘子失败。

2.2 实验分析

本文选择真阳率（TPR），假阳率（FPR）和准确率（ACC）作为各类算法结果对比的指标，公式如下：

TPR＝t/(14)

FPR＝f/(15)

式中：t表示实验提取绝缘子结果与标准参考图像目标点一致的像素点数；表示参考绝缘子的目标区域；f表示实验提取结果中应是背景部分但被误分为绝缘子的像素点数；t表示实验提取结果与参考图像背景点一致的像素点数；表示参考图像的背景区域。

实验中所用各类算法对4幅原图的检测结果指标数值如表1所示。

由表1可以看出，本文算法在达到真阳率较高的同时，也保证了假阳率较低，可以准确地完成绝缘子目标区域的提取，而其他算法达到了真阳率高的同时，没有保证较低的假阳率，表示提取到的绝缘子区域面积过大，除了绝缘子串，还包含较多背景区域。

由以上分析可知，本文算法所提取到的绝缘子更为准确，几乎没有背景区域的干扰，与真实绝缘子区域的重合度较高。

表1 不同算法定量分析对比

3 结论

本文介绍了一种基于红外图像的绝缘子提取方法。首先，使用SURF提取测试红外图像的关键特征点，然后根据基于改进FCM聚类算法将特征点划分为个互斥类。找到每个类别的连接区域，并计算最小外接矩形和每个区域的形状特征值以识别绝缘子，并通过矩形框定位绝缘子。最后，利用在图像的开运算过程中穿插最大连通域提取的融合方法，精确提取绝缘子。在测试的绝缘子红外图像中，本文通过实验结果定量分析验证了这种方法的有效性。

[1] 王淼, 杜伟, 孙鸿博, 等. 基于红外图像识别的输电线路故障诊断方法[J]. 红外技术, 2017, 39(4): 383-386.

WANG Miao，DU Wei，SUN Hongbo, et al. Transmission Line Fault Diagnosis Method Based on Infrared Image Recognition[J]., 2017, 39(4): 383-386.

[2] 刘正庭, 尹骏刚, 李凯迪, 等. 基于分水岭算法的绝缘子串红外图像分割方法[J]. 电瓷避雷器, 2020(2): 216-221, 228.

LIU Zhengting, YIN Jungang, LI Kaidi, et al. Infrared Image Segmentation of Insulator Strings Based on Watershed Algorithm[J]., 2020(2): 216-221, 228.

[3] 付强, 姚建刚, 李唐兵, 等. 基于红外图像的绝缘子串钢帽和盘面区域自动提取方法[J]. 红外技术, 2016, 38(11): 969-974, 979.

FU Qiang，YAO Jiangang，LI Tangbing, et al. The Automatic Extraction Method of the Insulator String's Steel Capsand Disks Area Based on Infrared Image[J]., 2016, 38(11): 969-974, 979.

[4] 张晓春, 欧阳广泽, 何洪英, 等. 基于红外图像匹配的零值绝缘子检测[J]. 电测与仪表, 2019, 56(6): 100-105.

ZHANG Xiaochun, OUYANG Guangze, HE Hongying, et al. Zero-insulator detection based on infrared images matching[J]., 2019, 56(6): 100-105.

[5] 张也, 彭子健, 付强, 等. 环境湿度对瓷质绝缘子串电压分布及红外热像检测的影响分析[J]. 电网技术, 2018, 42(4): 1342-1349.

ZHANG Ye, PENG Zijiang, FU Qiang, et al. Analysis of Environment Humidity Influence on Voltage Distribution and Infrared ThermalImage Detection of Porcelain Insulator Strings[J]., 2018, 42(4): 1342-1349.

[6] Oliveira J P S de, Conci A, Pérez M G, et al. Segmentation of infrared images: A new technology for early detection of breast diseases[C]//, 2015: 1765-1771.

[7] ZHAO Q, Xiao-li L, YU L, et al. A fuzzy clustering image segmentation algorithm based on Hidden Markov Random Field models and Voronoi Tessellation[J]., 2017, 85(1): 49-55.

[8] ZHANG R, ZHU S, ZHOU Q. A novel gradient vector flow snake model based on convex function for infrared image segmentation[J]., 2016, 16(10): 1756.

[9] BAI X,WANG Y, GUO S. Symmetry Information Based Fuzzy Clustering for Infrared Pedestrian Segmentation[J]., 2018, 26(4): 1946-1959.

[10] ZHANG H, HONG X. Infrared image segmentation for photovoltaic panels based on Res-UNet[C]//, 2019: 611-622.

[11] HE L, HUANG S. Modified firefly algorithm based multi-level thresholding for color image segmentation[J]., 2017, 240(5): 152-174.

[12] YANG X, GAO X, TAO D, et al. An efficient MRF embedded level set method for image segmentation[C]//, 2015, 24(1): 9-21.

[13] NIU S, CHEN Q, JI Z, et al. Robust noise region-based active contour model via local similarity factor for image segmentation[J]., 2017, 61(7): 104-119.

Insulator Extraction Method Based on Infrared Image

ZHAO Lihong，GAO Qiang，YU Xiao，LI Dahua

(School of Electrical & Electronic Engineering, and Tianjin Key Laboratory for Control Theory & Applications in Complicated Systems, Tianjin University of Technology, Tianjin 300384, China)

Insulators are important equipment on the transmission line. if fault occurs, it will bring huge loss to power equipments. Locating and extracting insulator from infrared image of transmission line can basically reflect a variety of insulator faults, which is more practical in insulator identification and fault diagnosis.This paper proposes an insulator recognition method based on infrared images, which sequentially use the Speeded Up Robust Features (SURF) algorithm to extract the key feature points of the test infrared images, cluster the feature points based on the improved Fuzzy C-means (FCM) algorithm, identify and locate the insulators according to the shape feature values of the insulators and precise extraction of insulators based on improved image opening operation. This method makes full use of the advantages of infrared images and can accurately extract insulators, which lays a foundation for insulator fault diagnosis based on infrared images.

insulator, infrared image, SURF feature points, FCM algorithm, image opening operation

TN219

A

1001-8891(2020)09-0840-06

2020-06-16；

2020-09-07.

赵利鸿（1995-），女，硕士研究生，主要研究领域为图像处理。E-mail: 1532124982@qq.com。

天津市自然科学基金资助项目（18JCQNJC01000）；国家自然科学基金资助项目（61502340）；天津市教委科研计划项目（2018KJ133）。