改进色差法的绝缘子图像分割方法
2019-11-27朱文天胡立坤王帅军
朱文天,胡立坤,王帅军
(广西大学 电气工程学院,广西 南宁 530004)
0 引言
绝缘子是输电线路中的重要金具,起到了电气绝缘及线路支撑的作用,必须对其进行定期状况监测。随着电力系统自动化的发展,计算机视觉技术被越来越多地运用到电力设备巡检中,用来对目标进行识别定位与在线监测[1-3]。近几年,通过计算机视觉及图像处理技术对输电线绝缘子进行监测和故障诊断已成为研究热点[4-6],而绝缘子识别定位是其中的关键环节。
目前国内外进行绝缘子识别定位的主流方法包括机器学习、非机器学习以及两者相结合的方法。文献[7]结合绝缘子特征点的局部灰度信息和梯度信息形成408维的特征向量,建立正负样本特征库进行训练,最后通过依靠特征匹配识别出图像中的绝缘子。文献[8-9]通过多核的SVM算法对绝缘子颜色、邻域特征进行训练分类。文献[10]利用卷积神经网络不用人工寻找特征的特殊性,直接使用绝缘子图像的正负样本训练经典架构的卷积神经网络,实现在复杂航拍背景中绝缘子检测。文献[11]通过建立绝缘子标准图库,将待测图像与标准图库进行ASIFT特征点匹配,并依据特征点匹配个数来识别绝缘子。文献[12]也是用分类器进行训练,不过采用的是绝缘子的不变矩特征。这些方法的模式是使用绝缘子图像的某种特征或多种特征,再利用这些特征向量训练分类器,最终利用训练好的分类器进行绝缘子检测。这类方法的特点是受拍摄角度影响较小,识别率高,但需要大量正负样本集,特征向量维数高,通常是以固定窗口扫遍整幅图像进行匹配分类,耗时长。对计算机硬件要求偏高。并且样本数量的过多或过少会导致分类器过拟合或者欠拟合。
文献[13]采用主动轮廓模型算法检测绝缘子轮廓,但绝缘子实验图像并非从输电线中采集,并且图像中背景单一简单,而输电线路中的绝缘子周围物体密集,图像背景复杂,因此该算法适用范围较窄。文献[14]通过检测图像中的圆形轮廓的方式来检测绝缘子片,但该检测方法需要以理想角度拍摄绝缘子,当拍摄角度不理想会降低检测的准确率。文献[15]先基于颜色对比和结构对比的显著性检测,确定出绝缘子串候选区域,然后利用绝缘子独特的结构性质,将候选区域进行水平、垂直方两个方向上的投影,根据投影曲线识别出绝缘子串。文献[16]结合红蓝色差灰度化和加权灰度化,选择两种灰度化后对比度较大的灰度图进行K-means聚类分割,能有效分割出复杂背景中的绝缘子,但该算法对褐色的绝缘子效果不理想。
1 绝缘子色差灰度化分割算法
黄新波等[16]提出的红蓝色差灰度化及K-means聚类分割方法(后文中简称红蓝色差法)在分割深褐色的绝缘子时往往效果不理想。本文利用Otsu算法进行预处理,引入红绿色差灰度化方法并结合红蓝色差灰度化方法。在原算法分割效果的基础上也能分割出深褐色绝缘子,提升了算法性能。
1.1 红蓝色差灰度化及红绿色差灰度化
红蓝色差法提出一种红蓝色差归一化的灰度化方法,用RGB颜色空间表示航拍绝缘子图像中各像素点,根据式(1)计算整幅图像的红蓝色差grb为:
grb=(R-B)/(R+B),
(1)
由于grb的范围是[-1,1],因此根据式(2)归一化得到g1,然后根据式(3)得到最终灰度图g2
g1=(grb+1)/2,
(2)
g2=255g1,
(3)
最后利用K-means算法聚类分割灰度图g2,提取出图像中绝缘子部分。
但实验发现,红蓝色差法针对红褐色、深褐色等复合绝缘子时灰度化效果不理想,导致算法最终不能有效分割绝缘子,并且在分割时易分割出过多背景,如表1所示。
表1 红蓝色差法的不理想分割结果
(4)
因此,本文根据这些特点提出红绿色差灰度化,红绿色差grg方法,计算公式如式(5):
grg=(R-G)/(R+G)。
(5)
将式(4)分别带入式(1)、式(5)中,比较两种色差度化后褐色绝缘子像素点与背景像素点的灰度值,存在如表2所示的关系。经过红绿色差灰度化后,绝缘子与背景的灰度值差值相较红蓝色差灰度化更大,类别区分更明显,因此有利于后一步的聚类分割。以绝缘子图像1作示例,灰度化效果如图1所示。
红蓝色差灰度化
红绿色差灰度化
表2 两种灰度化方法的灰度值关系
Tab.2 Gray value relations of two gray leveling methods
像素点类别灰度值关系褐色绝缘子grb<∽grg背景grb>∽grg
1.2 最大类间方差法(Otsu)预处理
“1.1”节提出的红绿色差灰度化方法在针对褐色类绝缘子图像时效果优异,但应用于蓝色玻璃绝缘子图像效果不如红蓝色差灰度化方法。因此,不同类别的绝缘子需用不同的色差灰度化方法。故本文提出在原图像进行灰度化前,用最大类间方差法进行预处理及映射,剔除掉部分背景的同时,还能针对性使用不同的色差灰度化方法。
最大类间方差法[17],简称Otsu。是一种自适应的阈值确定的方法。对于图像I(x,y),记T为前景和背景的分割阈值,前景的像素点数占整幅图像的比例记为ω0,平均灰度为μ0;背景像素点数占整幅图像的比例为ω1,其平均灰度为μ1。图像的总平均灰度记为μ,类间方差记为g,则有:
μ=ω0×μ0+ω1×μ1,
(6)
g=ω0×(μ0-μ)2+ω1×(μ1-μ)2,
(7)
联立式(6)、(7)可得:
g=ω0×ω1×(μ0-μ1)2,
(8)
当方差g最大时,可以认为此时前景和背景差异最大,此时的阈值T达到最佳。Otsu法选取出来的阈值对各种情况的表现都较为良好。
Otsu法无法直接将绝缘子从背景复杂的航拍图像中分割出来,只能将绝缘子与部分背景分割,这个过程会剔除掉部分背景。并且蓝色绝缘子在进行Otsu法分割时,绝大部分会被分割为1值(白色),而褐色绝缘子在进行最大类间方差法分割时,会被分割为0值(黑色)。
本文利用这一特点,将Otsu分割图分别按白色和黑色像素映射回原图中,得到蓝色绝缘子和褐色绝缘子预处理图,预处理过程如表3所示。经过Otsu预处理及映射后,白色像素映射图像进行红蓝色差灰度化,黑色像素映射图像进行红绿色差灰度化,实现不同类别绝缘子图像用不同的灰度化方法。
表3 Otsu分割预处理
1.3 K-means聚类分割
K-means算法根据欧氏距离进行分类,通过比较欧式距离和标记过程,将距离较近及相似对象划分到同一类,是一种最常用的基于全局的聚类划分方法[18-19]。根据本文分类要求,选定2两个聚类中心值μ1和μ2,由于在算法迭代过程中,两个中心值随聚类样本变化的,因此初始值的选取所以初始值延用红蓝色差法的初始值,即μ1=64,μ2=192。聚类样本为灰度化图像中各像素点的灰度值g(x,y),因此样本是值为0~255的一维数据。
K-means算法具体步骤如下:
① 遍历整幅图像,根据式(9)分别计算各像素点的灰度值到两个聚类中心μ1和μ2的距离d1、d2。其中,x∈[1,N],y∈[1,M],N×M为图像的尺寸。
(9)
② 若d1≤d2,将图像中的像素点(x,y)对应的灰度值g(x,y)分配到聚簇C1;若d1>d2,则将该像素点的灰度值g(x,y)分配到聚簇C2。
③ 根据聚簇C1、C2更新聚类中心μ1和μ2,具体公式为
图2 绝缘子候选图
。(10)
④ 当聚类中心值μ1和μ2不再改变时,以二值图像形式输出两个聚簇中包含的像素点的集合,分割出绝缘子和背景区域。否则重复步骤①。
分割结果通常包含有较多小面积干扰连通域。因此利用形态学滤波,过滤小面积的伪目标区域。一幅航拍采集的绝缘子图像,经预处理、灰度化及聚类分割后,会得到两幅绝缘子候选图。其中一幅包含分割出的绝缘子(候选图1),另一幅则是背景伪目标(候选图2),如图2所示。
2 投影特征判定
绝缘子规律性的形状是其区别伪目标的重要特性,本文用投影特征来描述这一特性。首先需要将候选图1、候选图2作倾斜校正:选取图中最大连通域作膨胀处理,利用Hough变换[20]检测最长直线和倾斜角,然后根据倾斜角旋转校正。
对校正后的两幅候选图作垂直及水平投影,为了消除投影曲线的毛刺干扰,采用平滑处理后得到投影曲线,如图3所示。其中图3(a)、图3(b)为候选图1(绝缘子部分)的垂直和水平投影曲线,图3(c)、图3(d)为候选图1(背景部分)的垂直和水平投影曲线。大量实验表明,绝缘子水平投影曲线的波峰个数为1~2,这由绝缘子串是单串还是双串所决定。而绝缘子的垂直投影波峰个数跟绝缘子的伞片有关,拍摄到的绝缘子串越长,其垂直投影波峰个数越多,平均值为12个。而背景图像由于杂乱无章,其垂直和水平投影曲线没有规律,两种投影曲线的波峰数很高。
(a)候选图1垂直投影
(b)候选图1水平投影
(c)候选图2垂直投影
(d)候选图2水平投影
图3 候选图垂直及水平投影曲线
Fig.3 Vertical and horizontal projection curves of candidate images
图4 本文算法流程图
由于分割结果可能只保留了绝缘子片而丢失绝缘子串连杆信息,倾斜角检测存在90°的误差,导致绝缘子水平、垂直两个方向互换,但不影响其投影特征,即绝缘子某一方向上(水平或垂直)投影曲线的波峰数为1~2个,而另一个方向的投影曲线的波峰数平均值为12个。
因此,本文利用投影曲线的特征来判定哪一幅候选图是绝缘子图像。设候选图的水平投影波峰个数为nh,垂直投影波峰个数为nv,波峰个数差值为nd。同时满足以下两个判决式的即为绝缘子图像:
nh≤2 ornv≤2,
(11)
nd=|nh-nv|≥5。
(12)
为能较大程度上保留绝缘子图像,本文认为绝缘子串至少有6个绝缘子片,因此将参数nd设置为5。综上,本文算法流程如图4所示。
3 实验分析
本文提出的绝缘子识别分割算法是对红蓝色差法所提算法的改进。在原算法的基础上利用Otsu算法预处理,并提出红绿色差灰度化方法。为验证本文算法的有效,用40张蓝色玻璃绝缘子航拍图像、40张褐色绝缘子航拍图像作为样本集进行验证,并与红蓝色差法的方法进行对比分析,部分分割结果如表4所示。
从表4中可以看出,航拍图像因背景中存在多种伪目标,包含的颜色信息更多,比纯色的天空背景更复杂。在分割褐色绝缘子图像时,本文算法相较红蓝色差法算法处理效果更优,能有效分割提取出该类绝缘子。在处理蓝色绝缘子图像时,由于利用Otsu算法进行预处理,过滤了一部分的背景信息,所以分割效果也有一定增强。但在灰度化聚类分割时,则会损失一些绝缘子的边缘信息,绝缘子完整度受到一定影响。
针对该样本集,本文用两种指标进行评估,漏分率和错分率。漏分率pm:无效分割的图像数与总样本的比率;错分率pe:有效分割结果中背景所占的比率。以绝缘子分割完整度超过70 %、80 %、90 %,作为三种有效分割标准,评估算法性能。评估结果见表5。
表4 绝缘子图像分割结果
表5 算法评估结果
从表5中可以看出,本文算法在三种有效分割标准下,漏分率都比红蓝色差法算法低,主要原因是红蓝色差法的红蓝色差算法在分割褐色绝缘子图像时,易将绝缘子部分当作背景分割掉。而本文的K-means聚类算法因为对相似像素点不具备归类能力,加上预处理中的Otsu分割算法仅以方差最大为标准,容易损失一些绝缘子信息,所以在以完整度超过90 %作为有效分割时,也出现了较多的漏分割。但也由于使用了Otsu算法,预处理中剔除了部分背景,因此本文的错分率要低于红蓝色差法算法。
表6比较了两种算法的分割时间。因为本文为更有效识别深褐色绝缘子,在算法上增加了预处理和判别算法。因此本文方法相较红蓝色差法分割方法的处理时间均相对较长。实验平台为PC,配置为处理器:i5-6300HQ,显卡:GTX-960m,开发软件是Matlab。
表6 算法处理时间
根据算法的性能评估与处理时间进行分析,可以看出本文算法虽然增加了整体的处理时间,但降低了漏分率和错分率,说明本文算法拥有更高的鲁棒性和稳定性。
4 结论与展望
① 本文提出的Otsu算法与色差法相结合的灰度化方法,克服红蓝色差法分割褐色绝缘子效果差、分割结果背景过多的问题。虽然牺牲了一些绝缘子串的边缘信息,但不影响绝缘子的完整度信息,分割后的绝缘子图像依然可以进一步的绝缘子自爆缺陷检测。
② 本文的识别方法相对目前流行的机器学习算法识别绝缘子,有效利用了绝缘子和背景的颜色信息,不受绝缘子旋转和图像尺度的影响。分割纯净度高,计算复杂度低,针对目前输电线路中的绝缘子具有通用性。
针对本文算法在分割结果中偶然会丢失绝缘子的部分边缘信息这一问题,下一步将研究分割过程中相似像素点的归类问题,保证绝缘子部分的完整度,以便进一步的绝缘子缺陷检测算法研究。