复杂背景下多个绝缘子串红外图像分割方法
2022-07-04刘新伯李昊陈强梁鉴如郭梦茹
刘新伯 李昊 陈强 梁鉴如 郭梦茹
关键词:绝缘子;图像分割;霍夫变换;定向腐蚀;SNIC
變电站中存在大量的绝缘子,其主要的作用是固定、支持导线使得导线与地绝缘。由于绝缘子长时间暴露于室外,易出现绝缘子零值、爆裂和闪络等故障。绝缘子属于电压致热型设备,利用红外热像仪的检测方法,可以安全、有效地获得绝缘子的运行状况。红外热像仪检测是非接触的检测方法,在设备运行状态下,获取致热型电力设备表面温度分布,从而发现电力设备内部故障的方法得到广泛应用。随着电力设备红外检测技术的完善,通过计算机视觉技术对红外图像进行分析、定位和分割的研究显得十分重要。
目前,国内外对红外图像中绝缘子的提取与分割方法进行了大量的研究,主要分为采用传统方法和采用神经网络方法。传统方法中:文献[4]使用加速健壮特征(Speed-up Robust Feature,SURF)提取特征点,提出改进的模糊c均值算法(FuzzyC-Means,FCM)进行特征点聚类,来区分绝缘子与杆塔。当绝缘子被杆塔遮挡时,区分效果不佳。文献[5]通过空间距离定值,加大颜色距离的权重来改进简单的线性迭代聚类(Simple Linear Itera-tive Clustering,SLIC)算法,而后将图像转换成HSV色彩空间,实现对故障区域的分割。该算法仅锁定颜色异常区域,对电力设备的识别未做研究。神经网络方法中:文献[6]改进了FasterR-CNN,增加了区域提取网络并引入激励压缩环节,提高了对小目标的特征提取。文献[7]在YOLOv3网络中加入了金字塔特征注意网络,去除了网络底层细节冗余,减轻了图像背景对绝缘子检测的干扰。虽然神经网络算法在绝缘子红外图像的处理中得到越来越多的应用,但是神经网络算法需要数十万张图像数据、巨大的算力,并且模型的准确率依托于数据集的多样性。红外图像分割中,若采用神经网络算法,数据集的采集需要耗费大量的人力和时间成本,为此,采用传统的图像处理方法更适合变电站在线型红外检测。
为了去除红外图像中杆塔、电线等背景,分割出红外图像中的多个绝缘子,该方法利用红外图像的特点,准确分割出绝缘子,为绝缘子的红外图像故障诊断提供了前期基础。首先,利用RGB三通道阈值分割去除电线杆等背景;其次,采用霍夫变换直线检测横向杆塔;然后,利用定向腐蚀、全局腐蚀以及连通域排序去除残留的微小背景噪声;最后,根据获得二值图像与简单非迭代聚类(SimpleNon-Iterative Clustering,SNIC)分割算法融合完成对复杂背景下多个绝缘子串的分割。
1算法设计
为完成在复杂背景中对多个绝缘子串的有效分割,提出了一种绝缘子串红外图像分割方法,其流程如图1所示。
1.1图像预处理
1.1.1颜色阈值处理
红外热像仪获取物体发射的电磁波,通过光电效应与电路处理,利用热像仪铁红调色盘将图像处理成伪彩色,并显示色带及其对应温度,为符合人视觉习惯,高温用暖色调来表达,低温用冷色调表达,如图2所示。
电力设备在工作状态下,其表面温度会高于环境温度。获取到的红外图像大多数是基于RGB颜色模型,每个像素点由红色、绿色和蓝色三种颜色按照不同比例叠加而成,每个颜色通道的取值范围为0~255。当温度越高时,显示颜色越接近橙色和黄色。由RGB颜色空问知识可知黄色与橙色主要由红色通道和绿色通道的颜色叠加而成。而RGB颜色空间的标准橙色为(255,128,0)。如图3所示,以绝缘子红外图像为例,利用灰度直方图来查看三个颜色通道中各像素值的分布。通过三个颜色通道的直方图分布与前文分析,进行阈值分割,红色通道选择200以上的像素点,绿色通道选择100以上的像素点,蓝色通道选择15以下的像素点。
1.1.2霍夫变换直线检测
在红外图像中,绝缘子串与其附近的杆塔、支架的颜色相近。为了消除背景的干扰,可以利用支架和杆塔几何形状为直线的特征,首先采用Canny边缘检测算子获得图像中边缘信息,然后采用Hough变换确定支架和杆塔,并获取其位置,如图4所示。
Canny边缘检测具有减少噪声响应,通过非极大值抑制来细化边缘处理等优点。其算法描述主要如下:
(1)利用高斯滤波平滑处理,使得边缘成为数据岭。
(2)应用Nobel检测算子,利用水平方向和垂直方向的两个掩码获取图像的边缘强度和方向。
(3)应用非极大值抑制,找到边缘强度数据中的最高点。
(4)连接边缘点的滞后阈值处理,通过上限阈值与下限阈值来确定边缘点并使其连接。
获得图像的边缘信息后,采用Hough变换检测对图像中横向的塔架进行定位。Hough变换实现了从图像点到Hough空间的映射,通过目标形状的映射完成对图像中形状的定位。目前,应用最为广泛,且被证明最有效的是极坐标Hough变换直线检测。通过设图像任意一点(x,y)为垂直通过图像原点的直线的角度的函数,该直线与垂直原点直线的交点为:
其中,为垂直直线与x轴的夹角,其取值范围是180°;p为原点到直线的距离。通过极坐标Hough变换,图像中的边缘点映射成累加器空间的曲线。累加器数组大小由与图像尺寸决定。直线会在累加器空间中呈现出明显的峰值。
1.2.1定向腐蚀运算
在1.1.2节中,通过Hough变换直线检测,可以获得横向塔架的位置信息。在此基础上,采用改进的定向腐蚀算法,使其结构元素的中心沿着获取到的直线位置进行腐蚀。由1.1.2节,获取检测直线的两个端点(x1,y1)和(x2,y2),假设x1
随后将x1到x2的x轴坐标整数升序排列代入直线方程,获得该直线的y轴坐标。然后对获得y轴的坐标进行取整操作,最终获得图像上该直线所经过的所有像素点集合。设置5×5的卷积核,将卷积核的中心沿着直线像素点集合进行滑动卷积,从而完成去除横向杆塔的效果。
1.2.2形态学开运算
腐蚀和膨胀属于数学形态学处理范畴,可以实现去除图像中的某些部分或对目标进行扩充。传统的腐蚀、膨胀操作是通过设定结构元素对图像进行全局操作。形态学开运算利用结构元素B对图像A先进行腐蚀运算再进行膨胀运算。其定义式为:
先采用定向腐蚀运算去除横向杆塔,再对整张图像进行开运算,以达到去除电线等背景信息的同时,保留绝缘子串目标信息的效果。
1.3 SNIC算法
SNIC算法是SLIC算法的升级版本。SNIC算法首先将图像设为K个区域,把RGB颜色空间转换为Lab色彩空间,随后根据像素点间颜色差异和空间距离作为聚类的判断条件,通过优先级队列实现非迭代聚类。设空间信息为x=[x,y],Lab色彩空间的信息为c=[L,a,6],则第j个待处理像素与其初始划分的第K个聚类中心的颜色距离为d,空间距离为d,最后聚类判据为d:
在SNIC超像素分割算法中,每个超像素是根据像素点间的位置和颜色特征来获得的,且大小相近,超像素的边缘与图像目标边缘的召回率很高,以此为基础对绝缘子串进行精细化分割。
1.4绝缘子定位与精细化分割
经过预处理和形态学运算后,红外图像中还会存留部分局部背景,形成噪声点,导致绝缘子串主体的边缘召回率很低。预处理和形态学处理后的红外图像为二值图像,其像素值为1或0(保留区域为1,去除区域为0)。利用连通域对二值图像进行分析,对像素值为1的区域进行排序,因为绝缘子串所占像素个数远大于残留背景区域,所以可以通过这一特征来去除残留的小背景,以此来达到绝缘子串定位的工作。
经过连通域处理后的二值图像与SNIC算法生成的超像素分割图像进行融合,以每个超像素为处理单元,获取在二值图像中相同位置的像素值,计算其像素值为1的像素个数占该超像素中像素总数的比值。当比值大于该超像素大小的1/3时,则认定该超像素为正样本,即绝缘子串;否则,认定该超像素为负样本,即背景。逐个对每个超像素进行筛选,最终显示正样本的超像素,完成绝缘子串的精细化分割。
2實验结果与分析
2.1实验过程与结果
测试环境:处理器:Intel(R)Core(TM)i5-6500CPU@3.20 GHz-3.19 GHz;内存:8.00 GB;操作系统:Window 10(64位);应用软件:Mat-lab2020a。
通过实验来验证算法的有效性,对绝缘子红外图像进行测试,其中部分实验图像数据来源于文献[16]所建立的红外绝缘子图像数据库。图5列举了一张复杂环境下多绝缘子串分割方程的过程。
对于从具有多数绝缘子串的红外图像(绝缘子串数目>3)中分割出各绝缘子区域的任务。本方法与K-means算法、FCM和基于超像素的快速模糊c均值聚类算法(Superpixel-Based Fast FuzzyC-Means Clustering,SFFCM)等进行对比实验的结果如图6所示。
2.2实验分析
通过对比实验的结果图,实现复杂背景下同时存在多个绝缘子串的红外图像分割,本算法可以准确获得绝缘子分割图像,明显优于其他对比算法。而传统的K-means算法、FCM和SFFCM算法虽能分割出多个绝缘子串,但是同时也分割出大量背景区域,无法实现对图像中绝缘子图像的定位,没有实现对绝缘子串的精细化分割。
通过定量分析来进一步分析,选择Dice相关系数、过分割率(Over—segmentation Rate,OR)、欠分割率(Under—segmentation Rate,UR)以及算法运行时间(Total time)作为各类算法实验对比的指标。其中Dice系数用来计算两个样本的相似度,范围是0~1,分割结果越好,Dice系数越接近1;过分割率表示误将背景分割成目标的概率,欠分割率表示将目标分成背景的概率,两个指标的范围都是0~1,并且值越小,表示分割效果越好。公式如下:
其中,A表示实验算法分割出目标的像素点个数;B表示标准参考图像目标的像素点个数;Rove,表示实验算法分割出目标多于标准参考图像的像素点个数;Runde,表示标准参考图像目标存在,但是实验算法未能分割出的像素点个数。
采用4种实验算法对4幅图像进行指标测试,其结果如表1所示。由表1可知,对比算法中,K-means算法、FCM算法和SFFCM算法分割结果,虽然欠分割率很低,仅有1.5%,但是相似度仅仅达到50%左右,并且过分割率高达60%左右,虽然较高地保留了绝缘子串的整体,但是同时也保留了大量的背景信息,可以说是无效的分割。算法处理后的图像与参考图像的相似度较高,可达到88%,并且同时保证了较低的过分割率和欠分割率,分别为8%与12%。在算法运行时间上,FCM算法是对K-means算法的优化,可以看出有0.33s的优化结果,SFFCM与本算法均用到了超像素分割的算法,算法复杂度比FCM和K-means高,但是本算法相较于SFFCM有0.87 s的提升,且平均处理一张图像的时间为1.98 s,满足在复杂背景下对多串绝缘子串进行分割的要求,也为后续的绝缘子故障精准定位提供了前期基础。
3结论
介绍了一种在复杂背景下对红外图像中多个绝缘子串进行分割的方法。首先,根据颜色阈值去除红外图像中大部分背景,然后采用霍夫变换直线检测去除与绝缘子串颜色相似的横向塔架,随后利用定向腐蚀和全局形态学处理获得包含绝缘子串和少数背景的二值图像,最后SNIC超像素分割算法根据获得二值图像进行绝缘子串位置确定完成分割。在测试的红外绝缘子图像中,通过实验验证了方法的有效性。