无人机图像的输电线异物检测方法研究
2021-04-19赵晓鹏
赵晓鹏,郭 威
(太原科技大学电子信息工程学院,太原 030024)
我国输电线路的建设(特别是特高压线路的建设)行程十分紧密[1],所以对输电线路输电的安全性建设提出挑战。而输电线路经常会受到气候变换、异物(如风筝、塑料袋、气球等)的影响,特别是异物悬挂于输电线路上,它们会极大地缩短放电距离,对输电线路下的行人、车辆造成危害,严重时导致输电中断,造成大面积停电[2]。所以对输电线路进行异物检测是十分必要的。
原先,输电线路主要采用人工巡检方式,依靠巡检人员徒步或借助直升机沿输电线路巡检,并以纸质媒介方式记录巡检结果。巡检劳动强度大、工作效率低、可靠性差,还存在一定的危险性,所以已经不能适应当前输电线路巡检的需要。近年来,通过无人机技术结合图像处理技术来自动识别输电线上的可见异常成为热点[3]。在异物检测相关文献中:同济大学的金立军采用改进的OTSU划分图像背景,用梯度法检测输电线路,最后采用Hough变换统计累加器中局部最大值个数与检测到的线路数量,通过比较这两个数是否一致检测异物。这种方法对出现类似交叉线的背景误检率高[4];华北电力大学的邹栋采用检测直线和输电线路平行特点进行输电线提取、异物检测。经过Hough直线检测和平行特点定位输电线路,并通过不变矩特征和Adaboost算法在输电线路范围内检测异物目标存在与否。然而,在复杂背景下输电线路提取效果差,鲁棒性差[5];上海大学的王亚萍等[6]通过异物存在下或者输电线路断股情况下输电线路的特征加之分类的直线对象给出了缺陷诊断流程,判断是否有缺陷的存在;国网山东省电力公司电力科学院的王万国等[7]提出感知线性结构的输电线路异物的检测方法,通过输电线宽度变化、灰度相似度来检测导线上的各种缺陷;国家电网公司河南省电力公司电力科学研究院的万迪明和郭祥富[8]提出一种基于视觉显著性分析的输电线路异物检测方法通过分析显著图的颜色、形状、空间分布等特点定位异物区域,以此来检测异物;大连海事大学的廖圣龙、安居白[9]以检测到的电力线为中轴线,统计灰度值的变化找出线路中可疑的故障位置,然后根据空间关系特征和Haar特征诊断故障。文献[7-9]在异物颜色明显时校测效果好,但对异物与输电线灰度变化不大、颜色接近时的检测效果差[10]。
针对以上研究问题,本文设计了一种针对输电线路异物轮廓特征分析的方法,通过对分割后的图像寻找轮廓,然后计算各个轮廓的形状系数和面积,通过设定形状系数、面积阈值准确的检测出输电线上的异物。
1 无人机图像背景分割
无人机所获取的图像一般为RGB(彩色图像)格式,为减少后续图像处理的计算量并加快计算速度就需要进行灰度化处理。彩色图像能表达整幅图像色度和亮度等级的分布和特征,而灰度图像同样能表达,所以进行灰度化处理不会减少图像的信息。一般采用基于人眼敏感度的加权平均法:
Gray(i,j)=0.299*R(i,j)+0.578*G(i,j)+
0.144*B(i,j)
(1)
无人机图像背景复杂多变对于图像的分割产生极大的影响,复杂背景中的冗余信息也会影响计算速度,所以必须准确的分割图像。
1.1 四种阈值分割方法
(1)固定阈值分割是采用固定阈值对灰度图像进行阈值操作获取二值图像。固定阈值分割需要操作者对图像背景前景区分开的先验知识,对前景和背景进行分析[11]。通过遍历图像的每一个像素,进行统计分析,加之对图像的分析,再通过实验验证分割效果,确定一个比较合理的固定值来进行分割。这种方法需要人工赋值,不能实现阈值自动确定,在样本少的情况下可以采用,一般有五种阈值类型:二进制阈值化、反二进制阈值化、反阈值化为0、阈值化为0、截断阈值。
(2)OTSU(最大类间方差法):记t为前景与背景的分割阈值,前景点数占图像比例为w0,平均灰度为u0;背景点数占图像比例为w1,平均灰度为u1
则图像的总平均灰度为:u=w0*u0+w1*u1
前景和背景图象的方差:g=W0*W1*(U0-U1)*(U0-U1)
(3)自适应阈值分割法:通过对图像进行阈值化处理进而从图像中提取我们感兴趣的物体是一种好方法。固定阈值法、OTSU法、迭代阈值方法确定的阈值进行图像分割都是属于全局阈值处理的方法。但不是什么时候用它都能将感兴趣的物体分割出来,有时怎么选取全局阈值进行分割,效果都达不到所需要求,要解决这一问题,就是采用局部阈值,即根据每个像素的领域计算阈值。
(4)迭代阈值分割方法:迭代阈值算法是对直方图双峰法的加深,还可以自动估计阈值。原理如下:
给定一个初始估计值T;用T分割图像将产生两个部分:G1和G2.G1是包含灰度值大于等于T的全部像素,G2由灰度值小于T的全部像素构成;求取G1部分的所有像素灰度值m1和分析G1部分对于整张图像来说所占的权重λ1;求取G2部分的所有像素灰度值m2和分析G2部分对于整张图像来说所占的权重λ2;按如下式子求取新阈值:T=m1λ1+m2λ2;重复上面两个步骤,直到连续迭代中的T值之间的差小于一个预定参数ΔT.以上原理中参数ΔT影响迭代次数。ΔT越大,所进行的迭代次数越小。这就要求初始估计值必须大于图像中的最低灰度级并且小于最高灰度级,通常使用平均灰度值作为初始估计。
1.2 四种分割方法试验比较
对无人机拍摄的输电线路异物图片采用以上四种算法对比验证结果如下:
其中图1(a)是山西国网省检修公司无人机拍摄的500 kV晋榆Ⅱ线悬挂风筝图,图1(b)是其灰度图。图1(c)固定阈值法中阈值人为给定,此图给定阈值为80,计算时间0.018 s;图1(d)OTSU(最大类间方差法)计算阈值为97,计算时间0.048 s;图1(e)自适应阈值分割计算阈值为73,计算时间为0.13 s;图1(f)迭代阈值法计算阈值55,计算时间0.097 s.
图1 分割算法对比图
迭代阈值算法与固定阈值算法相比能自动估算阈值大小,不需人工设定;与最大类间方差法相比计算时间虽然长,但最大类间方差法易产生死白区域,输电线与异物边缘融入背景之中,分割效果差;自适应阈值法虽然能清晰的保留输电线及异物的边缘,但存在的背景噪声很多,分割效果差;迭代阈值法能很好的将输电线与异物跟背景分割开,虽然边缘存在模糊情况,但绝大部分边缘得到保留,背景噪声也较少。通过对比及图1结果,本文选择迭代阈值法进行图像分割。
2 无人机图像滤波
从图1(f)可看出,阈值化处理后,虽然输电线路及异物的边缘得以体现,但是还存在着许多或大或小的白色区域噪声,所以,还必须想办法把这些噪声区域去掉。
2.1 形态学滤波
经过中值滤波后会出现输电线路断断续续的情况,并且还有白色噪声。这时数学形态学就可以解决这个问题[12]。
数学形态学的基础是数学几何学和集合论学,可以用不同形状的结构元素进行图像结构和形状的识别判断,被广泛应用于图像处理领域之中。一方面,数学形态学通过计算元素与元素之间以及部分与部分的关系简化图像数据,并且可以保持图像中几何形状的形状特征;另一方面,数学形态学算法简单、具有并行处理的结构的优势。数学形态学处理的基础操作包括:腐蚀、膨胀
用A表示待处理图像集合,B表示处理结构元素,形态学处理就是用B对A进行操作。
(1)A被B腐蚀,计为AΘB,B为腐蚀算子,腐蚀的定义为:
AΘB={x|(B)xA}
(2)
上式说明,B对A的腐蚀是用x平移的B却还包含在A中的所有点x的集合。其含义为A被腐蚀算子B腐蚀后的结果是A完全包括B时,B的原点位置的集合。
(2)A被B膨胀,计为A⊕B,B为膨胀算子,膨胀的定义为:
(3)
运用腐蚀运算的矩形结构元素消除小的白点噪声,但会将直线的断线进一步加大。再运用膨胀运算,采用比腐蚀大一个像素的矩形结构元素对出现的断线区域进行链接,恢复直线长度。
2.2 基于输电线图像特征的改进形态学滤波
输电线路在无人机图像中的特征比较明显,总结如下:(1)输电线路是4根,较长,贯穿于整个图像;(2)输电线路是有一定弧度,但很接近于直线,接近平行,不会相交;(3)输电线路背景复杂,如:道路、山体、杂草,有些背景融入到输电线路中,造成很难识别输电线路,有些跟输电线路一样是线状物体,对输电线路的识别造成干扰。
通过形态学处理后得到比较满意的输电线路二值图,但是还有一些白色的连通斑块。根据无人机图像输电线路很长、贯穿全图的特征,计算图像中所有连通域的面积。但输电线路的连通区域不小于w/32像素宽度,其中w为图像的宽度。把面积小于w/32的区域去掉,从而去除图像背景中的噪声干扰。
形态学滤波与改进形态学滤波的比较结果图如下:
3 异物检测
经过滤波后图像中包含输电线路二值图、异物二值图还有极少量噪声二值图。通过寻找轮廓并运用异物轮廓特征进行输电线路异物检测。异物检测过程如下:
(1)寻找轮廓:系统地扫描图像,找到连续区域时停止。从区域的起点开始,沿着它的轮廓对边界像素做标记。标记完当前这个轮廓边界后,就从当前区域的起点继续扫描,直到发现新的区域。标记可选轮廓近似方法为轮廓的每个像素都被标记,相邻的两个像素距离差小于等于1.
(2)对找到的轮廓用包含该轮廓的最小垂直矩形进行标注。
图2 无人机图像滤波比较图
图3 输电线路异物检测图
(4)对于剩下的孤立背景轮廓与异物轮廓,计算用于标注剩下孤立背景轮廓与异物轮廓的最小垂直矩形面积,面积最大的即为异物轮廓,异物轮廓面积一般在25 000像素到30 000像素。下面为对图1(a)的异物检测结果图:
为了检验算法的可行性及通用性,运用本文设计算法对以下无人机图像进行检测,如图4-图5所示。
图4 塑料袋检测图
图5 风筝检测图
由上面的检测结果图像可以得出,本文设计的输电线异物检测方法对不同异物,不同背景都可以可以检测出异物,检测方法具有通用性。
4 结论
通过对比四种阈值分割算法,采用迭代阈值算法很好的将图像进行了分割。本文提出的基于输电线路图像特征的改进形态学滤波方法很好的去除无人机图像中的噪声,减少了计算轮廓的计算量。通过设定轮廓形状系数阈值和包含该轮廓的最小垂直矩形面积阈值很好的检测出输电线路上存在的异物。经测试结果表明,该方法可以准确检测出异物存在与否。