基于航拍图像的输电线路异物识别
2013-03-04金立军姚春羽闫书佳张文豪
金立军,姚春羽,闫书佳,张文豪
(同济大学 电子与信息工程学院,上海201804)
近年来,各地因为施放风筝、气球等,危及电网安全的事件时有发生,其中不少造成了严重跳闸事故.输电线路悬挂诸如此类的异物不仅使高压电的极限放电距离缩短,危及电力线下的行人与车辆安全,严重时甚至造成片区大面积停电.因此,及时发现异物,以便采取相应措施,具有十分重要的意义.
现有排查异物的方法主要是人工巡线法,然而随着高电压、大功率、长距离输电线路的发展,输电网络穿越的地理环境日趋复杂,依靠人工巡线排查异物变得越来越艰难.为了降低工作强度,提高工作效率,近几年,出现了借助飞行器作为运载工具,装载可见光成像检测设备对110~1 000kV高压输电线走廊进行巡检的方法[1],并应用计算机智能处理巡检带回的大量图像数据来判断线路上是否存在异物.我国无人飞行器尚处于试飞阶段,国内外资料针对输电线路上的异物识别都少有涉及,文献[2-6]针对图像空间直线进行了提取和检测,为输电线路的识别提供了思路.
本文以图1为例,针对输电线路航拍图像中的异物识别问题,改进传统Otsu(最大类间方差)图像分割方法,并提出了一种新的针对输电线路图像的滤波方法,然后基于Hough变换原理提取含有异物的输电线路特征向量,以最小风险决策原则为前提设计分类器,判断输电线路是否挂有异物,并搭建可视化界面进行批处理实验验证,为基于飞行器航拍的电网巡线提供参考,以保障电网的安全运行.
如图1所示,落在树林上方电力线上的风筝即是目标异物.
图1 悬挂异物的输电线路图像Fig.1 Transmission line image with extra matters
1 输电线路航拍图像背景分割
航拍图像默认格式为基于RGB(红色、绿色、篮色)颜色空间的彩色图像,其巨大的数据量不仅增加硬件设备的成本投入,而且降低了计算机的运算速度.因此,首先将RGB彩色图像按照下式转化为灰度图像[7],以减少数据维数,提高计算速度.
式中:IGray(x,y)为各像素点的灰度值;IR(x,y),IG(x,y),IB(x,y)分别为红色、绿色和蓝色分量值.
航拍图像背景往往是我国复杂的地貌,对图像处理和目标异物检测精度带来极大的干扰,复杂背景含有的无关信息也会严重影响计算速度.因此,必须准确地分割航拍图像背景.
1.1 传统的Otsu分割方法
图像分割是图像处理中最困难的任务之一,目前尚无通用的方法,其中,Otsu自适应阈值分割算法是单阈值分割中最简单高效的方法之一.该方法不需要先验知识,将图像分割为目标和背景两类[8].
设图像大小为M×N,目标像素个数为N1,背景像素个数为N2,则目标和背景像素个数占整幅图像的比例分别为
令目标和背景的平均灰度分别为μ1和μ2,图像的总平均灰度记为μ,有
则目标与背景的方差可表示为
利用关系式(2)—(4),采用遍历法求得使g值最大的阈值T,该阈值将航拍图像分割为背景和输电线路两部分.
1.2 基于形态学的改进Otsu算法
由于航拍图像背景异常复杂,对图1所示的航拍图像直接Otsu分割求得的阈值T=0.337 3,灰度直方图并不含有显著的双峰,如图2a所示,因此单独利用Otsu算法分割效果不甚理想,如图3a所示.
为此,本文提出一种基于数学形态学的改进Otsu算法.形态学算法是一种非线性的滤波方法,用于分析几何形状和结构,是建立在集合代数基础上,用集合论方法定量描述几何结构的科学[7,9].
最基本的形态学运算子有腐蚀和膨胀运算.结构元素S在一个给定的目标图像X上移动,在每一个当前位置x,S[x]有3种可能的状态:①S[x]⊆X;②S[x]⊄X;③(S[x]∩X)∪(S[x]∩¯X).
腐蚀运算子表示为
膨胀运算子表示为
腐蚀运算可以消除物体边界点,如果两个物体之间有细小的连接.膨胀运算的作用是将物体周围的背景点合并到物体中来[8].形态学算法的处理性能主要取决于结构元素结构类型及其尺寸的选取.
本文提出双层级联式形态学结构处理方法,把两种不同结构、不同尺寸的形态学结构元素级联起来,可改变输电线路航拍图像灰度值分布,使其直方图呈现双峰,改善Otsu算法的分割效果.先将直径为20像素的圆形结构元作为结构元素对灰度图做腐蚀操作,再用边长为25像素的方形结构元作为结构元素对腐蚀后的图像做膨胀操作,最后用原图减去该结果以体现原始图像的灰度峰值,使其直方图呈现双峰,如图2b所示.此时利用Otsu算法分割求得阈值T=0.141 2,得到的分割结果如图3b所示.可见,分割效果得到了极大改善.
图3 航拍图像分割结果对比Fig.3 Result contrast of the aerial image segmentation
2 基于输电线路几何特征的航拍图像滤波
航拍图像背景灰度值及其分布的随机性较大,图像分割后背景中仍会存在与输电线路灰度值相近的噪声,需进一步地滤波处理.
传统的滤波方法无法达到局部滤波的效果,针对此问题,本文提出一种利用输电线路直线几何特征的方法对分割后的航拍图像滤波.输电线路在图像中呈现的直线特性如下:
(1)图像分割时的膨胀操作,避免了电力线不连续的情况发生.因此,相对于分散在图像各处的不规则形状的噪声,一条电力线可近似看作矩形,其长宽比具有一定规律.
(2)相对于不规则噪声所占图像面积的比例,图像中输电线路区域的面积所占比例更大.
该方法的数学表达式如下:
式中:R(i)表示在对分割后图像的4领域像素无连接的各部分标记并编号之后,第i部分记为B(i),其几何长度与宽度之比满足特性(1),即B(i)的水平最大宽度与垂直最大宽度之比在当输电线路与水平线的最小夹角<45°时>β;当夹角>45°时<1/β;P(i)表示B(i)满足特性(2),即B(i)面积所占比例>λ.经过大量实验得到β=11,λ=1/500.只有同时满足这两个条件的区域,才是输电线路区域,否则全部滤除,以达到滤波的效果.
利用该方法对图3b进行滤波,结果如图4所示,输电线路区域被完整而准确地提取出来.
此时处理结果为二值图,所含信息量过少,利用该结果图像中目标像素位置基于原灰度图做图像还原,得到简单背景的航拍灰度图G(x,y)作为进一步异物识别的处理对象.
图4 基于输电线路特征的航拍图像滤波结果Fig.4 Aerial image filter result based on the feature of transmission line
3 航拍图像异物识别
在航拍图像中准确识别异物故障的前提是对电力线的识别和准确定位,电力线在图像中可以看作是一组贯穿图像的平行直线[3].本文通过梯度法获取电力线的边缘,利用Hough变换理论检测电力线,并判断其是否挂有异物.
3.1 Hough变换原理
Hough变换是一种直线描述方法,将笛卡儿坐标空间的直线变换为极坐标空间中的点,并将极坐标空间分为累加器单元[5-6].在笛卡儿坐标空间中,图像中的直线可以表示为标准式
式中:ρ为直线距原点的法线距离;θ为该法线与x轴的夹角.直线经过Hough变换后在极坐标空间中表示为一个点(ρ,θ),极坐标空间中的每一条正弦曲线表示通过特定点(x,y)的一簇直线.将ρ和θ分成许多小段,每一个ρ段和每一个θ段构成一个小单元(Δρ,Δθ),对应每个小单元设置一个累加器Accum,当笛卡儿坐标内所有像素的坐标(x,y)完成变换后,累计落在各个小单元中次数较多的单元可认为是笛卡儿坐标空间中直线所在.
3.2 异物识别
3.2.1 梯度方向导数
灰度图像的梯度方向导数实际上表示的是灰度值在梯度方向上的变化速率.距离场的脊线正是距离场的梯度发生突变的地方[10],文中电力线与背景相交的边界即灰度值的梯度发生突变的位置.首先计算图像G(x,y)的梯度方向导数,此时方向导数取得最大值,即梯度向量的模[9],如下式所示:设定适当的梯度方向导数的阈值T1,即可检测到电力线的边缘.
3.2.2 累加器设计
根据输入图像的大小,动态地设定累加器.对于G(x,y),设其大小为[M,N],则累加器 Accum[ρ,θ]的大小[m,n]由下式决定:
其中极坐标空间中θ的取值范围为[-π/2,π/2].
3.2.3 特征向量的提取与分类决策
灰度图像经过梯度变换后,对梯度方向导数>T1的像素坐标进行Hough变换,并计入累加器.通过创建局部极大值滤波器找到累加器中的局部极大值Nlocmax[ρi,θj](1≤i≤m,1≤j≤n),并将局部极大值的个数,即不同的斜率截距数记为Nmaxnum.
根据Nlocmax[ρi,θj]在原始图像中搜索线段.由于Hough变换未考虑点的相邻性,本文假定一条有意义的线段其共线点数至少是T2,并认为当间隔点数>T3时为两条斜率和截距相同的线段,T2和T3为基于大量实验的经验值.记录线段的端点坐标Nsegend[xi1,yj1,xi2,yj2],并将线段个数记为Nsegnum.若输电线路航拍图像存在异物,一条电力线被分为两条线段,故选取特征向量I为
实际中,电力线存在一定的宽度,在图像上与背景的交界边缘数为2,而检测到的线段数为线段边缘数,因此含有异物的输电线路图像应满足
式(8)表示当不同的斜率截距数小于线段数时,可认为输电线路含有异物,反之则不含异物.
4 实例分析与批处理验证
利用本文算法对如图5所示的航拍图像进行处理,农田上方的电力线上缠绕了一个塑料袋,处理结果如图6所示.可见,本算法能将其中异物准确识别出来.
图5 验证实例Fig.5 Validation examples
图6 算法处理结果Fig.6 Result of the algorithm
另外,为验证本文异物识别算法的通用性,基于Matlab-GUI(graphical user interface)板块搭建可视化界面做批处理操作实验,流程如图7所示,在最小风险决策准则[11-13]的前提下,设定最佳阈值T1,应用于大量输电线路图像,主界面如图8所示.
随机选取150张样本,其中含有异物的样本34张,将所有样本随机平均分为5批导入系统,进行识别并统计误识率,误识率表达式为
式中:Er为误判率;Nerror为被错误分类的样本数;Nsum为样本总数.
实验结果见表1.本文的方法在5次实验中均能检测出异物样本,满足最小风险决策准则.虽然Hough变换具有较强的鲁棒性,但是在Hough变换后的累加过程中,像素在原图像中的实际分布未知,因此Hough变换会将一些伪点当作直线,某些正常样本如交叉电力线,会被误检成故障样本.
表1 误识率分析表Tab.1 Analysis of the false recognition rate
5 结论
基于航拍图像的输电线路异物识别不仅能避免人工巡线的艰苦工作环境,还能提高巡线效率.
本文提出的基于形态学算法的改进Otsu图像分割方法极大地改善了传统的Otsu分割效果.传统的滤波方法的处理对象往往是图像整体,不具有针对性,本文提出的针对输电线路几何特性的滤波方法能够有效去除分散在航拍图像中的噪声,准确提取输电线路区域,提高异物识别的效率.通过计算输电线路灰度图像梯度,避免了Hough变换原理适用于二值图像的局限性,在航拍图像中检测电力线位置并识别异物故障,能够将含有异物的输电线图像准确识别出来,为输电线路故障诊断提供了新的手段.开发的输电线路异物软件可进行海量图像的批处理,操作简单便捷,具有实际工程应用价值.
[1] 肖世杰.构建中国智能电网技术思考[J].电力系统自动化,2009,33(9):1.XIAO Shijie.Consideration of technology for constructing Chinese smart grid[J].Automation of Electric Power Systems,2009,33(9):1.
[2] Li Zhengrong,Liu Yuee,Rodney A Walker,et al.Towards automatic power line detection for a UAV surveillance system using pulse coupled neural filter and an improved Hough transform[J].Vision and Applications,2010,17(21):677.
[3] Chan T S,Yip K K R.Line detection algorithm[C]∥Proceedings of the 1996 International Conference on Pattern Recognition,[S.L.]:IEEE,1996:126—130.
[4] Nitin Aggarwal,William Clem Karl Line.Detection in images through regularized Hough transform[J].IEEE Transactions on Image Processing,2006,15(3):582.
[5] 张春森.基于Hough变换的空间点位自动检测[J].计算机工程,2006,32(13):200.ZHANG Chunsen.Auto-position detection of spatial points based on Hough transformation[J].Computer Engineering,2006,32(13):200.
[6] 王华楠.Hough变换在视觉检测系统中的应用研究[D].大连:大连理工大学机械制造及其自动化,2006.WANG Huanan.The application research of Hough Transform in vision measurement[D].Dalian:Mechanical Manufacture and Automation of Dalian University of Technology,2006.
[7] 阮秋琦.数字图像处理学[M].北京:电子工业出版社,2008.RUAN Qiuqi. Digital image processing [M]. Beijing:Publishing House of Electronics Industry,2008.
[8] 吴世英,郑肇葆,虞欣.基于智能遗传算法和Otsu法的多目标图像分割方法[J].测绘信息与工程,2006,31(4):47.WU Shiying,ZHENG Zhaobao,YU Xin.A multi-object image segmentation approach based on intelligent genetic algorithm and Otsu algorithm[J].Journal of Geomatics,2006,31(4):47.
[9] 冈萨雷斯.数字图像处理[M].阮秋琪,阮宇智,译.北京:电子工业出版社,2005.Gonzalez R C.Digital image processing[M].Translated by RUAN Qiuqi,RUAN Yuzhi.Beijing:Publishing House of Electronics Industry,2005.
[10] 刘俊涛,刘文予,吴彩华,等.一种提取物体线形骨架的新方法[J].自动化学报,2008,34(6):617.LIU Juntao,LIU Wenyu,WU Caihua,et al.A new method of extracting objects curve-skeleton[J].Acta Automatica Sinica,2008,34(6):617.
[11] 孙即祥.现代模式识别[M].2版.北京:高等教育出版社,2008.SUN Jixiang.Modern pattern recognition[M].2nd ed.Beijing:Higher Education Press,2008.
[12] Haralick R M,Shanmugam K,Dinstein Its Hak.Textural features for image classification[J].IEEE Transactions on Image Processing,1973,3(6):610.
[13] 包晓敏,汪亚明.基于最小风险贝叶斯决策的织物图像分割[J].纺织学报,2006,27(2):33.BAO Xiaomin,WANG Yaming.Image segmentation based on the minimum risk Bayes decision[J].Journal of Textile Research,2006,27(2):33.