一种有效的高压线路类圆部件识别方法
2012-06-25马行汉朱国军
马行汉,韩 军,朱国军
(上海大学通信与信息工程学院,上海 200072)
1 现有类圆识别方法简介
高效的巡检高压架空输电线路对确保国家电网系统运行的安全具有极其重要的现实意义。为了自动诊断线路部件缺陷,部件识别是极其重要的步骤。本文对可见光图像中类圆形部件进行分析与识别。在高压架空输电线路中,类圆曲线是类圆部件的唯一特征。通过分析与提取类圆部件的曲线段或弧线段来识别类圆部件对象曲线是进行类圆部件识别和缺陷诊断的一种重要研究方法。
下述两点造成了在航拍采集图像中类圆部件的识别困难。首先,航拍采集图像中存在着大量的自然背景干扰和线路部件间的遮挡使得类圆部件对象的曲线特征并不惟一。其次,在运动中拍摄的图像受光照影响较大,容易造成图像中目标对象的轮廓模糊。
目前已有的曲线或圆识别方法主要有两大类。
第一类为低级曲线特征识别,主要有:1)链码的方法[1]很直观和通用,但它受噪声影响较大;2)霍夫变换及其改进算法[2]的应用最广泛,但是其计算量较大,实时性较差;3)依据Randon变换的分割法[3]能极好地抑制噪声,但很难分割出被其他物体遮挡的目标;4)传统的边缘检测方法不能很好地区分出每条边缘。应用较广的Canny[4]方法提取的边缘存在并非始终保持平行的双曲线。Steger[5]提取的边界曲线会产生一些偏差和较多无意义的不连续边缘。文献[6]提取的边界曲线不会产生很重要的偏差且能提取更多有意义的连续边缘。但上述边缘检测方法区分直线段和曲线段的效果较差。
第二类为高级曲线特征识别,即模式识别或聚类分析[7]。模式识别的应用广泛,而曲线的特征识别[8]是其中的一个重要组成部分,但其在采样时容易受到外界不同噪声的干扰。另外,存在某点畸变的被采样物会使识别特征钝化以至于产生误判。
本文在文献[6]的曲线提取方法的基础上提出了一种基于曲线聚类的架空高压线路系统中类圆部件的自动识别方法,按下述三大步骤处理亮度图像。
首先通过图像的二阶偏导数[9]来构造 Hessian矩阵[10]的方法来获得曲率最大的点,依据Canny提出的非最大抑制法检测出边缘曲线点。再按本文提出的算法连接边缘曲线点,去除小于阈值长度的边缘线,区分出直线段与曲线段,从曲线段组中区分出类圆曲线。最后通过感知聚类法得到类圆部件的边缘曲线,即根据类圆部件的位置关系和曲线特征等信息判断这些边缘线段是否属于所要识别的类圆曲线。
2 线路部件识别方法
本算法首先通过中值滤波、高斯平滑和锐化处理去除可见光图像中的模糊和毛刺,接着进行图像灰度化,之后按照图1所示流程图方法对亮度图像进行处理,获得符合类圆部件特征的曲线对象。
图1 类圆部件曲线对象的识别方法流程图
2.1 部件知识特征
需要识别的架空高压线路类圆部件主要有引流线、绝缘子和均压环,其形状描述为:
1)引流线是四条的曲线段为一组,且每条曲线上存在一条弧线段或多条凸凹性相同的相邻类圆曲线。
2)绝缘子是一组沿某条直线对称的曲线对,而每条曲线都是由相同起伏的类圆曲线组成。
3)均压环是一对平行的类圆曲线,且在每条曲线上存在一对凸凹性相反的类圆曲线。
架空高压线类圆部件的位置关系为:其中均压环附着于玻璃绝缘子上,引流线、绝缘子、杆塔和导线在杆塔附近连接在一起,形成交汇区域,如图2所示。
图2 在高压线路中的均压环、绝缘子和引流线的位置关系
航拍图像中类圆部件对象的曲线特征描述如下:
1)绝缘子是一连串开口方向相同的绝缘子串构成,即构成绝缘子的类圆曲线和直线段存在平行关系。
2)每个均压环存在具有对称关系的类圆曲线,成对出现的均压环存在具有平行关系的直线段。
3)每条引流线都是一条较长的下凹曲线。
2.2 类圆部件的感知聚类
本文的主要目标是从航拍采集图像中背景曲线的干扰中确定类圆部件目标对象曲线,这对在直升机巡检项目中分析和诊断类圆部件的缺陷非常重要。
本算法是在利用各部件间的位置关系确定存在类圆部件的可疑区域中进行目标识别,这样可以排除背景中的大量干扰,使得识别结果更加可靠精确。另外,由于航拍采集图像中存在着大量高压线路部件之间的干扰,提取的大多数边缘目标曲线(如均压环)因背景曲线的覆盖而缺失。
在可疑位置区域中结合类圆部件的知识模型对三大类圆部件进行聚类,相应的识别过程为:首先,在三大类圆部件的可疑位置区域内分别遍历边缘的区域管理结构。然后,对直线按平行关系和对类圆曲线按平行或对称关系进行聚类,再根据曲线段的密度关系、弧半径尺度和端点间距等辅助判断是否符合某种类圆部件的特征。若存在类圆部件,把这些弧线段分别标记为相应的类圆部件。
3 曲线特征的提取
通过计算灰度图的一、二阶导数来构造Hessian矩阵,再计算此矩阵的特征值和特征向量,接着按本文所述算法提取边缘点,得到边缘点组,并从中选取合适的种子点,连接边缘,提取曲线特征。
3.1 边缘点的提取
将二维图像空间中的曲线标记为f(x,y),其法线标记为n(x,y)。若其法线方向为,那么其曲线方向为。在处理图像时,把像素当作ZN×ZN大小的方块区域。那么,像素点(x,y)具有单位面积所定义的边界为[x-1/2,x+1/2]× [y-1/2,y+1/2]。
式中:预处理图像的偏导数rx,ry,rxx,rxy和ryy可以通过图像与相应的Sobel算子的卷积来估算[9],在x和y方向上的大小为5×5的Sobel算子及其在水平方向、垂直方向和斜方向上偏导数如式(2)~式(6)所示
先把图中每个点的rxx,rxy和ryy按式(1)分别构建1个Hessian矩阵,再计算所有Hessian矩阵的特征值和特征向量。H(x,y)的幅值最大的特征值对应的向量代表着点(x,y)曲率最大的强度和方向,而其幅值最小的特征值对应的向量代表着点(x,y)曲率最小的强度和方向。将绝对值最大的特征值对应的特征向量单位化后的向量定义为法线方向,标记为,=1,即( -)=( -cosθ,sinθ),且θ=arctan( -),θ或θ+2π为点(x,y)的2个候选曲线方向。沿着→n方向的一、二阶导数分别如式(7)和式(8)所示
把点(x,y)的r″作为此点的权重。边缘点的权重应在该点的邻域内沿方向的r″最大。使用Canny提出的非最大抑制法来判定预处理图像中的边缘点,并对所得边缘点图像进行二值化,最后存储得到的边缘点的坐标和权重。
3.2 边缘点的连接
通过观察航拍采集图像中人造目标对象的轮廓曲线,可以看出其边缘线一般由直线段和曲线段组合而成。故边缘点应该被连接成可区分直线段和曲线段的曲线结构,这将对人造目标对象的识别提供便利。
3.2.1 直线段与曲线段的分类
为区分直线和曲线,先从检测到的边缘点组中找到连接边缘的种子点,再添加合适的后续点以连接成边缘线,在连接过程中判断出边缘直线段和边缘曲线段。在搜索过程中,把所得边缘对象的边缘像素点坐标、中间点坐标、起止点坐标、边缘长度和是否为直线等信息存入一个区域管理结构。
先找到最左上角的边缘点作为搜索起始种子点,再按照从上到下从左到右的顺序选取搜索种子点,把第一个从未连接过的边缘点作为搜索种子点。因找到的种子点并非一定位于曲线的终端处,故在连接时分别按照和-方向搜索合适的后续点,并去除所有边缘长度较小的干扰曲线段。为了在最小邻域内给当前曲线添加匹配曲线方向的曲线点,并剔除方向差异较大的点,按照下述所示顺序优先级搜索后续点。在找到合适的后续点后,接着通过曲线上的起始点和中点的连线与起止点连线的距离和夹角关系来判断此条边缘是直线段还是曲线段。
边缘后续点的搜索顺序优先级为:首先在八邻域内搜索与曲线方向相匹配的点;接着在十六邻域内搜索与曲线方向相匹配的点;然后在八邻域内比较与曲线方向垂直的上下两点;最后在十六邻域内比较与曲线方向垂直的上下两点。若最终没有合适的点,结束此次搜索。搜索时利用式(9)所示一阶滤波器来更快地校正当前后续点的方向和消除噪声的影响,即
3.2.2 类圆曲线的判定
利用类圆曲线判决算法从标记为曲线的边缘线组中寻找类圆曲线并标记其曲线凸凹方向特征。在搜索过程中,把找到的类圆曲线的所有信息存入一个区域管理结构,这些信息包括边缘像素点坐标和曲线凸凹方向特征。把边缘的中间点坐标和起止点坐标分别用点M、点A和点B代替,直线段AM和MB的中点分别为点F和点E,直线段AM的中垂线EO和直线段BM的中垂线FO相交于点O。类圆曲线的圆心和半径见图3。
图3 类圆曲线的圆心和半径
类圆曲线判决算法的主要步骤为:
1)先判断此边缘AB与直线AB是否相交,边缘曲线BM是否与直线BM相交,边缘曲线MA是否与直线MA相交。若全否,则转入步骤2)。
2)计算直线段AO,MO和BO的长度并按从大到小的顺序排序为lAO,lMO和lBO。若满足式(10),则此边缘线为类圆曲线,按图3所示来计算它的类圆心和弧半径,其弧半径为lAO,转入步骤3)。公式为
式中:lAO与lBO的差值绝对值的最大阈值为Dl。
3)接着判断并记录此类圆曲线的凸凹方向特征标记,结束判断。
4 曲线凸凹方向特征分析
在曲线识别中,类圆曲线是一种重要的人造对象的局部特征。按下述所示来判断类圆曲线的类圆弧开口方向的顺序优先级。首先,计算所有类圆曲线的凸凹方向特征。接着,寻找起止点间距小于等于2的所有弧线段,把其作为一条类圆曲线,即所有满足此条件的弧线段的凸凹方向特征都是此条类圆曲线的凸凹方向特征。然后,按曲线凸凹方向特征标记的个数对所有类圆曲线按降序排序,依次找到与曲线凸凹方向特征标记最多的类圆曲线相互平行或对称且未搜索过的类圆曲线,直至无符合条件的类圆曲线为止。
按图4所示规则区分不同的圆弧,把一个圆形平均分为8等份。
图4 曲线凸凹方向特征
从x轴正方向开始,按逆时针方向旋转,把这8份弧线段分别标记为 0,1,…,7,即其角度区间分别为[0°,45°],[45°,90°],[90°,135°],…,[315°,360°],那么曲线凸凹方向特征标记的相关判断规则为:
1)假设类圆曲线不仅长度小于等于1/8个类圆周长而且没有穿过x正半轴,其起点与其圆心的连线和x正半轴之间的夹角为α,其终点与其圆心的连线和x正半轴之间的夹角为 β,且 α,β ∈[0°,360°]且 α < β,那么曲线凸凹方向特征标记分别为:若[α,β]⊆[0°,45°],则标记为0;若[α,β]⊆[45°,90°],则标记为1;若[α,β]⊆[90°,135°],则标记为2;依次类推,若[α,β]⊆[315°,360°],标记为7。
2)假设类圆曲线不仅长度大于等于1/8个圆的周长而且没有穿过x正半轴,那么就在8个角度空间:[0°,45°],[45°,90°],[90°,135°],…,[315°,360°]中寻找与此类圆曲线的[α,β]有交集的角度空间,接着把所有与其有交集的角度空间对应的曲线凸凹方向特征标记作为此曲线凸凹方向特征标记。
3)假若类圆曲线穿过x正半轴,那么把它以此类圆弧与x正半轴的交点为分界点分成两个类圆弧,再分别把这两个类圆弧按规则1)和2)来计算类圆弧的开口方向标记,最终这两个类圆曲线得到的所有曲线凸凹方向特征标记就是它的曲线凸凹方向特征标记。
通过上述曲线凸凹方向特征标记可以判断类圆曲线之间是否存在平行和对称关系。假设第i个和第j个类圆曲线的曲线凸凹方向特征标记分别为ArcIndi和ArcIndj,那么当2个类圆曲线的凸凹方向特征标记存在重叠或差值绝对值为1,2,6或7,即满足式(11)和式(12)时,这2个类圆曲线属于平行关系;当2个类圆曲线的凸凹方向特征标记的差值绝对值为3,4或5,即满足式(13)时,这2个类圆曲线属于对称关系
5 实验结果与分析
为了证实本文所述方法是有效的,使用航拍图像进行实验验证,通过目测来判断检测准确率。引流线图像的分辨力为1280×720,绝缘子和均压环图像的分辨力为640×360。本文实验均在配置了 AMD QL-642.10 GHz的速龙双核CPU的PC上运行的。实验参数分别为:ω=0.57;对于引流线,Dl=100;对于均压环,Dl=300;对于绝缘子,Dl=25。
图5是实验用到的源图像,其中图5a是用于识别引流线的源图像,图5b是用于识别绝缘子和均压环的源图像。图6是对图5进行实验得到的边缘点图像,其中图6a是图5a的边缘点图像,图6b是图5b的边缘点图像。图7是对图6进行类圆部件曲线识别实验中检测到的三大类圆部件对象曲线。图8是三大类类圆部件的检测结果图,其中图8a是引流线的检测结果图,图8b是均压环的检测结果图,图8c是绝缘子的检测结果图。
6 小结
本文提出了一种解决直升机巡检中类圆部件的识别方法,这类航拍图像受背景和光照的影响比较大,其解决方法是基于曲线聚类,其中曲线特征的提取是在文献[6]的曲线提取方法的基础上进行了改进,再对提取的曲线进行凸凹特征分析。此算法在试验中效果良好,具有较好的稳健性,将会应用于直升机巡检项目。本文提出的方法虽然会引起一些误判,但是能实现智能识别与诊断功能,在大量减少人工判断的工作量和辅助人工判决上具有很大的实际应用价值。
[1]张显全,王继军,蒋联源.基于Freeman链码的圆识别方法[J].计算机工程,2007,33(15):196-198.
[2]KIM E,HASEYAMA M,KITAJIMA H.A new fast and robust circle extraction algorithm[EB/OL].[2011-11-19].http://www.researchgate.net/publication/2893083_A_New_Fast_and_Robust_Circle_Extraction_Algorithm.
[3]胡小健,张超龙.利用Randon变换进行图像分割与特征提取[J].仲恺农业技术学院学报,2006,19(1):44-46.
[4]CANNY J.A computational approach to edge detection[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,1986(8):679-698.
[5]STEGER C.An unbiased detector of curvilinear structures[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(2):113-125.
[6]CHENG Mingming.Unbiased curvilinear structure extraction for cartoon images[C]//Proc.2011 Eighth International Symposium on Voronoi Diagrams in Science and Engineering.Qingdao,China:[s.n.],2011:220-227.
[7]王琳,冯海军,卢朝阳.一种基于聚类分析的实时交通流量监测系统[J].电视技术,2004,28(1):82-84.
[8]闫明,段发阶.曲线的特征识别方法研究[J].传感技术学报,2006,19(3):724-727.
[9]SCHARR H.Optimal operators in digital image processing dissertation(in German)[EB/OL].[2011-11-19].http://archiv.ub.uni-heidelberg.de/volt ext server/volltexte/2000/962,2000.
[10]FLORACK L M J,ROMENY B M,KOENDERINK J J,et al.Scale and the differential structure of images[J].Image and Vision Computing,1992,10:376-388.