基于多特征的路面裂缝目标提取方法

姜吉荣，陈小惠

(南京邮电大学 自动化学院，江苏 南京 210023)

基于多特征的路面裂缝目标提取方法

姜吉荣，陈小惠

(南京邮电大学 自动化学院，江苏 南京 210023)

根据路面裂缝图像受到各种环境的干扰，从实用角度出发，提出了结合局部灰度特征、局部相异度特征和局部方向特征的裂缝目标提取算法。首先以数量统计值对裂缝目标和背景粗划分，对粗划分后裂缝目标计算其灰度特征，结合当前点相异度特征并计算自适应阈值得到裂缝信息。但由于裂缝存在空洞点和断裂点，弥补方法是判断当前点邻域内非零像素点数，符合条件下再计算窗口内非零像素点与当前点的斜率，对角度进行投票，提取局部方向特征描述。最后结合多结构元素形态学去噪算子，去除孤立噪声。与最大类间方差法和基于传统特征的分割算法进行了对比，实验表明文中方法能够较为完整、连续地提取路面裂缝目标。

路面裂缝；灰度特征；相异度特征；方向特征；特征描述；去噪

0 引 言

路面裂缝是路面病害的主要初期表现形式，影响正常的交通运输，降低车辆行驶速度及舒适度。实际采集到的路面裂缝图像存在噪声多、裂缝信息弱小、受环境干扰等复杂特性，使裂缝目标很难从背景中提取出来，所以研究路面裂缝图像的分割算法具有实际意义。目前的研究算法主要可分为：基于纹理特征的方法[1-3]、基于数学变换的方法[4-5]、基于灰度特征的方法[6-10]以及基于阈值分割的方法[11-14]。

文献[1]引入了局部二元模式特征算子和相对标准差以及对比度特征，通过加权融合算法提取路面裂缝信息，但三种特征权重的选择较为困难。文献[6]利用裂缝图像裂缝区域的灰度值小于非裂缝区域的灰度值的特点，确定经差分处理后路面图像灰度值的隶属度函数的参数，对裂缝图像进行模糊化处理，得到路面裂缝图像的分割结果。文献[7-8]根据裂缝非负特征、对比度特征以及圆投影变换进行裂缝提取，虽然有着较好的提取效果，但其特征阈值选择由于不同环境路面裂缝图像而有区别，圆投影变换不能很好地对裂缝进行断裂或者空洞点修复，具有一定的局限。文献[15]对不同的裂缝分割方法进行了客观评价，为路面裂缝检测方法的发展提供了有利的指导。

以路面裂缝图像为研究对象，文中在前人研究的基础上，从实用角度出发，首先对裂缝目标和背景进行粗划分，提取划分后裂缝目标点的局部灰度特征(Local Gray Feature,LGF)，结合局部相异度特征(Local Dissimilarity Feature,LDF)得到LGF-LDF图，并通过最大类间方差法自适应选择最佳阈值。提出了局部方向特征(Local Orientation Feature,LOF)的提取方法，去噪并弥补裂缝断裂点和空洞点。最后结合多结构元素形态学去噪算子去除孤立噪声。实验表明，文中方法提取裂缝信息较为完整、准确和丰富，在保留裂缝细节和抑制噪声上达到较好的平衡。

1 特征提取

1.1 LGF-LDF

实际采集到的路面裂缝图像(见图1(a))裂缝区域的像素点的灰度值普遍低于背景像素点的灰度值，而且差异明显。即裂缝的灰度特征[2,8]以(2N1+1)(2N1+1)为计算窗口，为避免处理边界附近像素点时造成坐标越界，将裂缝图像边界向外拓展N1个像素点，拓展区域像素值以边界像素点灰度值填充。

当前点(i,j)与窗口内其他像素点的灰度差如式(1):

(1)

其中,-N1≤k,l≤N1。

首先对裂缝目标和背景点进行粗划分，因为在无意义的背景点上进行灰度特征提取是没有意义的，同时影响处理速度。粗划分的依据是数量统计特征C(i,j)，其定义和粗划分公式如式(2)：

(2)

其中，H(x)为阈值函数。

若当前点为裂缝目标，由于裂缝点的灰度值较小，窗口内比当前点像素值大的个数较多，而背景点由于灰度值较大，窗口内出现比其像素值大的像素概率较少，以此对目标点和背景点粗划分是可行的。根据经验，确定阈值T1的范围为：T1=0.85±0.05。

图1示例图的数量统计特征大体划分出了裂缝目标和背景。

图1 数量统计值粗划分

若当前点Count(i,j)非零，则进行局部灰度特征提取工作。

定义调节参数ω：

(3)

定义当前点与其他像素点的灰度相关性因子Rough如下：

(4)

那么当前中心点(i,j)灰度特征可以描述为F1(i,j),G(x)为阈值函数，th为设定阈值。

(5)

根据大量实验结果，设Rough的最大值为max_diff，确定阈值:

th=0.1*max_diff

(6)

灰度特征图I_gray提取方法如下：

(7)

为了使阈值T2自适应图像，从灰度特征F1出发，采用最大类间方差法(Otsu)求解F1的最佳阈值。Otsu是选择全局阈值的最优方法，计算简单，实现如下[13]：

设取整后F1灰度值为0～M级。设待定阈值T1，类间方差b计算方法如式(8):

b=w0(u-u0)2+w1(u-u1)2=w0w1(u0-u1)2

(8)

其中:u为F1像素平均灰度值；w0，u0为F1像素值在[0,T2]出现的概率和平均灰度值；w1,u1为F1像素值在[T2+1,M]之间的概率和平均灰度值。

从[0,M]遍历T2，当b最大时相应的T2值即为最佳阈值。

当灰度特征值在所规定的阈值范围内，则将F1(i,j)赋值给I_gray(i,j)，否则当前中心点赋值为零。图2为示例裂缝图像的数量统计特征和灰度特征图(T1=0.8,T2=5)。

图2 灰度特征提取结果

灰度特征图中存在大量的噪声信息，文献[7-8]给出了对比度特征值的提取方法，但对比度特征以区域灰度均值和方差为判断标准，由于存在和裂缝区域灰度值相近的噪声区域，提取对比度特征并不能很好地去除这部分噪声。文中从灰度特征图出发，提取路面裂缝图像局部相异度特征，并能够自动选择阈值。局部相异度特征获取步骤如下：

步骤一：首先筛选出疑似裂缝点，疑似裂缝点为灰度特征图中像素值不为零的点。

步骤二：设当前中心点坐标为(i,j)，所在窗口大小为(2N2+1)×(2N2+1),将窗口内疑似裂缝点对应到原始图像区域的点的集合设为疑似目标区域G，点的个数为Num_G；窗口内其他坐标点对应到原始图像区域的点的集合设为背景区域B，点的个数为Num_B。

步骤三：定义当前中心点区域相异度特征描述D(i,j)如下：

(9)

其中：f0为当前中心点在原始图像中的灰度值；fz、fy为疑似裂缝点和其他点在原始图像中的灰度值。

步骤四：设相异度特征图为I_Dissimilarity，那么

(10)

为了使阈值T3根据相异度特征图D自动选择，T3的求解方法同T2，实际测试时取2倍的Otsu阈值为宜，这样减少了手动调节阈值的麻烦。图3(b)为LGF-LDF方法提取结果(T3=40)，图3(c)为文献[8]对

图3 LGF-LDF和对比度特征提取结果

比度特征图。可以看到LGF-LDF图已经去除了大量的噪声，但裂缝存在空洞点和断裂点，相比对比度特征，其去除噪声效果较好。

1.2 LOF

文献[7-8]采用了圆投影变换来增强目标信息，但由于局部区域裂缝并不是严格的直线分布，该方法可能造成背景点直接判为目标点的问题，导致裂缝信息的不准确。该方法统计灰度分布情况，由于目标点和噪声点的灰度值的不确定性，导致目标和噪声判断界限的模糊，且判断规则较为复杂。文中受文献[7-8]的启发，提取当前点局部方向特征描述。待处理当前点包括目标点和背景点，以便更好地提取完整丰富的裂缝信息。图4给出了实际裂缝点、断裂点/空洞点、噪声点/背景点标记图。

图4 标记图

为了避免处理I_Dissimilarity边界附近的像素点时造成坐标越界，将图像四个边界向外拓展，拓展像素点根据计算窗口的大小确定，拓展区域像素值为0。

若待处理当前中心点坐标为(i0,j0)，窗口选(41×41)。若其(5×5)邻域内像素值不为零的点的个数大于等于4，则提取当前点方向特征描述，否则当前点直接赋值为零并转向下一像素点的判断。通过这样的预先判断，可以大大减少不必要的计算，提高运行效率。局部方向特征描述提取步骤如下：

步骤一：设(i,j)为窗口内的非零像素点坐标，其值为f(i,j)，与当前点的斜率转化为角度表示为:

(11)

将角度统一取整并规划到(0，π)，有:

degree(i,j)=floor(θ(i,j)+90°)

(12)

Dir(degree(i,j))=Dir(degree(i,j))+1

(13)

步骤二：返回步骤一，直到窗口内所有非零像素点都投票完成，最终得到当前点方向特征向量Dir，以标准差d和峰值md为特征描述，计算如式(14):

选取图4中五种典型点分别计算方向特征向量峰值、标准差以及统计(5×5)邻域非零像素的个数，分布见图5。

图5 五种当前点方向特征描述

可以看到，裂缝断裂点和空洞点之间方向特征描述差异较小，噪声点和背景点之间的差异也较小；前三者和后两者之间的特征描述差异比较大。

文中实验表明，实际裂缝点、裂缝断裂点或者裂缝区域空洞点方向特征标准差在4至6之间变化，且特征曲线峰值大于10。而背景点以及噪声点的方向特征标准差在0至1之间变化，且特征曲线峰值小于8。

那么判断当前点为实际裂缝点、裂缝断裂点或者裂缝区域空洞点条件如下：

(15)

文中th1取值为8，th2取值为1。

若像素点符合上述两点限制，认为当前中心点为裂缝断裂点或者裂缝区域空洞点或者实际裂缝点，当前像素值赋值为255，否则认为当前点为背景或者噪声点，像素值依然为0。

2 去除孤立噪声点

LGF-LDF-LOF提取裂缝目标信息已经较为完整，但裂缝目标边缘不够平滑，且仍存在着少量孤立噪声。文中采用形态学去噪算子去除裂缝目标周围的孤立噪声。在四种形态学基本运算中，开运算可以消除孤立的小块区域和离散点，在纤细点处分离物体，平滑边缘的同时并不明显改变目标面积。闭运算用来填充物体内细小空洞和缝隙，消除狭窄的间断，连接邻近物体，也可以并不明显地改变目标面积[13]。结合两者优势，定义如下开-闭滤波器算子F：

F=I∘S•S

(16)

其中：I为输入图像；S为结构元素；F为去噪后图像。

由于裂缝目标狭长，部分区域宽度只有几个像素点，选取大尺寸结构元素会滤掉裂缝细节信息，所以文中选取小尺寸结构元素。同时，为了解决使用单一结构元素进行形态学去噪很难兼容抑制噪声和保持细节的问题，文中结合圆形和方形两种形状结构元素的优点，采用多结构元素进行形态学去噪。算法实现步骤如下：

(1)分别构造大小为2×2的方形结构元素S1和半径为1的圆形结构元素S2；

(2)将S1和S2代入式(16)进行去噪计算，得到两种结构元素情况下形态学去噪图像F1和F2;

(3)将两种结构元素形态学去噪图像进行融合得到最终的去噪图像，融合方法如式(17)。

F=F1+F2

(17)

3 测试结果

图6是不同环境下路面裂缝图像。图(a)的裂缝目标信息较弱，右上角区域存在油污。图(c)裂缝所处环境较为复杂，图像颗粒感较强，斑马线将裂缝分成三段，三段所处的环境有较大差异。图(e)为一幅网状裂缝图像，路面破损严重，部分区域散布着粉尘，导致局部区域的灰度值偏高，图像光照不均匀。

图6 不同场景下裂缝图像及处理结果图

图(b)(T1=0.8，T2=2，T3=15)、图(d)(T1=0.85，T2=3，T3=30)、图(f)(T1=0.8，T2=6，T3=40)分别是提取的裂缝目标图像。可以看到，运用文中算法可以较好地提取出裂缝目标，能够抑制复杂背景，去噪效果明显。

对比文中方法与最大类间方差分割算法[13]和文献[7]提取算法的处理效果。

图7(a)是在雨天摄取的一幅路面裂缝图像，由于光照不均匀、雨点覆盖整幅图像导致图像的对比度较低。图7(b)、(c)、(d)分别是Otsu(最佳阈值为149)、文献[7]、文中算法的提取结果图。从主观评价，文献[7]方法提取效果也还可以，文中方法相比Otsu和文献[7]算法，得到的裂缝目标图像基本消除了噪声的影响，提取的裂缝信息表达较为完整、连续和丰富。

图7 算法效果对比(1)

图8(a)裂缝图像受到竖杆阴影的影响；图8(b)

是Otsu算法分割结果，其中最佳阈值为90，没有抑制竖杆阴影的影响；图8(c)是文献[7]算法提取结果，该算法可以消除竖杆阴影的影响，但裂缝图像目标仍然出现断裂点和空洞点；图8(d)是文中算法提取结果，相比文献[7]算法，文中算法提取裂缝目标较为连续、完整、丰富，填补了大部分内部空洞点，对噪声有一定的抑制作用。

图8 算法效果对比(2)

为了更加客观地对文中方法进行评价，文中以灰度特征图为参考图，计算Otsu法、文献[7]算法以及文中方法的均方误差(MSE)和峰值信噪比(PSNR)，记录见表1。无论是主观评价还是客观指标评价，文中算法均优于Otsu和文献[7]算法。

表1同时记录了三种方法的运行时间，由于文献[7]和文中方法计算量较大，运行时间相对较长。文献[7]方法需要对特征进行阈值选择而增加了时间，相比之下，文中方法较为明显地提高了处理速度。

表1 效果对比

4 结束语

针对路面裂缝受到各种环境的干扰问题，文中采用基于多特征的路面裂缝目标提取算法，结合多结构元素形态学去噪算子，在保留目标细节和去除噪声之间达到比较好的平衡。以数量统计值对裂缝目标和背景进行粗划分，计算裂缝图像的局部灰度特征，结合局部相异度特征描述获取裂缝目标信息。为了弥补裂缝空洞点和断裂点，提取了局部方向特征，包括邻域内非零像素点数、方向特征峰值和标准差。

实验结果表明，相比最大类间方差算法和传统基于特征的分割算法，文中方法能够较好地提取不同环境下路面裂缝目标信息，在保留裂缝细节的同时去噪效果良好，具有实用性和可行性，为后续进行裂缝分类奠定了良好的基础。

[1] 章秀华，陈艳君，洪汉玉.基于加权融合纹理的路面裂缝检测[J].计算机与数字工程，2011，39(10)：153-156.

[2] 于泳波，李万恒，张劲泉，等.基于图像连通域的桥梁裂缝提取方法[J].公路交通科技，2011，28(7)：90-93.

[3] 徐 威，唐振民，徐 丹，等.融合多特征与格式塔理论的路面裂缝检测[J].计算机辅助设计与图形学学报，2015，27(1)：147-156.

[4]XuBugao,HuangYaxiong.Developmentofanautomaticpavementsurfacedistressinspectionsystem[R].Austin:CenterforTransportationResearch，theUniversityofTexasatAustin,2005.

[5]SubiratsP,DumoulinJ,LegeayV,etal.Automationofpavementsurfacecrackdetectionusingthecontinuouswavelettransform[C]//ProcofIEEEinternationalconferenceonimageprocessing.Atlanta,GA:IEEE,2009:3037-3040.

[6]ChengHD,ChenJR,GlazierC,etal.Novelapproachtopa-vementcrackingdetectionbasedonfuzzysettheory[J].JournalofComputinginCivilEngineering,1999,13(4):270-280.

[7] 洪汉玉，章秀华，叶佳伦,等.桥梁裂痕检测与识别方法[J].武汉工程大学学报，2014，36(2)：63-67.

[8] 王 澍.复杂背景下路面裂缝图像自动检测与识别算法研究[D].武汉：武汉工程大学，2013.

[9] 董安国，梁苗苗.基于灰度相关性的裂缝检测算法[J].计算机应用研究，2013，30(10)：3121-3123.

[10] 褚文涛，李郑明，陆 键.路面病害检测中的裂缝信息快速识别方法研究[J].中外公路，2013，33(6)：80-84.

[11] 刘 娜，宋伟东，赵泉华.形态学和最大熵图像分割的城市路面裂缝检测[J].辽宁工程技术大学学报:自然科学版,2015，34(1)：57-61.

[12] 徐志刚，赵祥模，宋焕生,等.基于直方图估计和形状分析的沥青路面裂缝识别算法[J].仪器仪表学报，2010，31(10)：2260-2266.

[13] 邱汉兴.基于图像分割的路面裂缝检测与识别研究[D].重庆：重庆交通大学，2012.

[14] 王 睿，漆泰岳，朱 鑫,等.隧道检测裂缝的图像处理研究[J].铁道标准设计，2014，58(10)：93-96.

[15]TsalYC,KaulV,MersereauRM.Criticalassessmentofpavementdistresssegmentationmethods[J].JournalofTransportationEngineering,2010,136(1):11-19.

Pavement Crack Object Extraction Method Based on Multi-features

JIANG Ji-rong,CHEN Xiao-hui

(School of Automation,Nanjing University of Posts and Telecommunications,Nanjing 210023,China)

A practical method for pavement crack object extraction based on Local Gray Feature (LGF),Local Dissimilarity Feature (LDF) and Local Orientation Feature (LOF) is proposed,aiming at extracting crack targets in various complex conditions.Firstly,rough division of crack target and background is done by the count statistics and gray feature is computed as LGF description,LGF-LDF feature is obtained for the crack basic information with adaptive thresholds,combined with the current point dissimilarity feature.To fill void and breaking points and to enhance computing efficiency,the number of non-zero pixels in the neighbor of the processing pixel point is judged and the orientation of the non-zero point and the processing point is computed to vote for the angle and the local orientation feature description is extracted.The morphological filter operators are utilized combing with multi-structure elements to eliminate isolated noises.The experiment results show that the method proposed achieves a better performance in extracting the crack targets than both Otsu and algorithm based on traditional features.

pavement crack;gray feature;dissimilarity feature;orientation feature;feature description;denoising

2015-07-05

2015-10-15

时间：2016-03-22

江苏省科技支撑计划项目(BE2011843)；南京邮电大学实验室建设项目(2012XZZ06)

姜吉荣(1990-)，男，硕士研究生，研究方向为智能仪器与图像处理；陈小惠，教授，研究方向为图像处理、智能仪器与网络化测控。

http://www.cnki.net/kcms/detail/61.1450.TP.20160322.1519.052.html

TP391

A

1673-629X(2016)05-0173-06

10.3969/j.issn.1673-629X.2016.05.038