基于区域级和像素级特征的路面裂缝检测方法

韩锟，韩洪飞

截止2015年底，我国公路总里程已经突破450万km，其中高速公路的通车总里程达到12.3万km。受我国交通负荷大，气候环境多变等因素的影响，道路在使用过程中会出现各种破损现象，降低道路的使用性能甚至失去服务能力。裂缝是路面破损的初始形态，在路面裂缝形成初期进行修补，可以大大节约道路养护费用。早期人工检测方法效率低下、准确性差、缺乏客观性，而且无法保证人员安全。随着数字图像采集技术及计算机技术的发展，基于图像处理的路面裂缝信息检测已经成为当前公路路面检测技术的主要研究方向[1-2]。路面裂缝图像普遍具有图像质量差(不均匀光照强度、对比度低等)、噪声强度大(路面材料粒径噪声、路面抛洒物以及水渍等)等特点[3]，使得裂缝相对于图像背景具有极低的信噪比，且图像背景非常复杂。随着图像采集技术的成熟，很多学者已经对图像裂缝检测技术展开了大量研究。经典的边缘检测算法可通过提取梯度较大的像素得到裂缝边缘[4-5]，阈值分割算法则通过设定静态或者动态阈值将相对灰度值较小的像素判断为裂缝[6]，这2类计算简单、应用广泛，但对于噪声过于敏感，并不适应与于复杂背景的路面图像；小波变换、模糊逻辑理论、多尺度几何分析以及机器学习等方法也越来越多的应用到路面裂缝检测中来，这些方法能在一定程度上检测出裂缝信息[7-9]，但均难以克服大量随机分布的噪声，对一些低信噪比裂缝图像不能取得预期的效果，而且运算量过大，并不适用于大量路面图像的处理。综上所述，针对路面裂缝图像质量差、信噪比低以及图像背景复杂的特点，提出了一种综合图像区域级和像素级特征的分步路面裂缝检测方法，首先通过匀光、去噪以及增强等图像预处理方法对原始图像中的噪声进行过滤并保留裂缝信息；然后基于图像连通域特征，分别利用基于多重特征的噪声滤波方法以及基于SVM的特征分类法对路面裂缝图像各成分进行分类提取，从而达到裂缝区域检测的目的；最终在提取到的裂缝区域中，采用统计的方法，结合像素灰度与梯度特征对裂缝进行精确的检测。实验结果表明该算法对于低信噪比条件下的路面图像裂缝检测具有较高的识别率和可靠性。

1 低信噪比路面图像特征分析

1.1 低信噪比路面图像特征

图1为长沙市某路段实际采集到的路面灰度图像(2 048×2 048)以及经Otsu方法分割后的2值图像。根据图1可以看出实际条件下路面裂缝检测存在以下问题：

1) 遮挡物阴影存在导致图像区域光照不均匀；

2) 路面材料粒径噪声严重，其灰度值与裂缝相近；

3) 路面颗粒状纹理复杂，大小、形状不一；

4) 路面纹理噪声、材料粒径噪声以及填充物等导致裂缝不连续、对比度低。

图1 路面图像Fig. 1 Pavement image

1.2 路面裂缝检测算法的基本思想与流程

由上文分析可知，基于图像处理的路面裂缝检测方法的重点在于尽可能保留以及增强裂缝特征的同时消除噪声干扰，在复杂的图像背景中提取到有效的裂缝特征。因此，本文提出一种基于图像区域级和像素级特征的分步路面裂缝检测方法。首先采用一种基于图像区域特征的检测方法提取裂缝区域，删除大量无用的背景信息，突出裂缝特征；然后在裂缝区域内采用基于像素梯度与灰度特征的裂缝检测方法获取裂缝目标，其基本流程如图 2所示。

图2 算法基本流程Fig. 2 Flowchart of proposed algorithm

2 路面图像裂缝检测算法设计

2.1 图像预处理

为减小路面图像亮度不均匀、包含大量噪声、对比度低等问题对裂缝检测产生的影响，本文设计了一种基于拟合图像背景的匀光方法平衡图像亮度分布，利用中值滤波以及最小值滤波进行图像去噪增强，并采用Otsu方法进行图像分割。

2.1.1 基于拟合图像背景的图像匀光

匀光算法步骤如下：

1) 记路面原始图像为I(x,y)，其中：x=1, 2, …,m；y=1, 2, …, n；m, n分别为原始图像的像素总行数与总列数。

2) 按式(1)计算原始图像的平均灰度值，记为Tave。

3) 将原图像等分成大小为p×q的子块，按式(2)求取各图像子块像素灰度均值，记为 A(k,l)，其中：k=1, 2, …, m/p；l=1, 2, …, n/q。然后采用双线性插值法将 A(k,l)放大为原图像尺寸大小，记为J(x,y)。

4) 按式(3)对图像进行灰度校正，输出结果记为Im(x,y) 。

图3是本文算法对路面裂缝图像匀光处理后的结果，可以看出图像的亮度分布得到均衡的同时细节也得到了较好的保护。

图3 图像匀光处理结果Fig. 3 Dodging result of uneven illuminated image

2.1.2 基于模板滤波的图像去噪与对比度增强

依据裂缝目标与相邻像素点具有紧密的关联性，而离散噪声与相邻像素无关的特点，采用中值滤波方法对图像进行平滑去噪处理[10]。由于图像自身对比度较低，匀光及去噪处理后图像裂缝边缘会出现一定的模糊效应，需要对图像进行对比度增强，本文采用最小值滤波器增强裂缝图像对比度。图像经去噪处理与对比度增强后效果如图4所示。

图4 图像去噪与对比度增强结果Fig. 4 Results of image de-noising and contrast enhancement

2.1.3 图像分割及2值图像去噪

由于后续裂缝区域识别过程中基于2值图像进行特征，故需要对图像进行2值化处理。经上述步骤预处理后，对Imin(x,y)利用Otsu法得到最佳分割阈值t，将灰度图像分割为2值图像，分割后1值像素即为目标像素，0值像素为背景像素。

2值分割后，图像中仍存在大量离散分布的孤立点状噪声，其面积较小，因此采用基于正方形模板处理的去噪算子[11]。去噪模板如图5所示，模板中虚框表示模板的边界像素(记为集合E)，记L×L模板内含有的目标像素数为num，若E中所有元素均为背景像素且num≤M (阈值M≤L×L)，则模板范围内目标像素判定为孤立点状噪声，予以滤除。

图5 去噪模板Fig. 5 Template of de-noising

去除孤立点状噪声后，对图像进行先腐蚀后膨胀的操作，将相邻的裂缝目标连接起来的同时去除与噪声成分的细小连接。记去噪处理后的2值图像记为Io(x,y)。图像分割及 2值图像去噪结果如图6所示。

图6 图像分割与2值图像去噪结果Fig. 6 Results of image segmentation and binary image de-noising

2.2 基于连通域特征的裂缝区域检测

预处理得到的2值图像中，连通区域表示的图像片段即为裂缝片段与非裂缝片段。通过对大量裂缝目标的观察，形成以下共识：1) 裂缝呈现为一定的线状特征；2) 裂缝在局部区域内方向具有一致性；3) 裂缝普遍具有一定的长度；4) 裂缝的整体走向无规律，呈不规则状。为滤除复杂图像背景中的干扰信息，获得有效的裂缝图像片段，采用基于连通域特征的裂缝区域分类方法。通过提取2值图像中连通区域的特征，采用基于SVM的特征分类方法对裂缝区域进行检测。裂缝区域识别过程包括连通域图像片段提取、连通域片段特征提取、基于多特征的图像滤波以及基于SVM的裂缝区域识别过程[12]。

2.2.1 连通域图像片段提取

连通区域[13]的求取即是对图像中相互邻接(8-邻域)的“1”值像素集合进行提取和标记，记为Ck(x,y)，其中 k为图像中连通域的序号。连通域求取完成后，取长、宽分别与y轴、x轴平行的连通域外接矩形，矩形内图像片段即为所求连通域图像片段。

2.2.2 连通域图像片段特征提取

基于对裂缝图像特征分析，本文采用以下5个特征构造裂缝图像片段的特征：

1) 矩形度

矩形度是描述连通域在其外接矩形中填充程度的量，计算公式为：

式中：AS为图像片段内目标连通域的面积；AR为包围该连通域的外接矩形的面积。

2) 目标像素密度

目标像素密度是裂缝图像(或干扰图像)区域内黑色像素点个数与整个图像片段像素点个数的比值，计算公式为[14]：

式中：No为裂缝图像(或干扰图像)区域内黑色像素个数；NT为整个图像片段的像素个数。

3) 长宽比

长宽比是将细长目标与近似矩形或圆形目标进行区分时采用的形状度量，其计算公式为：

式中：WR为包围该连通域的外接矩形的宽度；LR为包围该连通域的外接矩形的长度。

4) 圆形度

圆形度是用来表示目标圆形程度的指标，可以反映目标区域的紧凑程度，其计算公式为[9]：

式中：AS为图像片段内最大连通域的面积；LS为图像片段内最大连通域的周长。

5) 离心率

离心率是指与连通区域具有相同2阶中心距的椭圆的离心率，即该椭圆焦距与其长轴的比值, 记为 ρec。

2.2.3 基于多特征的图像滤波

图像预处理后得到的2值图像中不可避免仍存在大量随机分布的、形状各异的噪声成分。这些噪声成分较裂缝目标数量多且分布离散、圆形度较大、矩形度较大、离心率较小。因此本文采用部分裂缝特征对2值图像中的连通域进行滤波处理，滤除特征较为明显的噪声成分，减少后续算法的计算量。

经过试验调整，选定的特征为圆形度ρe、矩形度 ρR以及离心率 ρec，参考阈值为 ρe=0.3、ρR=0.6以及ρec=0.8，筛选结果如图7所示。

图7 2值图像筛选结果Fig. 7 Result of binary image filtering

2.2.4 基于连通域特征的裂缝区域检测

支持向量机(SVM)是以统计学习理论中的 VC维和结构化风险最小化为原则，同时考虑了训练误差与测试误差，使得算法具有很高的泛化能力。较神经网络及其它分类算法，支持向量机即使针对小样本问题仍然能够得到理想的分类结果，同时并不存在学习过程中陷入局部最优解的问题，因此本文采用基于SVM的特征分类方法进行裂缝区域识别，其步骤如下：

1) 图片样本集的建立

对实际采集到的路面裂缝图片进行预处理、图像滤波操作后，对输出图像中的图像片段进行人工标注，本文选取了593个图像片段作为样本，其中500个作为训练样本，剩余的93个作为测试样本。

2) 提取样本的特征

对提取到的样本图像片段分别计算ρR，ρP，ρWL和 ρe作为样本特征，并对特征数据进行归一化处理。

3) SVM模型的训练

本文选取RBF作为核函数，使用libsvm软件包进行SVM分类模型的建立，将训练样本特征数据输入软件利用交叉验证法与网格搜索法选取最优模型参数，得到训练好的分类器模型，将测试样本特征数据输入分类器模型得到的准确率达到91.3%。

4) 裂缝区域识别

得到训练好的分类器模型后，对待检测路面图像进行图像预处理、连通域图像片段及特征提取以及图像滤波等操作后，将得到的图像片段特征数据输入分类器模型完成裂缝区域识别。对图7所示图像进行裂缝区域识别的结果如图8所示。

2.3 基于像素梯度与灰度统计信息的裂缝检测

裂缝目标在图像上主要表现为非负特征，即裂缝像素灰度值明显低于其周围背景像素灰度值，同时裂缝与背景之间呈现明显的边缘特征。边缘检测被广泛应用于裂缝检测中，但针对低信噪比的路面裂缝图像，传统的边缘检测算法由于对噪声过于敏感、容易出现假边缘且边缘不连续等原因并不适用。因此本文结合边缘检测与种子生长方法在裂缝区域内进行裂缝检测，首先采用边缘检测算法提取出可靠的裂缝边缘，然后以提取到的裂缝边缘为起点，采用基于灰度统计信息的种子生长法进行裂缝检测，最终对检测结果进行形态学修复得到裂缝信息。

图8 裂缝区域检测结果Fig. 8 Result of crack region detection

2.3.1 基于改进Canny算子的裂缝可靠边缘提取

Canny边缘检测算子作为一种最优边缘检测算子得到了广泛应用，完整的Canny算子首先通过高斯滤波函数对图像进行滤波去噪，然后对去噪后的图像进行梯度幅值及方向计算，之后进行梯度幅值方向上的非极大值抑制，最终通过双阈值处理实现边缘点检测及边缘连接。

本文算法在非极大值抑制得到边缘像素点集后，并不采用双阈值检测与连接过程，而是在裂缝区域内取较高的梯度阈值σ作用于非极大值抑制图像。得到边缘图像后，采用统计的方法滤除离散分布的孤立边缘点，得到最终的可靠边缘点集。分别用传统Canny算子与本文算法对路面裂缝图像片段进行边缘检测的效果如图9所示。对比图9(b)与9(c)可以看出，由于本文算法在检测到的裂缝区域内进行边缘检测并选取了较高的梯度阈值，检测结果能够去除图像背景中复杂纹理噪声的干扰，较为准确的反映裂缝边缘信息。

图9 边缘检测结果Fig. 9 Result of edge-detection

2.3.2 基于灰度统计信息与种子生长法的裂缝检测

得到可靠边缘图像后，结合裂缝图像的特点，采用基于种子区域生长的图像分割方法进行最终的裂缝检测。种子区域生长是以一个或者一组初始种子为起点，根据预先定义的生长准则，将像素点或者子区域集合成一个较大区域的处理方法，旨在将种子像素点周围的具有相似性质像素点归并到种子像素所在的区域内[15]。

1) 种子点的自动选取

图像的边缘信息能够较好的代表整个图像的大致信息，上文中提取的裂缝边缘点的集合即可作为一组种子点，从广义上讲，这组种子点即代表了裂缝边缘的大致信息。

2) 生长判决条件及生长过程

记f(x,y)为生长区域内各像素点的灰度值，已获得的裂缝像素点集合(初始裂缝像素点集合为种子点)为R，其总数为NR，灰度值分别为X(0)，X(1)，X(0)，…，X(NR-1)，生长过程中计算其平均灰度值

判断候选像素点(即与种子区域新生长进来的像素有8连通的像素)灰度值是否满足

相应算法流程为：

1) 建立数组PSeed，PCrack并置空，并将初始种子像素点逐个加入到PSeed和PCrack中；

2) 判断当前数组 PSeed是否为空。如果数组中仍存在元素，取出数组中像素点作为当前种子点继续以下步骤；

3) 以当前种子点为中心，逐个检查其邻域内的所有像素点的灰度值是否满足生长条件，满足则将它们合并至PCrack队列，成为下一个生长点；

4) 以新的生长点为中心，返回到步骤3，检查其邻域，直到该区域不能进一步扩张；

5) 生长终止，返回到步骤 2)，继续扫描直到PSeed数组为空时，结束整个生长过程。

2.3.3 裂缝修复

由于图像中噪声成分的影响，识别出的裂缝图像存在毛刺、空洞以及不连续的情况，因此需要对裂缝图像进行进一步处理。结合检测出的裂缝图像特征，本文分2步对裂缝图像进行处理：首先采用形态学处理方法去除裂缝毛刺；然后根据像素位置信息进行裂缝连接。

识别后的裂缝图像中毛刺一般比较细小，同时存在于裂缝内部区域的空洞面积也不大，所以采用开闭操作对裂缝图像进行处理，开操作可以将比结构元素小的毛刺去除，而闭操作能够将比结构元素小的缺口或者空洞填充上，先开后闭的操作同时能够对裂缝边缘达到平滑的作用。

检测到的裂缝图像常常存在断裂的情况，需要进行连接。由同一裂缝对象断开的裂缝块之间相隔距离较近，基于此特征，本文采用如下步骤对裂缝进行连接：

1) 将检测到的所有裂缝标记为候选裂缝，由图像左上角开始，依次向下由左至右搜索裂缝并标记排序建立候选裂缝数组，将搜索到的第一个裂缝作为当前待连接裂缝。

2) 取当前裂缝端点，判断此端点部分裂缝走向(0°，45°，90°，…，225°，270°，315°)，搜索此方向内附近像素点，若搜到距离端点N个像素点内的其他候选裂缝时，即可连接。

3) 当前候选裂缝连接完成后，在候选裂缝数组中标记为已处理，取下一未处理候选裂缝重复步骤2)，直至所有候选裂缝都完成连接处理。

对上文图片进行裂缝检测的结果如图10所示。

图10 裂缝检测结果Fig. 10 Results of crack detection

3 实验结果与分析

本文对长沙某沥青路段裂缝图像进行了实验，选取了150幅路面图像，经过目视分析其中34幅图像中存在裂缝病害，裂缝数量统计为127条。按照本文算法对这组图像进行检测，针对裂缝数量的统计结果为漏检比例为6.3%，误检比例为2.1%。部分检测结果如图11所示，其中图11(a)为原始图像，11(b)为Otsu阈值分割后的结果， 11(c)为Canny边缘检测后的结果，11(d)为本文算法结果。由图可知，对于低信噪比的路面图像，单一的阈值分割算法以及边缘检测算法无法对裂缝进行有效识别。由图11(d)所示，本文算法可以得到较为理想的检测结果，裂缝对象被有效识别并标记为红色。虽然对于对比度较低以及特征不明显的小部分裂缝出现漏检以及局部断裂现象，在实际工程领域中可以接受。未来本研究将继续采集实际路面图像，针对低对比度路面图像的裂缝检测算法进行进一步改进完善，优化裂缝连接算法，降低漏检率并提高裂缝的完整性。

图11 本文算法裂缝检测实例Fig. 11 Examples of crack detection with proposed algorithm

4 结论

1) 提出的匀光算法可以有效地抑制图像亮度分布不均匀对裂缝检测结果的影响，在存在明显亮度分布不均匀的路面图像中本文算法仍可检测出较为完整的裂缝目标。

2) 采用的基于连通域特征的图像滤波方法以及裂缝区域检测方法，能够有效的在低信噪比路面图像中检测出裂缝区域，滤除大量复杂的图像背景噪声。

3) 提出的基于像素梯度与灰度信息的裂缝检测算法，能够在裂缝区域内准确的检测出裂缝目标，输出像素级精度的裂缝检测结果。

参考文献：

[1] 李强, 潘玉利. 路面快速检测技术与设备研究进展及分析[J]. 公路交通科技, 2005, 22(9): 35-39.

LI Qiang, PAN Yuli. Review of road condition survey technology and equipments[J]. Journal of Highway and Transportation Research and Development, 2005, 22(9):35-39.

[2] Martin Herold, Dar Roberts, Val Noronha, et al. Imaging spectrometry and asphalt road surveys[J]. Transportation Research Part C, 2008, 16(2): 153-166.

[3] 徐志刚, 赵祥模, 宋焕生, 等. 基于直方图估计和形状分析的沥青路面裂缝识别算法[J]. 仪器仪表学报,2010, 31(10): 2260-2266.

XU Zhigang, ZHAO Xiangmo, SONG Huansheng, et al.Asphalt pavement crack recognition algorithm based on histogram estimation and shape analysis[J]. Chinese Journal of Scientific Instrument, 2010, 31(10): 2260-2266.

[4] 彭博, 蒋阳升, 韩世凡, 等. 路面裂缝图像自动识别算法综述[J] . 公路交通科技, 2014, 31(7): 19-25.

PENG Bo, JIANG Yangsheng, HAN Shifan, et al. A review of automatic pavement crack image recognition algorithms[J]. Journal of Highway and Transportation Research and Development, 2014, 31(7): 19-25.

[5] 黎蔚, 朱平哲. 沥青路面裂缝图像检测算法研究[J].计算机工程与应用, 2012, 48(19): 163-166.

LI Wei, ZHU Pingzhe. Image detection algorithm research for asphalt pavement crack[J]. Computer Engineering and Applications, 2012, 48(19): 163-166.

[6] 王睿, 漆泰岳, 雷波, 等. 隧道衬砌裂缝特征提取方法研究[J]. 岩石力学与工程学报, 2015, 34(6): 1211-1217.

WANG Rui, QI Taiyue, LEI Bo, et al. Characteristic extraction of cracks of tunnel lining[J]. Chinese Journal of Rock Mechanics and Engineering, 2015, 34(6): 1211-1217.

[7] Hyun-Seok Yoo, Young-Suk Kim. Development of a crack recognition algorithm from non-routed pavement images using artificial neural network and binary logistic regression[J]. KSCE Journal of Civil Engineering, 2016,20(4): 1151-1162.

[8] SHU Zhibiao, GUO Yangqing. Algorithm on contourlet domain in detection of road cracks for pavement images[J]. Journal of Algorithms and Computational Technology, 2013, 7(1): 15-26.

[9] Petrik, Martin. Climber-Inspired fuzzy logic approach to crack localization using image analysis[J]. Journal of Advanced Concrete Technology, 2015, 13(2): 103-111.

[10] 方莉, 张萍. 经典图像去噪算法研究综述[J]. 工业控制计算机, 2010, 23(11): 73-74.

FANG Li, ZHANG Ping. Overview on some arithmetics for image denoising[J]. Industrial Control Computer,2010, 23(11): 73-74.

[11] 彭博, WANG K C P, 陈成, 等. 基于1 mm精度路面三维图像的裂缝种子自动识别算法[J]. 中国公路学报,2014, 27(12): 23-32.

PENG Bo, WANG K C P, CHEN Cheng, et al. Automatic recognition algorithm for crack seeds based on 1 mm resolution 3D pavement images[J]. China Journal of Highway and Transport, 2014, 27(12): 23-32.

[12] 王睿, 漆泰岳. 基于机器视觉检测的裂缝特征研究[J].土木工程学报, 2016, 49(7): 123-128.

WANG Rui, QI Taiyue. Study on crack characteristics based on machine vision detection[J]. China Civil Engineering Journal, 2016, 49(7): 123-128.

[13] 朱力强, 白彪, 王耀东, 等. 基于特征分析的地铁隧道裂缝识别算法[J]. 铁道学报, 2015, 37(5): 64-70.

ZHU Liqiang, BAI Biao, WANG Yaodong, et al. Subway tunnel crack identification algorithm based on feature analysis[J]. Journal of the China Railway Society, 2015,37(5): 64-70.

[14] 白彪. 地铁隧道表面图像裂缝识别算法研究[D]. 北京:北京交通大学, 2015.

BAI Biao. Research on crack identification algorithm of subway tunnel surface image[D]. Beijing: Beijing Jiaotong University, 2015.

[15] Ugarriza L G, Saber E, Vantaram S R, et al. Automatic image segmentation by dynamic region growth and multiresolution merging[J]. IEEE Transactions on Image Processing, 2009, 18(10): 2275-2288.