基于聚类-最小生成树的沥青路面裂缝检测方法研究
2017-07-24张栋冰
张栋冰
(淮北师范大学计算机科学与技术学院，安徽 淮北 235000)
基于聚类-最小生成树的沥青路面裂缝检测方法研究
张栋冰
(淮北师范大学计算机科学与技术学院，安徽 淮北 235000)
提出了一种基于聚类-最小生成树的沥青路面裂缝检测方法。该方法中，首先采用Retinex模型对裂缝图片进行匀光预处理操作，以减小不同光照环境形成的图像差异性，然后对匀光预处理图片采用边缘检测和图像分割来共同提取图像中的裂缝区域，最后对裂缝提取图像进行聚类，并采用最小生成树策略来进行裂缝检测。实验所用的图片来源于实际交通路口拍摄获得。实验结果表明，该方法能够准确、有效地对沥青路面裂缝进行判断和检测，具有很好的实用价值。
裂缝检测；匀光处理；聚类；最小生成树
随着高速公路建设的快速发展，公路检测与养护管理已成为我国公路建设领域的重要任务。裂缝作为评价路面质量最重要的参数之一，是大部分病害的早期表现形式，直接影响到公路使用寿命和行车安全[1]。及早发现裂缝并进行维护可以有效的避免路面的进一步破损。随着科学技术的不断发展，传感器技术、计算机视觉以及数字图像处理技术被广泛应用于路面裂缝检测领域，逐渐实现了路面裂缝检测技术的自动化或半自动化。
目前的路面裂缝检测根据技术路线的不同主要分为两大类，第1类是采用激光和雷达来进行检测。比如：Laurent等[2]采用线激光对路面进行照明和检测，能够有效地提高检测精度。Ranalli等[3]使用探地雷达技术来搭建路面检测系统，能够有效地探测到光学方法无法探测到的裂缝深度。第2类方法为采用图像处理和计算机视觉技术来进行检测。比如：Delagnes P等[4]提出了基于马尔可夫随机场的裂缝检测方法，Chu[5]提出了一种细化并保留连接域的沥青路面裂缝检测方法，Marchewka[6]提出了基于局部特征的沥青路面图像处理方法。李清泉等[7]提出了一种基于形态学滤波和最小代价路径搜索的裂隙提取算法。一年后，该作者又提出了一种基于最小生成树的裂缝提取算法[8]。Salari E等[9]首先使用了遗传算法来进行裂缝图像的检测。同年，该作者又提出了结合三维信息来进行检测的方法[10]。
由于采用激光和雷达进行路面裂缝检测的成本较高，功率较大，因此当前主要采用图像处理和计算机视觉技术进行路面裂缝检测。然而，受公路表面的不规则、多纹理、多噪声、裂缝信息细弱、图像质量难以控制等特性的影响，基于图像处理的路面裂缝检测技术对于路面修补、轮胎痕迹、光照不均等干扰因素较为敏感，检测效果欠佳。本文在已有方法的基础上，着重考虑复杂场景下算法的准确性，提出了一种基于聚类-最小生成树的路面裂缝检测方法。
1 路面裂缝检测算法原理
1.1 图像预处理
考虑到沥青路面上存在较多颗粒，裂缝与路面的区分性不是非常明显，首先对图像进行预处理以增加裂缝与路面的对比度。本文首先对图像进行增强处理，图像增强的方法有多种[11]，本文根据裂缝的特征采用了Retinex模型来进行增强。图1中(a)是一张包含裂缝的路面图像。受车辙的影响路面明暗相间明显，光照不均匀分布严重，因此需要将图像的各局部亮度调节到同一水平进行匀光处理。因Retinex模型认为图像是由一个与光照无关的分量和一个光照分量组成，本文首先采用Retinex模型对图像的光照分量进行剔除，然后提出了一种自适应灰度拉伸方法来增强裂缝的对比度。具体步骤如下：
1)在图像中应用高斯低通滤波，以获取原始图像中亮度分布的大致趋势。
2)根据Retinex模型，按照式(1)计算差值图像。
f′ (x,y)=k·abs(lg(f(x,y))-lg(G(x,y)))
(1)
其中f′(x,y)为差值图像，f(x,y)为原始图像，G(x,y)为经过高斯滤波图像，k是比例系数，经实验设定为0.1。该差值图即为移除光照影响后的图像。
3)对差值图像进行自适应灰度拉伸处理。根据背景中不同亮度对图像进行拉伸，以保持全局的光照均匀。灰度拉伸公式如下
f″(x,y)=m·f′(x,y)+favg
(2)
(3)
经过以上步骤，得到如图1中(b)所示的匀光处理图像。由图可知，该图像能够有效地去除原始图像中复杂的噪声，而保留图像中的裂缝。
图1 匀光预处理图像Fig.1 Dodging image
1.2 图像裂缝提取
对原始裂缝图像进行匀光预处理操作后，接下来需对裂缝区域进行提取。由图1(b)可知，在匀光处理后的图像中，裂缝与背景区域具有明显的颜色差异。因此，本文首先对预处理图像进行分割。图像分割通常是通过阈值将图像转化为二值图像，常见的阈值求取方法有Otsu(大津)法，最大熵法，NiBlack法等。图2给出了几种不同分割方法的提取效果。由图可知最大熵法能够有效地去除非裂缝区域干扰，分割出的裂缝效果最好，而大津法对阈值的选取偏高，分割结果中出现大量噪声，NiBlack法不仅未能提取出裂缝区域，反而将大量非裂缝区域提取出来，因此不适用于裂缝检测。对比了几种方法，本文选取了最大熵法作为裂缝分割方法。
由图2(b)可知，最大熵法能够有效地将路面裂缝提取出来。然而，在某些复杂的路面上，裂缝与路面的区分性不够大，因此提取出来的裂缝可能是分裂离散的，为了最大程度地保障裂缝的完整性，本文对预处理图像进一步进行边缘提取操作，将边缘提取图像和最大熵法分割图像进行“或”操作，得到确定的裂缝提取图像。常用的边缘提取算子包括Sobel算子、Prewitt算子、Canny算子和Laplace算子等，由于路面裂缝基本呈水平或垂直分布，而Sobel算子能够很好地将水平或垂直方向的边缘进行提取，因此本文选取了Sobel算子来进行边缘提取。令最大熵法分割图像为S(x,y)， 边缘提取图像为E(x,y)，则最终确定的裂缝提取图像C(x,y)如下式所示：
C(x,y)=S(x,y)∪E(x,y)
(4)
1.3 图像裂缝检测
因受场景的复杂性，所得到的裂缝提取图像中的裂缝可能仍然呈分裂离散状态，同时可能会存在类裂缝噪声。因此，接下来需要在裂缝提取图像中准确找出属于裂缝的区域。基于裂缝呈细长且连贯状态的事实，本文提出了基于聚类的最小生成树裂缝检测方法。最小生成树是一种图结构，其通过构建原图的极小联通子图来保证连接所有节点的边的总数最少，可以通过Kruskal算法或Prim算法求出该图结构。
对于裂缝提取图像而言，若整个裂隙点所形成的集合被一个矩形所包含，通过该矩形内所有边缘点生成的最小生成树中，裂隙点应该处于树的“主干”部分，即树结构中深度较大的点。本文通过构建最小生成树的方法进行裂缝提取、检测，具体步骤如下：
1) 聚类[12]。本文可识别水平裂缝和纵向裂缝，识别水平裂缝时，只考虑横向聚类；识别纵向裂缝时，只考虑纵向聚类。
横向聚类时，从裂缝提取图像C(x,y)的左上顶点开始，依照从左至右，从上至下的顺序进行遍历。若该点距离已知最近的边缘点超过阈值，则为该点新建一个分类，重复这一过程，直到扫描结束。该算法流程图如图3所示。判断当前点是否属于当前类的依据是计算该点与当前类的欧氏距离是否足够小，若小于阈值则归为当前类，否则不为当前类。这一过程结束后，所有横向裂缝边缘都会处在同一个类矩形内。且，裂缝边缘会在矩形的居中位置，矩形上下两侧则是统计数量基本相同的噪声点。纵向聚类时，只需将图像遍历顺序调整为从上至下从左至右即可。
2) 构建最小生成树。对于每一个聚类结果，将所有属于该类的点组织成一棵最小生成树[13]，如式(5)所示，在一个给定的无向图G=
w(t)=∑(u,v)∈tω(u,v)
(5)
其中，V表示顶点集合，E表示边集合，(u,v)表示连接顶点u与顶点v的边，ω(u,v)表示该边的权重。
3)基于最小生成树的裂缝检测。首先从深度最小的点，即处在生成树最外围的点开始，依次将这些点排除，并记录深度。若某点在第1次排除过程中就被排除，令其深度为0；若第2次过程中被排除，则深度为1，以此类推每点深度。当生成树中只剩下唯一节点时，从该节点的任意方向开始，寻找最邻近且深度仅次于最大值的点，加入生成树集合中，重复该过程，得到裂缝的两个生长端点。然后以两个端点为中心，根据深度和距离依次挑选符合上述条件的点加入到生成树集合中，直至深度为0。最后对该集合进行筛选，逐次计算两点间的距离和斜率，只有距离较近且斜率变化平稳的边缘才会被认为是裂隙。图4展示了基于该方法检测出的裂缝和被排除的干扰点分布。
图4 裂缝检测结果示意图Fig.4 Crack detection results
2 路面裂缝检测实验
2.1 裂缝检测方法有效性验证
为了验证本文提出的裂缝检测方法有效性，在多个交通路口采集沥青路面裂缝图片进行实验，本文的实验平台为VisualStudio2015，计算机配置为Intel(R)Core(TM)i5-3230M，主频为2.60GHz，内存为4.00GB。
本文首先对匀光预处理的有效性进行验证。图5(a)给出了一张实际采集的沥青路面裂缝图片，图片表面严重光照不均，同时存在大量的椒盐噪声。图5(b)为未经过匀光预处理的裂缝提取图片，由图可知，图片中的暗区域难以准确提取，从而形成断裂离散的裂缝区域，图5(c)为经过匀光预处理后的图片，图5(d)为图5(c)的裂缝提取图片，图片中明暗相间的区域经过匀光处理后具有光照一致性，从而能够完整地提取出整个裂缝区域，验证了本文匀光预处理的有效性。
对原始图片进行匀光预处理之后，本文对裂缝检测的有效性也进行了验证。图6给出了不同场景下路面裂缝检测情况，图6中(a)、(c)、(e)、(g)分别不同光照场景下的原始图片，图6中(b)、(d)、(f)、(h)分别为与之对应的检测出来的裂缝，裂缝越宽则检测出来的线条越粗，由图可知，本文方法对不同光照、不同路面环境下拍摄的裂缝图片均能进行较好的检测，能够有效地应对复杂环境下的裂缝检测，具有较好的鲁棒性和准确性。
3.2 裂缝检测方法准确性验证
为了验证本文裂缝检测方法准确性，在实际路口随机拍摄平整路面、含有标线的路面、污损路面、含有接缝的路面以及纵向裂缝路面、横向裂缝路面和网状裂缝路面，组成包含500张图片的测试集，大约覆盖10km的路面。本文选取了采用查全率(recall)和查准率(precision)作为裂缝检测的性能指标和计量准则。在实际的检索过程中，若用S表示图像库中所有裂缝图片集合，R表示检索到的裂缝图片集合，s表示检索到的图片集R中实际含有裂缝的图片数目，u表示检索到的图片集R中实际没有裂缝的图片数目，v表示没有检索到的裂缝图片数目，则查全率和查准率可以表示为：
(6)
(7)
表1列出了对测试图像的识别结果。由表可知，本文方法的平均检测准确率为96.9%，平均查全率为98.4%。分析数据可知，该方法对横向裂缝的检测最为准确，检测结果的准确率达到98.8%，并且检测结果也完全覆盖了测试集。而受车辙等的干扰，纵向裂缝的检测效果略次于横向裂缝的检测效果，查准率为91.2%，查全率和横向裂缝一样能够保持在100%的水平。对于分布较为复杂的网状裂缝，只要能被检测，结果都是正确的，但有时网状裂缝会被当成横向裂缝或纵向裂缝输出。
图5 匀光预处理有效性验证Fig.5 Validation of dodging algorithm
图6 不同光照场景下裂缝检测有效性验证Fig.6 Validation of crack detection under different illumination conditions
识别结果样本总数正确总数precision/%recall/%横向裂缝858498.8100纵向裂缝343191.2100网状裂缝101010083.3全体裂缝12912596.998.4
4 结 论
本文提出了一种基于聚类最小生成树的沥青路面裂缝检测方法。该方法首先对采集的路面图片采用Retinex模型进行匀光预处理，以去除光照的影响，然后采用边缘提取和阈值分割来提取裂缝区域，最后采用聚类和最小生成树策略对裂缝进行检测。本文提出的算法能够有效地应对不同光照环境，对横向裂缝、纵向裂缝和网状裂缝均能进行较好的检测。实验结果证明了本文提出的算法能够有效、准确地进行沥青路面裂缝检测，具有很好的实用性。未来的工作将集中在极端恶劣环境下、不同拍摄角度和距离时的路面裂缝检测准确性，以得到更为精准的检测效果。
[1] 孙朝云, 赵海伟, 李伟,等. 基于双相扫描检测的路面三维裂缝识别方法[J]. 中国公路学报, 2015, 28(2):26-32.SUNZY,ZHAOHW,LIW,etal. 3DPavementcrackidentificationmethodbasedondual-phasescanningdetection[J].ChinaJournalofHighwayandTransport, 2015, 28(2):26-32.
[2]LAURENTJ,TALLBOTM,DOUCETM.Roadsurfaceinspectionusinglaserscannersadaptedforthehighprecision3Dmeasurementsoflargeflatsurfaces[C]//InternationalConferenceonRecentAdvancesin3-DDigitalImagingandModeling.Ottawa:IEEE, 1997:303-310.
[3]RANALLID,SCOZZAFAVAM,TALLIMIM,etal.GPRsignalattenuationvs.depthondamagedflexibleroadpavements[C]//4thInternationalWorkshoponAdvancedGroundPenetratingRadar.AulaMagnaPartenope:IEEE, 2007:300-305.
[4]DELAGNESP,BARBAD.AMarkovrandomfieldforrectilinearstructureextractioninpavementdistressimageanalysis[C]//InternationalConferenceonImageProcessing.Washington:IEEE, 1995:446-449.
[5]CHUY.Algorithmstudyonthinningandkeepingconnectivityofbituminouspavementcrackimages[C]//InternationalConferenceofInformationScienceandManagementEngineering.Shanxi:IEEE, 2010:550-553.
[6]MARCHEWKAA.Crackdetectiononasphaltsurfaceimageusinglocalminimumanalysis[J].ImageProcessing&CommunicationsChallenges2, 2010, 84(2):353-359.
[7] 李清泉, 邹勤, 毛庆洲. 基于最小代价路径搜索的路面裂缝检测[J]. 中国公路学报, 2010,23(6):28-32.LIQQ,ZOUQ,MAOQZ.Pavementcrackdetectionbasedonminimumcostpathsearching[J].ChinaJournalofHighwayandTransport, 2010,23(6):28-32.
[8] 邹勤, 李清泉, 毛庆洲, 等. 利用目标点最小生成树的路面裂缝检测[J]. 武汉大学学报, 2011，1(36):71-75.ZOUQ,LIQQ,MAOQZ,etal.TargetpointsMSTforpavementcrackdetection[J].GeomaticsandInformationScienceofWuhanUniversity， 2011,1(36):71-75.
[9]SALARIE,YUX.PavementdistressdetectionandclassificationusingaGeneticAlgorithm[C]∥AppliedImageryPatternRecognitionWorkshop(AIPR), 2011：1-5.
[10]SALARIE,BAOG.Automatedpavementdistressinspectionbasedon2Dand3Dinformation[C]//2011IEEEInternationalConferenceonElectro/InformationTechnology(EIT).Mankato:IEEE, 2011:1-4.
[11] 李率杰, 冯兆永. 基于自适应TVp正则化图像恢复方法[J]. 中山大学学报(自然科学版), 2016, 55(5):8-13.LISJ,FENGZY.ImagerestorationmethodbasedonadaptiveTVpregularization[J].ActaScientiarumNaturaliumUniversitatisSunyatseni, 2016, 55(5):8-13.
[12] 杨发权, 李赞, 罗中良. 基于聚类与神经网络的无线通信联合调制识别新方法[J]. 中山大学学报(自然科学版), 2015, 54(2):24-29.YANGFQ,LIZ,LUOZL.Anewspecificcombinationmethodofwirelesscommunicationmodulationrecognitionbasedonclusteringandneuralnetwork[J].ActaScientiarumNaturaliumUniversitatisSunyatseni, 2015, 54(2):24-29.
[13] 王晓敏, 赵喜杨, 姚兵. 全边增长网络模型的生成树[J]. 中山大学学报(自然科学版), 2016, 55(1):48-53.WANGXM,ZHAOXY,YAOB.Spanningtreesoftotallyedge-growingnetworkmodels[J].ActaScientiarumNaturaliumUniversitatisSunyatseni, 2016, 55(1):48-53.
[14]BAOL,SONGY,YANGQ,etal.Treefiltering:efficientstructure-preservingsmoothingwithaminimumspanningtree[J].IEEETransactionsonImageProcessing, 2014, 23(2): 555-569.
Crackdetectionforbituminouspavementsbasedonclusterandminimumspanningtree
ZHANGDongbing
(SchoolofComputerScienceandTechnology,HuaibeiNormalUniversity,Huaibei235000,China)
A new crack detection method for bituminous pavements based on cluster and minimum spanning tree is proposed in this paper. Firstly, the Retinex model was used to dodging preprocessing for crack images, to reduce the difference of different lighting conditions, and then the edge detection and image segmentation technology was both used for extracting the crack area in the image, finally the clustering and minimum spanning tree technology was used for crack detection. The test images used in this study are captured from actual traffic intersections. The experimental results show that the method can accurately and effectively detect the crack for bituminous pavements, and can be applied on real traffic scene with considerable practical value.
crack detection; dodging algorithm; clustering technology; minimum spanning tree
10.13471/j.cnki.acta.snus.2017.04.012
2017-03-11 基金项目：安徽省高等学校自然科学研究项目(KJ2014B23)；安徽省级质量工程项目(2016jyxm0917)
张栋冰(1974年生)，男；研究方向：算法优化和图像处理；E-mail：13965849201@139.com
TP
A
0529-6579(2017)04-0068-07
