基于局部纹理特征的沥青路面裂缝检测方法

陶 健，田 霖，张德津，胡成雪，何 莉

(1.湖北工业大学 电气与电子工程学院，湖北 武汉 430068；2.武汉武大卓越科技有限责任公司 算法部，湖北 武汉 430223；3.深圳大学 广东省城市空间信息工程重点实验室， 广东 深圳 518060；4.深圳大学 机电与控制工程学院，广东 深圳 518060)

0 引 言

裂缝是沥青路面最常见的病害形式。裂缝会引起路面结构变形和产生渗漏，导致路面承载力下降和路基腐蚀，降低路面使用性能[1]。随着路面快速检测技术及装备的普及应用，提高路面裂缝识别的准确性势在必行。

干扰裂缝检测的主要环境因素包括不同强度的环境光照、树木、指示牌、栏杆等产生的阴影，传统裂缝检测方法通常在预处理时消除光照影响，或在图像分割过程中通过光照局部一致性、归一化等方式改善识别结果。王德方等[2]通过设计距离函数，增加裂缝距离区域的权重，能够识别不均匀光照程度较大的裂缝图像。瞿中等[3]提出基于高斯模糊值的图像光照归一化方法，能够有效消除光照影响。Dihao A等[4]提出利用多尺度邻域和像素强度信息，能够应对一定条件下光照条件差、阴影等问题。前者只能改善图像亮度的均匀性，无法完全消除光照影响，后者通常仅在图像亮度的均匀性较好的情况下有效。

本文结合两种方法的优点，提出基于局部纹理特征的沥青路面裂缝检测方法。首先，基于结构保持型Retinex算法将高频的纹理信号从低频光照信号和结构型纹理中分离；其次，基于裂缝的局部显著性特征，改进百分比阈值法算法，获取高信噪比的裂缝区域二值图像；最后，建立高置信裂缝段的特征匹配机制，进行置信连通域邻域去噪，实现裂缝区域的提取。

1 沥青路面裂缝图像特征分析

沥青路面在道路建设中被广泛采用，通常由沥青结合料、集料(碎石、砾石、沙、石屑)和矿粉组成，具有平整少尘、经久耐用的特点。服役过程中，因路面材料、环境、载荷以及路基等变化，路面会产生裂缝病害，类型包括横向裂缝、纵向裂缝及龟裂等，裂缝检测普遍采用基于高速相机结合辅助光的道路综合检测装备获取路面高清晰度灰度图像，基于图像分析进行裂缝识别。由于行道树、标识标牌等阴影，以及辅助光照明不均匀等，路面图像存在光照不均现象。辅助光光照通常存在不确定的明暗分布，而树木、指示牌、栏杆等在路面上的投影为清晰的带状投影。明暗光照和带状投影在灰度图像上呈现的特征是该区域灰度阈值同正常区域相比偏高或偏低，并且低频光照信号和高频纹理信号有明显过渡纹理特征。

道路裂缝是路面断裂形成的狭长或网状的缝，裂缝一般具有典型的几何特征，如具备一定的宽度、深度和长度等[5]，一般来说，对于典型裂缝，其灰度与其所在背景都具有一定的区分度。但对于细小裂缝而言，几何特征并不明显，表现为连续性差、宽度小。

2 沥青路面裂缝检测方法

针对不均匀光照和阴影等因素影响沥青路面图像中裂缝检测误识别问题，本文提出了一种基于光照特征与局部纹理特征的沥青路面裂缝检测方法，该方法如图1所示。首先从沥青路面图像中提取含有裂缝的路面纹理数据，考虑到路面纹理和裂缝数据中尖锐边缘和复杂特征结构的存在，提出一种结构保持型Retinex算法用于实现路面光照数据和路面纹理数据的分离，分离结果如图1(b)所示。

图1 基于光照特征与局部纹理特征的 沥青路面裂缝检测方法

其次，基于分离后的含有裂缝的路面纹理对图像数据进行自适应百分比二值化。自适应百分比阈值法基于如下假设，如果在沥青路面图像数据中存在裂缝，其在局部范围内裂缝像素的灰度值和纹理像素的灰度值具有共性。因此，自适应百分比阈值法先使用固定百分比将路面图像初略分割成类似裂缝的像素子集Scrack和类似纹理的像素子集Stexture，由两个子集的灰度差异特征，评估两类像素的局部显著性特征。根据局部特征从局部最小分割阈值Pmin至局部最大分割阈值Pmax间选择一个合适的值作为先验概率，对该图像进行分区二值化，自适应百分比二值化之后的结果如图1(c)所示。

最后，根据文献[1,4-6]中对裂缝的局部特征，例如线性特征、长度特征和面积特征的量化描述，结合实际工程数据对裂缝连通域和纹理产生的噪声连通域进行区分，达到裂缝检测的目的，检测结果如图1(d)所示。

2.1 结构保持型Retinex算法

路面图像检测通常使用匀光算法处理，从图像数据中去除光照信息提取纹理信息。Retinex算法[7]是其中的典型代表，该算法使用高斯滤波器估计光照分量区分纹理与光照，并基于理论拆分图像数据中的光照信息与纹理信息。

由于尖锐边缘和复杂特征结构的存在，高斯滤波器会破坏此类尖锐结构，对图像数据中的光照信息与纹理信息进行错误的拆分。因此，本文所述算法改用引导滤波器对光照信息与纹理信息进行拆分，改进后的算法称为结构保持型Retinex算法。同时，为了解决灰度归一化导致的过/欠校正的现象，该算法引入相邻路线图像间具有连续的光照特征和纹理特征这一假设。

Retinex图像理论认为图像由光照分量和反射分量组成

I(x,y)=R(x,y)*L(x,y)

(1)

式中：I(x,y) 是带有光照的原始图像，L(x,y) 表示图像的光照分量，R(x,y) 表示图像的反射分量，(x,y)为图像像素索引。

结构保持型Retinex算法将高斯滤波替换为引导滤波[8]，使用高斯滤波后图像作为引导图像G对原图进行引导滤波，滤波后的低频数据作为光照分量。使用式(1)求解反射分量，并将归一化后的结果通过连续光照/纹理强度评估的方式进行增强。采用单尺度SSR算法[7]与结构保持型Retinex算法进行流程对比，如图2所示。

图2 Retinex算法流程及其改进

连续光照/纹理强度评估通过10张光照均匀的相邻路面图像完成。利用沥青路面均匀光照均值ST，估计第i张图像的校正灰度系数Ki，对滤波器的滤波强度进行线性校正，公式如下

(2)

其中，Si为待校正图像的灰度均值

CorrectR(x,y)=R(x,y)*(1+Kt)

(3)

当待处理图像的均值小于正常均值，图像灰度值较低，Kt大于零，1+Kt为灰度值增大系数；当待处理图像的均值大于正常均值，图像灰度值较高，Kt小于零，1+Kt为灰度值减小系数，CorrectR(x,y) 为校正后图像。

2.2 自适应百分比阈值法

百分比阈值法是一种简单有效的阈值选取方法[1]，根据先验概率P设置阈值，使图像二值化后目标和背景像素的比例等于先验概率。公式如下

(4)

其中，Thres为分割阈值，满足方程

(5)

M、N为图像的高度和宽度，hist(i)为图像的灰度直方图。

如图3(a)、图3(b)所示，对于连续、灰度特征明显的典型裂缝，在m*m的窗口范围内，使用1/m作为百分比进行分割，效果最理想，所有的数据都是裂缝没有溢出，此时1/m称之为最小选点比例

Pmin=1/m

(6)

理想情况下对窗口使用Pmin进行分割，判断其中是否存在如图3(a)和图3(b)所示的典型裂缝。实际情况中，图像经过结构保持型Retinex算法处理之后，虽然图像光照均匀性和纹理显著性得到改善，但阴影(树木、指示牌、栏杆等产生的投影)和沥青路面的材料特性产生的噪音依然不能完全排除，并且路面背景中包含污渍、灰尘和垃圾等干扰因素，无法有效分割目标与噪音，分割结果如图3(c)和图3(d)所示。

此外，对于裂缝颜色更深的干扰因素，若使用Pmin选点，裂缝会丢失，如图4(a)所示，选出的对象如图中的黑色方块，是一系列离散的噪音而非连续的线段。此时，需要估计能够完整选出裂缝的百分比P，即图4(a)中黑色和灰色所代表的百分比。

图3 百分比选点使用Pmin进行分割

图4 百分比选点使用Pmax进行分割

如图4(b)所示，裂缝在图像中占比一般在20%以下[2]，超出该比例的二值结果会保留大量噪音，因此Pmax为20%。

自适应百分比阈值法以固定百分比将路面图像粗略分割成像类似裂缝的像素子集Scrack和类似纹理的像素子集Stexture，根据这两个子集的灰度差异特征，评估这两类像素的局部显著性特征。并根据这种局部特征从Pmin至Pmax间选择一个合适的值作为先验概率，对该区域进行二值化。

含有裂缝的沥青路面图像数据如图5(a)所示。使用固定百分比阈值分割图像，窗口大小128*128，固定百分比P为15%，分割之后的二值化数据如图5(b)所示。纹理和裂缝具有不同的灰度分布特征，因此，分割之后的二值图中裂缝数据和纹理数据呈现出不同的分布特征[9]。其中，裂缝灰度更深且具有一定的连续性，易形成完整的连通域，而纹理区域在二值化之后则表现为离散的连通域。

图5 自适应百分比阈值法流程

图5(b)和图5(c)分别为含有裂缝的沥青路面二值图和不含裂缝的沥青路面二值图。以图中面积最大的、线性程度最高的5个连通域(图中高亮连通域)作为像裂缝的像素子集Scrack和像纹理的像素子集Stexture的分类约束条件。基于这两个子集，计算图像局部区域两个子集的灰度差异特征Sg，作为评估这两类像素的局部显著性的依据

(7)

式中：label(i)为裂缝置信区域的阈值总和，sumpixel为裂缝置信区域像素点总数。

计算子块图像估计均值Sz，当Sg≤Sz时，式(5)中先验概率P为0.15。Sg≤Sz表明在子块图像中，裂缝阈值较大，增大P值有利于充分保留裂缝信息。当Sg≥Sz，此时P取0.10，Sg≥Sz表明在子块图像中，可能出现的裂缝和噪音阈值较小，降低P值有利于减少噪音。

最后，设定值子块最大和最小分割阈值。对于Sg≤Sz的子块图像，Pmax为全图分割比率为0.2时的阈值，目的是避免分割阈值过高，引入更多噪音。对于Sg≥Sz的子块图像，Pmin为全图分割比率为0.05时的阈值，目的是避免分割阈值过低，无法识别目标。

2.3 邻域内特征匹配识别

图像分割后存在大量噪音，通过对裂缝特性和噪音特性的分析，噪音连通域面积和裂缝连通域圆形度较小，以连通域面积筛选和圆形度筛选的方式去除噪音

(8)

式中：area为连通域面积，C为周长，Roundness为圆形度，ConD(i)表示图像中连通域，Q为面积筛选度，Rth为圆形度筛选值，通过对10张百分比阈值法处理后图像中所有连通域检测并评估圆形度，当Q设为80时，取得较好效果，Rth设为0.2时能够对噪音极大抑制而保留具有线性特征的连通域。

已有研究成果表明[1,6,9,10]，连续裂缝具有线性特征、长度特征和面积特征，不连续裂缝一般满足聚集特征，而噪音满足零散分布的特征。如图6所示，邻域内连通域的面积、长度和空间分布等特征是识别裂缝连通域和纹理连通域的重要特征。为了量化这些特征，裂缝的像素子集Scrack使用如下公式表述

Scrack={ConD(i)|ConD(Areai|Lenr)≤Areath,ConD(Leni|Lenr)≤Lenth}

(9)

式中：Lenr为固定邻域半径，Areai为连通域的面积，Areath是判定为裂缝的面积阈值，Leni为连通域的长度，Lenth为判定为裂缝的长度阈值。

图6 邻域内特征匹配去噪

裂缝在宏观上呈现类似线状特征，具有不连续的特点，空间上断裂裂缝间距离较小，且噪音与裂缝长度、面积和圆形度差异明显。文献[6]提出裂缝面积一般大于100，裂缝目标和噪音背景的域内最远距离在450～550之间，文献[11]中规定轻度裂缝主要宽度小于或等于3 mm，本文以1 mm计算，长度阈值设置为100。考虑到裂缝不连续情况，适当调整文献参数，基于表1所示参数对图像数据中的连通域进行识别分类。分类结果如图6所示，其中高亮区域为符合邻域内特征的连通域。

表1 特征匹配参数

实现裂缝的特征匹配，核心是提取裂缝的邻域特征[12]，基于裂缝与其附近的纹理数据识别裂缝。关键是找到符合的裂缝结构特征的字典，本文使用特征字典主要用于表达呈现局部线性特征，且稀疏的对象，依次作为约束条件提取置信裂缝。

3 实 验

实验使用的测试样本为含有裂缝的沥青路面图像，分辨率2048*2048像素，由智能道路检测车ZOY0 N-RTM采集。检测车匀速行驶，并利用激光器、CCD相机和采集控制器组成的连续成像系统采集沥青路面图像数据。从采集到的数据中挑选500张含有裂缝的沥青路面图像，并分成3个子集：子集A为100张正常沥青路面图像，子集B为100张光照不均匀的沥青路面图像，剩余图像作为子集C。

实验过程包含2组对比实验：第一组验证结构保持型Retinex算法对路面图像中结构纹理的保持和对光照不均匀的改善效果，实验使用的测试样本为子集B和子集C，使用信息熵、峰值信噪比和模糊系数为量化指标评定标准，并与使用相同的滤波器尺寸的单尺度SSR算法对照；第二组验证不同光照条件下，本文所述裂缝检测方法的准确度，实验使用的测试样本为子集A、子集B和子集C，使用查准率、召回率和F-measure作为量化评定标准。

3.1 结构保持型Retinex算法实验

图7包含裂缝的沥青路面原始图像，经过结构保持型Retinex算法处理后的结果，和相同滤波器尺寸下的单尺度SSR算法[7](对照组)处理后的结果。单尺度SSR算法使用高斯卷积核尺寸4*4，标准差15/√2(√表示根号)；结构保持型Retinex算法使用卷积核尺寸4*4，标准差15/√2的导向图，引导滤波器局部窗口半径64，正则化参数0.01。

图7 单尺度SSR算法和结构保持型Retinex算法处理结果

图7所示样本来自测试样本子集B，为典型的带有不均匀光照的沥青路面图像，样本(a)中光照不均匀现象由车辆行驶振动导致。其典型特征为沿行车方向周期性的条纹状光照不均匀；样本(b)中光照不均匀现象由车辆行驶姿态导致，其典型特征为垂直与行车方向的亮度分布不均匀，通常为一侧亮一侧暗；样本c中光照不均匀现象由环境阴影导致，主要为护栏、树木、标志牌等产生的阴影。

如图7所示，单尺度SSR算法处理的图像条纹阴影、光照不均匀和投影现象基本消除，但某些结构(例如标线)边缘存在晕影现象。同时，单尺度SSR算法处理法对存在光照过处理和光照欠处理的现象，部分图像整体较暗。结构保持型Retinex算法增强后的图像光照更加均匀、图像质量更加平滑清晰，且结构边缘晕影现象得到极大的抑制。

使用信息熵(H)、峰值信噪比(PSNR)和模糊系数(K)为量化指标，评估结构保持型Retinex算法与单尺度SSR算法的处理效果。计算方式如下所示

(10)

式中：Pi表示图像中灰度值为i的像素所占的比例，MAXx为图像中最大像素值，M、N为图像的高度和宽度，X为待评价图像，Y为参考图像，MSE为均方误差。 |X′(i,j)|、 |Y′(i,j)| 为斜方向空间滤波后得到的值。实验结果见表2。

表2 光照不均匀图像处理效果对比

信息熵能够反映图像信息丰富程度，通常情况下图像信息熵越大，数据离散程度越大，噪音越多。相较于单尺度SSR算法，本文算法处理车辆行驶振动和自然环境阴影时，有约15%的改善，处理自然环境阴影情况时，可能是阴影大面积存在，改善前后变化较小。峰值信噪比能够衡量图像失真或噪音水平，峰值信噪比越高，失真越小，图像质量越好。相较于单尺度SSR算法，本文算法处理车辆行驶振动和自然环境阴影情况后，有约10%的改善，在处理车辆行驶姿态情况时效果最佳，有16%的改善。模糊系数能够衡量图像质量，越大质量越好。相较于单尺度SSR算法，本文算法处理车辆行驶振动和自然环境阴影后有40%以上的改善，在处理车辆行驶姿态时，效果较差，可能是图像光照过暗，导致图像失去了本身的纹理特征。

3.2 本文所述裂缝检测算法实验

图8和图9分别对比光照均匀和光照不均两种情况下，本文算法的准确性。图8(a)至图8(c)分别为光照均匀情况下，横向裂缝识别结果、纵向裂缝识别结果和网状裂缝识别结果。与人工标记的真值作比较，本文算法对这3类裂缝均能较为完整识别。

图8 光照均匀情况下，本文所述算法结果

图9(a)至图9(c)分别为光照不均匀情况下，横向裂缝识别结果、纵向裂缝识别结果和网状裂缝识别结果。与人工标记的真值作比较，本文算法也能对这3类裂缝较为完整识别。

图9 光照不均匀情况下，本文所述算法结果

使用查准率(precision)、召回率(recall)和F-measure作为量化指标，将人工标与本文所述算法作比较。计算方式如下所示

(11)

式中：TP表示算法识别为裂缝且人工标记一致的像素数，FP表示算法识别为非裂缝但人工标记不一致的像素数，FN表示算法识别为裂缝但人工标记不一致的像素数。考虑到裂缝宽度的实际值、人工标记值和识别结果值三者之间存在的误差余量，检测结果中裂纹像素距离人工标记值2个像素内的曲线被认为属于TP。

表3给出了本文方法的准确度。对于样本子集A本文方法对3种典型裂缝的综合查准率为0.9096，召回率为0.9370和F-measure为0.9380。本文所述方法对于横向和纵向裂缝较好，F-measure达到了0.9221和0.9233，其中，纵向裂缝的检测效果略优于横向裂缝，纵向裂缝常由荷载不均导致，形状与阈值特征更加显著，因此更易通过特征匹配识别。本文方法对于网状裂缝的识别效果最优，F-measure为0.9237，虽然网状裂缝在交叉点附近(如图8(c)和图9(c)所示)识别效果较差，但网状裂缝总体面积显著大于横、纵向裂缝，而误识别区域相对较小，因此F-measure更高。

本文方法整体上能够基于光照特征与局部纹理特征对沥青路面裂缝进行有效的检测，平均准确率达0.9096，召回率达0.9370，F-measure达0.9380。

表3 本文所述裂缝检测方法的准确度

4 结束语

针对不均匀光照下的裂缝检测，业内已有很多研究，但是因为光照问题的复杂性，难以完全消除光照影响。本文提出的结构保持型Retinex算法改进了传统Retinex算法中高斯滤波和归一化算法中存在的不足，改善了传统算法导致的光照晕影和图像纹理粗糙；其次，基于裂缝的局部显著性特征，改进百分比阈值算法，获取高信噪比的裂缝区域二值图像；最后，建立高置信裂缝段的特征匹配机制，利用圆形度、面积、不同置信裂缝的类间欧氏距离进行置信连通域邻域去噪，实现裂缝区域的提取。

实验结果显示，本文所述结构保持型Retinex算法能对光照不均匀的图像做出显著的改善，处理之后的图像相较于单尺度SSR算法有10%～40%的改善。另一方面，本文所述路面裂缝检测算法，对横向裂缝、纵向裂缝和网状裂缝也展现除了较好的识别效果，平均准确率达到0.9096，召回率达到0.9370，F-measure达到0.9380。

本文不足之处在于，由于本文使用的路面图像数据多来自同一路段，对于不同纹理的路面和不同类型的裂缝的研究还不够深入。由于材料特性和施工工艺的差异，不同路段的纹理特征和裂缝特征存在差异，理论上，需要先对纹理和裂缝的类型进行区分，才能更好完成特征匹配。