基于三维点云数据的沥青路面裂缝识别方法*

周 卓 徐青杰 王晓阳 王笑风

(1.河南高速公路发展有限责任公司宛龙分公司 郑州 450000；2.河南省交通规划设计研究院股份有限公司 郑州 450000)

开裂是公路路面病害中最常见的一种，同时也是其他路面病害早期的主要表现形式。传统检测方法存在工作效率低、劳动强度大、检测成本高等缺陷，为了能快捷、有效、科学地检测路面病害，需要深入研究裂缝智能化检测方法，使得检测效果更可靠、更精确。

随着深度学习原理的不断发展和应用，科研工作者开始将神经网络应用于如路面、桥梁、隧道、测井等一些结构物的裂缝图像识别问题上。E.Salari[1]通过计算垂直方向和水平方向的直方图标准偏差，将计算所得图像裂缝映射到平面特征空间上，通过与真实图像进行对比，进而开发出裂缝自动识别技术，加快了裂缝图像的识别速率。徐志刚等[2]通过直方图估计的方法获取图像的最优分割阈值，利用阈值将图像进行二值化处理，基于形状分析法对图像进行快速分类，实现了裂缝图像的精准定位。赵任华[3]提出卷积神经网络分布识别的方法。该方法将样本数据分为2个批次，通过2个阶段的样本训练，得到最终的网络模型，其训练时间和预测精度均得到一定的提升。Tong等[4]建立3个不同的神经网络分别用于特征提取、位置确定和裂缝识别，利用三维建模计算得到裂缝的详细参数和扩展趋势。Zhang等[5]通过对500幅裂缝图像进行测试训练，建立基于递归神经网络的裂缝识别算法，测试结果达到了较高的精度。

从对国内外研究现状的梳理结果来看，尽管裂缝图像识别取得了一定的成果，但仍存在以下问题。

1) 裂缝图像的识别精度有待提高。裂缝图像的识别不仅受到图像处理、指标提取、识别算法等内部因素的影响，树木阴影、水渍、道路标线、道路污染物等外部条件也是制约其发展的重要因素。因此，必须同时保证图像采集设备及有效的光照条件才能确保裂缝图像的高精度识别，这对图像采集及识别的过程提出较为严苛的要求。

2) 当前检测技术难以实现自动化识别与分类。基于二维灰度信息的裂缝图像关键指标难以获取的事实，检测结果会影响分类质量，使得自动化识别的连续性难以保证。

基于此，为进一步提高路面裂缝识别的准确率，本文将激光应用到路面信息的采集中，借助三维激光扫描技术，融合道路信息数据，重建沥青路面路表三维形态模型，实现沥青路面裂缝的高效、高精度识别，以及裂缝特征参数提取，以此弥补二维裂缝图像的不足，进而提高识别准确率与识别效率。

1 沥青路面裂缝二维图像预处理及图像分割算法研究

1.1 裂缝二维图像预处理

采集的沥青路面图像包含一些如颗粒纹理、道路阴影、交通标志线、水痕、轮胎痕迹，以及油渍污染等非目标信息。因此，首先需要对沥青路面裂缝图像进行人工初步筛选，剔除像素模糊、遮挡、有污染物的图片，以保证足够的信息量。对于图像传输或切割引起的椒盐噪声及可能因系统器件中的阻性器件产生的高斯噪声，选取改进的自适应中值滤波[6]，作为本文裂缝图像的滤波方法，算法步骤如下。

定义：Wab为中心位于(a,b)正在处理的滤波窗口；Wmax为所允许的最大窗口值；f(a,b)为像素点(a,b)的灰度值；fmed为灰度中值；fmax为灰度极大值；fmin为灰度极小值。

1) 假如fmin

2) 假如fmin

3) 假如Wab

4) 输出除最大值和最小值以外的灰度均值favg，如果favg不存在，则favg=(fmax+fmin)/2。

1.2 裂缝二维图像分割

在均值漂移算法的基础上，利用最邻近法计算均值漂移算法的带宽，目标跟踪的移动方向为概率密度函数梯度的方向，移动的步长除了与梯度大小有关外，还与概率密度的大小呈反比关系，最终在基准点处峰值得到快速收敛[7]，图像分割步骤[8-9]如下。

1) 根据漂移迭代运算对采样点xi位置计算附近像素点的距离，根据最近邻点判断得到相应的带宽。

2) 对所有像素点的集合X统计出样本的灰度直方图，根据一维灰度直方图对样本集合{y1，y2，y3，…，yLmax-1}计算出mHi(y)。

3) 根据目标位置的跟踪，即可达到下一步移动方向和位置，对下一个目标像素点利用迭代运算得到mHi(y)，重复此步骤即可得到所有目标像素点mHi(y)值，将得到的mHi(y)值接近阈值T的像素点收敛于集合Z={z1，z2，…，zk}中。

4) 为了避免在移动中重复计算某一个目标像素点，在对目标位置实时跟踪时，可在移动过程中对该像素点进行标记。

5) 根据目标像素点的计算值进行裂缝图像分割，不断重复上述步骤，直到结束。

2 沥青路表三维重构及特征指标提取

2.1 三维点云数据预处理

在路面数据采集过程中，由于采集设备的震动或误差，光照雨水等自然因素，均会使路面数据中存在大量的噪声，导致三维点云数据中的某些边缘细节丢失，需要进行滤波去噪来提高数据质量。本文对三维点云数据的处理包括2个方面：①阶跃消除；②高斯滤波去噪。

2.1.1三维点云数据阶跃消除

在进行阶跃消除时首先应先判断该点云数据是否发生了阶跃现象，然后再进行消除，其判断过程如下：①计算点云数据左侧深度均值与右侧深度均值；②将左侧均值与右侧均值进行相减，将差值的绝对值与判定条件进行比较，超过判定条件的，即认定为出现阶跃现象；③基于判定结果，提升均值较低的半边点云数据，将左右2幅点云数据进行拼接，即完成了点云数据阶跃消除。

(1)

(2)

Δ=|IL-IR|

(3)

式中：n为点云数据像素中值；I(i,j)为点云数据像素深度值；IL为左半幅点云数据深度均值；IR为右半幅点云数据深度均值。

考虑到点云数据左右两边像素深度由于坑槽、裂缝等因素不可能完全一致，因此设定当Δ>5时，被认定为发生了点云数据阶跃现象，将较低深度的半幅点云数据进行提升Δ，以此消除点云数据阶跃现象，经过试验测试，该方法可以很好地保留点云数据的原有信息不发生破坏。

2.1.2高斯滤波去噪

为消除点云数据采集过程中因车辆设备抖动或道路坑槽、车辙所引起的图像像素波动范围的差异，利用式(4)获取尺寸为101×101、σ为80的高斯卷积核进行卷积运算，并将运算所得像素点与原像素点进行差值计算，完成高斯滤波降噪。高斯卷积核公式及滤波效果图分别如式(4)和图1。

(4)

图1 三维点云数据高斯滤波处理

由图1可见，通过高斯滤波降噪后的三维点云数据明显消除一定数量的数据噪声，且完整保留了原有的裂缝信息，成功消除了除裂缝外的其它因素对点云数据的干扰。

2.2 三维点云数据路表形态重构

三维点云数据预处理的目标是将缺失的数据进行补全和对采集的海量点云数据进行特征简化使得数据规模变小。而沥青路面三维点云数据的重构能将采集的三维点云数据重新构建成三维形态，基于此提取出相应的沥青路面裂缝信息，提取的三维裂缝信息包括裂缝深度、体积，这些可为沥青路面的裂缝识别提供更高维度的判断指标。

三维点云重构算法流程如下。

1) 读入三维点云数据后，寻找点云模型最小包围盒并进行空间划分。

2) 利用边界栅格识别与生长算法提取点云边界点。

3) 利用模糊熵迭代点云精简算法对非点云边界点进行精简，之后将它与边界点合并得到精简点云。

4) 构造出点表PList、边表SList和三角形表TList并初始化，其中点表中存放步骤3)中得到的精简点云。

5) 从边表中取出1条边，在临近栅格内寻找符合边扩展准则的点构造新三角形并更新点表、边表和三角形表。

6) 判断边表是否为空，如果边表非空则跳至步骤5)继续执行，否则三维重构完成。重构效果图见图2。

图2 三维点云数据路表形态重构图

2.3 三维点云数据特征指标提取

为了提取路表三维点云数据裂缝特征，本文利用标定矩阵和光条中心坐标获得路面三维轮廓数据。基于稀疏分解理论完成三维轮廓数据进行的分离和裂缝特征提取。

二维图像坐标与三维世界坐标的转换关系如式(5)所示。

(5)

式中：(u,v,1，0)为光条中心的图像齐次坐标；(xw,yw,zw,1)为路面三维轮廓的齐次坐标；S为1个尺度因子；R为摄像机和光平面标定后获得的标定矩阵。

根据采集到的三维点云数据裂缝特征，将其与二维路面图像结合共同进行深度学习，能在一定程度上提高单纯二维图像的深度学习框架的准确率和鲁棒性。

3 沥青路面裂缝图像智能识别与分类

3.1 基于密集神经网络的图像识别算法研究

在神经网络中，梯度会随着神经网络的加深出现部分信息丢失，针对该问题，选用DenseNet算法，在保证层间最大数据传输的前提下，将所有层间结构连接起来，每一层转换函数的输入均为前面结构的所有输出。其原理公式见式(6)。

xn=Hn([x0,x1,…,xn-1])

(6)

式中：[x0,x1,…,xn-1]为将0到n-1层的输出以通道的形式进行合并，即作为第n层的输入；非线性函数Hn(·)为BN-ReLU-Conv(3×3)的操作组合。为了简化架构中的采样形式，同时保证特征图大小一致，需要在相邻的Dense Block中添加过渡层，表现结构为BN-Conv(1×1)-AvgPooling(2×2), 其中1×1的卷积可对密集神经网络中不同层级的特征进行自适应融合，也可对模型参数进行降维计算，Dense Net网络架构见图3。

图3 DenseNet网络结构图

3.2 图像识别结果与分析

本文采用MATLAB软件验证识别裂缝图像的精度，经过人工筛选后，选取500张高质量裂缝图像作为训练集，200张图像作为验证集，通过图像处理后，每张图像被切割为尺寸64×64样本图像，共1 024张，同时为比较算法的优劣性，选取裂缝信息融合算法A[10]及PCCNet模型算法B[11-12]作为对照验证结果，在相同三维数据的基础上，比较算法的准确率、召回率及F值，部分验证结果见表1、图4、图5。

图4 部分裂缝图像识别示意图

图5 200张验证图像识别准确率与召回率

通过对3种基于三维点云数据的对比，算法A和算法B在计算横向裂缝和纵向裂缝时的准确率、召回率较好，但在识别网状裂缝时，识别准确率及召回率均有明显的下降，本文所提供的方法虽然在识别网状裂缝综合性能也略有下降，但仍明显高于A算法的76.51%和B算法的83.58%，从总的识别结果来看，本文算法能够检测出A算法和B算法部分遗漏的网状裂缝，避免了一定的错检、漏检，检测效果较为理想。

通过应用本文方法后，选取的200张沥青路面裂缝图像的识别准确率为86%～100%，准确率均值为93.21%；召回率为84%～96%，召回率均值为90.3%。测试结果表明，本文通过利用三维点云数据对二维图像进行辅助判别的方法，大大提高了裂缝图像的识别准确率，具有良好的普适性，可满足实际需求。

4 结语

本文将激光扫描技术应用到路面信息的采集中，借助三维激光扫描技术，重建沥青路面路表三维形态模型，实现沥青路面裂缝的高效高精度识别与裂缝特征参数提取，基于密集神经网络算法，完成裂缝图片的自动化识别及智能分类，结论如下。

1) 针对裂缝图像三维点云数据左右数据不齐的现象，通过将左右2幅点云数据进行拼接处理，完成了点云数据阶跃消除。

2) 利用标定矩阵和光条中心坐标成果获取路面三维轮廓数据，同时基于稀疏分解理论对三维轮廓数据进行了分离和裂缝特征的提取。

3) 将提取的三维点云数据用于图像识别准确率的提升，通过该方法测试所得的准确率为86%～100%，准确率均值为93.21%；召回率为84%～96%，召回率均值为90.3%。测试结果表明，本文利用三维点云数据对二维图像进行辅助判别的方法，能够提高裂缝图像的识别准确率，具有良好的普适性。