基于语义分割模型的三维沥青路面车辙异常分析方法

王艾迪 郎洪† 丁朔 陆键 洪小刚 温添

（1. 同济大学 道路与交通工程教育部重点实验室，上海 201804； 2. 山西高速公路工程检测有限公司，山西 太原 030008）

截至2020 年底，中国的公路总里程为519.81万km，其中公路养护里程为514.40万km，占公路总里程的99.0%［1］，我国公路网已基本形成。然而，由于交通负荷的不断增大和道路的自然老化，路面损坏日趋严重。据统计，高速公路80%以上的路面维修、罩面是由车辙病害引起的［2］。车辙不仅会缩短道路使用寿命，还会增加其他安全风险，尤其是在雨雪等恶劣天气，路面会有大量积水、结冰，危害驾驶员的行车安全。此外，车辙病害的进一步发展会破坏路面结构层的质量，形成破坏性和危害性更大的其他类病害。因此，准确、高效地检测车辙可以为路面养护决策提供重要依据。

目前运用最广泛的路面车辙检测技术是点激光技术，通过检测装置中有限的传感器获得一定间隔的横断面高程数据，在此基础上拟合路面横断面曲线。由于存在横断面数据不完整以及传感器与车辙之间难以对准的问题，该技术往往会低估车辙深度，造成车辙测量误差。新兴的三维（3D）线激光成像技术能够克服上述缺陷，它采用一定角度偏差的高速数字相机记录激光光源投射到路面上的激光变形，获得连续的路面横断面高程数据，通过车辙模型计算即可提取路面车辙信息［3-4］。三维线激光车辙测量技术提高了车辙自动测量的精度和效率，然而，路表面非车辙特征（如沥青路面纹理特性，路面病害如裂缝、坑槽等），摄像机拍摄图像时出现的激光线条的噪声反射、植被等异物侵扰，以及激光系统固有的噪声等都会导致所获得的三维高程数据中出现不规则的数据点（包括缺失点或异常点），进而造成车辙测量结果与真实值之间的误差。文献［5］中指出，三维线激光技术的测量误差主要来源于被测物体的表面特性和检测系统本身；文献［6］将影响测量精度的噪声分为光源噪声、光电设备噪声、外部噪声和探测器运动产生的噪声；文献［7］表明，激光图像的对比度、光线、交通标线和车辆状态变化等都会影响车辙深度测量的准确性。不少学者对横断面不规则数据点进行了分析研究。李莉等［8］基于激光线结构光车辙检测原理，提出了适应沥青路面纹理特征和技术状况的线结构光图像处理流程，利用光心提取、光心连接和光心曲线平滑实现路面横断面曲线提取，并在此基础上实现了车辙特征参数的提取。张德津等［9］利用三维线结构光技术获得路面断面数据，先对曲线进行滤波处理，再剔除滤波后数据可能存在的异常值，根据拉依达准则，以2倍标准差消除可能的异常点数据，最后对处理后的数据进行拟合和车辙计算。Feng［10］基于多元自适应回归样条技术，使用分段线性模型来拟合车辙深度剖面，并去除车辙深度数据的异常值，发现当坡度阈值为1/4、窗口尺寸为1 m 时，能够有效去除非车辙特征引起的离群点（如裂缝和坑槽等），并且保留车辙的完整形状。Kage 等［11］提出了一种结合激光和车载立体相机进行车辙检测的方法，利用限制对比度的自适应直方图均衡和滤波算法，可以更好地识别激光线的变形，并与车辙图像进行匹配以消除车辙对外部光线的影响。李中轶等［12］提出了一种结合路面水平轴和车道边缘线坐标的车辙检测定位方法来实现对路面车辙的自动测量与定位，该方法可消除推波、拥包及车道外杂物干扰带来的误差，同时可以在车道上实现车辙横向定位。罗楠欣［13］在借鉴已有二维路面去噪处理方法的基础上，提出了适用于三维图像的裂缝消除算法，并对算法的有效性和稳定性进行了验证，减少了裂缝信号对车辙识别的干扰。Huang等［14］提出了一种三维线激光车辙测量系统来对车辙进行自动检测，以减小车道条纹、边缘脱落、植被、路缘和密封裂缝的影响，但并未研究针对这些病害具体的滤波方法。

三维线激光车辙自动检测技术提供了一种快速、准确和非主观的替代人工调查的方法。然而，在计算车辙深度时，未考虑路面横断面高程数据中坑槽、松散、裂缝和桥梁接缝等三维病害特征的影响，测量结果与真实值有较大的误差。针对路面三维病害类非车辙特征所导致的横断面异常数据，文中提出了一种新的车辙异常检测与校正方法，以有效识别和定位导致车辙异常的病害，提高车辙深度的测量精度。

1 数据准备

1.1 数据的采集及预处理

文中采用基于线结构光测量原理的数字化道路检测车（DRIV）采集沥青路面数据［15］。检测车上安装有三维线激光系统，并与DMI耦合，DMI是一个安装在车轮上的旋转轴编码器，用于触发横向数据的采集，并测量行进的线形距离。当收集三维高程数据时，激光投影仪将结构光投影到对象表面，三维相机捕捉到由激光线条变形所构成的图像数据，然后利用峰值检测算法将激光线条的变形转化为物体表面的高程信息。为同时获得三维高程数据和二维强度数据，三维线激光系统连续扫描路面，获取高程距离和强度的横向剖面数据，高程距离信息用于重建连续的三维路面图像，强度信息用于恢复路表面的二维图像［10］。检测车以35~100 km/h 的速度采集路面二维图像和三维数据，试验环境按照JTG/T E61—2014《公路路面技术状况自动化检测规程》设立［16］。每个横断面采集4 096 个数据点，覆盖3.6 m 宽的路面，因此X方向（横断面方向）的分辨率为0.88 mm（3.6 m/4 096像素），Y方向（检测车行进方向）的分辨率取决于DMI 编码器，采样间隔为3.3 mm（6.6 m/2 000 像素），高程精度是三维数据点理论上在Z坐标的离散度，为0.55 mm。

根据本研究的数据需求和实验特点，对采集的数据进行预处理。由于路面的复杂性、传感器的性能、检测系统的机械振动以及测量过程中的人为因素等，可能会导致某些激光点无法反射回相机，从而造成横断面数据的丢失，影响车辙计算［17］，因此，需要对原始三维高程点的检测值进行预处理。

首先，令一组横断面高程数据组成的向量X={X1，X2，…，XN}，其中Xn= 0(n= 1，2，…，N)属于激光异常点，Xn≠0(n= 1，2，…，N)不属于激光异常点。X′={X′1，X′2，…，X′N}是校正后的高程向量，对于筛选出的异常值采用其左邻正常值或右邻正常值的插值进行修正，即

其次，为有效分析三维病害变形，将三维路面高程数据转换为三维路面图像，如式（2）所示：

式中，X为三维高程数据上每个像素的高程值，为三维图像中相应像素的值，Xmin和Xmax分别为三维路面的最小和最大高程值。

从本质上讲，三维路面图像是三维高程数据通过最大-最小值归一化而来的灰度图像，其颜色的深浅反映了道路表面高程的大小。

为节省计算资源，对二维、三维图像和校准后的三维高程数据进行下采样，尺寸由原来的4 096×2 048 减少为1 024×512，其中二维图像采用双线性插值方法，三维图像和高程数据采用8×8平均池化技术以捕捉细微的高程差异，最终将这3种类型的图像数据在像素级上一一对应。

1.2 数据集制作

经数据预处理后，根据二维图像与相应的三维图像建立沥青路面双通道数据集DB0。从数据集中选取4 000 张双通道图像用于路面病害语义分割模型的训练和测试，其中，随机抽取3 000 张作为训练集，500张作为验证集，剩余500张作为测试集。数据集中的所有标签图都是在像素级图像上手动标记完成，不同类型道路病害的图像标记数量见表1。此外，为了验证文中提出的车辙异常检测与校正方法的可靠性，选择坑槽、裂缝等破损类病害较多的路段作为实地验证模拟路段，建立模拟路段数据集DB1。数据集对应的路面实际长度为6.5 km，共1 250 张沥青路面双通道图像数据。数据集中包含了不同路面材料和纹理，路面存在较多裂缝、坑槽、松散、桥接缝和油污。

表1 训练集、验证集和测试集中不同类型道路病害的图像数量Table 1 Quantities of each type of pavement distress used for net training， validation and testing

2 基于语义分割模型的路面病害检测与分割

采用三维线激光成像技术自动获取路面微观变形，进而提取横断面高程数据。根据JTG/T E61—2014《公路路面技术状况自动化检测规程》，基于横断面数据的路面车辙深度计算方法主要分为两种：直尺法［18］和包络线法［8］，文中采用包络线法。JTG 5210—2018《公路技术状况评定标准》［19］（以下简称《标准》）中将车辙损坏程度分为轻度和重度，其中轻度车辙的深度在10~15 mm 之间，重度车辙的深度大于15 mm；另一方面，在《标准》的公路技术状况指标等级划分中，车辙深度大于10 mm 的路段评级为优级以下。综上，文中将含有10 mm 以上车辙深度的图像作为异常车辙校正的候选图像，建立了一种基于深度学习的语义分割框架，提出了对DeepLabV3+网络进行病害自动识别和像素定位的改进方法。

2.1 网络架构

DeepLabV3+是Chen等［20］于2018年提出的一种先进实时的语义分割方法，它结合了空间金字塔池化模块和编码器-解码器结构。前者能对多尺度的上下文信息进行编码，而后者可以通过逐步恢复空间信息来捕捉更清晰的目标边界。DeepLabV3+的结构如图1所示。

图1 DeepLabV3+的结构Fig.1 Architecture of DeepLabV3+

在编码器结构中，网络的主干部分Modified Aligned Xception 采用步长为2的深度分离卷积层进行下采样操作。通过多层卷积，每个卷积层后面都有1 个批量标准化层（BN 层）和1 个激活函数（ReLU），通道数从最初输入的双通道图像变成最后输出的带有2 048 个通道的特征图。通过主干部分，可以得到2个不同尺寸的特征图，其中低级特征图的尺寸为输入图像的1/4，在网络主干结构终端输出的高级特征图的尺寸为输入图像的1/16。主干部分后连接金字塔池化模块，将通过金字塔池化后的承载不同尺度信息的特征图进行拼接操作并送入具有1×1 卷积核的卷积层，得到空间分辨率为32×32、通道数为256的输出结果。

在解码器结构中，首先将低级特征图送入具有1×1 卷积核的卷积层，使通道数减少到48 个；同时将编码器终端的输出结果进行上采样操作，并对两者进行拼接；最后再进行卷积和上采样操作输出预测结果。

2.2 参数设置和模型训练

文中在观察大量实际工程路面图像的基础上，发现路面二维图像包含强度信息，在一定程度上反映了病害特征，但也受到很多因素的影响，比如路面油污、纹理、区域特征等。三维高程数据能较好地克服上述缺点，提供更多有用的信息和更少的噪音［21］。因此，为了充分利用二维和三维图像的优势，在模型正式训练前，准备了带相应标签的由二维和三维图像组建成的双通道路面图像作为训练集和验证集。

考虑到研究中使用的数据集的一些特点，比如不同类型病害数量的比例不均衡、坑槽和松散类病害的数量相对较少、与整张路面图像相比大部分病害的尺寸都很小而背景像素的占比过大，文中采用焦点损失函数（见式（3））。焦点损失函数一方面可以通过为每个类别设置权重来避免因类别不平衡造成的学习率下降的问题，另一方面可以减少易辨类别（如背景像素）损失值的贡献度，同时提高识别困难的类别的重要性［21］，即识别错误越多，模型学习速度越快。

式中：n为图像像素数量，即1 024 × 512；N为类别数量，即5；p(i，j)为第j个类别在标签图第i个位置的真值，取值为1 或0；为第j个类别在预测图第i个位置的概率；γ为聚焦参数，它可以调低易辨类别的重要性，考虑数据集的特征，文中将其设为2；αj为样本不平衡参数，文中将背景、裂缝、坑槽、松散和桥接缝的不平衡参数分别设为1、3、4、4、2。

模型的训练采用Adam 优化方法。训练过程的部分超参数设置如下：批量大小为16，学习率和权值衰减参数分别为0.000 1和10-8。为了确定编码器模块最佳的输出步长（OS），文中分别设置OS 为8、16 和32，并对网络训练效果进行了比较，发现速度和精度在输出步长为16 时达到最优。在训练过程中，每迭代100 次就对验证集进行1 次测试，计算训练集的损失值、验证集的损失值和均交并比（MIoU），训练过程如图2所示。可以看出：损失函数随着迭代期数的增加呈下降趋势，MIoU 则呈上升趋势；在模型遍历300个周期后，验证集的损失值不再明显下降，且MIoU 在第347 个周期时达到最大，为82.48%，位于图2（b）中虚线方框标记处；之后出现了过拟合现象，文中保留遍历期数为347时的训练结果。

图2 改进的DeepLabV3+的训练结果Fig.2 Training results of the improved DeepLabV3+

3 车辙深度异常值的校正

用包络算法筛选出最大车辙深度大于10 mm 的数据作为车辙深度异常值校正的候选图像。通过文中提出的语义分割模型对这些候选图像进行像素级分类。在此基础上，设计了一种车辙深度异常值的校正准则，该准则基于像素级的语义分割结果，同时考虑了不同类型病害的特征，其步骤如下。

步骤1对语义分割网络输出结果的每一行进行判断，若存在病害像素，进入下一步，否则该横断面的车辙深度保留不变。

步骤2结合图片中每条横断面最大车辙深度的像素点位置，若病害像素点与最大车辙深度高程点不重合，则该横断面上的病害像素点不会影响最大车辙深度的计算，该横断面车辙深度保留不变；否则，进入下一步，重新计算车辙深度。

步骤3对于识别出的裂缝类病害，由于裂缝类病害的缝宽较窄，损坏深度较大，故先用拉格朗日插值法（如式（4）所示）对病害像素对应的高程值进行校正，横断面曲线的校正效果见图3（a）。对于识别出的坑槽和松散类病害，考虑到其具有破损较为集聚且病害面积大小不一的特征，文中设定了1 个阈值，即某一横断面的病害像素点若超过100 个，则认为对车辙深度计算的影响较大，将对应行的高程数据整行剔除，否则采用与裂缝类病害相同的方法校正，校正效果见图3（b）和3（c）。而对于识别出的桥接缝类病害，由于其通常横跨道路的整个横断面，因此，桥接缝所在的横断面不应参与车辙深度的计算，故将对应行的高程数据整行剔除，如图3（d）所示。

图3 路面病害的高程曲线和校正效果Fig.3 Transverse elevation curves and the corresponding cor⁃rection effect of pavement distress

式（4）中：n=j，j+1，…，j+xi-1，j+xi；(i，j)， (i，j+ 1)，…，(i，j+xi- 1)，(i，j+xi) 为 各 类 型病害在第i行横断面的高程坐标；x(i，j)，x(i，j+ 1) ，…，x(i，j+xi- 1) ，x(i，j+xi)为各类型病害像素对应的高程值，为了更好地拟合车辙变形曲线，经试验比较，取病害前10、前15 个像素对应高程值的平均值（式中对应x(i，j- 15)j15和以及病害后一个像素的对应高程值作为拟合曲线中横坐标为j- 15、j- 1 和j+xi+ 1 的给定点，其中x=c，p，r，分别表示坑槽、松散和裂缝病害。

为深入揭示所提方法的校正原理，下面结合具体情形做进一步分析。对于因路面病害影响最大车辙深度测量结果的情况，分两种情形进行横断面高程数据异常点的校正。情形1：病害像素正好位于车辙横向剖面轮廓的最低点，利用拉格朗日插值法对病害像素对应的高程数据异常点进行校正，此时，最大车辙深度计算基点位于校正后的病害像素点对应位置，如图4（a）所示；情形2：病害像素与车辙横向剖面轮廓最低点不重合（病害出现在车辙凹陷处之外也属此情形），经校正后的横断面曲线如图4（b）所示，此时，最大车辙深度计算基点为车辙横向剖面轮廓最低点。以上讨论不包括剔除整条横断面曲线的情况。

图4 路面病害影响车辙深度测量结果的两种情形及校正效果Fig.4 Two cases of pavement distress affecting the results of rut depth measurement and the corresponding correction effect

4 试验结果与分析

4.1 语义分割网络的性能评估

训练结束后，将保存的最佳模型参数应用于测试集上以评估网络性能。为评估双通道输入数据的效果，实验中分别以二维、三维和双通道路面图像作为输入数据对改进的DeepLabV3+模型进行测试。由表2可知：仅使用二维路面图像作为输入数据时，模型只对桥接缝类病害有较好的分割效果，而在其他病害上的交并比（IoU）都偏低；仅使用三维路面图像作为输入数据时，除了裂缝类病害外，模型在其他类型病害上均有较好的表现。对比试验表明，大多数路面破损在三维路面图像上比在二维路面图像上具有更明显的特征。此外，使用双通道图像作为输入数据时，模型的MIoU 达81.63%，高于仅使用二维或三维路面图像时。

表2 使用不同类型图像作为输入数据的网络识别精度比较Table 2 Comparison of network accuracy using different types of images as input data %

对使用不同损失函数训练得到的网络进行精度比较，发现对于大部分路面病害（特别是松散类病害），采用焦点损失函数比采用交叉熵损失函数训练的网络有更好的分割效果，如表3所示，前者在松散类病害上的IoU比后者高了0.7个百分点。

表3 使用不同损失函数训练的网络识别精度比较Table 3 Comparison of network accuracy trained by different loss functions %

为进一步评估文中提出的语义分割网络，分别训练了Unet、PSPNet和DeepLabV3+作为比较网络。将它们分别应用在测试集上，得到病害识别和分割结果。表4 列出了4 种网络对每类病害的IoU 和MIoU。可以看出：对于坑槽和桥接缝，4种网络的识别精度较好；以Resnet101为主干的DeepLabV3+在坑槽、桥接缝类病害上的IoU 较高，在裂缝上的IoU较低；U-Net在松散、桥接缝和裂缝上的表现较好，但在坑槽病害上的IoU 较低；PSPNet的性能相对较差，MIoU 仅为77.58%；相比之下，改进后的DeepLabV3+在背景、松散、桥接缝上的IoU均达到了较高水平，并且其MIoU在所有模型中最高。图5展示了改进后的DeepLabV3+在测试集上的预测结果，其中，矩形虚线框标记出的假阳性误判表明较细的线形裂缝存在漏检，这也解释了表4 中裂缝IoU 较低的原因。然而，在实际车辙检测中，浅层裂缝的影响可以忽略不计。此外，由于坑槽和松散病害表征相似，界定较为模糊，预测结果中出现了将坑槽误判为松散的情况（虚线椭圆标记处），但对文中提出的校正方法，两者间的误判并不影响最终的校正效果。综上，文中选择改进的DeepLabV3+模型作为本研究语义分割的最终模型。

图5 改进的DeepLabV3+在测试集上的性能Fig.5 Performance of the improved DeepLabV3+ on test set

表4 不同网络在测试集上的识别精度比较Table 4 Comparison of accuracy of different networks on test set %

4.2 实地验证

在全长为6.5 km的路段上（数据集DB1），利用文中方法对异常车辙深度进行了校正。首先，选择最大车辙深度大于10 mm 的图像作为车辙异常校正的候选图像。然后，通过语义分割模型输出病害识别与分割结果，利用文中提出的异常车辙深度校正方法，分别对不同类型病害造成的异常车辙进行校正。

图6（a）和图6（b）分别为裂缝的二维和三维图像，它们共同构成双通道图像作为语义分割模型的输入数据；图6（c）为裂缝病害的预测图；图6（d）为车辙深度异常值校正前后各横断面最大车辙深度构成的全断面车辙深度曲线。若路面横断面出现病害，车辙深度曲线将出现较大的跳跃，如图6（d）中图像行数为160—445 行时所示，由于受裂缝病害的影响，测得的车辙深度出现大幅度的提升，在第405 行达到最大（12 mm），显著高于445 行之后无病害时所测得的3~5 mm 的车辙深度。而实际车辙曲线应是连续平稳的，从图中可以看出，虚线所代表的校正后的车辙深度曲线走势较为平缓，较大程度地还原了车辙深度变化的真实情况。

图6 校正前后横断面的车辙深度比较Fig.6 Comparison of rutting depth on cross section before and after correction

图7显示了DB1数据集在校正前后的车辙异常分析结果。根据语义分割模型的识别结果，在最大车辙深度曲线上自动标记了造成车辙异常的病害类型。坑槽病害因会严重破坏路面结构，造成路面塌陷，所以车辙深度测量值出现严重异常。相比之下，裂缝病害虽普遍存在于各等级道路中，但对路面的损坏程度较轻，在实际车辙异常检测中，较细的线性裂纹的影响通常可以忽略不计，如编号前50 的图像中大多数由裂缝病害造成的车辙异常，其车辙深度在校正前后并无明显变化，而对于较深的网状裂纹（如图7 中虚线方框标记处），其对车辙深度测量值则会造成较大影响。

图7 校正前后病害图片最大车辙深度比较Fig.7 Comparison of maximum rutting depth in distress im⁃ages before and after correction

为进一步评价路面车辙状况，引入车辙深度指数（IRDI）［15，22］为

式中：IRD为左车辙和右车辙最大值的平均值；IRDa和IRDb为车辙深度参数，分别取10 和40；a0和a1为模型参数，分别为1.0和3.0。

校正前后病害图片的车辙深度指数如图8所示。从图8中可以看出，文中提出的车辙异常校正方法最大程度地修复了由病害导致的车辙深度指数异常，提高了车辙深度的测量精度。值得注意的是，由于语义分割模型自身的局限性，可能存在个别病害像素遗漏的现象。虽然校正后的RDI曲线比校正前的RDI曲线更准确地反映了车辙的实际状况，但一些车辙深度指数无法完全消除病害影响，仍然存在比正常值偏低的趋势（如图中黑色圆圈标记处）。

图8 校正前后病害图片的车辙深度指数比较Fig.8 Comparison of rutting depth index in distress images be⁃fore and after correction

上述试验与分析结果显示，文中提出的车辙异常分析方法可对异常车辙进行识别和校正，为预防性养护提供有针对性的车辙养护方案。今后应进一步提高模型识别定位的精度，从而获得更接近真实的路面车辙深度。

5 结语

文中基于高精度三维高程数据，利用包络线算法自动提取横断面车辙深度。在异常车辙检测中，搭建改进的DeepLabV3+模型，并将二维和三维组建的双通道图像作为网络输入、将焦点函数作为损失函数对模型进行训练。测试结果显示，该模型在绝大多数病害的IoU 以及MIoU 上比U-Net、PSPNet、DeepLabV3+有更好的性能，5种路面特征和病害的综合检测准确率达到81.63%，说明改进的DeepLabV3+模型能较为准确地识别和定位造成车辙检测异常的路面病害。

根据改进的DeepLabV3+模型识别出的病害类型和像素定位，利用文中提出的基于拉格朗日插值的校正规则对异常车辙进行校正，实地验证结果表明，文中提出的车辙异常检测与校正方法不仅能有效识别导致车辙异常的原因，而且能最大程度地减小其他病害的影响，特别是对坑槽和较深的网状裂缝这类对车辙测量值有较大影响的病害具有很好的效果。采用该方法进行校正，能够恢复较为真实的车辙横断面曲线，提高车辙深度测量精度。

文中提出的车辙异常分析方法能够弥补现有车辙检测技术在计算车辙深度时未考虑具有三维特征的路面破损（如坑槽、松散、裂缝和桥接缝）影响的不足，不仅能有效识别导致车辙异常的原因，而且所提出的车辙异常校正方法在较大程度上减小了路面病害对车辙计算的影响，测量结果较好地还原了实际车辙深度水平。今后将进一步研究车辙与路面破损和平整度之间的关系，以辅助路面养护决策。