基于深度学习的路面裂缝自动化识别研究

2020-03-22蔡志兴罗文婷

建材与装饰 2020年5期

蔡志兴罗文婷李林

（福建农林大学交通与土木工程学院福建福州 350100）

0 引言

近年来，公路的建设得到了快速的发展，伴随着公路的使用，大量早期的公路逐渐进入维护时期。高效、安全的路面病害检测方法对公路养护部门的科学养护决策具有重要的实际意义。裂缝是最为常见的一种路面破损现象，若能在裂缝出现初期就进行及时修补，那么不仅能确保行车的安全，还可以延长公路的使用寿命。传统的人工裂缝检查受主观性的影响，误差较大且效率低下，与人工检测相比基于图像处理的路面裂缝自动化识别更加客观、准确，是当今路面病害检测的主流手段。

在过去二十年中，国内外研究人员提出了许多路面裂缝检测的算法，这些算法大致可分为两类：①基于传统图像处理的方法；②基于机器学习的方法。

常用的传统图像处理方法有如下：阈值分割法，该方法通过设置全局或局部阈值来检测裂缝[1]；边缘检测法，该方法通过检测算子来定位边缘像素[2]；小波变换法，该方法将原始数据分解到不同频率带，再从高频带中提取裂缝；基于形态学的方法利用裂缝之间的连通性来检测裂缝。

基于机器学习的方法主要包括以下：基于支持向量机的方法，该方法首先将原始图像切割为多个子图像，之后根据所选的特征将子图像分类为含裂缝子块及不含裂缝子块；基于随机结构森林的方法，该方法利用图像中的结构信息来检测裂缝；基于图像分割的方法，通过对图像中每个像素进行分类来找到裂缝，常用的架构有FCN以及U-Net，该类方法若想应用于复杂路面裂缝检测任务上，其精度还有待提高。

本研究首先采用DHDV多功能检测车对路面数据进行采集，之后对所采集的图像数据做像素级标注以供检测模型训练。本文还对原始图像做了预处理，其中包括灰度化及归一化，以此来达到降低计算量及提升后续识别模型收敛速度的目的。在裂缝识别阶段，本文构建了一个名为Crack U-Net的模型，该模型包含两个部分：收缩路径及扩张路径，其中收缩路径用来提取上下文信息，扩张路径则用于定位出目标的位置。本文还将注意力机制模块嵌套到模型中以此来提升模型识别精度，通过该模型能够实现对图像数据的逐像素分类。

1 数据库构建与图像预处理

1.1 采集设备

本研究所采用的DHDV多功能检测车是由WAYLINK公司、俄克拉何马州立大学及阿肯色大学联合开发的。DHDV上配有PaveVision3D传感器，该传感器在垂直方向上所采集到的表面纹理数据精度可达0.3mm，纵向方向上数据精度可达1mm。高功率的激光投影系统与定制的光学滤波器相结合使得DHDV在不同光照条件下都能保持高质量地采集图像数据，且该检测车速度可达100km/h，采集覆盖范围可达4m宽，能够快速地完成车道数据采集。

1.2 数据库构建

图像数据采集完毕后，本文首先对所采集的图像数据进行手工逐像素标注，以作为模型训练的标签，原始图像及标签图像如图1所示。所采集的原始图像数据分辨率为2048×4096，为了在不损失图像数据质量的情况下尽可能减少后续识别模型的计算开销，本文以尺寸大小为512×512的包围盒对原始图像数据进行切割，经切割后数据库的图像数据共包含18080张。最后本文按8：2的比例将图像数据分为训练集和测试集。

图1 训练样本示例

1.3 图像预处理

图像预处理的主要目的在于抑止图像中的噪声，增强目标信息的可检测性以及最大限度地简化数据，提高后续处理的速度。本研究中，首先对图像做灰度化处理，以达到降低计算量的目的，具体计算过程如式（1）所示；之后对图像做归一化处理，以提升后续裂缝识别模型的收敛速度，具体计算过程如式（2）所示。

其中：R（i，j）、G（i，j）、B（i，j）分别表示三种通道在（i，j）处的像素值；f（i，j）表示在（i，j）的灰度值。

其中：x（i，j）表示在（i，j）处的像素值；min（x）表示图像中的最小像素值；max（x）表示图像中的最大像素值；X（i，j）表示（i，j）处归一化后的像素值。

2 模型架构

2.1 卷积神经网络

卷积神经网络（CNN）是多层感知机的变种，是具有深度结构的前馈神经网络。目前CNN架构被广泛应用于分类任务，其输出值为任务的单个类别标签。一个常规的CNN架构由卷积层、池化层及全连接层组成。卷积层能够提取出图像的特征，每经过一次卷积操作就会产生一个特征图；池化层则用来对图像进行下采样（通常选用最大池化），以达到减少数据处理量及保留下有用信息的目的；最后通过全连接层来确定最终分类结果，卷积层及池化层的运算过程如图2所示。该层次结构能够自动学习多层次的不变特征。

CNN架构与传统的仅由全连接层组成的深度神经网络相比，其优点在于CNN架构具有相对较少的学习参数，且卷积层能够使得CNN架构具有从图像数据中捕获复杂特征的能力。基于CNN提出的模型架构在图像识别性能方面已大幅度超越传统方法。

图2 卷积层及池化层的计算过程

2.2 注意力机制

卷积神经网络具有强大的特征提取能力，是解决计算机视觉任务的优秀技术。卷积神经网络模型层数越多，越能提取到丰富的特征信息，但加大深度的同时也会使得模型难以训练。与其盲目地增加网络深度，不如对不同卷积核所提取出的特征进行合理的权重分配。

众所周知，注意力在人类视觉感知中扮演着重要的角色。人类视觉系统的一个重要特性是有选择性地聚焦于部分显著特征，以便更好的捕捉信息的视觉结构。近年来，许多研究者将注意力机制模块嵌套在卷积神经网络模型中来改善大规模视觉任务的性能。本研究中选用Squeezeand-Excitation（SE）模块来进一步处理由不同卷积核所提取出的特征，SE模块中首先采用全局平均池化来进行特征压缩，之后通过参数W来为每个特征通道生成权重，最后将权重与原始特征图相乘得到更新后的特征图。其计算过程如式（3）～式（5）所示，流程如图3所示。

其中：W和H代表特征图中宽和高；C代表通道数；uc（i，j）代表特征图中的值；Fsq（uc）代表c通道处特征图中值的全局平均池化结果；W1和W2代表可供学习的参数；Fex（z，W）是W1和W2作用于Fsq（uc）生成的一个尺寸为1×1×C，值范围在0～1的权重值；Fscale（uc，Sc）代表Fex（z，W）权重值与原始特征图的乘积；δ代表ReLU操作；σ代表sigmoid激活函数。

2.3 Crack U-Net

图3 SE模块计算流程

在许多视觉任务中，输出应包含定位，每个像素都应该有其各自的类别标签，路面裂缝识别就属于这类任务。为解决此类基于像素级的分类问题，U-Net模型被提出。该模型由收缩路径及扩张路径组成，其中收缩路径用来提取上下文信息，扩张路径则用于定位，收缩路径与扩张路径相互对称，呈U形结构。模型中最大的特点在于采用卷积取代全连接层，该策略使得模型能够以任意尺寸的图片作为输入，且输出为每一个像素所属的类别，输入与输出形成端到端的网络架构。为防止局部信息丢失，该模型会将收缩路径中每一层所提取的特征向量传递到对应的扩张路径中。本文在U-Net基础上添加了注意力机制模块，以此来提升模型的识别精度，其中Crack U-Net模型架构如图4所示。

3 实验仿真与结果分析

3.1 模型参数与训练过程

本文中实验运行在Ubuntu 18.04.2 LTS操作系统上，使用的GPU为NVIDIA GTX 2080TI，采用的深度学习框架为Tensorflow。模型的训练方式采用批量训练，其中每一批包含四张图像数据；训练迭代次数设定为300次，初始学习率设定为1×10-5，每迭代100次后将学习率减少为原来的0.1倍；以交叉熵作为损失函数，其公式如式（6）所示，并采用Adam对损失函数进行迭代优化，加快模型收敛速度；此外，每训练10轮，随机从训练样本中抽取10%作为验证数据，以此来动态观察模型识别性能，训练过程中的损失函数变换情况如图5所示。

图4 Crack U-Net架构

其中：x表示输入；p表示实际的标签值；q表示预测值；H（p，q）表示交叉熵。

图5 损失值（Loss）变换情况

3.2 Crack U-Net与其他识别方法性能比较

为检验Crack U-Net的识别性能，本文首先随机挑选了100张分辨率为512×512的图像数据以作为测试数据，之后对比基于阈值的方法、Canny边缘检测方法、基于FCN的方法及Crack U-Net的识别结果，从定量及定性两个角度做出分析，比较四种识别方法性能的优劣。图6的定性比较结果可看出：Ostu阈值分割法及Canny边缘检测法的检测结果伴随着大量冗余信息，FCN对于标线的抗噪性较差，Crack U-Net能精细且准确地识别出裂缝。在定量分析时，本文采用准确率（P）、召回率（R）及F值作为评价指标，其中P、R及F值的计算公式如式（7）～式（9）所示。从计算结果表1可看出：Crack U-Net有最高的P、R及F值，FCN次之，Canny边缘检测与Ostu阈值分割两种方法容易将非实际裂缝像素错误地识别为裂缝目标，导致准确率非常低（不足5%）。