多级卷积神经网络的沥青路面裂缝图像层次化筛选

封 筠，赵 颖，毕健康，赖柏江，胡晶晶

多级卷积神经网络的沥青路面裂缝图像层次化筛选

封 筠1，赵 颖1，毕健康1，赖柏江1，胡晶晶2

(1. 石家庄铁道大学信息科学与技术学院，河北 石家庄 050043；2.北京理工大学计算机科学与技术学院，北京 100081)

如何快速准确地识别与评估沥青路面裂缝病害，已成为路面养护和保障道路安全的重要任务之一。实际采集路面图像中往往存在大量的非裂缝图像，在保证裂缝图像无漏筛的前提下，尽可能提高裂缝图像的精确率与非裂缝图像的真负例率，则对于降低人工筛选的工作强度，以及后续裂缝自动分割与病害损坏程度评估具有重要实际意义。故此，提出了一种多级卷积神经网络的沥青路面裂缝图像筛选方法，由训练、微调与验证三阶段构成，利用微调集获得softmax层输入微调增量。为避免裂缝图像召回率增加与精确率下降的问题，在对比不同卷积神经网络筛除的非裂缝图像异同基础上，采用改进AlexNet作为一级筛选网络，VGG16或ResNet50作为二、三级筛选网络的层次化处理模型。对于含噪声及复杂路面图像测试集的实验结果表明，三级层次化筛选模型能在100%召回裂缝图像时，达到高的真负例率及准确率。与其他方法的对比实验表明，所提方法可有效解决沥青路面裂缝图像漏筛问题，且具有更好的检测效果。

沥青路面图像；裂缝筛选；卷积神经网络；softmax层微调；多级网络

随着我国运输行业的完善和公路系统的健全，交通流量迅速增长，如何有效地监测和保障公路系统的正常运转受到了人们的密切关注，如何快速准确地识别出路面裂缝已成为道路养护的重要任务之一。

近年来，基于计算机视觉技术的路面裂缝检测与识别逐渐成为该领域的研究热点。最初，采用传统的图像处理方法对路面裂缝进行检测。马常霞等[1]利用分数阶微分对路面图像中裂缝信息进行增强，并通过图像形态学法对路面裂缝进行检测。靳华中等[2]采用梯度方向直方图得到裂缝的边缘信息，再结合改进的分水岭算法实现路面裂缝的识别。卢紫微等[3]提取路面图像的局部熵、灰度和纹理并进行特征融合，利用支持向量机(support vector machine，SVM)分类器实现路面裂缝的二分类。邱延峻等[4]对三维路面图像在4个方向的裂缝截图进行融合与去噪，根据路面粗糙度及高斯分布特征来实现路面裂缝的检测。谭卫雄等[5]在人工蜂群算法中融入自适应因子，并与BP神经网络相结合，用于实现沥青路面路表裂缝的识别。但是，由于路面图像中的裂缝具有与背景差异小、对比度低且尺度变化大等特点，致使传统经典图像处理方法在识别精度与鲁棒性方面受限。

为了进一步提升数据的处理效率和识别性能，近年来有些学者开始探索利用深度学习方法解决路面裂缝的检测与识别任务。赵任华[6]在研究不同的训练样本和卷积核对卷积神经网络识别精度影响的基础上，提出了两阶段的卷积神经网络路面裂缝检测方法。GOPALAKRISHNAN等[7]基于迁移学习利用预训练的VGG-16 DCNN模型对路面裂缝进行检测，该方法虽然在一定程度上提高了裂缝识别的准确率，但仍未能学会从路面的接缝中区分裂缝。沙爱民等[8]搭建了3个卷积神经网络模型对路面图像进行训练，分别用来识别路面病害图像、提取裂缝特征和坑槽特征。ZHANG等[9]提出了一种递归神经网络对三维沥青路面裂缝进行检测的方法，以实现序列生成和序列建模两阶段处理。李刚等[10]结合低秩核与组卷积，提出了一种交错低秩组卷积混合深度网络的混凝土路面裂缝检测算法。侯越等[11]在对比不同的数据增强方法基础上，提出了卷积自编码预训练深度聚类算法，用于实现路面图像的无标注识别。

上述研究在一定程度上实现了路面图像中有无裂缝的分类，但仍存在较高的裂缝图像漏筛情况。在实际应用环境中，对于由道路综合检测车所采集的沥青路面图像，裂缝图像仅仅占少部分而大多数图像为正常路面，若能保证在裂缝图像无漏筛的前提下尽可能多地筛除非裂缝正常图像，则不仅可以大大降低人工筛选的工作强度，而且将为裂缝全自动识别中的后期裂缝分割与量化分析奠定基础。

本文在研究不同结构的卷积神经网络在路面裂缝图像筛选分类的基础上，通过观察对比不同网络所筛除的非裂缝图像的异同，提出了一种多级层次化卷积神经网络的沥青路面裂缝图像筛选方法，由训练、微调与验证3阶段构成。道路综合检测车所采集的沥青路面图像首先需要经过灰度校正、图像分块、归一化与数据增强等预处理。在模型构建时，训练阶段分别学习不同卷积神经网络模型参数，对于裂缝图像存在漏筛的网络，应在微调阶段利用微调集对网络的softmax层的输入值进行调整，以达到裂缝图像被全部召回的目的。由于在微调softmax层时，随着裂缝图像召回率的增加，其精确率会有所下降，所以为了筛除更多的非裂缝图像，本文采用三级层次化卷积神经网络的裂缝图像筛选处理过程。针对含噪声及复杂路面图像的实验结果表明，若采用改进AlexNet作为一级筛选网络，以及VGG16或ResNet50作为二级或三级筛选网络，则不仅能够有效解决路面裂缝图像漏筛的问题，而且可以达到级联模型中最好性能，即具有高的真负例率与准确率，以及低的图像筛选检测时间。

1 图像采集与预处理

1.1 图像采集

在路面裂缝筛选网络模型构建之前，主要工作是数据集的建立与图像的预处理。本文通过道路综合检测车(图1)的后侧置摄像机对某高速公路的沥青路面图像进行采集，为避免拍摄角度等干扰，保持拍摄设备与路面的距离不变。图2列举了部分沥青路面图像，其像素尺寸为1612×1841。

图1 道路综合检测车

图2 沥青路面图像示例((a)裂缝路面图像；(b)非裂缝路面图像)

1.2 图像灰度校正

由于光照的影响，所采集的路面图像在竖直方向上亮度分布不均匀，其不同位置上的裂缝可能会表现出不同的灰度均值，若直接放入分类网络中训练，对裂缝特征的提取会有所影响。因此，本文采用灰度校正法[12]，对路面图像进行预处理，存储和保留车道线位置信息。具体方法如下：

(1) 计算图像(×)中每列的灰度均值，保存在数组中，并计算的均值avg。

(2) 将车道线在图像中的位置及像素值记录在数组中，并用avg代替车道线处像素值。

(3) 计算每列的灰度校正系数和灰度均值偏离整体灰度均值的程度，即

(4) 非车道线像素点的灰度值按式(2)进行校正，缩小不同列之间的灰度值差距，使图像整体灰度分布更加均匀，车道线像素点则恢复为原来灰度值，即

由图3灰度校正前后的图像对比可见，在灰度校正后裂缝被保留下来的同时车辙印被消除或明显减少，图像灰度值分布更均匀，并且对于不垂直的倾斜图像处理仍然有效。

图3 图像灰度校正((a)原始图像；(b)灰度校正后的图像)

1.3 图像分块

由于道路综合检测车所采集的路面图像中大部分为非裂缝图像，所以为避免样本严重的不平衡问题，除自行采集图像外还引入了德国沥青路面病害(GAPs)数据集[11,13]，其提供了1 969幅像素尺寸为1920×1080的灰度图像，包括裂缝、凹坑等类型的病害。GAPs384数据集是GAPs的子集，只含裂缝病害的数据，本文选取281幅像素尺寸为540×640的路面图像及228幅像素尺寸为540×440的路面图像。

考虑到自行采集的图像数据与GAPs384数据集中的像素尺寸差别较大，本文按照6×6对自行采集的路面图像进行分块，每个图像块(patch)大小为268×306；按照2×2对GAPs384数据集中的路面图像进行分块，得到的图像块大小分别为270×320和270×220。自行采集的路面图像分块如图4(a)所示，GAPs384数据集中像素尺寸为540×640的路面图像分块如图4(b)所示。

图4 图像分块示例((a)自行采集的数据集；(b) GAPs384数据集)

在分块后，按照1∶2的比例由自行采集数据和GAPs384数据集来构成本文所使用的路面图像数据集，其中包含1 700幅裂缝图像和2 033幅非裂缝图像，将其划分为训练集、微调集、验证集和测试集，分别用于训练阶段、softmax层微调阶段、多级筛选阶段以及模型性能测试，其中来自GAPs384数据集的图像块只用作训练与测试。训练集、微调集、验证集和测试集两两之间没有重叠的图像数据，第4节将给出每个图像子集的说明。

另外，为满足卷积神经网络模型输入要求，应对图像块进行尺寸归一化处理，例如在输入VGG16网络之前需要将图像块处理为224×224大小。为增加数据的多样性和提高模型的鲁棒性，本文对训练集与微调集进行了翻转、高斯模糊和对比度增强等数据增强处理。

2 卷积神经网络

近年来，AlexNet，VGG16和ResNet50[14]作为典型的卷积神经网络已被广泛应用于图像识别领域，取得了良好的效果。本文分别采用改进AlexNet[15]，VGG16和ResNet50作为骨干网络，对路面图像进行特征提取，实现有无裂缝的分类。VGG16和ResNet50网络是基于迁移学习进行训练，即在ImageNet预训练好的模型上进行微调，可有效避免训练样本过少而产生的欠拟合问题。

2.1 改进AlexNet网络

相较于最初提出的AlexNet网络，本文所采用的改进AlexNet网络具有更少的网络层数和计算参数，同时具有更快的模型训练速度和更高的识别精度[15]。该网络由3个卷积模块和3个全连接层组成，卷积核大小为11×11和5×5。不同于最初的AlexNet网络，该网络去掉了最后2个卷积层，并在前2个卷积层之后均加入Batch Normalization处理。改进的AlexNet网络结构如图5所示。

图5 改进AlexNet网络结构

2.2 VGG16网络

VGG16网络结构如图6所示，由5个卷积模块和3个全连接层组成，每个卷积模块具有2个或3个卷积核大小为3×3的卷积层和1个最大池化层。相较于传统的浅层网络，VGG16通过采用多层小卷积核(3×3)代替1个大卷积核，减少了参数的增长，且较深的网络结构使其具有更丰富的特征和更强的辨别能力[16]。

图6 VGG16网络结构

2.3 ResNet50网络

深度残差ResNet网络通过引入残差单元，解决了网络层数增加所带来的梯度消失和网络性能退化的问题[14]。残差单元利用恒等映射将网络设计为()=()+，其结构如图7(a)所示，其中表示输入，()表示残差函数，可被转换为学习一个残差函数()=()–，拟合残差更加容易。ResNet50网络由若干个Bottleneck模块组成，其每个模块具有2个残差块，结构分别如图7(b)和(c)所示，每个残差块由卷积核大小为1×1和3×3的卷积层组成。

(c)

3 所提出的路面裂缝筛选方法

3.1 不同卷积神经网络筛除非裂缝图像的异同对比

实际采集的沥青路面图像会受到阴影、对比度低以及车辙印、车道线、灌缝修补、噪声点等因素的干扰，不同网络模型在进行裂缝图像筛选时对具有不同干扰的非裂缝路面图像的识别各有差异。图8列举了改进的AlexNet，VGG16和ResNet50 3种卷积神经网络所筛除的部分非裂缝图像，以集合文氏图形式展示。由图8可见，在较光滑或含白色噪声点和车辙印的非裂缝图像的筛除上，VGG16网络表现较好，改进AlexNet网络次之；而在含有车道线的非裂缝图像筛除上，3个网络的表现各有差异，其中ResNet50网络擅长筛除车道线占比面积较大的非裂缝图像，VGG16网络所筛除的图像含车道线最窄，而改进AlexNet网络擅长筛除图像背景较光滑的含车道线图像。综上可知，不同网络在非裂缝图像的筛除上各有优势，存在一定的互补。

3.2 裂缝图像的三阶段层次化筛选过程

鉴于对不同卷积神经网络筛除非裂缝图像的差异分析，本文提出一种多级卷积神经网络的裂缝图像层次化筛选方法，其工作流程如图9所示，主要分为以下3个阶段：

图8 3种卷积神经网络筛除非裂缝图像示例

(1) 训练阶段。将训练集数据分别输入到改进AlexNet，VGG16和ResNet50分类网络中，进行路面裂缝图像的二分类训练。

(2) 微调阶段。调用各个已训练好的网络模型，判断裂缝图像的召回率是否为100%，若是，则直接进入验证阶段进行裂缝图像筛选；否则，输入微调集，对网络softmax层的输入值进行微调，直至每个裂缝图像都被召回，保存此刻的微调值。

(3) 验证阶段。利用条件(2)中保存好的微调值，对验证集进行三级网络裂缝图像层次化筛选，将一级筛选网络中被识别为裂缝类的图像输入到二级筛选网络中进行筛选，之后，再将二级筛选网络中被识别为裂缝类的图像输入到三级筛选网络中进行筛选，从而得到最终含有裂缝的沥青路面图像，同时对于每一级筛选网络可输出该级网络识别的非裂缝类图像。

不同于文献[6]通过采用2次不同数量训练样本的训练过程来构建卷积神经网络模型的两阶段方法，本文方法在微调阶段是对已训练好的网络模型进行的，即网络模型参数均不做任何改变，引入微调阶段的目的是考虑到用已训练好的网络模型对路面图像进行分类，会将部分裂缝图像识别为非裂缝类，从而出现路面裂缝图像漏筛的情况。通过上述3个阶段层次化筛选过程，可在保证裂缝图像无漏筛的前提下，尽可能多地筛除非裂缝正常图像。

3.3 Softmax层微调

精确率-召回率(Precision-Recall)[17]是路面裂缝分类网络中常用的评价指标，通过对比人工标记的裂缝图像和网络检测得到的裂缝图像数量，计算出裂缝图像的精确率和召回率，从而反映出算法的准确性和全面性。为了解决分类过程中所出现的裂缝路面图像的漏筛问题，本文利用微调数据，通过微调softmax层的输入值对裂缝图像的精确率和召回率进行调节，从而达到裂缝图像被完全召回的目的。

若训练阶段获得的网络模型不能召回微调集中的全部裂缝图像，则采用softmax激活函数对最后一个全连接层的输出进行概率微调计算。由于采用的是对路面图像进行有无裂缝筛选的二分类网络，所以softmax层对应2个输入值记作0和1，分别代表裂缝类图像(crack)和非裂缝类图像(non_crack)，当0>1时，所输入的图像类别为裂缝类，否则为非裂缝类。若softmax层最终输出记作[0,1]∈(0,1)，则softmax层的计算为

为了实现路面裂缝图像的全部召回，本文采用调节裂缝类所对应的0值大小的方法。当增加0值时，裂缝类的召回率将增加，但准确率有所下降。0的微调增量Δ0计算式为

其中，为每次调节时0所增加的值；为0值调节的次数，本文将的值设为0.1。

0经过微调后的值为0new，其计算式为

Softmax层微调结构如图10所示。

图9 多级卷积神经网络的沥青路面裂缝图像层次化筛选流程图

Fig. 9 Flow chart of asphalt pavement crack image hierarchical filtering based on multi-level convolution neural network

图10 Softmax层微调

当微调集中的全部裂缝图像被召回时，微调增量Δ0即被确定，该值在验证及测试时不再发生变化，而是作为固定值去修正softmax层的输入值0，进而获得微调后的0new值。微调集的样本分布应尽可能丰富，可选择部分与验证集或测试集同分布的样本，当然一定要保证微调集与验证集及测试集没有相同的样本。在网络模型用于真实筛选的工程实际任务时，微调集的选取可以来自道路综合检测车所采集道路的少量标注样本。

4 实验结果与分析

实验硬件平台为Intel(R) Xeon(R) CPU E5-2678 30 GB，NVIDIA GeForceTX1080Ti×4 11 GB，编程语言为Python3.6。

4.1 评价指标

为评价分类网络模型在路面裂缝筛选中的有效性，本文选取精确率()、召回率()、真负例率()、准确率()和1值作为评价指标，其计算式分别为

其中，为裂缝图像样本中被正确识别的样本数量；为非裂缝图像样本中被错误识别为裂缝图像的样本数量；为非裂缝图像样本中被正确识别的样本数量；为裂缝图像样本中被错误识别为非裂缝图像的样本数量。模型对非裂缝图像的筛除能力可以用真负例率来表达。

4.2 训练阶段路面裂缝图像分类实验

首先分别选用改进AlexNet、VGG16和ResNet50 3种卷积神经网络对路面图像进行有无裂缝的分类筛选。其中，VGG16和ResNet50网络是基于迁移学习进行训练的。实验选取1 548幅裂缝图像和1 523幅非裂缝图像作为训练集。初始学习率为1e-3，训练批次大小为16，VGG16和ResNet50采用Adam迭代优化，改进AlexNet为SGD。

3种卷积神经网络在训练过程中的准确率(acc)和损失值(loss)变化如图11所示。随着迭代次数的增加，3种网络的训练准确率和损失值逐渐趋于平缓收敛。这里，VGG16迭代轮次置为30，改进AlexNet和ResNet50均为100次。

4.3 Softmax层微调实验

单一应用3种卷积神经网络在微调集上的实验结果见表1。实验选取49幅裂缝图像和77幅非裂缝图像作为微调集。由表1可知，VGG16网络在微调集上的各项评价指标中表现最好。

为使得裂缝图像被全部召回，本文通过微调softmax层输入值，以提高裂缝图像的召回率。图12为微调过程中召回率、精确率与真负例率的变化。由图12可见，随着微调次数增加，裂缝图像的召回率逐渐增加而精确率逐渐减小，同时非裂缝图像的真负例率也逐渐减小。由于VGG16对裂缝图像的召回率达到了100%，所以不需要对该网络进行微调，即微调值Δ0=0。若令改进AlexNet网络达到对裂缝图像的100%召回率，则需要进行29次微调，即微调值Δ0=2.9。若令ResNet50网络达到对裂缝图像的100%召回率，则需要进行52次微调，即微调值Δ0=5.2。

表1 3种卷积神经网络路面裂缝图像分类结果对比(%)

表2显示了3种卷积神经网络在softmax层微调后的实验结果与softmax层的均微调时间。其中，均微调时间指总的微调时间与微调集总量之比。通过比较表1和表2可知，微调后所有网络的裂缝图像被全部召回，VGG16网络的裂缝图像精确率以及非裂缝图像的真负例率均是最高，改进AlexNet网络相对ResNet50在微调时间上花费要少。

表2 Softmax层微调后结果对比

4.4 级联结构验证实验

为了验证本文方法的有效性，实验中利用微调好的分类网络进行不同网络的级联，即分别对2种网络以及3种网络级联进行层次化筛选。选取10幅裂缝图像和15幅非裂缝图像作为验证集。实验结果见表3，这里用A表示改进AlexNet，R表示ResNet50，V表示VGG16，A_R_V则表示3个网络级联的先后顺序。

表3 级联结构的验证实验结果对比

由表3可得出：

(1) 由于softmax层微调的作用，所以给出的所有网络模型对于验证集中的裂缝图像召回率均达到100%，即裂缝图像无漏筛；

(2) 采用2种网络的级联模型的精确率、真负例率与准确率均好于2种网络中的任意单一网络，同样3种网络级联模型性能均好于任意2种网络级联模型，3种网络级联模型的真负例率达到93.3%，即93.3%的非裂缝图像均能被正确筛除；

(3) 在不同网络级联时，级联的顺序(即网络筛选的级别)不会影响最终是否裂缝图像的筛选结果，而不同的级联顺序仅仅影响图像筛选的时间。当改进AlexNet网络作为第一级筛选网络时，所花费的筛选时间要少，例如A_R_V级联网络的单幅图像的均验证时间仅是V_R_A的57.1%。

因此，可选取真负例率、准确率等评价指标最高且筛选时间相对较短的一种网络级联方法作为最终的网络级联模型(A_R_V 或A_V_R)。

4.5 裂缝图像层次筛选测试实验

4.5.1 不同复杂程度路面图像的测试

考虑到本文自行采集的数据集具有不同的干扰和噪声，因此需要测试网络模型对于不同复杂程度的数据集的性能。本文选取2种复杂程度图像进行裂缝图像的筛选，分别记作含噪声路面图像和复杂路面图像，图13为2种路面图像示例。含噪声路面图像涉及含白色噪声点和表面较光滑的图像，复杂路面图像是指不仅含噪声而且包括车辙印、车道线等干扰的路面图像。

图13 测试集路面图像示例((a)含噪声路面图像；(b)复杂路面图像)

4.5.1.1 含噪声路面图像的测试

测试集中含噪声路面图像共包括10幅裂缝图像和212幅非裂缝图像。实验中分别采用不同的网络模型进行测试，实验结果见表4。由表4可得出：

(1) 给出的所有网络模型对于裂缝图像的召回率均能达到100%；

(2) 3种网络级联模型评价性能要好于2种网络级联，2种网络级联要好于单一网络模型。3种网络级联模型的真负例率及准确率均达到98.6%；

(3) 与验证实验相同，3种网络级联的顺序不影响网络评价性能，且A_V_R和A_R_V网络级联模型的筛选时间最短，仅为V_R_A的32.0%。

4.5.1.2 复杂路面图像的测试

测试集中复杂路面图像包括13幅裂缝图像和310幅非裂缝图像，实验结果见表5。显然，由表5可得出与表4相似的结论，只是3种网络级联模型的性能均低于含噪声路面测试图像，如真负例率为93.5%，准确率为93.8%，这主要是由于路面图像更复杂(即含有更多干扰因素)时会加大筛选的难度。

表5 复杂路面图像测试结果对比

4.5.2 与其他方法对比

为了进一步验证本文所提方法的有效性，与传统方法及近期文献中给出的深度学习方法(ASINVOS[13]，DRSN[18])进行比较，其中传统方法采用局部二值模式(local binary pattern，LBP)提取特征及SVM进行筛选分类。选用GAPs384数据集中不同于训练集的图像作为测试样本，各种方法所用的训练数据与测试数据均对应一致。由表6的实验结果可知，虽然DRSN方法的精确率达到了68.1%，但是其裂缝召回率仅为80.0%；本文方法的裂缝图像召回率可达100%，并且1值与准确率最高，分别高出LBP+SVM方法32.0%与24.5%，高出ASINVOS方法16.0%与7.8%，高出DRSN方法4.9%与1.2%，能在保证全部召回裂缝图像的前提下得到更好的检测效果。

表6 不同裂缝检测方法结果对比(%)

5 结 论

如何从道路综合检测车采集的大量沥青路面图像中全部自动筛选出裂缝图像的同时，并尽可能降低错误筛选出非裂缝图像比例，为路面病害自动检测提供前期技术支撑，对于公路养护信息化建设具有现实意义。本文提出了一种多级卷积神经网络的沥青路面裂缝图像层次化筛选方法，最终可选取A_V_R或A_R_V网络级联方法作为本文的网络模型的级联顺序，即一级筛选网络采用改进AlexNet，二级与三级可为VGG16或ResNet50网络。所提出的3个阶段层次化筛选模型构建过程中，首先在训练阶段分别学习3种网络模型，然后通过对网络softmax层的微调实现裂缝图像的全部召回，最后在验证阶段进行三级网络裂缝图像的层次化级联筛选，测试实验结果表明所构建的模型可针对不平衡的裂缝与非裂缝二分类筛选问题，达到了裂缝图像基本无漏筛前提下尽可能多地筛除非裂缝图像的目的。本文方法有效实现路面裂缝的自动筛选，降低了人工筛选的工作强度，并为后续路面图像裂缝自动分割及病害损坏程度评估奠定基础。

[1] 马常霞, 赵春霞, 狄峰, 等. 自然环境下路面裂缝的识别[J]. 工程图学学报, 2011, 32(4): 20-26.

MA C X, ZHAO C X, DI F, et al. Road crack detection under natural environment[J]. Journal of Engineering Graphics, 2011, 32(4): 20-26 (in Chinese).

[2] 靳华中, 万方, 叶志伟. 结合路面深度影像梯度方向直方图和分水岭算法的裂缝检测[J]. 华中师范大学学报: 自然科学版, 2017, 51(5): 715-722.

JIN H Z, WAN F, YE Z W. Pavement crack detection fused HOG and watershed algorithm of range image[J]. Journal of Central China Normal University: Natural Sciences, 2017, 51(5): 715-722 (in Chinese).

[3] 卢紫微, 张燕, 常东超, 等. 基于多特征分析的路面裂缝检测算法[J]. 控制工程, 2018, 25(4): 591-595.

LU Z W, ZHANG Y, CHANG D C, et al. A road crack detection algorithm based on multi-feature analysis[J]. Control Engineering of China, 2018, 25(4): 591-595 (in Chinese).

[4] 邱延峻, 王国龙, 阳恩慧, 等. 基于多特征检验的三维沥青路面裂缝检测[J]. 西南交通大学学报, 2020, 55(3): 518-524.

QIU Y J, WANG G L, YANG E H, et al. Crack detection of 3D asphalt pavement based on multi-feature test[J]. Journal of Southwest Jiaotong University, 2020, 55(3): 518-524 (in Chinese).

[5] 谭卫雄, 王育坚, 李深圳. 基于改进人工蜂群算法和BP神经网络的沥青路面路表裂缝识别[J]. 铁道科学与工程学报, 2019, 16(12): 2991-2998.

TAN W X, WANG Y J, LI S Z. Crack identification of asphalt pavement surface based on improved artificial bee colony algorithm and BP neural network[J]. Journal of Railway Science and Engineering, 2019, 16(12): 2991-2998 (in Chinese).

[6] 赵任华. 基于两阶段卷积神经网络的路面裂缝识别方法研究[D]. 天津: 河北工业大学, 2015.

ZHAO R H. Research on pavement crack recognition method based on two-stage convolutional neural network[D]. Tianjin: Hebei University of Technology, 2015 (in Chinese).

[7] GOPALAKRISHNAN K, KHAITAN S K, CHOUDHARY A, et al. Deep convolutional neural networks with transfer learning for computer vision-based data-driven pavement distress detection[J]. Construction and Building Materials, 2017, 157: 322-330.

[8] 沙爱民, 童峥, 高杰. 基于卷积神经网络的路表病害识别与测量[J]. 中国公路学报, 2018, 31(1): 1-10.

SHA A M, TONG Z, GAO J. Recognition and measurement of pavement disasters based on convolutional neural networks[J]. China Journal of Highway and Transport, 2018, 31(1): 1-10 (in Chinese).

[9] ZHANG A, WANG K C P, FEI Y, et al. Automated pixel-level pavement crack detection on 3D asphalt surfaces with a recurrent neural network[J]. Computer-Aided Civil and Infrastructure Engineering, 2019, 34(3): 213-229.

[10] 李刚, 刘强伟, 万健, 等. 复杂背景下交错低秩组卷积混合深度网络的路面裂缝检测算法研究[J]. 激光与光电子学进展, 2020, 57(14): 287-296.

LI G, LIU Q W, WAN J, et al. A novel pavement crack detection algorithm using interlaced low-rank group convolution hybrid deep network under a complex background[J]. Laser & Optoelectronics Progress, 2020, 57(14): 287-296 (in Chinese).

[11] 侯越, 陈逸涵, 顾兴宇, 等. 基于卷积自编码的沥青路面目标与裂缝智能识别[J]. 中国公路学报, 2020, 33(10): 288-303.

HOU Y, CHEN Y H, GU X Y, et al. Automatic identification of pavement objects and cracks using the convolutional auto-encoder[J]. China Journal of Highway and Transport, 2020, 33(10): 288-303 (in Chinese).

[12] 张德津, 李清泉, 陈颖, 等. 基于空间聚集特征的沥青路面裂缝检测方法[J]. 自动化学报, 2016, 42(3): 443-454.

ZHANG D J, LI Q Q, CHEN Y, et al. Asphalt pavement crack detection based on spatial clustering feature[J]. Acta Automatica Sinica, 2016, 42(3): 443-454 (in Chinese).

[13] EISENBACH M, STRICKER R, SEICHTER D, et al. How to get pavement distress detection ready for deep learning? A systematic approach[C]//2017 International Joint Conference on Neural Networks (IJCNN). New York: IEEE Press, 2017: 2039-2047.

[14] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2016: 770-778.

[15] 车艳丽. 基于深度学习的路面裂缝分类与识别技术研究与实现[D]. 西安: 长安大学, 2018.

CHE Y L. Research and implementation of pavement crack classification and recognition based on deep learning[D]. Xi’an: Changan University, 2018 (in Chinese).

[16] 常亮, 邓小明, 周明全, 等. 图像理解中的卷积神经网络[J]. 自动化学报, 2016, 42(9): 1300-1312.

CHANG L, DENG X M, ZHOU M Q, et al. Convolutional neural networks in image understanding[J]. Acta Automatica Sinica, 2016, 42(9): 1300-1312 (in Chinese).

[17] ZOU Q, CAO Y, LI Q Q, et al. CrackTree: automatic crack detection from pavement images[J]. Pattern Recognition Letters, 2012, 33(3): 227-238.

[18] ZHAO M H, ZHONG S S, FU X Y, et al. Deep residual shrinkage networks for fault diagnosis[J]. IEEE Transactions on Industrial Informatics, 2020, 16(7): 4681-4690.

Multi-level convolutional neural network for asphalt pavement crack image hierarchical filtering

FENG Jun1, ZHAO Ying1, BI Jian-kang1, LAI Bai-jiang1, HU Jing-jing2

(1. School of Information Science and Technology, Shijiazhuang Tiedao University, Shijiazhuang Hebei 050043, China; 2. School of Computer Science and Technology, Beijing Institute of Technology, Beijing 100081, China)

The quick and accurate identification and evaluation of asphalt pavement crack disease has become one of the important tasks of pavement maintenance and road safety. There are a number of non-crack images in the actual collected pavement images. On the premise of ensuring that there is no missing filter in the crack image, it is of great practical significance to improve the precision of crack images and true negative rate of non-crack pavement images as high as possible, thus reducing the work intensity of manual filtering, as well as subsequent automatic crack segmentation and disease damage assessment. A multi-level convolutional neural network method for asphalt pavement image filtering was proposed, which consists of three stages, i.e, training, fine-tuning and validation. The input fine-tuning increment of softmax layer was obtained using fine-tuning set. In order to avoid the problem that the precision decreases when the recall of crack image increases, based on the comparison of the similarities and differences of non-crack images excluded by different convolutional neural networks, a hierarchical processing model was proposed, in which the improved AlexNet was employed as the first level filtering network and VGG16 or ResNet50 as the second or third level filtering network. The experimental results on noisy and complex road images show that the three-level hierarchical filtering model can achieve high true negative rate and high accuracy when recalling crack images 100%. Compared with other methods, the experimental results show that the proposed method can effectively solve the problem of missing filter in asphalt pavement crack image, and can produce a better detection effect.

asphalt pavement image; crack filtering; convolutional neural network; softmax layer fine-tuning; multi-level network

TP 391

10.11996/JG.j.2095-302X.2021050719

A

2095-302X(2021)05-0719-10

2020-10-23；

2021-03-14

14 March，2021

23 October，2020；

国家自然科学基金项目(61772070，61972267)；河北省高等学校科学技术研究重点项目(ZD2021333)；河北省研究生专业学位教学案例库建设项目(KCJSZ2020068)；石家庄铁道大学研究生创新资助项目(YC2021075)

National Natural Science Foundation of China (61772070, 61972267); Key Projects of Science and Technology Research in Colleges and Universities of Hebei Province (ZD2021333); Hebei Province Graduate Professional Degree Teaching Case Library Construction Project (KCJSZ2020068); Graduate Innovation Funding Project of Shijiazhuang Railway University (YC2021075)

封 筠(1971-)，女，河北石家庄人，教授，博士。主要研究方向为计算机视觉与机器学习等。E-mail：fengjun@stdu.edu.cn

FENG Jun (1971–), female, professor, Ph.D. Her main research interests cover computer vision and machine learning, etc.E-mail：fengjun@stdu.edu.cn