基于深度学习的公路路面破损检测识别方法

乌日娜，白 云，韩建峰

(内蒙古工业大学，内蒙古 呼和浩特010051)

1 引言

随着公路交通的快速发展，公路网的搭建趋于完善，维护公路路面的健康从而延长其使用年限的工作变得至关重要。公路路面的病害主要以路面裂缝为主，能及时发现路面裂缝并进行修复，是保持路面健康状态的一项重要工作[1]。目前，对于公路路面裂缝图像的的检测主要采取CCD摄像机获取路面图像，如澳大利亚公路研究所开发的检测车系统，澳大利亚CRISO公司和新南威尔士交通局开发的道路裂缝自动检测车等，这些系统均已应用于各种路面破损的检测中[2]。由于公路路面的裂缝往往形态多样且复杂交错，而基于检测车的图像采集方式对于路面破损图像的拍摄具有片面性和主观性，难以采集到路面裂缝的全貌，这对下一步路面裂缝的识别分类有极大的影响。

自从2012年在ImageNet计算机视觉挑战赛上，Hinton领导的深度学习小组使用AlexNet网络以15.3%的错误率远超第二名拿下冠军后，深度学习就正式进入了百花齐放的时代，各类优秀的网络模型相继被提出，图像识别和分类算法也越加成熟[3]。英红等使用BP神经网络来检测路面裂缝该方法对裂缝的识别率为90%以上，但缺少对裂缝进行具体的分类[4]；张磊等使用深度学习的方法对智能手机采集的路面裂缝进行检测，但不涉及裂缝的分类和参数计算[5]；Xianglong Wang等使用CNN来检测裂缝的存在，通过主成分分析(PCA)计算裂缝骨架的特征向量和相应的特征值来实现裂缝的分类，过程相对比较繁琐[6]。PAN Yifan等利用支持向量机、人工神经网络和随机森林等机器学习算法，从无人机MSI中对裂缝、坑洼、非破损路面进行检测分类，但其无法捕捉宽度小于13.54 mm的裂缝[7]；Rui Fan等使用深度学习和自适应阈值图像分割算法来提取路面裂缝，但算法受图像中噪声影响较大[8]。邹秦等提出了一种基于裂缝的高级特征来进行自动检测的深度裂缝网络，通过多尺度深度卷积融合特征进行裂缝的检测与识别，但没有进行裂缝的分类研究[9]；Kasthurirangan Gopalakrishnan等人使用预先训练好的深度学习模型进行无人机路面裂缝检测，虽然实现了90%以上的裂缝检测精度，但是训练的数据量较少，缺乏普遍适用性[10]；Luqman Ali等人提出基于卷积神经网络的裂缝自动检测算法来检测无人机路面裂缝，虽热检测精度较高但缺乏对裂缝的识别功能[11]；J. Senthilnath等使用一种基于集成分类器的深度迁移学习(Deep TEC)来检测无人机道路图像，这对于路面裂缝的提取有一定的借鉴意义[12]。

上述的方法虽然在一定程度上实现了对路面破损的检测或识别，但是依旧存在一些难以忽视的问题：①对于路面裂缝的检测提取基于裂缝本身特征，特别是在进行多个特征融合时步骤繁琐，计算费时费力无法达到普及效果；②基于深度学习的算法对于裂缝的识别分类还不成熟，多数算法只单一检测裂缝，或只提取裂缝形态，而无法直接对裂缝进行检测识别和分类；③实际的路面裂缝复杂多样，现存的网络数据集大多数拍摄角度和精度不一，使用这样的数据集无疑加大了训练的难度。针对上述问题和可以改进的地方，先根据沥青路面破损的形态和特征新建一个路面破损的专项数据集，之后提出一种基于深度学习的公路路面破损检测识别方法，在检测路面破损的同时又能对路面的裂缝进行自动识别和分类，达到在路面破损检测时精度与效率并存的效果。

2 数据集构建

公路路面按照结构形式分为沥青路面和水泥路面，沥青路面因其行车舒适性高，成为高速、一级公路路面结构的首选。因此本文采集的路面图片皆基于沥青路面[13]。沥青路面病害主要为路面裂缝，但是路面裂缝通常不单独出现，往往是纵横交错、形态多样。通过考察城市的一级公路和快速路，结合公路技术状况评定标准，本文主要的分类识别对象为横向裂缝、纵向裂缝、块状裂缝和斜向裂缝[14]。为了提高算法模型的实用性和真实性，观察了大量公路路面的裂缝，采取智能手机和无人机两种拍摄方式进行数据集的采集制作。其中使用智能手机拍摄图像6000张，图片大小为3104×3104，在不影响图像检测识别质量的情况下将图像大小批量处理为512×512。

无人机采集数据使用的是大疆御MAVIC 2 PRO，云台相机为哈苏HASSELBLAD，相机参数：1英寸CMOS，焦距28，分辨率为2000万有效像素，光圈调节范围：F2.8-F11，自动对焦范围大于1m，视频拍摄格式为MP4和MOV。采集数据地点选择为城市多条公路和快速路，时间为上午10：30-12：00、下午15：00-17：00，拍摄当天天气晴朗，风力小于4级，飞行过程中无明显遮挡物。最终整理汇总获得无人机拍摄路面裂缝图像共4000张。

图1 智能手机拍摄路面裂缝图像

数据集共10000张沥青路面破损图像，且每张图片中裂缝的数量较多，裂缝类型也从一种到四种不等。对比网络数据集中每张路面图像中只有一种裂缝或一条裂缝，本文采集的路面破损图像更加多样复杂，这无疑对后续的识别和检测加剧了难度，但是检测的结果和效果却更具真实性和实用性。

图2 无人机拍摄路面裂缝图像

3 破损检测识别模型

为了在检测到路面破损的同时能将每类裂缝精确定位和分类，将采取综合模型的方式先对路面裂缝进行检测分类，之后提取每条裂缝进行准确的定位，最后将二者的优势结合起来达到综合模型的检测效果。

3.1 检测分类网络

根据本文采集到的路面破损图像的特征分析，首先选取了Yolo系列算法中的最新算法Yolov5s，由于Yolo本身不是专门为土木工程或道路养护而开发，同时yolov5算法基本没有应用在路面破损检测中，其结构和参数不能满足自动路面裂缝检测的要求，因此根据路面裂缝的特殊特征，对该方法的参数设置进行了修改[15]。采用labelimg软件对数据集进行集中准确的标记，将标记后的XML文件进行随机地训练集、验证集和测试集分类，按照8：1：1的比例分配。由于数据集图片分别由不同尺寸大小的图片组成，所以需要进行多次训练。为了进一步观察模型对于路面破损图像的检测识别效果，将训练初期和最后训练的mAP值单独对比如图3。由图可知在不断调整各项参数进行多次训练后，路面所有破损类别的平均精度逐渐提高，由初期训练的75%提高至最后训练的95%。

随机选取不同类型破损图片进行识别测试，由图4可知在图中同时存在各样类别的破损的情况下，给出的路面裂缝类别置信度均较高。其中图a)为智能手机所拍，图b)为无人机所拍。

图3 破损检测分类模型训练mAP曲线

图4 破损检测分类模型识别路面裂缝效果图

3.2 分割提取网络

进一步的裂缝分割提取采用U-net网络[16]。为了使网络适用于路面裂缝的分割，在U-net原始架构基础上进行了改进。如图5所示。将结构中的卷积层全部替换为更深层的ResNet残差模块，加入残差模块后的 U-net 网络层次更深，训练参数也增多，解决了一部分 U-net网络不够深的问题，而残差模块的特性也弥补了在极深度条件下深度卷积神经网络性能退化的问题[17]。

通过labelme对数据集进行集中标注，总共标注1000张路面破损图像，数据集划分按照7：2：1。使用Sigmoid激活函数和二分类交叉熵损失函数计算损失，损失计算公式如下[18]

图5 改进后的U-net网络架构图

l(x，y)=L={l1，…，lN}T

(1)

ln=-wn[yn·logσ(xn)+(1-yn)·(1-σ(xn))]

(2)

其中N为训练批次，y为目标值，x为模型输出的值，σ为Sigmoid运算。

如下图6为分割模型训练迭代50次的损失曲线，由图可知模型在迭代50次左右损失值基本稳定，此时网络可将图像中的裂缝区域分别分割出来。

图7为改进前后分割网络对路面破损图像的分割情况，由对比图可知，改进前分割的裂缝不完整不连续，改进后的分割图较完整的还原了原图像的裂缝信息。

图6 路面破损分割模型训练损失曲线

图7 分割模型改进前后效果对比

3.3 综合模型设计

由上述两种网络的特点可知，检测分类网络可对路面破损进行精确检测与分类，而分割提取网络可以提取每条裂缝的信息。将这两种网络的优点融合提出一种路面破损检测识别综合模型，可以直接对路面破损进行检测和分类，并精确定位到路面的各条裂缝。

综合模型的具体工作流程如图8所示。首先，将路面破损图像输入路面破损检测识别网络进行检测和分类，判断输入图像中是否存在破损，如果存在则对裂缝定位和类别信息输出；之后，将裂缝图像及其类别信息传输到分割提取网络中，通过分割将破损图像中所有的裂缝进行精确定位和提取。最后将模型所得的检测识别和分割结果信息综合汇总，输出到相应的原始破损图像中显示，最终得到了路面破损检测识别的结果。

图8 综合模型工作流程图

4 模型识别效果

为了验证破损检测识别综合模型的识别效果，选取没有经过训练的8张无人机拍摄的路面破损图像进行检测识别测试，识别效果如下图9。由图中识别结果可知，在将路面破损检测识别网络与分割网络综合后，对于无人机采集的路面破损图像可以进行准确的检测与分类，并且可将分割后更精确的裂缝信息反馈到原路面破损中，这也提高了路面破损检测和识别的直观性。

进一步为了说明此模型对于无人机所拍路面图片的识别效果，重新选取了200张没有经过训练的无人机所拍路面图片，每张图片的裂缝数量均为3-8条不等，200张图片总共存在957项破损。将定位正确定义为正确框选裂缝；分类正确定义正确分类裂缝类别且置信度为0.6以上。表1为这两项评价指标各自所得的分数。

图9 路面破损检测识别效果图

表1 模型定位、分类评价指标结果

由上表可得，在957项裂缝破损识别中，共有929项破损定位正确，正确率为97%；共有884项破损分类正确，正确率为92.4%。比较之下定位比分类的正确率更高，说明模型对于分类的准确率还有提高的空间。

5 结语

为了提高算法模型对于现实条件中路面破损检测的实用性，前期通过智能手机和无人机拍摄沥青路面破损图像，汇总整理成全新的路面破损图像数据集，不仅增加了数据训练的多样性和复杂性，也使提高了最后模型检测识别的实用性。

针对路面破损检测识别算法的单一性，提出了一种路面破损综合检测识别模型。使用Yolov5网络作为检测分类网络，改进的U-net网络作为分割网络，在检测识别的基础上对定位好的裂缝进行分割提取。经过调整参数进行多次训练实验后，检测识别网络的mAP值提高了20%，改进后的分割效果也比原模型更好。最后，综合模型检测的无人机破损图像定位和分类正确率分别为97%和92.4%，还有进一步的提升空间。

综上所述，提出的路面破损检测识别综合模型在路面破损识别和分类领域更具优越性和实用性，为未来公路路面实现自动健康检测和维护提供了一定的参考价值。