基于深度学习的城市道路沥青路面病害智能检测仿真实验

2023-02-20杨盼盼，郭杨成

粘接 2023年12期

杨盼盼，郭杨成

摘要：为提高城市道路沥青路面病害检测精度，提出一种基于深度学习的智能检测方法。方法以Faster R-CNN网络为基础检测模型，通过对采用拟合值填充方式优化Faster R-CNN网络卷积层，提升网络对目标检测的准确性，实现了Faster R-CNN网络的改进；然后利用改进后的Faster R-CNN网络对城市道路沥青路面病害进行检测，实现了沥青路面病害的智能检测。仿真结果表明，所提的改进Faster R-CNN网络可有效检测城市道路沥青路面坑槽、裂缝病害，且具有较高的检测精度，平均精确度的均值达到为90.26%。相较于标准Faster R-CNN网络和ResNet、U-Net目标检测算法，在平均精确度的均值和单张图像的检测速度指标上具有明显优势，可用于实际城市道路沥青路面病害检测。

关键词：路面病害检测；深度学习；Faster R-CNN网络；拟合值填充

中图分类号：TP391

文献标志码：A文章编号：1001-5922（2023）11-0174-05

An intelligent detection and simulation experiment for urban road asphalt pavement diseases based on deep learning

YANG Panpan1，GUO Yangcheng2

（1.Nanjing Tech University Pujiang Institute，School of Civil and Architectural Engineering，Nanjing 210000，China；2.China Design Group，Nanjing 210000，China）

Abstract：To improve the accuracy of urban road asphalt pavement disease detection，an intelligent detection method based on deep learning was proposed.The method was based on the Faster R-CNN network as the detection model.By optimizing the convolutional layer of the Faster R-CNN network using fitting value filling，the accuracy of target detection was improved，and the improvement of the Faster R-CNN network was achieved.Then，the improved Faster R-CNN network was used to detect asphalt pavement diseases on urban roads，achieving intelligent detection of asphalt pavement diseases.The simulation results showed that the proposed improved Faster R-CNN network could effectively detect potholes and cracks on asphalt pavement of urban roads，and has high detection accuracy，with an average accuracy of 90.26%.Compared to the standard Faster R-CNN network，ResNet，and U-Net object detection algorithms，it has significant advantages in average accuracy and detection speed indicators for single images，and can be used for actual urban road asphalt pavement disease detection.

Key words：road surface disease detection;deep learning;faster R-CNN network;fit value filling

城市道路是城市發展的主要动力，对生产要素的流动和城镇体系的发展发挥着至关重要的作用。随着经济的不断发展，城市道路网逐渐密集，为人民生活提供了极大的便利。但由于交通压力的增大，城市道路沥青路面面临着不同程度的病害，可能威胁到人们的出行安全。因此，有必要对城市道路沥青路面病害进行检测，并根据检测结果对存在的病害开展维修和保养工作。城市道路病害检测中最原始的检测方法是人工检测，该方法存在效率低、成本高、易造成交通拥堵等问题，且难以准确评估路面状况。近年来，随着人工智能的发展，基于深度学习的目标检测算法广泛应用于各个领域，并取得了优异的成绩。如提出一种基于深度学习的光学遥感影响在轨目标检测方法，通过在YOLOv3特征提取网络中引入深度可分离卷积压缩模型参数和推理计算量，有效提升了算法对目标检测的精度和速度，实现了飞机、舰船、车辆等典型目标的检测，检测精度达到90%；通过对RFBNet网络进行结构化剪枝，提出一种轻量化目标检测算法，在保证网络检测精度的同时有效地减小了网络模型的尺寸，提高了RFBNet网络目标检测精度；设计并实现了YOLOV3&MobileNetV3轻量化网络，提出一种基于深度学习的遥感图像舰船目标检测算法，可实现快速有效的船舰目标检测。通过上述研究可以发现，基于深度学习的目标检测算法实现了目标的智能检测，这为城市道路沥青路面智能检测提供了参考。本研究基于深度学习中典型的目标检测网络Faster R-CNN，通过对采用拟合值填充方式优化Faster R-CNN网络卷积层，提升其对目标检测的准确性，提出一种基于改进Faster R-CNN的城市道路沥青路面病害智能检测方法。

1基本算法

1.1Faster R-CNN网络简介

Faster R-CNN网络是一种典型的目标检测神经网络，其基本结构如图1所示，主要分为CNN特征提取层、RPN生成候选区域层、ROI池化层、分类回归层4个阶段。特征提取层负责对输入网络的图像进行特征提取，并输出其特征；RPN生成候选区域层负责初步划分感兴趣区域，产生建议窗口；ROI池化层负责对不同输入图像进行转换并输出固定大小的ROI Pooling；分类回归层负责精确定位每个图像中的候选特征，并输出特征类别同时加以定位。

Faster R-CNN网络中，卷积层获取的特征图像尺寸会随着卷积进行逐渐减小。当网络层数较深时，特征图像尺寸越来越小，导致输出的图像与原始图像大小不一致，进而影响最终分类检测结果，降低检测结果的准确性。因此，为解决该问题，提高城市道路沥青路面病害检测精度，研究对Faster R-CNN网络进行了改进，并利用改进的Faster R-CNN网络检测城市道路沥青路面病害。

1.2Faster R-CNN网络改进

标准Faster R-CNN网络卷积层中是直接对输入图像进行卷积操作，未使用任何填充导致了输出图像大小与原始图像大小不一致。因此，本研究尝试通过对卷积层进行填充，以优化Faster R-CNN网络。目前，卷积层中的填充方式主要包括补零填充卷积、真实值填充卷积和拟合值填充卷积3种方式。

补零填充卷积即在图像四周进行补零操作，以使通过卷积后的图像与原始图像大小一致；真实值填充即利用原始图像信息对图像四周进行填充，使输出图像与原始图像大小一致；拟合值填充即使用线性拟合方法，通过拟合计算填充图像的像素值，对图像进行填充。其中，补零填充方式由于该方法输出四周信息与中心信息差异较大，不利于后续城市道路沥青路面病害检测精度的提升，通常不采用该方式进行卷积层填充；真实值填充虽然可获取最理想的结果，但由于实际操作中通常难以获取图像周边的真实值，通常不采用该方式进行卷积层填充。因此，本研究選用拟合值填充方式对Faster R-CNN网络卷积层进行优化。

基于拟合值填充的Faster R-CNN网络卷积层卷积方式的具体操作是，假设计算填充图像上方一行的某个点x，其所在列的前5个像素值分别为y1、y2、y3、y4、y5，然后基于这5个像素值进行曲线拟合，并计算第6个点的值，最后根据拟合结果进行填充，即实现了卷积层填充方式优化。

y=a0+a1x+a2x2（1）

Ax=b→（2）

ATAx=ATb→（3）

2基于深度学习的城市道路沥青路面病害智能检测

根据上述改进的Faster R-CNN网络，研究将城市道路沥青路面病害智能检测流程设计。

（1）图像采集与预处理。利用相机采集城市道路沥青路面图像，并进行灰度化处理、去噪处理和数据增强处理；

（2）数据集划分。按一定比例将预处理后的图像划分为训练集、测试集、验证集；

（3）改进Faster R-CNN网络模型构建。基于Pytorch深度学习框架搭建并训练改进Faster R-CNN模型。首先，训练RPN网络生成Region Proposed，然后训练Faster R-CNN网络生成模型，再使用模型对Region Proposed进行调优，并再次优化Region Proposed，得到改进Faster R-CNN网络模型；

（4）图像分类识别。将待分类识别图像输入训练好的改进Faster R-CNN网络模型中，判断是否存在路面病害，若存在，则输出病害种类。

3仿真实验

3.1实验环境

本次实验基于Pytorch深度学习框架进行开发，在Windows10系统上运行，利用Python语言进行编程。系统配置Intel i9-7980xe处理器，NVIDIA GeForce RTX 2080Ti显卡，RAM 32 GB。

3.2数据来源与预处理

本次实验数据来自利用线阵相机自主采集的城市道路沥青路面图像，包括坑槽、裂缝2类病害各520、480张。采集相机参数：帧率330 fps、拍摄宽度1 000 mm、最高采集频率18.5 kHz，滤光特性808 nm带通，光源特性808 nm±3 nm，分辨率0.5 nm。

为尽可能简化图像数据，增强重要特征检测，研究采用最大值法对图像进行了灰度化处理。同时，考虑到所采集到的沥青路面图像存在噪声。为消除噪声，提高检测精度，实验前研究采用均值滤波对图像进行了处理。均值滤波通过选择滤波范围内像素灰度平均值作为区域中心像素灰度，可明显抑制高斯噪声，避免图像模糊。因此，本研究选用均值滤波对所采集的图像进行去噪处理。均值滤波器数学表达式：

f（x，y）=19∑x+1i=x-1∑y+1j=y-1f（i，j）（4）

式中：f（x，y）表示对应位置像素值。

此外，考虑到图像采集过程中光线变化引起的不同沥青路面图像和不同区域的灰度差异明显，可能影响后续图像检测。因此，研究采用直方图均衡化对图像进行了处理，其处理方法如式（2）：

sk=（L-1）×∑kj=0p（rk），k=0，1，…，L-1 （5）

式中：sk表示变换后像素灰度值；rk表示灰度值。

最后，考虑到所采集的沥青路面图像用于神经网络训练和识别整体偏少，研究对通过滤波处理和直方图均衡化处理的图像进行旋转、缩放等操作，以扩充数据样本量。最终得到坑槽图像1 024张、裂缝图像960张，并按3∶1∶1比例划分为训练集、验证集、测试集。

3.3评价指标

为检验所提改进Faster R-CNN网络对城市道路沥青路面病害智能检测的性能，研究选用平均精确度的平均值（MAP）和检测速度作为评价指标对所提算法性能进行评估。其中，平均精确度的平均值计算方法如式（3）：

MAP=AP1+AP2+…+APii（6）

式中：APi表示数据集中类别的平均精确度。其计算方法：

AP=∫10p（r）dr （7）

式中：p表示准确率；r表示召回率，计算方法：

p=TPTP+FP（8）

r=TPTP+FN（9）

式中：m为成功分类的正样本，n、w分别表示错误分类的正样本和负样本。

3.4参数设置

本次实验参数通过config.py文件进行配置，通过不断更新模型权重参数获取最佳分类模型。为寻找最佳初始学习率，设置不同初始学习率对Faster R-CNN网络进行训练，具体结果如表1所示。

由表1可知，当初始学习率为0.001时，Faster R-CNN网络的平均精确度均值最高，为85.36%。因此，本次实验设置Faster R-CNN网络的初始学习率为0.001。

3.5结果与分析

3.5.1算法验证

（1）算法改进验证：

为验证所提改进Faster R-CNN网络采用拟合值填充方式的有效性，研究分析了使用拟合值填充、补零填充、不使用任何填充时，一个3层Faster R-CNN网络训练过程中的准确率对比，结果如图2所示。

由图2可知，相较于使用补零填充方式和未使用任何填充的Faster R-CNN网络，使用拟合值填充方式的Faster R-CNN网络准确率更高。由此说明，所提改进Faster R-CNN网络通过使用拟合值填充有效提升了Faster R-CNN网络训练准确率，且具有一定的优势，改进有效。

为验证所提改进Faster R-CNN网络的有效性，实验对比了改进前后网络的检测性能，结果如图3所示。

由图3可知，相较于改进前Faster R-CNN网络，改进后的Faster R-CNN网络通过对卷积层填充方式进行优化，有效提升了Faster R-CNN網络对沥青路面病害智能检测的平均精确度的平均值，但由于改进的Faster R-CNN网络额外增加了卷积运算量，降低了网络对单张沥青路面病害图像的检测速度，因此相较于改进前，改进后网络的检测速度减慢。不过从整体来看，改进前后网络的检测速度较为接近。由此说明，所提的改进Faster R-CNN网络具有更优异的检测性能，改进有效。

（2）算法性能验证：

为验证所提改进Faster R-CNN网络对城市道路沥青路面病害智能检测的性能，采用所提改进Faster R-CNN网络对实验数据集进行检测，部分检测结果如表2所示。

由表2可知，所提改进Faster R-CNN网络对纵向裂缝的检测效果较好，误差接近0.30 cm；对坑槽检测误差接近2.50 cm2;对横向裂缝的检测误差接近2.50 cm。虽所提网络对坑槽和横向裂缝的检测精度相较于纵向裂缝存在一定的改进空间，但满足当下对沥青路面病害的检测需求，因此可用于检测城市道路沥青路面病害。由此说明，本研究提出的改进Faster R-CNN网络可实现城市道路沥青路面的病害检测，且具有一定的有效性。

3.5.2算法对比

为进一步验证所提改进Faster R-CNN网络对城市道路沥青路面病害智能检测性能，研究对比了所提算法与常用检测方法ResNet算法和CrackIT算法在实验数据集上的各项性能指标，结果如表3所示。

由表3可知，相较于ResNet算法和CrackIT算法，所提改进Faster R-CNN网络对城市道路沥青路面病害检测的平均准确率更高，平均精确度的平均值为90.26%，分别提高了7.48%和5.20%，且在对单张图像的检测速度指标上具有明显优势，为9.65 s，分别提升了11.36 s和9.00 s。由此说明，所提的改进Faster R-CNN网络具有一定的有效性和优越性。

3.5.3实例验证

为检验所提改进Faster R-CNN网络对城市道路沥青路面病害的实际智能检测效果，采用所提算法对实际采集的城市道路沥青路面进行检测，结果如图4所示。

由图4可知，所提的改进Faster R-CNN网络可有效、准确检测识别出城市道路沥青路面病害的种类，且检测范围可圈出沥青路面病害的位置。

4结语

综上所述，所提的改进Faster R-CNN网络通过采用拟合值填充方式改进网络卷积层，有效提升了Faster R-CNN网络对目标检测的精度，可实现对沥青路面坑槽、横向裂缝、纵向裂缝的检测。其中，所提改进Faster R-CNN网络对纵向裂缝的检测效果较好，误差接近0.30 cm;对坑槽检测误差接近2.50 cm2;对横向裂缝的检测误差接近2.50 cm，具有一定的有效性。相较于改进前标准Faster R-CNN网络和其他常用目标检测方法ResNet算法和U-Net算法，所提改进后的Faster R-CNN网络对城市道路沥青路面病害检测的准确性更高，平均精确度的均值达到90.26%，且对单张图像的检测速度更快，为9.65 s，可用于实际城市道路沥青路面病害检测。

【参考文献】

[1]璩泽旭，方火能，肖化超，等.一种基于深度学习的光学遥感影像在轨目标检测方法.空间控制技术与应用，2022，48（5）：105-115.

[2]田青，李迁迁，张正，等.基于深度学习的轻量化目标检测方法研究.工业控制计算机，2023，36（8）：108-110.

[3]黄泽贤，吴凡路，傅瑶，等.基于深度学习的遥感图像舰船目标检测算法综述.光学精密工程，2023，31（15）：2295-2318.

[4]李波，杨慧，石实，等.基于改进Faster R-CNN的吸烟检测算法研究.现代信息科技，2023，7（15）：69-72.

[5]岑霄.融合空洞卷积和特征金字塔的Faster R-CNN柑橘害虫检测方法.中国农学通报，2023，39（22）：158-164.

[6]韩光，杨晟伟，袁培森，等.基于改进Faster R-CNN的新能源电池炸点缺陷检测分析.自动化与仪器仪表，2023（7）：113-117.

[7]宋雯琦，赵荣彩，姜旭，等.基于Faster R-CNN的肺炎目标检测.计算机工程与设计，2023，44（7）：2087-2092.

[8]田秀霞，刘正，刘秋旭，等.一种改进Faster R-CNN的图像篡改检测模型.计算机工程与科学，2023，45（6）：1030-1039.

[9]韩俊玲，李博，康晓东，等.综合应用Faster R-CNN和U-net的心脏MRI图像分割.计算机科学，2023，50（S1）：313-321.

[10]陈新果.基于改进Faster R-CNN的石化装置火灾增强识别方法.安全、健康和环境，2023，23（6）：42-50.

[11]胡浩特，徐建，黄营，等.基于改进的Faster R-CNN输电铁塔绝缘子缺陷检测.信息技术与信息化，2023（7）：63-66.