基于改进YOLOv5的道路病害智能检测

喻露,戴甜杰,余丽华

(1. 福建开放大学 理工学院,福建 福州 350003;2. 福建省环境保护设计院有限公司,福建 福州 350001)

路面的早期裂纹检测有助于在其严重损坏之前评估路面的性能。传统的人工检测时间成本高,且监测效率与监测时间呈负相关[1]。因此,研发低成本高效率的路面病害智能检测技术具有重要的现实意义。

计算机视觉技术的发展为路面病害智能检测提供了技术支撑。路面病害定位是路面病害智能检测的关键,Cha等人[2]开发了两阶段目标检测算法Faster R-CNN检测混凝土路面的病害,但其检测效率不能满足工程中实时检测的需要。Deng等人[3]在对混凝土表面裂缝的检测中使用YOLO (you only look once)单阶段目标检测算法,可以大幅度提高检测效率,但针对较大尺度目标的检测性能较差。YOLO算法的检测速度和精度被不断完善,李姗[4]将YOLOv5应用到路面表观病害检测中,实现了路面常见表观病害的高效、精确检测。与其他方法对比,YOLOv5算法在确保高检测精度的同时还能维持较高的检测速度,是路面表观病害检测的理想模型。但是对于环境恶劣、噪声繁杂以及图像细节模糊的路面表观病害,基于深度学习的检测方法的现有模型和方法仍无法直接移植使用,需要针对具体环境和病害类别进行目标检测模型搭建和训练。

综上,本研究基于YOLOv5算法开发了目标裂缝自动检测模型,引入了ASPP模块与SE-Net注意力机制增强算法对道路表面裂缝图像的特征提取能力,加入了Focal损失函数以加强算法对难样本的识别能力,进而提高模型对各类裂缝病害的泛化能力。

1 方法介绍

1.1 YOLOv5算法介绍

YOLOv5算法通过提取输入图像的特征对待检测物体进行准确的定位和分类,实现对目标物体的快速检测和定位。其基本模型构造包括3个主要部分:主干特征提取层、加强特征层和检测层,具体网络结构如图1所示。

图1 YOLOv5网络结构图Fig.1 Network structure of YOLOv5

传统YOLOv5算法在检测道路病害时通常存在网络层深且参数过多的问题,对训练数据的数量与质量要求较高,为提高识别效果需要大量的训练样本;实际工程检测中由于光线、环境等影响,所采集到的图像质量容易影响原始算法检测精度,并且在小目标上可能存在一定的不足,会出现漏检、错检现象。

1.2 算法改进

1.2.1 优化特征提取网络

由于目标检测任务中不同物体的大小和形状不同,需要在不同尺度的特征图上进行检测。虽然YOLOv5的主干特征网络CSP-Net采用的是多尺度特征融合的方式,但是仍然存在感受野不够灵活的问题。引入ASPP(atrous spatial pyramid pooling)[5]模块可优化YOLOv5算法中的主干特征提取网络,扩大目标检测模型的感受野,其示意图如图2所示。

图2 ASPP模块工作示意图Fig.2 Schematic diagram of ASPP module

ASPP模块是一种经典的多尺度特征提取网络结构,可以通过不同膨胀率的空洞卷积操作来增加感受野,并通过不同大小的池化操作来捕捉不同尺度的目标信息。该网络采用了空洞卷积和金字塔池化等操作,可以充分利用特征图的空间信息,提高特征表达能力和模型鲁棒性。

1.2.2 注意力机制

SE网络(squeeze-and-excitation network, SE-Net)[6]本质上是一种用于图像分类的卷积神经网络,其主要通过学习特征图通道之间的关系,对提取的特征施加平均池化的结果使模型更加容易聚焦于待检测的物体上。SE-Net的核心思想是通过对特征通道进行自适应的通道加权增强网络对于重要特征的关注度。比起传统的卷积神经网络,SE-Net可以在不增加网络复杂度的情况下,改善目标检测模型提取特征的能力,适合移植于改进YOLOv5算法中,其结构如图3所示。

图3 SE-Net注意力机制模块Fig.3 SE-Net attention mechanism module

1.2.3 改进损失函数

目标检测算法因不同类别的样本数量不同,其相应模型对少数类别的分类效果可能不佳。Focal loss[7]是一种针对类别不平衡问题的损失函数,其主要思想是通过调整损失函数的权重,来减轻模型对于容易分类的样本的惩罚力度,从而提高对难分类样本的关注度。本研究利用该损失函数替代YOLOv5算法中传统的二值交叉熵损失函数,具体计算如式(1):

Fl(pt)=-α(1-pt)γlog(pt)

(1)

式中,pt表示模型对于样本的预测概率,α表示样本的权重因子,γ表示调节参数,用于调节难易样本的权重。

1.3 评价指标

为了对各目标检测算法的性能进行量化评价,采用查全率(R)、查准率(P)、单类别平均精度(AP)以及多类别平均精度均值(mAP)作为评价指标,对应的计算表达式为:

(2)

(3)

(4)

(5)

式中,TP表示目标病害被正确检测的数量;FN表示目标病害被错误检测为其他病害的数量;FP表示其他病害被检测为目标病害的数量。

2 实验结果及分析

2.1 实验环境与数据集

实验在Windows 11操作系统上进行,CPU为i9-13900K,GPU为NVIDIA RTX 2080Ti显卡,编程语言采用Python 3.7,以Pytorch为框架在PyCharm上进行开发。模型的各项初始超参数设置如表1所示。

表1 模型各项超参数设置Tab.1 Hyperparameter setting of model

2.2 实验数据集与图像增强方法

实验采用的目标检测数据集均来自实际行车拍摄的图像数据,包含了7种不同类型的道路缺陷,共8 132幅原始缺陷图像。这些缺陷类型包括:鳄鱼裂缝、块状裂缝、纵向裂缝、路面坑洼、密封纵向裂缝、密封横向裂缝和横向裂缝。这些道路缺陷会影响驾驶体验和行车安全,对它们进行自动化检测和识别具有重要意义。

算法具有大量的参数,因此需要采集大量的数据才能训练出准确和泛化能力强的模型。本研究采用图像增强技术中的仿射变换方法增加数据样本的数量,分别通过水平镜像翻转,旋转180°,图像缩放与高斯模糊方法扩增得到48 792幅图像。

2.3 模型检测效果

通过数据扩增方法处理后获得48 792幅道路裂缝图像样本,从中随机选择80%(39 034幅)作为训练集,10%(4 879幅)作为验证集,10%(4 879幅)作为测试集,按照表1的参数设置输入到算法中对模型进行迭代,损失曲线如图4所示。

图4 损失函数曲线图Fig.4 Loss function curve

观察图4的损失曲线发现,模型训练的次数越多,训练和验证损失值越小,尤其在前100 epoch的训练中,损失曲线下降的速度最快,曲线波动较大,表明模型学习到大量的特征信息,权重参数变化较大。当模型训练到300个epoch时,损失曲线已经接近水平状态,收敛效果理想。综上,所提出的IPD-YOLOv5模型在训练与验证阶段的收敛能力优异。

对训练完毕的目标检测模型输入测试集数据,通过同样的参数设置与输入样本,对SSD[8]、Fast RCNN[9]、YOLOv3[10]、YOLOv5共4种算法分别进行训练、验证与测试,将所有结果与IPD-YOLOv5模型的测试结果进行对比与分析,设置置信度阈值为0.5,不输出置信度低于0.5的识别框,随机挑选2张道路裂缝病害的图像进行检测与识别,如图5所示。

图5 各算法的检测结果对比Fig.5 Comparison of detection results of various algorithms

从图5看出,对于上侧的裂缝图像,SSD算法没有能够识别出对应裂缝病害,而对于下侧的裂缝图像,Fast RCNN与YOLOv3算法都识别不出对应两处的裂缝病害。由图5(e)上看出,IPD-YOLOv5模型不仅能够准确地识别出道路裂缝类别和位置,并且得出的置信度最高,说明引入的改进方法能够很好地对YOLOv5算法进行优化,不仅扩大了模型的感受野,还加强了对需要关注的裂缝区域的关注程度,能够强化病害特征提取,利于提高算法的泛化能力,从而提高模型的检测性能。

通过与2.3节中的性能指标对各个算法模型进行评价与对比,结果如表2所示。

表2 各算法检测指标对比Tab.2 Indices comparison of various algorithms

可以发现,与其他算法相比,IPD-YOLOv5模型的检测性能最佳,mAP高达96.15%。说明其在道路裂缝检测方面具有更高的准确性和可靠性,能够更加精准地检测和识别道路表观裂缝同样数量数据集的情况较高的查全率和查准率,也说明其具有更好的泛化能力。

3 应用检测评价

为评估所提出的IPD-YOLOv5模型在实际工程中的自动检测识别性能,在福建省福州市桂山路共采集了1 619张不同道路的图像进行识别,结果见表3和图6所示。

表3 实际路面检测中各算法精度对比Tab.3 Precision comparison of algorithms in practical pavement detection

图6 实际路面病害识别对比图Fig.6 Comparison of pavement defect detection in practical engineering

IPD-YOLOv5模型运用了空洞卷积等一系列增大感受野的先进算法,有效防止了模型出现过拟合或由正负样本不均导致精度下降等问题,能够更好地适应实际道路病害的自动检测。实验结果也证实了IPD-YOLOv5模型在路面表观病害检测中的优越性。在实际道路检测中,通过IPD-YOLOv5模型检测的R指标高达97.53%,较原模型增长了14.34%;mAP指标高达98.72%,较原模型提高了11.21%。在实际道路图像识别中,通过IPD-YOLOv5模型检测下各病害识别的置信度均高于原模型,在图6(a)和(d)中,原模型都没有识别出对应裂缝,而IPD-YOLOv5模型不仅检测出相应病害,而且其置信度高达0.98与0.83。从工程应用的结果可以看出,比起其他各算法,IPD-YOLOv5模型拥有更加优秀的多尺度特征提取性能,不仅提高了识别目标的置信度,同时实现了在实际道路环境下能保持卓越的检测精度。

4 结论

基于传统YOLOv5算法,引入了ASPP模块、SE- Net注意力机制和Focal loss函数对其进行改进,提出了一种道路裂缝检测识别方法。本研究的主要贡献如下:

1)引入ASPP网络和SE-Net注意力机制优化YOLOv5算法的特征提取结构,将道路裂缝病害特征多尺度化,丰富了裂缝信息的特征细节,有效地提高了模型对道路裂缝的检测和定位能力。

2)通过Focal loss函数将传统的交叉熵损失函数中的权重因子进行了改进,引入了一个额外的调节参数,增加了对难例样本的关注程度,大幅度增强了模型对难以分类样本的识别能力。

3)数据集上的大量实验验证表明提出的方法在道路裂缝检测方面与其他常见算法相比较高的准确性和鲁棒性,具有明显的优势,为道路病害检测领域的研究和应用提供了有益的参考。