基于YOLO算法的桥面铺装及其资产检测技术

刘昆

摘要 由于环境影响、交通量增加和自然老化的综合作用，桥面铺装及其附属资产服役状态不断出现变化，及时获取铺装及资产信息是开展养护决策的关键问题。文章以某长江公路大桥为研究对象，首先建立铺装及资产的视频数据集，采用YOLO-v5为机器视觉辨识框架，结合最佳训练策略拟合了适用于桥面铺装及资产的检测模型。研究结果表明，检测模型能够有效提高日常巡检效率，根据测试集数据显示，该文建立的检测模型最高检测准确率可达到97.2%，交并比为55.1%，相比同类模型具有显著优势。

关键词 桥面铺装;结构资产;深度学习;目标检测;卷积神经网络

中图分类号 U443.33 文献标识码 A 文章编号 2096-8949（2022）10-0070-03

0 引言

大跨径钢桥面铺装及其附属资产是确保桥梁结构正常运营的关键部分，其服役状态直接影响到区域交通的互联互通。桥面铺装及其附属资产由于常年暴露于自然环境，且承受交通荷载的不断作用，服役状况不断衰减并最终出现损伤。因此，针对铺装等设施状况的全面、及时的检测是制订有效维养方案的关键。

在道路巡检领域，深度学习中目标检测的方法得到广泛应用。目标检测[1]生成含有损坏边框的边界区域。对于每一个生成的边界框，通常还会执行损坏类型的辨识。这类模型最大优点是可以将目标识别和定位信息集成到一个网络中，不需要对网络进行分步训练，可以有效提高运算效率。Du等人基于全景图像，利用YOLO-v3模型，实现路面损坏中的裂缝类病害、修补、坑槽、拥包自动识别及定位[2]。Ukhwah等人[3]基于三种不同架构的YOLO，即YOLO-v3、YOLO-v3 Tiny和YOLO-v3 SPP对路面坑槽进行了识别，结果显示三者的平均mAP分别是83.43%、79.33%和88.93%，面積测量精度为64.45%、53.26%和72.10%，表明YOLO-v3 SPP的性能在坑槽检测中更为优越。Chitale等人[4]利用YOLO-v4和YOLO-v3对坑槽进行了检测，结果显示，模型准确率分别为93.3%和88.9%，IoU精度分别为0.741和0.635。此外，还对模型中不同的骨架网络进行了VGG[5]、ResNet[6]等实验，并采用了不同的训练策略。然而，为了提高目标检测的准确率，还需要对特征提取网络进一步改善。

该文采用YOLO-v5-6.0的网络框架，依托国内某长江公路大桥的场景，根据采集到的交通标牌、道路裂缝和坑槽等数据创建数据集，并进行了准确率、召回率和交并比的计算，探究对桥面铺装及其资产的识别效果。

1 智能化检测模型

1.1 基于YOLO-v5-6.0的检测模型

YOLO-v5-6.0在YOLO-v5的基础上对网络进行的调整，提出更小的模型YOLO-v5n和YOLO-v5n6。YOLO-v5n模型与YOLO-v5s相比，网络的深度不变，宽度减少了0.5倍，总参数量减少了75%，YOLO-v5-6.0网络结构分为四个部分：输入端、主干网络（Backbone）、融合网络（Neck）和预测端。具体结构如图1所示。

为了从训练角度提高模型性能，该研究采用数据增强和正则化技术进行模型训练优化。数据增强的目的是增加输入图像的可变性，使得所设计的目标检测模型对不同环境获得的图像具有更高的鲁棒性。该文在YOLO-v5-6.0框架的输入端采用Mosaic数据增强方法，通过对4张图片进行随机剪裁，再拼接到同一张图上作为训练集。通过该技术，有效地丰富图像的背景，提高了训练量大小，如图2所示。

主干网络的主要作用是在不同图像细粒度上聚合，形成对应图像特征的卷积神经网络。主要结构包括了CBS，Res unit，CSP1_X，CSP2_X结构。经过CBS层，即先经过卷积层（Conv），提取输入的不同特征，有助于找到特定的局部图像特征;其次通过归一化层（Batch Norm），将每次的梯度分布都控制在原点附近，实现结果归一化，使各个块的偏差不会过大;最后用SiLU激活函数输入结果到下一层卷积。Res unit层是用于构造深层网络的残差网络结构，减少网络的传播误差。CSP1_X层由CBS层、Res unit层和拼接层（Concat）组成，CSP2_X层由X个CBS层、Res unit层和拼接层组成。拼接层经常用于将特征联合，多个卷积特征提取框架提取的特征融合或者是将输出层的信息进行融合。

融合网络将特征混合组合，并传递到预测层。先进行卷积提取特征输出，再经过三个不同卷积核的最大池化层进行下采样，将各自输出结果进行拼接融合并与其初始特征相加，最后再经过卷积将输出恢复到同初始输入一致。并且采用自顶向下传递强特征的FPN结构，以便改善低层特征的传播，以及自底向上的含有两个PAN结构的特征金字塔，两者结合操作，加强网络特征融合的能力。输出端部分，YOLOv5采用了GIoU作为损失函数，还通过非极大值抑制（NMS）来筛选目标框。

1.2 模型训练

为了训练与测试识别模型，该研究收集了不同分辨率的桥面铺装及其资产图像共计1 132张，其中裂缝图像512张、坑槽图像256张、交通标牌364张。随机选取1 018张图像作为训练集、114张图像作为测试集，训练集中裂缝图像、坑槽病害图像和交通标牌图像分别为461张、230张与327张，分辨率为1 920×1 080。再利用labelme软件对目标图进行标记，标记结果如图3所示。

训练集输入的图像数据分辨率为1 920×1 080，batchsize设置为2，学习率为0.001，为了使损失函数更好收敛，使用学习率指数衰减让学习率随着学习进度降低以达到更好的训练目的。识别模型的构建使用pytorch 1.3.1版本在ubuntu18.04上部署了建模环境，并使用i9-9900k和RTX2080ti来进行模型的训练和测试。

2 研究成果討论

该文所建立YOLO-v5-6.0的网络模型共训练了300个批次（epoch），每个批次迭代100次。检测模型在每一个批次结束时，将会评估识别模型针对验证集的验证效果，识别模型的Loss损失函数随迭代次数的变化如图4所示。

训练与验证结果均表明了所建立检测模型具备有效的泛化性能，训练过程中未发生过拟合现象，训练后的模型能够精确地识别桥面铺装及其资产。由图4所示，Loss损失函数随着迭代轮数的增加而减小，表明识别的精度在不断提高。该文采用了YOLO-v5-6.0训练的网络模型，根据数据集合进行训练和验证，所得部分识别结果如图5所示。

图5表明，在所依托长江公路大桥的场景下，对于铺装病害和铺装资产检测效果性能优异，从直观图像来看，对于交通标牌类的识别定位的准确度高于裂缝和坑槽类。根据测试集计算所得的评价指标如表1所示。

根据表1数据可知，对于交通标牌此类目标准确率高达0.972，交并比也达到了0.551。对于小目标的裂缝或者坑槽，准确率（P）、召回率（R）和交并比（IOU）均有不同程度的下降。

3 结论

综上所述，依托国内某长江公路大桥的场景构建桥面铺装及其资产数据集，利用YOLO-v5-6.0作为网络结构，训练并测试智能化检测模型。研究结果表明，模型的平均准确率达到0.947，针对交通标牌资产的准确率可达到0.972。该文所建立的检测模型能够有效识别桥面铺装病害及其资产，显著提高巡检效率，可为相关巡检工作提供高效数据支撑。

参考文献

[1]Nie，M.，andK.Wang.2018.“Pavementdistressdetectionbasedontransfer learning.” In Proc.， 5th Int. Conf. on Systems and Informatics （ICSAI）， 435–439. New York： IEEE.

[2]Du Y C， Pan N， Xu， ZH， Deng FW， Shen Y， Kang H. “Pavement distress detection and classification based on YOLO network”. 2020， 1-14.

[3]Ukhwah， Ernin Niswatul， Eko Mulyanto Yuniarno， and Yoyon Kusnendar Suprapto. "Asphalt Pavement Pothole Detection using Deep learning method based on YOLO Neural Network." 2019 International Seminar on Intelligent Technology and Its Applications （ISITIA）. IEEE， 2019.

[4]Chitale， Pranjal A.， et al. "Pothole Detection and Dimension Estimation System using Deep Learning （YOLO） and Image Processing." 2020 35th International Conference on Image and Vision Computing New Zealand （IVCNZ）. IEEE， 2020.

[5]Simonyan， K， and A.Zisserman. “Very deep convolutional networks for large-scale image recognition.” Preprint， submitted September 4， 2014.

[6]He， K.， X. Zhang， S. Ren， and J. Sun. 2016. “Deep residual learning for image recognition.” In Proc.， IEEE Conf. on Computer Vision and Pattern Recognition， 770–778. New York： IEEE.