基于深度学习技术的路面隐患排查应用与实践

吕伟杰　许基献　斯锦伟　王佳　李家伟

摘要 随着公路建设事业的快速发展，道路隐患排查管理任务伴随而来，特别是前期建设的一批高速公路已逐步进入中修或大修期，相关管理部门越来越重视道路通行隐患监测数据的收集和分析。为了增强基于机器视觉数字图像处理的道路隐患排查识别效率和准确性，在目标检测技术中引入卷积神经网络CNN算法，快速识别带边界的隐患目标类型、位置和区域，并基于CNN通过隐患目标轮廓网络CCN方法进行定位和提取病害形状。在CCN算法中引入道路隐患类型识别准确率、召回率和方差比值即F值指标，来评价算法模型，根据最大F值划分和确定隐患目标相应的轮廓区域。工程验证结果表明，文章所提出的隐患识别效率和准确率较高，可用性强。置信度阈值取最优值后，准确率、召回率、F值可达到91.8%、86.1%和84.6%。

关键词 数字图像处理；卷积神经网络；隐患目标；CCN

中图分类号 U445.4文献标识码 A文章编号 2096-8949（2023）24-0015-04

0 引言

随着社会经济的不断发展，公路交通在国民经济和人们生活中发挥着越来越重要的作用，在我国公路交通领域表现的更加突出，全国纵横覆盖格局已成规模效应。在高速公路的长期运营过程中，会发生各种类型的路面通行隐患。公路服役周期内，路面表观病害对行驶安全、行驶平稳性、路基安全造成多种风险，为公路养护和隐患排查带来诸多不确定挑战，快速检测病害、定位病害成为研究的重要内容[1-4]。在当前从国家到地方的道路检测和评价的框架下，普遍采用的多功能车在一定范围和周期内解决了这一问题，然而巡查频率、隐患排除效率、管控效果均急需提高，需要改变依靠多功能车采集、利用人力视觉筛查标签的传统方式，而形成真正意义的隐患发现、识别、排除半自动化作业。显然，隐患确认关键动作需要人工干预，这样一来既释放了被大量占用的人工，同时也增强了隐患发现处置能力。即便如此，基于视觉分析技术的隐患识别方法包括自适应阈值分割法、边缘检测法、形态学AI法、小波分析等算法，仍难以克服多域多候背景误差、临界近似度、参数复杂精度低问题。并且，对于车道动态跟踪、安全隐患目标的快速检索、重定位、清晰度和数字图像处理，均对路面隐患的及时发现、及时处置造成一定的技术滞后。

基于图像解析深度学习技术的持续发展[5]，卷积神经网络在工业、空间、设计包括交通领域已经获得广泛应用。近年来，部分学者试图将CNN应用于土木工程结构的表观隐患排查。例如，Cha等[6]将CNN与滑动窗口技术相结合应用于裂缝识别，其训练数据设定为40 000张图片（256×256像素），测试图片大小为5 888×3 584像素，测试持续时间为4.5 s，最终验证准确率约为98%。Dorafshan等[7]构建了SDNET 2018裂纹图像数据库，方便检测人员和技术人员测试和验证，在此基础上灵活架构识别方法，包括采用CNN检测识别裂缝和坑槽，这一思路与边缘计算方法明显不同。

在众多识别方法比较中，将CNN和边缘计算快速识别相结合，形成前后台相互促进的检测策略，取得了较好效果[8]。Ni等[9]通过基于卷积自动处理明显结构裂缝的CNN框架，达到特征融合和像素级分类效果。但这些方法需要算力保证，识别计算过程要求高，并且带来与CNN目标检测结果相违背的识别错误。后续处理仍需要采用其他方法。为了解决上述问题，Girshick等[10]使用CNN作为内核并将其与选择性搜索算法相结合。HeK等[11]提出了空间金字塔池化（SPP-Net），其使用全圖像卷积共享特征图方法来减少R-CNN的训练和测试时间，并且目标检测精度也有所提高。显然，人工识别算法在交通领域尤其公路行业越来越多地被应用到生产作业和养护管理环节，样本持续增长、算法模型不断创新演进，包括算法与算法之前的集成研发，都促成了新技术、新装备、新方法大量涌现，以CNN为基础结合CCN创新模式大幅提高行业应用的实用性和普及率，在车载及机载算力限制条件下，令检测识别效果更理想。

该文介绍了基于CNN和CCN方法的路面隐患定位及形状提取，计算带边界的提取隐患区域的位置和面积。针对该方法的评价，介绍了准确率（P）、召回率（R）和F值指数，并验证了所提方法的有效性。

1 路面隐患检测识别技术原理

路面隐患检测识别技术主要包括软件层面的神经网络图像识别和硬件环境层面的车载或机载边缘计算智能设备。路面隐患识别的过程如图1所示。目前，路面图像的采集方式是巡检车等摄像机，特殊情况下也伴飞无人机空中视角抓拍，形成单目多目多视角等识别要求，算法模型大小、集成度、精度须根据不同搭载进行配置。一致的过程是，前端边缘负责采集、预处理、基础数据加载、回传，算力越强对图像清晰度敏感性越低，目标越小则对图像清晰度要求越高，后端负责数据汇集、分类整理、二次检测、综合分析。具体识别过程可划分为按预定规则的快速抽帧，使用图像分割、一致化、色阶值、区域增强等数字图像处理技术进行预处理，必要情况下，通过小样本变换增加输入；通过专业人员根据行业应用要求进行经验标注，形成人为定义的隐患特征库；初始化CNN识别网络，设定初步参数，进行初次训练，重复流程，进行规模化调参，达到分级化置信度；训练完成，通过验证集实测路面隐患识别排查的效果，如裂缝、坑槽、交安破损，根据边界框尺寸信息，评估实际检测效果和置信度指数。对于水平和垂直隐患目标，在边界框确定后，提取区域目标形状并得到隐患面积，通过反向色差隐患目标表征信息更丰富、更准确。

在硬件环境层面，具备了深度学习技术准备后，需要对当前的巡查车做智能化升级，使之适配于新型业务模式下的路面隐患排查任务：①运用5G技术构造前端车载边缘计算；②新增高清摄像头，加载前端采集和识别模型；③组件优化和匹配，最小化功耗和最大化分类图像处理性能。具体需做的升级改动包括：通过技术选型采用成熟的边缘主机、智能摄像头、5G移动通信模块和北斗双模系统实现系统化智能巡查车硬件环境的升级，边缘主机和通信模块安装于驾驶室侧壁，摄像头安装于车顶向前方向，视野覆盖路面和两侧交安，北斗双模系统天线则需安装在车顶或驾驶室外部后侧，并确保其上方没有遮挡。在此智能硬件基础上，加载边缘计算系统软件，包括图像预处理模块、桩号和坐标对应模块、快速识别模块，与中心管理系统形成云边协同的隐患识别，基于快速识别模块可将病害图像赋值车道线标识、左右幅标识，与桩号互为对应，从而准确定位和溯源路面隐患和病害的时空位置，方便工程人员快速化现场确认和隐患排除。基于无人机的路面隐患检测主要采用车机协同飞控作业系统、航线预设、定点复拍、新型无人机载遥感技术等实现多视角联动，与路政巡查车伴飞配合。利用无人机的空中视角和航线定制，实现道路外侧、特殊结构物、车载和人员视角观察不到位置的隐患巡查工作。同样，通过无人机机载边缘计算设备将预处理的图像分析结果通过5G模块或中继网络同步传输至中心管理系统，从而达到同一时空车载和机载不同路径的隐患排查协同效果。

2 路面隐患检测技术实现方法

2.1 卷积模型架构技术流程

CNN模型架构通常包括对输入图像的一簇堆叠层（如卷积、激活和极化）进行特征提取，以及通过全连接层进行分类，以输出每个类的分值。每一层负责不同的功能，并使用前一层的结果作为后一层的输入。

对于机器视觉任务，CNN网络需要：①从原始图像中提取特征；②使用分配有初始隨机权重和偏差的过滤器将特征向前馈送，以预测类别；③计算预测分值与基本事实之间的损失；④应用反向传播来调整滤波器权重并不断置信，最终获得优化模型。

已经有一些研究试图将深度学习方法应用于土木工程结构，例如基于CNN的混凝土机架检测方法，并且所提出的模型相对于传统图像处理技术的优势已经得到证明。此外，CNN还应用于高效隧道检查和内壁裂缝检测。然而，CNN在基础设施检查中的应用仍处于起步阶段，使用CNN进行结构损伤检测的研究仍在持续发展中。

2.2 模型训练、验证和测试

在模型训练特征提取方面，路面隐患排查工作场景主要在野外、公路沿线和两侧，视频图像采集受气候、光线、环境等影响，导致每次巡查拍摄源图像都存在差异。为准确识别分析造成一定的难度，需要对含有干扰信息的源图像进行灰度、对比度及极值化预处理，利用小波变换滤波方法确保分析处理后的丰富细节。模型通过调配神经网络分支类型、层级参数、置信度等不断迭代和训练，生成高可靠高可用性的隐患识别网络。在对多份隐患病害图像样本分析后，不难发现，块状、网状、条状、变形、缺失等隐患病害不同特征的呈现形式，利用向量机分类器对其特征进行统计归类，从而帮助管理人员在大量巡查图像中自动获取有价值的分析结果。在经过海量样本训练成熟后，该模型可确保巡查采集和分析效果的连续性和可靠性，方便管理人员对巡查路段做出准确评估。

以常见隐患路面裂缝为例，裂缝来自智能巡查车实际采集的道路图片，大小为2 048×2 000像素。通过图像切片、旋转、镜像等获得训练样本集，其中有裂纹的样本数为15 235，无裂纹的样本数为21 642。之后，使用预训练网络进行迁移学习，所有数据轮换50个纪元，最终识别精度值可以达到95%以上。CNN关键参数分别为：训练时间50 s，轨距32，训练率10?4，衰减系数10?6，如图2所示，显示了使用上述参数获得的准确率性能。

3 应用实例

在浙江省甬莞高速公路等工程项目中，通过动态抽帧采集数百公里的路面图像集，对完整和受损的路面进行了系统化CNN特征图的训练、验证和测试，路面背景的处理方法则采用双值图像处理方法进行处理。在典型实例中可以看出，背景噪点很难去除，效果也不容忽视。因此，一些传统的图像处理算法很难破解。研究将有意义的图像组件突出出来，进行一系列基于形状的图像演算处理，以表达和描绘区域形状构造，识别和表征目标对象最本质的形状特征，如轮廓和对象区域。典型的CCN方法用于处理路面图像时，广泛结合数字图像处理技术，根据边界框区域中的最小灰度值重现块状裂缝形状。

主要步骤如下：

（1）块状裂缝的特征之一，是与路面背景存在灰度级差异，最暗的像素一般属于裂纹，提取裂纹区域（CNN处理）。

（2）由于路面的灰色背景，第一步的提取容易产生噪声，例如局部黑噪声。在该文中，这些区域中的像素被滤除（局部黑噪声被去除）。

（3）第二步降噪后，需恢复路面像素的详细过程：①高斯模糊（卷积核为9×9），生成新像素；②执行低阈值二值化（阈值为0），极化像素使裂缝沿路面像素扩展；③使用大模板（7×7）侵蚀细化裂缝；④使用小模板（3×3）膨胀以平滑裂缝；⑤再次使用小模板（3×3）。

根据灰度骨架和裂纹原点像素细化裂纹形状，灰度值均差超过一定范围予以删除。从而过滤掉一些背景像素，这些像素在形态处理过程中被误认为是隐患目标。

进一步使用轮廓检测，在图像中定位和锁定隐患目标的区域边界，如图3所示。在所提出的路面隐患检测和识别方法中，也可以尝试更多的数字图像处理方法。

在该工程实践中，经过大量隐患目标识别排查测试和验证，对标计算真阳性率（TPR）、真阴性率（TNR）、假阳性率（FPR）和假阴性率（FNR），4个指标经统计分析，得到准确率（P%）、回归率（R%）和F值（F%）。工程验证表明，P%、R%和F%于实际隐患排查识别中整体性能相应达到91.8%、86.1%和84.6%。

4 结语

该文提出了基于深度学习模型的路面隐患检测方法框架。引入目标检测中的CNN算法，快速识别带边界的被提取隐患区域的类型、位置和区域，CNN基于CCN方法用于定位和提取病害形状。从测试结果中可以得出以下结论：

（1）基于CCN的CNN集成方法可以在路检车采集的图片上有效地搜索定位隐患，准确提取坑槽、车辙、裂缝形状。

（2）测试结果表明，该检测方法工作效率高，漏检率较低，虽存在少量误检，仍可直接应用于路面隐患的自动检测。

（3）引入准确率（P）、召回率（R）、F值等指标对算法进行评估，根据最大F值确定隐患框对应的轮廓区域，整体性能达到91.8%，86.1%和84.6%。

显然，不足和需要加强之处在于，需通过后台几何学习法进行进一步误检筛查。

参考文献

[1]Mohebian P， Aval SBB， Noori M，et al. Visible Particle Series Search Algorithm and Its Application in Structural Damage Identification[J]. Sensors. 2022（3）：1275.

[2]Li Z.， Noori M.， Altabey W. A.，et al. A multi-objective optimization algorithm for Bouc–Wen–Baber–Noori model to identify reinforced concrete columns failing in different modes[C]， Proceedings of the Institution of Mechanical Engineers， Part L： Journal of Materials： Design and Applications，2021（9）： 2165-2182.

[3]Altabey， W.A. Applying Deep learning and Wavelet Transform for Predicting the Vibration behavior in Variable Thickness Skew Composite Plates with Intermediate Elastic Support[J]， Vibroengineering， 2021（4）： 770-783.

[4]Altabey， W.A. Prediction of Natural Frequency of Basalt Fiber Reinforced Polymer （FRP） Laminated Variable Thickness Plates with Intermediate Elastic Support Using Artificial Neural Networks （ANNs） Method[J]， Vibroengineering，2017（5）：3668-3678.

[5]Wang T.， Altabey W. A.， Noori M.，et al. A Deep Learning Based Approach for Response Prediction of Beam-Like Structures[J]， Structural Durability and Health Monitoring，2020（4）： 315-338.

[6]Cha Y. J.， Choi W. O. Deep Learning - based Crack Damage Detection Using Convolutional Neural Networks[J]. Computer-aided Civil and Infrastructure Engineering，2017（5）， 361-378.

[7]Dorafshan S.， Thomas R. J.， Maguire M. Comparison of Deep Convolutional Neural Networks and Edge Detectors for Image - based Crack Detection in Concrete[J]. Construction and Building Materials， 2018，186， 1031-1045.

[8]Dorafshan S.， Thomas R. J.， Maguire M. An Annotated Image Dataset for Non-contact Concrete Crack Detection Using Deep Convolutional Neural Networks[J]. Data in Brief，2018， 21， 1664-1668.

[9]Ni F. T.， Zhang J.， Chen Z. Q. Pixel-level Crack Delineation in Images with Convolutional Feature Fusion[J]. Structural Control and Health Monitoring， 2018.

[10]Girshick R.， Donahue J.， Darrell T. Rich Feature Hicrarchies for Accurate Object Detection and Semantic Segmentation[C]， IEEE. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2014.

[11]He K.， Zhang X.， Ren S.. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[C]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015（9）， 1904 -1916.