APP下载

路面缺陷智能检测系统与方法综述

2023-11-16易钰程王靖智朱路李霄熊奎叶盛涛陈嘉豪

华东交通大学学报 2023年5期
关键词:深度学习人工智能

易钰程 王靖智 朱路 李霄 熊奎 叶盛涛 陈嘉豪

摘要:从路面缺陷检测系统组成和特点出发,首先简要回顾了路面缺陷检测系统与传统路面图像处理方法的发展过程。在此基础上,探讨了国内外典型路面缺陷检测系统的现状,包含重型道路状况智能检测系统、轻量化路面质量检测系统,并对检测系统的性能及部分参数进行了描述。然后,详细介绍了基于机器学习、深度学习理论的路面缺陷智能化检测方法的演变历程,重点分析了基于深度学习技术的路面缺陷智能化检测方法国内外的研究进展,主要包含基于区域卷积神经网络、单次多框检测器、YOLO目标检测、Transformer检测模型等路面缺陷智能检测方法。最后,从多模信息融合、双轻量化设备、稳健智能化算法等方面对路面缺陷智能化检测系统的发展趋势和应用前景进行了展望。

关键词:路面缺陷检测系统;人工智能;深度学习;轻量化系统;多模信息融合

中图分類号:U418 文献标志码:A

本文引用格式:易钰程,王靖智,朱路,等. 路面缺陷智能化检测系统与方法综述[J]. 华东交通大学学报,2023,40(5):19-31.

Review of the Intelligent Pavement Defect Detection System and

Methods

Yi Yucheng1, Wang Jingzhi1, Zhu Lu1, Li Xiao2, Xiong Kui2, Ye Shengtao1, Chen Jiahao1

(1. School of Information Engineering, East China Jiaotong University, Nanchang 330013, China;

2. VKELINE Information Technology Co., Ltd., Nanchang 330038, China)

Abstract:Based on the composition and characteristics of pavement defect detection system, this paper briefly reviews the development process of the pavement defect detection system. On this basis, it analyzes the status quo of typical pavement defect detection systems at home and abroad, including the intelligent detection system of heavy pavement condition and lightweight pavement quality detection system, and describes the performance and some parameters of the detection system.Then emphatically introduces the evolution process of pavement defect detection technology and methods from traditional image processing to the intelligent pavement defect detection method based on machine learning and deep learning theory is explored. And, the research progress of intelligent pavement defect detection methods based on deep learning technology at home and abroad is comprehensively introduced, including pavement defect detection methods based on regional convolutional neural network, single multi-frame detector, YOLO target detection, Transformer detection model, etc.Finally, the development trend and application prospect of intelligent detection system for pavement defects are discussed from the aspects of multi-mode information fusion, dual lightweight design and robust intelligent algorithm.

Key words: pavement defect detection system; artificial intelligence; deep learning; lightweight system; multi-mode information fusion

Citation format:YI Y C,WANG J Z,ZHU L,et al. Review of the intelligent pavement defect detection system and methods[J]. Journal of East China Jiaotong University,2023,40(5):19-31.

公路是一个国家经济发展的大动脉,高品质的公路质量对于建设现代化综合交通运输体系具有重要意义。路面缺陷检测系统是一种利用多种传感器件完成路面裂缝、坑洞、龟裂等指标测量,实现对路面情况进行评估以及提供养护建议的工程检测设备。路面缺陷检测系统(图1)通常包含高清摄像头、振动传感器或位移传感器等多类型传感器,以及导航定位系统、数据采集系统、无线传输系统等子系统,部分高端产品包含三维激光雷达,获取路面激光点云数据,对路面进行三维建模[1-10]。检测系统的出现替代了需要专业技术能力并有丰富工作经验的检测人员参与的传统观测检测方法。近些年来,随着人工智能技术的快速发展,基于机器学习与深度学习框架的路面缺陷检测方法大量涌现,路面缺陷检测步入智能化时代[11-19]。

1 路面缺陷检测的发展历程

路面裂缝、坑洞等缺陷是影响车辆平稳性主要指标之一,因此,对路面缺陷的精确检测是保证车辆安全运行的重要手段。路面缺陷的检测技术有着悠久的历史,可以追溯到上个世纪。早期,由于技术和设备的限制,检测以人工检测方法为主,其需要具有经验的专业技术人员通过步行或者乘坐行驶缓慢的检测车,通过人眼观察和人工测量来统计路面破损情况,测试效率和精确度一直难令人满意[20]。早期的路面检测系统基于摄影技术与视频技术,通过胶片与磁带实现图像存储[21-22]。随着计算机图像处理技术与传感器技术的不断发展,基于图像处理[23]、雷达技术[24]与震动信号[25]的检测设备与方法崭露头角。商业化的路面检测系统于90年代在国外开始大量涌现[26-28],国内从上世纪90年代中后期开始引进路面缺陷检测系统,它利用车载摄像头采集路面图像,由图像处理软件系统处理和识别路面缺陷但是进口设备价格昂贵,难以满足我国广大市场需求。随着先进传感器、多样采集设备以及信息处理技术的快速发展,路面缺陷检测迎来突破,国外学者将线阵摄像头,红外成像相机,三维激光技术应用到路面检测领域,取得了比较好的检测效果[29-34]。国内研究单位针对国情,探索符合国内道路的智能检测系统,并取得了一些成果[35-39]。

路面缺陷检测方法从单一黑白图像到复杂多色彩图像融合检测,数据采集从二维图像到三维图像或激光点云数据,经历了漫长的发展过程。早期的路面缺陷检测系统检测方法基于传统图像处理技术。Chua等[40]介绍了新墨西哥大学开发的自动路面缺陷检测系统,该原型系统采用了一台8 mm摄像机,一个图像数字化板和一台486个人微型计算机,能够自动识别纵向、横向、对角线等分布裂缝,该系统在沥青路面裂缝检测的准确率超过85%,在水泥路面超过90%。为了应对路面影像斑点噪声强,路面裂缝对比度低、连续性差等特点,李清泉等[41]提出了一种基于最小代价路径搜索的路面裂缝检测方法,该方法将裂缝提取问题转化为格状图顶点之间最小代价路径搜索的问题,实现裂缝种子点的生长和连接,并最终提取裂缝,实验结果表明所提方法具有较高的精度和效率。为了提高图像抗噪性能,杨洋[42]提出了基于改进差分计盒维数法的路面裂缝图像分割方法,该方法先通过灰度化和灰度投影曲线判断裂缝类型,缩小图像后使用对数变换增强图像并去噪,实验证明该方法分割效果好,裂缝提取准确。Sari等[43]讨论了一种沥青路面裂缝分类和分割的自动化方法,利用支持向量机SVM(support vector machine)算法的分类方法和大津法的分割方法来对沥青路面裂缝进行分类,有效提高了整体检测准确度。张德津等[44]提出的基于空间聚集特征的沥青路面裂缝检测方法能够解决在大规模应用、复杂环境下存在的稳定性、可靠性和实时性问题,经过实验测试,该方法对不同类型的路面图像具有良好的检测性能,裂缝定位准确性达到95%以上,裂缝区域检测的完整性达到90%以上。除了傳统的图像处理技术,近年来随着人工智能的迅速发展,机器学习、深度学习等方法在图像处理领域取得了巨大的突破。通过多层神经网络的训练,能够学习到高级的图像特征,并在图像分类、目标检测等任务中取得了令人瞩目的结果。众多机构和学者将人工智能技术应用于路面缺陷检测中,研制了各型路面检测系统,提出了各类智能化检测方法[45-46]。目前,智能化检测车辆研制与基于深度学习理论的路面缺陷智能化检测方法成为了研究主流,新型的检测设备与大量技术方法涌现,本文接下来将对典型检测系统与部分热门研究方法进行阐述。

2 典型路面缺陷检测系统

路面缺陷检测系统根据不同的应用场景,会配置不同的传感设备。在高等级公路路面缺陷检测时,将会选用重型的自动检测车,在低等级公路缺陷检测时,一般采用人工巡检或轻量化检测系统。

2.1 重型道路状况智能检测系统

N-1型道路状况智能检测系统[47]由南京理工大学研制,是集人工智能、数字图像处理、模式识别、激光高速精密测距与断面扫描技术、地理信息系统及全球定位技术、道路工程、数据库、网络等技术于一体的路面智能检测车。为了准确的检测路面缺陷,必须对行驶过的全部路面完成图像采集与存储。获取路面全部图像后,利用自行研制的图像处理与分析算法、软件对获得的路面图像进行处理与分析,从中提取出路面缺陷信息。

ARAN多功能道路测试车[48]是加拿大Roadware公司生产的一种一体式、模块化、多测量平台的道路基础设施数据采集设备,用于在高速公路和一般公路上即时收集公路的信息资料,并进行计算机即时和线下处理。该系统使用多个角度的高分辨率相机来拍摄路面情况,CCD(charge-coupled device)技术可以直接将光学信号转换为数字信号,且图像采集速度高,所以ARAN系统可以在车速80 km/h的速度下完成。ARAN系统能够自动将检测到的路面缺陷进行分类,并鉴定病害的严重程度。

Pathway公司多功能路面检测车[49]采用了先进的三维路面缺陷采集系统。检测车配备先进的计算机系统,传感器及数字图象处理系统,可以用来进行高速有效的数据采集和路面的图像视频采集。该系统可以以低成本短时间获得高质量的检测数据。

2.2 轻量化路面质量检测系统

ZOYON-RTM智能道路检测系统[50]是武大卓越研制的公路路况快速检测系统。系统以中小型SUV(sport utility vehicle)为载车平台,不仅可满足低等级农村公路路面缺陷、路面平整度指标的检测,同时支持路面车辙、路面构造深度、路面跳车、路面磨耗等检测指标系统的拓展。装备高速线扫描三维测量传感器,在0~100 km/h速度,实现横向1 mm间距,纵向3 mm间距的路面三维点云数据采集。

中公高科研发的CiCS-IV农村公路路况检测系统[51],车辆载体采用越野底盘,可以在比较恶劣的农村公路路段从事检测任务,可检测平整度、路面缺陷、GPS和前方景观等指标。

HiScan-R轻量化三维激光移动测量系统集成三维激光扫描设备、卫星定位模块、惯性导航装置、车轮编码器、全景相机、总成控制模块和高性能板卡计算机等,可实时采集点云数据及全景影像。方便安装于汽车、沙滩车、船舶或其它移动载体。在移动过程中可轻松完成矢量地图数据、街景数据和三维地理数据的生产处理。

同陸云农村公路养护监测系统具有低成本、高精度的特点,其真实有效的采集上传机制能较好融入农村公路检测评价体系。其可实现路面缺陷智能识别、以及对路面状况、沿线设施技术状况等各种指标的检测评定。

RIEGL VMX-2HA是一套高速、高性能的双激光雷达移动测图系统,即便是在高速公路上行驶依然可提供极高的点密度和精度,以及丰富的属性信息。系统由两个高精度激光雷达传感器和一个高性能INS/GNSS单元组成,这些传感器被安装在一个按空气动力学制作的保护罩内。相机接口最多可支持九台相机,精确的地理参考影像能够和激光雷达数据相互补充。

目前,市场上的路面缺陷检测系统主要为重型检测车辆与轻量化检测平台。重型巡检车辆价格昂贵,难以普及,不适合农村道路的日常巡检。轻量化智能路面缺陷检测系统国内外产品各有特色,其检测质量不仅与产品硬件相关,更取决于各厂家的路面缺陷识别算法。国外厂家多采用模块化的移动测量平台,集成多种传感器,是一种值得借鉴的方式。然而,国外移动测量平台价格较贵,限制了其在国内的普及。

3 路面缺陷智能检测方法

基于传统图像处理方法的路面缺陷检测技术在简单背景下检测效果较好,但在一些诸如油 渍、阴影和异物等复杂背景下检测效果依然不佳。随着深度学习的发展,各种目标检测网络被用于道路缺陷检测领域,能够挖掘出更深层次的特征,在很大程度上滤除复杂背景带来的影响,成为了道路缺陷检测领域的主流趋势。下面重点阐述基于各类深度学习网络的路面缺陷检测方法的研究进展。

3.1 区域卷积神经网络R-CNN检测方法

R-CNN(region-based convolutional neural networks)是一种基于卷积神经网络的目标检测算法。R-CNN算法通过将输入图像分成多个候选区域,然后对每个区域进行特征提取和分类,来识别图像中的目标物体。它提供了一种有效的方法来处理具有复杂背景和多个目标物体的图像,并且在准确性和鲁棒性方面都有显著的改进。由于R-CNN算法的成功,后续研究引入了诸多改进的版本,如Fast R-CNN、Faster R-CNN和Mask R-CNN等,进一步提升了目标检测的性能[52]。

在路面缺陷检测方法方面,R-CNN的应用取得了不错的效果。Nie等[53]通过转移学习方法,利用基于Faster R-CNN的路面缺陷检测网络的子网络改善检测性能,取得了较好的检测结果。而Kortmann等[54]也利用了Faster R-CNN方法,通过预训练模型实现了对不同类型的道路缺陷的自动检测。为了进一步提高检测精度,孙朝云等[55]提出了一种基于改进的Faster R-CNN的路面灌封裂缝检测方法,将多个网络的特征提取层与Faster R-CNN模型结合,取得了较好的检测精度,并且通过增加候选框宽高比的方法进一步改进了模型,提高了检测精度和定位效果。为了减弱外界环境影响,Chen等[56]采用了高斯混合模型和Faster R-CNN相结合的方法进行路面裂缝检测,该方法不受光照条件影响具有较好鲁棒性。Kumar等[57]提出了一种基于深度学习模型的混凝土损伤多类实例分割方法,利用Mask R-CNN模型实现了对混凝土损伤的精确定位和分割,并取得了良好的分类和定位效果。进一步,杨微[58]提出了一种基于优化的Faster R-CNN算法,通过引入序列特征方法改进了路面裂缝识别算法的精度,并通过网络优化提高了识别速度。Fujita等[59]系统评估了四种基于Mask R-CNN的路面缺陷检测模型在检测任务中的性能,并尝试采用一种替代的度量计算方法来改进结果。毛莺池等[60]通过引入多源自适应平衡TrAdaBoost的迁移学习方法解决了路面裂缝样本不足的问题,并在裂缝图像检测任务中取得了较好的效果。李太文等[61]采用了基于Faster R-CNN的方法进行道路裂缝识别,并取得了较好的识别精度。在识别精度进一步提升方面,Zhang等[62]提出了一种基于实例分割的自动像素级裂缝检测网络,实现了端到端的像素级裂缝检测,并在公开数据集上取得了较好的检测结果。晏班夫等[63]提出了一种基于Faster R-CNN和形态法的路面缺陷识别方法,通过调整缺陷框像素面积和置信度阈值降低误检率,并取得了较好的效果。类似,徐观亚[64]提出了一种结合Faster R-CNN和形态法的路桥表观病害识别系统,能够高效率和高精度地识别路桥表观病害。综上所述,基于R-CNN的路面缺陷检测方法大致分为两类,一类是通过对R-CNN网络本身进行改进,另一类将其他模型、方法融入R-CNN网络提高检测精度。然而,农村公路路况复杂,如何利用R-CNN实现检测实时化还有待进一步研究。

3.2 单次多框检测器SSD方法

SSD(single shot multi box detector)是一种常用的目标检测算法,它通过在不同尺度的特征图上同时预测不同大小的边界框和类别概率来实现实时目标检测。SSD算法具有快速和准确的特点,因此在许多计算机视觉领域得到广泛应用,如目标检测、行人检测和人脸检测等[65]。

杨婧[66]基于SSD路面破损图像目标检测模型,提出了一种基于特征金字塔模型的改进算法来改善SSD网络对小目标的检测效果,并设计了一种融合感受野模块(receptive field block,RFB)的改进算法,来提高路面破损检测网络的特征提取能力,提升路面破损检测精度。为了提升SSD的检测速率,王博等[67]提出了一种轻量级的SSD道路裂缝检测算法,旨在提高检测的速度和精度,并将主干特征提取网络改进为轻量级的MobileNet网络,通过特征金字塔进行融合,实验结果表明,该算法在精度和速度方面优于YOLOv3算法和原始的SSD算法,并且更适合在嵌入式设备上部署。类似,赵雪寒等[68]提出了一种基于改进SSD模型的路面病害图像检测系统,利用梯度下降Sobel算子优化了SSD模型中的卷积网络层,突出了路面病害图像特征,并且设计了基于Jetson-Nano板载系统和基于GO语言的Tensorflow框架系统,实现了路面病害的检测和分类,实验证明,该系统在路面病害分类准确度方面比未改进的SSD模型提高了7.36%。另一方面,Yan等[69]基于不同公路路面的图像,提出了一种可变形SSD网络,实验证实可变形SSD模型优于YOLOv4和原始SSD模型,能在复杂环境中检测路面裂缝的类别和位置,为公路维护提供了重要的技术支持。为了进一步提高检测的速度和精度,李鹏程[70]提出了一种基于图像预处理和数据增强的改进型SSD算法,该算法能改善裂缝图像的质量,提高检测准确率和速度,为路面裂缝检测提供了新的方法和数据支持。同时,韦正璐等[71]通过替换SSD网络的一些层以及使用空洞卷积来扩大感受,能有效提高路面破损的识别速度并提升识别效率。为了使模型具有更多的检测类别和更高的准确性,李想等[72]提出了一种基于深度学习SSD的裂缝检测识别方法,通过代表性裂缝数据集制作,以及大量典型的裂缝图片的训练,裂缝识别系统识别精度可以达到95%以上,并具有普适性,可以应用于实际的裂缝识别任务。在轻量化方面,Hou等[73]提出了一种轻量级的迁移学习方法,并将其与MobileNet和MobileNet-SSD等轻量级模型结合,用于识别和检测混凝土桥梁裂缝,实验结果表明,该方法在分类和检测任务中的性能较好,具有在智能交通基础设施维护中的实际应用潜力。综上可知,SSD方法具有较快的检测速度,适合一些注重实时化检测的场景,但是目前SSD系列算法检测精度相较于Faster R-CNN仍然处于下风,还有进一步提升空间。

3.3 YOLO目标检测方法

YOLO(you only look once)目标检测算法是一种实时目标检测算法。与传统的目标检测算法相比,YOLO算法具有更快的处理速度以及更高的准确率。YOLO算法的核心思想是将目标检测问题转化为一个回归问题,并将整个图像分割成一个固定大小的网格,每个网格预测一个确定数量的边界框和类别概率。通过使用卷积神经网络(convolutional neural networks, CNN)來进行预测,YOLO算法能够在一次前向传播的过程中同时完成目标的位置和类别的预测[74]。

近年来,由于其高效的检测效率和精度,许多研究人员开展了基于YOLO检测算法的的路面缺陷检测方法研究。吕坚[75]比较了YOLO系列算法和Mask R-CNN算法在路面裂缝检测上的性能,并发现改进的Mask R-CNN算法具有较高的准确率和召回率,通过特征提取和分类模型构建来评估路面破损程度。通过对YOLOv3网络模型深入研究,王成[76]提出了基于YOLOv3网络和OpenCV的路面裂缝检测方法,通过多尺度分析和图像处理,提高了裂缝检测的准确率。陈旭丹等[77]提出了一种基于YOLO模型的沥青路面病害识别方法,通过无缝360°环视影像拼接和YOLOv3网络检测路面破损,并取得了较高的检测准确率。邓涵宇[78]结合深度学习和多尺度方法,利用YOLOv3网络进行快速裂缝识别,并通过图像处理和裂缝区域的识别和提取实现了有效的裂缝检测。Hamed等[79]使用深度学习方法开发了新的沥青路面状况指标,提高了路面状况评估的准确性。王勇[80]以YOLOv3为基础,提出了一种基于车载360°环视影像和深度神经网络的路面坑塘与裂缝检测方法,实现了对路面病害的自动检测。王凯杰[81]通过改进YOLOv3算法,提高了路面病害的检测准确率。文献[82-83]利用YOLOv3网络模型,成功地使用深度学习算法对探地雷达图像进行处理,能有效检测出隐藏的裂缝。姜烊[84]以YOLOv3模型为基础,通过增加网络深度和引入注意力机制等方法,提高了混凝土裂缝的识别分类精度和定位精度。Zhang等[85]提出了基于多级注意力机制的公路路面病害检测方法,将MLAB(multi- level attention block)融入到YOLOv3模型中,有效提高YOLOv3模型的准确率。YOLOv4遵循 YOLOv3的基本网络架构,但使用先进的方法技巧对局部进行了修改,Zhang等[86]基于YOLOv4网络提出了一种弱监督高分辨率图像裂缝检测网络,极大降低了数据集制作的成本与难度。余俊英[87]以YOLOv4为基础,通过引入可变形卷积以及自适应空间特征融合,提出改进YOLOv4算法,该算法在检测精度上与Faster R-CNN算法相当,但检测速度优于Faster R-CNN算法,可以实现对公路路面病害的准确、快速检测。Yang等[88]利用数字图像处理和深度学习技术提出了基于改进YOLOv4网络检测模型的路面裂缝定位和分割算法,该算法提高了路面缺陷图像的质量,增强了裂缝的识别和定位能力,减少了计算量,提高了裂缝轮廓提取的精度,为公路裂缝检测提供了一种新的解决方案。YOLOv5采用PyTorch 编译,其模型使用的灵活性和生产效率相对较高。李鑫[89]基于YOLOv5算法提出了一种基于深度学习的公路路面裂缝检测方法,具备准确检测复杂背景下的裂缝图像的能力。孙伟凯[90]提出了一种基于YOLOv5模型的公路路面裂缝检测方法,实验结果表明,该算法对复杂背景下的路面裂缝识别和定位、裂缝分类都取得不错的效果。Shu等[91]基于街景图像,提出了一种基于YOLOv5网络的公路路面裂缝检测方法,该方法具备良好的检测效果和较快的检测速度。梁槚[92]在YOLOv5中引入轻量化网络MobileNet 2,设计出适用于沥青路面病害图像检测的轻量化模型YOMobile。仝泽兴等[93]提出了基于YOLOv5和PSPnet的裂缝检测分割算法,通过添加MLAB和使用PSPnet进行像素级分割,实现了较高的检测和分割精度。Wang等[94]提出了一种改进的YOLOv5模型,该模型结合视觉转换器(vision transformer, ViT),可以计算图像区域的关注权重,并通过权重形成新的特征映射,提高了模型的速度和精度。YOLO系列算法属于一步算法,初始算法在识别精度上由于传统SSD算法,在检测速度上优于R-CNN算法,并且自YOLOv3算法提出以来,SSD算法的速度优势正在逐渐消失。然而YOLO系列算法对检测目标的定位能力还有待加强,路面缺陷定位是路面检测的重要指标之一。

3.4 基于Transformer的检测方法

Transformer使用Self-Attention结构取代了在NLP任务中常用的RNN网络结构。相比RNN网络结构,其最大优点是可并行计算[95]。相比于传统的CNN模型,基于Transformer的视觉检测模型具有更好的建模能力,可以捕捉图像中的长距离依赖关系,也可以更灵活地处理不同尺度的特征,使得模型对尺度变化更加稳健。然而,由于Transformer模型的参数量较大,训练和推理过程的计算成本也相应增加[95-96]。

近年来,基于Transformer网络模型的路面裂缝检测方法成为研究热点。Xu等[96]提出了局部增强Transformer网络(LETNet),通过设计卷积和局部增强模块来补偿局部特征,并使用跳线连接策略和上采样模块来恢复详细信息,实验结果表明LETNet在效率和准确性上胜过传统Transformer模型。刘军等[97]介绍了基于Transformer的端到端路面裂缝检测方法,通过设计Crack Net和Crack Former Net来检测和评估路面裂缝,同时提出了裂缝严重程度评估方法。陈虹嘉[98]研究主要聚焦于激光线扫描数据的路面纹理分析,通过分析路面高程数据并引入Transformer结构进行纹理识别,实验结果表明该方法能有效地提取和评价路面纹理。Xiao等[99]提出了基于混合窗口注意力视觉Transformer的道路裂缝检测方法,通过设计卷积干扰和局部增强模块来恢复详细信息,开发缺陷修正模块来增强对困难样本的识别。Guo等[100]提出了基于Transformer的道路裂缝检测方法,利用Swin Transformer作为编码器和解码器,能够自动检测长而复杂的道路裂缝,实验证明其能有效增强裂缝检测性能。许正森等[101]提出了多尺度特征增强Transformer网络,通过注意力、多尺度特征增强、上采样和跨连接构建实现高效检测,实验结果显示其速度和准确性均优于DeepCrack模型。杨泽[102]提出了一种基于Transformer的裂缝图像分割模型Crack TUNet,通过预处理、分类和分割等步骤,有效地检测和分割路面裂缝。Guo等[103]提出了一种基于Transformer的语义分割网络,该网络将Swin-Transformer作为编码器,将基于注意力机制的UperNet作为解码器,通过学习全局和长距离语义特征,获取更多细节信息来实现精确的像素级路面裂缝检测,实验结果表明在视觉化和评估指标上表现最佳,为未来基于Transformer的自动路面裂缝检测奠定了基础。Lin等[104]提出一种替代的序列到序列的角度与变压器网络Transrack,该方法通过裂缝块网格和位置嵌入来实现特征恢复和像素级预测,实验证明该方法在损伤检测和剖面提取方面具有明显优势。Sun等[105]设计了一种基于卷积特征与序列特征融合的轻型检测框架(pavement crack detection transformer,PCDETR),并提出了一种高效的路面裂缝检测方法,该方法采用Swin-Transformer和残差网络提取全局和局部特征,通过集合预测获得裂缝位置和类别,达到高效检测。李海丰等[106]提出了基于机场跑道的裂缝分割网络,利用自注意力、轴向注意力和可变形卷积提取裂缝的局部和全局特征,并通过Transformer Decoder还原特征图尺寸和融合不同尺度的分割结果。Chen等[107]提出的LECSFormer是一种精细化道路裂缝检测方法,利用Transformer块建模长程依赖关系,并使用密集连接和通道注意力机制融合和加权多尺度信息,其可以准确检测路面裂缝,支持道路的智能预防性维护。Guo等[108]提出一种改进型Transformer算法,该算法通过引入图像梯度和视觉Transformer提高边界精度,并使用多头注意力机制增强裂缝分割网络对Patch之间关系的感知能力,具有较好的裂缝边界识别性能。Mehajabin等[109]利用卷积神经网络和视觉Transformer模型,研究了道路劣化检测问题,实验结果表明Swin- Transformer模型在准确性和识别速度方面表现最优。Yu等[110]提出了自动化道路裂缝检测方法,利用视觉Transformer和多头交叉注意力提取裂缝特征,并融合语义信息以提高精度,实验证明在公共和自建数据集上具有较好检测效果。Fang等[111]提出了一种基于外部注意力的裂缝检测网络TransUNet,能有效缓解阴影、噪声等负面因素的干扰。Xing等[112]通过增加Swin-Transformer和BIFPN特征金字塔网络来改进YOLOv5模型的裂缝检测效果。Liu等[113]提出了一种Crack Transformer网络,用于细粒度裂缝检测,其通过自注意力模块和缩放注意力模块来改善检测性能。Wang等[114]介绍了基于Transformer的沥青路面裂缝图像筛选方法,通过引入ViT方法进行自动分类,实验结果表明在沥青复合路面数据集上具有较好的分类效果。Jin等[115]提出了一种联邦迁移学习和无监督学习的裂缝检测方法,该方法使用带有Transformer的FedCrack模型进行预训练,并通过无标签数据进行联邦迁移学习,其在裂缝分割上表现出色。Xiang等[116]利用Transformer模块来改善YOLOv5网络的裂缝检测性能,在印度、捷克和日本的沥青路面数据集上取得了较好的检测效果。Transformer目标检测方法引入了自注意机制,无需进行卷积操作,具有直接预测检测框和类别的优点,在路面缺陷检测领域崭露头角。目前基于Transformer路面检测研究大多聚焦于改善路面缺陷检测和分割效果提升方面,并未解决该方法训练收敛慢、对小目标检测性能较差等问题,这将会限制Transformer方法在路面检测领域的进一步发展。

综上所述,基于各类网络模型的智能化路面缺陷检测方法(表1)在准确性和效率方面相较传统图像处理方法取得了显著的进展,为未来的道路维护和安全提供了重要的技术支持。

4 路面缺陷智能化检测的发展趋势

目前路面缺陷检测相关理论验证充分,部分关键技术取得突破,但总体而言,现有路面缺陷检测系统离满足实际应用需求还存在差距,主要存在如下瓶颈问题。

1) 指标稳健度不高。现有的路面检测系统大多基于单模态采集数据进行路面缺陷检测,检测性能指标主要取决于该模态数据质量的优劣。这将导致检测系统抗干扰能力较差,检测性能不稳定。

2) 环境适应性不强。道路路面情况复杂多变,阴影、水污、油渍等严重影响系统的识别效果;同时纵向、横向裂缝,坑洼,龟裂,破碎等路面缺陷分类效果不明显。

3) 智能化算法稳健度不高。随着人工智能技术的迅速发展,路面缺陷检测系统在各类网络模型的加持下,缺陷识别无需人为判断,但是路面场景的转换、干扰因素的加入会导致系统识别率急剧下降,缺乏稳健的智能处理手段。

为突破路面缺陷检测系统面临的环境适应性、设备普及性和智能化处理等瓶颈问题,可以归纳总体如下三个方向的发展趋势。

4.1 面向多模传感器数据的信息融合技术

智能路面缺陷检测系统集成了多个传感器子系统,每种模态的传感器都有其优点和缺点,如相机只能测量2D图像,且容易受光照和夜晚的影响;激光雷达获取的3D点云较为稀疏,而且在长走廊、隧道以及开阔场景中容易发生退化;GPS测量极易受到环境的干扰;每种模态的传感器只能在适当的环境中发挥积极的作用。因此,以适当的方式融合多种模态的测量数据,通过优势互补,使检测系统能够在各种挑战性环境下持续输出鲁棒且精确的测量结果,完成对路面场景的精确重建与定位,是非常有价值和应用前景的研究方向。

4.2 面向多场景的快速巡检轻量化设备

目前,轻量化路面巡检设备大多由工业相机、导航设备等轻量化传感器复合组成,对设备定制开发程度不深,数据采集时需要具备良好、稳定的光照环境,且数据采集过程中车辆需要匀速、平稳行驶,难以应付突发情况。从公开文献报道来看,大部分研究都集中在轻量化检测算法和网络模型研究领域,面向多场景定制化的车载路面巡检轻量化系统报道较少。整体而言,该领域当前正处于发展阶段。

4.3 面向路面健康的稳健智能算法

传统的图像处理算法多基于边缘检测等经典算法对预处理后的图像进行目标识别,由于算法本身的局限性其图像识别精准度并不高,对于路面异常的误识别较多,且面对大体量的路面数据时处理效率偏低,一些基于深度学习技术的网络模型虽能提高识别精度,提高识别效率,但是模型的迁移性不佳,难以适应复杂多变的路面状况。利用多技术手段对采集数据进行清洗、提炼、挖掘,通过研究深度神经网络算法的深层机理,在不断的迭代升级中逐步替代人工识别,降低主观影响,提高数据的准确性以及模式的自动化是未来重要研究方向。

5 结束语

农村公路具有线路多、里程长、分布广、密度大等特点,随着运营时间不断累积,道路的路面质量优劣、是否平整直接关系到行车安全、驾驶舒适,每年因道路路面损坏造成的交通事故不胜枚举。路面行驶质量检测对于道路养护是一项非常重要的工作,已成为农村公路建设发展的首要问题。传统作业模式工作效率低下,无法满足公路日常性养护,导致公路养护部门无法全面、及时、准确地掌握所在辖区内的公路技术状况,这给科学制定养护计划带来了较大的困难。路面缺陷智能化检测系统基于多传感器硬件资源,结合以人工智能技术为驱动的智能化处理思路以及多模信息融合思想可以较好满足道路养护需求。

目前基于人工智能技术的路面缺陷检测系统正处于高速发展阶段,我国应当充分借鉴国外的研究成果,立足我国现有国情,在现有技术基础上,联合高校、科研机构、工业部门以及应用行业,发挥各自优势资源,在需求牵引下攻克难点,扬长避短开辟更为广阔的研究与应用空间。

参考文献:

[1] WANG K C P. Elements of automated survey of pavement and a 3D methodology[J]. Journal of Modern Transportation,2011,19(1):51-57.

[2] ISMAIL N,ISMAIL A B,RAHMAT R A,et al. Development of expert system for airport pavement maintenance and rehabilitation[J]. European Journal of Scientific Research,2009,35(1):121-129.

[3] 马常霞,赵春夏,胡勇,等. 结合NSCT和图像形态学的路面裂缝检测[J]. 计算机辅助设计与图形学学报,2009,21(12):1761-1767.

MA C X,ZHAO C X,HU Y,et al. Pavement cracks detection based on NSCT and morphology[J]. Journal of Computer-Aided Design & Computer Graphics,2009,21(12):1761-1767.

[4] 李保險. 基于路面三维图像的沥青路面裂缝自动识别算法[D]. 成都:西南交通大学,2013.

LI B X. Algorithm design of classification and extraction of asphalt pavement crackings using pavement 3D images[D]. Chengdu:Southwest Jiaotong University,2013.

[5] 齐永康. 基于MobileNet与YOLOv3的路面障碍检测轻量化算法[J]. 计算机系统应用,2022,31(2):176-184.

QI Y K. Lightweight algorithm of road obstacle detection based on MobileNet and YOLOv3[J]. Computer System & Application,2022,31(2):176-184.

[6] 左永霞. 路面破损智能检测系统的关键技术研究[D]. 吉林:吉林大学,2013.

ZUO Y X. Research on the key technology of intelligent detection system for pavement distress[D]. Jilin:Jilin University,2013.

[7] SHON H,CHO C S,BYON Y J,et al. Autonomous condition monitoring-based pavement management system[J]. Automation in Construction,2022,138:104222.

[8] KHEIRATI A,GOLROO A. Low-cost infrared-based pavement roughness data acquisition for low volume roads[J]. Automation in Construction,2020,1119:103363.

[9] GUO D B,YANG G H,QI B L,et al. A fast ground segmentation method of LiDAR point cloud from coarse-to-fine[J]. IEEE Sensors Journal,2023,23(2):1357-1367.

[10] 鐘棉卿. 基于移动激光雷达数据的路面状况检测方法研究[D]. 西安:长安大学,2020.

ZHONG M Q. Research on methods of pavement condition survey using mobile laser scanning data[D]. Xi′an:Chang′an University,2020.

[11] QU Z,CHEN W,WANG S Y,et al. A crack detection algorithm for concrete pavement based on attention mechanism and multi-fuatures fusion[J]. IEEE Transactions onIntelligent Transportation Systems,2022,23(8):11710-11719.

[12] YAO H,LIU Y H,LI X,et al. A detection method for pavement cracks combining object detection and attention mechanism[J]. IEEE Transactions on Intelligent Transportation Systems,2022,23(11):22179-22189.

[13] LIU H J,YANG J,MIAO X Y,et al. Crack former network for pavement crack segmentation[J]. IEEE Transactions on Intelligent Transportation Systems,2023,24(9):9240-9252.

[14] MA D,FANG H Y,WANG N N,et al. Automatic detection and counting system for pavement cracks based on PCGAN and YOLO-MF[J]. IEEE Transactions on Intelligent Transportation Systems,2022,23(11):22166-22178.

[15] DU Y C,ZHONG S,FANG H Y,et al. Modeling automatic pavement crack object detection and pixel-level segmentation[J]. Automation in Construction,2023,150:104840.

[16] LI Y S,LIU C L,GAO Q,et al. Con track distress dataset:A continuous observation for pavement deterioration spatio-temporal analysis[J]. IEEE Transactions on Intelligent Transportation Systems,2022,23(12):25004-25017.

[17] 陈伟华. 基于卷积神经网络的路面裂缝检测研究[D]. 广州:广东工业大学,2022.

CHEN W H. Research on pavement crack detection based on convolution neural network[D]. Guangzhou: Guangdong University of Technology,2022.

[18] DONG H W,SONG K C,WANG Y Y,et al. Automatic inspection and evaluation system for pavement distress[J].

IEEE Transactions on Intelligent Transportation Systems,2022,23(8):12377-12387.

[19] ZHOU W,ZHAN Y F,ZHANG H C,et al. Road defect detection from on-board cameras with scarce and cross-domain data[J]. Automation in Construction,2022,144:104628.

[20] AMERICAN ASSOCIATION OF STATE HIGHWAY AND TRANSPORTATION OFFICIALS(AASHTO). AASHTO guide for design of pavement structures[M]. Washington,D.C.:AASHTO,2002.

[21] 啜二勇. 国外路面自动检测系统发展综述[J]. 交通标准化,2009,204:96-99.

CHUO R Y. Review on the development of automatic pavement detection system abroad[J]. Transportation Standardization,2009,204:96-99.

[22] KIMJ Y. Development of new automated crack measurement algorithm using laser images of pavement surface[D].Iowa:The University of Iowa,2008.

[23] TOSHIHIKO F,KEIJI T,MAKOTO N,et al. Automatic pavement distress survey system[J]. Journal of Transportation Engineering,1990,116(3):280-286.

[24] 梁昌華. 浅议路面雷达在路面无损检测中的应用[J]. 中国科技财富,2011(3):140.

LIANG C H. Briefly discuss the application of road radar in road nondestructive testing[J]. China Science and Technology Fortune Magazine,2011(3):140.

[25] 孙江伟. 基于车载移动设备震动信号的路面缺陷检测[D]. 北京:北京交通大学,2022.

SUN J W. Pavement defect detection based on vehicle-mounted mobile devices vibration signal[D]. Beijing:Beijing Jiaotong University,2022.

[26] KELVIN C P W. Designs and implementations of automated systems for pavement surface distress survey[J]. Journal of Infrastructure Systems,2000,6(1):24-32.

[27] SJOGREN L,OFFRELL P. Automatic crack measurement in sweden[C]//Nantes:4th International Symposium on Pavement Surface Characteristics on Roads and Airfields,2000.

[28] MONTI M. Large-area laser scanner with holographic detector optics for real-time recognition of cracks in road surfaces[J]. Optical Engineering,1995,34(7):2017-2023.

[29] PYNN J,WRIGHT A,LODGE R. Automatic identification of cracks in road surfaces[C]//Manchester:7th International Conference on Image Proceeding and its Application,1999.

[30] RIEHM M,GUSTAVSSON T,BOGREN J,et al. Ice formation detection on road surfaces using infrared thermometry[J]. Cold Regions Science and Technology,2012,83/84:71-76.

[31] YANG B S,LIU Y,DONG Z,et al. 3D local feature BKD to extract road information from mobile laser scanning point cloud[J]. ISPRS Journal of Photogrammetry and Remote Sensing,2017,130:329-343.

[32] KWANG K C P,GONG W G. Real-time automated survey system of pavement cracking in parallel environment[J]. Journal of Infrastructure Systems,2005,11:154-164.

[33] FUJITA Y,HAMAMOTO Y. A robust method for automatically detecting cracks on noisy concrete surfaces[J]. Lecture Notes in Computer Science,2009,5579:76-85.

[34] MA W H,DONG T,TIAN H,et al. Line-scan CCD camera calibration in 2D coordinate measurement[J]. Optik,2014,125(7):4795-4798.

[35] 王鑫,唐振民. 一种新的自动路面车辙检测方法[J]. 计算机工程与应用,2008,44(10):246-248.

WANG X,TANG Z M. A new method for automatic road rut detection[J]. Computer Engineering and Applications,2008,44(10):246-248.

[36] 李清泉,毛庆洲. 车载道路快速检测与测量技术研究[J]. 交通信息与安全,2009,27(1): 7-10.

LI Q Q,MAO Q Z. Land-borne pavement rapid test and measurement[J]. Journal of Transport Information and Safety,2009,27(1):7-10.

[37] 张全升,谷乾龙,王鹏越. 基于三维一体化公路病害检测方法的病害决策支持系统研究[J]. 公路交通科技,2006,9:42-46.

ZHANG Q S,GU Q L,WANG P Y. Research on disease decision support system based on 3D integrated highway disease detection method[J]. Journal of Highway and Transportation Research and Development,2006,9:42-46.

[38] 贺安之. 比奇激光三维路面检测系统之优势[J]. 中国公路,2005,16:94-95.

HE A Z. Advantages of Biqi Laser 3D pavement detection system[J]. China Highway,2005,16:94-95.

[39] 章秀华,洪汉玉,侯佳,等. 路面破损图像实时检测方法研究[J]. 电子设计工程,2009,17(6):36-40.

ZHANG X H,HONG H Y,HOU J,et al. Research on real-time detection method for pavement surface distress image[J]. Electronic Design Engineering,2009,17(6):36-40.

[40] CHUA K M,XU L. Simple procedure for identifying pavement distresses from video images[J]. Journal of Transportation Engineering,1994,120(3):412-431.

[41] 李清泉,鄒勤,毛庆洲. 基于最小代价路径搜索的路面裂缝检测[J]. 中国公路学报,2010,23(6):28-33.

LI Q Q,ZOU Q,MAO Q Z. Road crack detection based on minimum cost path search[J]. China Journal of Highway and Transport,2010,23(6):28-33.

[42] 杨洋. 基于分形维数的路面裂缝图像分割方法研究[D].西安:长安大学,2014.

YANG Y. Research on road crack image segmentation method based on fractal dimension[D]. Xi′an:Chang′an University,2014.

[43] SARI Y,PRAKOSO P B. Road crack detection using support vector machine and OTSU algorithm[C]//Bali:2019 6th International Conference on Electric Vehicular Technology(ICEVT),2019.

[44] 张德津,李清泉,陈颖,等. 基于空间聚集特征的沥青路面裂缝检测方法[J]. 自动化学报,2016,42(3):443-454.

ZHANG D J,LI Q,CHEN Y,et al. Asphalt pavement crack detection method based on spatial aggregation features[J]. Acta Automatica Sinica,2016,42(3):443-454.

[45] FEI Y,WANG K C P,ZHANG A,et al. Pixel-level cracking detection on 3D asphalt pavement images through deep-learning-based crack Net-V[J]. IEEE Transactions on Intelligent Transportation Systems,2020,21(1):73-284.

[46] SONG W D,JIA G H,JIA D,et al. Automatic pavement crack detection and classification using multiscale feature attention network[J]. IEEE Access,2019,7:171001-171012.

[47] 赵春霞,唐振民,杨静宇,等. N-1型道路状况智能检测系统[C]//广州:中国人工智能学会第十届全国学术年会,2003.

ZHAO C X,TANG Z M,YANG J Y,et al. N-1 style intelligent data gathering and processing system for the pavement surface detecting[C]//Guangzhou:10th National Academic Conference of Chinese Association for Artificial Intelligence,2003.

[48] 张显安. ARAN多功能检测车在路面检测中的应用及探讨[J]. 企业导报,2012,24:265-266.

ZHANG X A. Application and discussion of ARAN multifunctional detection vehicle in road surface detection[J].Cuide to Business,2012,24:265-266.

[49] 尚正强. PathRunner多功能检测车正“驶入”中国:访美国PSI(Pathway Services Inc.)公司董事长Rudy Blanco[J]. 中国公路,2007,10:74-75.

SHANG Z Q. PathRunner multifunctional detection vehicle is “entering” China-interview Rudy Blanco,president of PSI(Pathway Services Inc.) in the United States[J]. China Highway,2007,10:74-75.

[50] 馬建,孙守增,芮海田,等. 中国筑路机械学术研究综述·2018[J]. 中国公路学报,2018,31(6):1-164.

MA J,SUN S Z,RUI H T,et al. Overview of academic research on road construction machinery in China·2018[J]. Journal of China Highway,2018,31(6):1-164.

[51] 马玉静,魏然,马志才. 道路检测车在北京郊区公路检测评定中的应用[J]. 市政技术,2017,35(5):167-170.

MA Y J,WEI R,MA Z C. Application of road detection vehicle in beijing suburb highway[J]. Municipal Engineering Technology,2017,35(5):167-170.

[52] GIRSHICK R,DONAHUE J,DARRELL T,et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Columbus:2014 IEEE Conference on Computer Vision and Pattern Recognition,2014.

[53] NIE M,WANG K. Pavement distress detection based on transfer learning[C]//Nanjing:2018 5th International Conference on Systems and Informatics(ICSAI),2018.

[54] KORTMANN F,TALITS K,FASSMEYER P,et al. Detecting various road damage types in global countries utilizing faster R-CNN[C]//Atlanta:2020 IEEE International Conference on Big Data,2020.

[55] 孙朝云,裴莉莉,李伟,等. 基于改进Faster R-CNN的路面灌封裂缝检测方法[J]. 华南理工大学学报(自然科学版),2020,48(2):84-93.

SUN C Y,PEI L L,LI W,et al. Research on detection method of pavement sealing cracks based on improved Faster R-CNN[J]. Journal of South China University of Technology(Natural Science Edition),2020,48(2):84-93.

[56] CHEN D R,CHIU W M. Road crack detection using gaussian mixture model for diverse illumination images[C]// Melbourne:2020 30th International Telecommunication Networks and Applications Conference(ITNAC),2020.

[57] KUMAR P,SHARMA A,KOTA S R. Automatic multiclass instance segmentation of concrete damage using deep learning model[J]. IEEE Access,2021,9:90330-90345.

[58] 杨微. 用于路面裂缝识别的Faster R-CNN优化算法研究[D]. 哈尔滨:哈尔滨理工大学,2022.

YANG W. Research on the optimization algorithm of Faster R-CNN for pavement crack recognition[D]. Harbin:Harbin University of Science and Technology,2022.

[59] FUJITA H,ITAGAKI M,ICHIKAWA K,et al. Fine-tuned surface object detection applying pre-trained mask R-CNN models[C]//Bandar:International Conference on Computational Intelligence(ICCI),2020.

[60] 毛莺池,唐江红,王静,等. 基于Faster R-CNN的多任务增强裂缝图像检测方法[J]. 智能系统学报,2021,16(2): 286-293.

MAO Y C,TANG J H,WANG J,et al. Multi-task enhanced crack image detection method based on Faster R-CNN[J]. Journal of Intelligent Systems,2021,16(2):286-293.

[61] 李太文,范昕煒. 基于Faster R-CNN的道路裂缝识别[J].电子技术应用,2020,46(7):53-56.

LI T W,FAN X W. Road crack recognition based on Faster R-CNN[J]. Application of Electronic Technique,2020,46(7):53-56.

[62] ZHANG Y F,CHEN B,WANG J F,et al. APLCNet:Automatic pixel-level crack detection network based on instance segmentation[J]. IEEE Access,2020,8:199159-199170.

[63] 晏班夫,徐观亚,栾健,等. 基于Faster R-CNN与形态法的路面病害识别[J]. 中国公路学报,2021,34(9):181-193.

YAN B F,XU G Y,LUAN J,et al. Road surface disease recognition based on Faster R-CNN and morphological method[J]. China Journal of Highway and Transport,2021,34(9):181-193.

[64] 徐观亚. 基于Faster R-CNN与形态法的路桥表观病害识别[D]. 长沙:.湖南大学,2020.

XU G Y. Road and bridge surface disease recognition based on Faster R-CNN and morphological method[D].Changsha:Hunan University,2020.

[65] LIU W,ANGUELOV D,ERHAN D,et al. SSD:Single shot multi box detector[C]//Amsterdam: European Conference on Computer Vision,2016.

[66] 杨婧. 基于SSD的路面破损检测方法研究[D]. 武汉:武汉理工大学,2020.

YANG Q. Research on road surface damage detection method based on SSD[D]. Wuhan:Wuhan University of Technology,2020.

[67] 王博,李齐,刘皎. 一种轻量级的SSD道路裂缝检测算法[J]. 商洛学院学报,2022,36(4):83-90.

WANG B,LI Q,LIU J. A lightweight SSD road crack detection algorithm[J]. Journal of Shangluo University,2022,36(4):83-90.

[68] 赵雪寒,刘庆华. 改进SSD模型的路面病害图像检测系统[J]. 软件导刊,2020,19(11):217-220.

ZHAO X H,LIU Q H. An improved SSD model for road surface disease image detection system[J]. Software Guide,2020,19(11):217-220.

[69] YAN K,ZHANG Z H. Automated asphalt highway pavement crack detection based on deformable single shot multi-box detector under a complex environment[J]. IEEE Access,2021,9:150925-150938.

[70] 李鹏程. 基于深度学习的路面裂缝检测方法研究[D]. 沈阳:沈阳建筑大学,2022.

LI P C. Research on road crack detection method based on deep learning[D]. Shenyang:Shenyang Jianzhu University,2022.

[71] 韦正璐,王家晨,刘庆华. 基于改进SSD算法的路面破损检测[J]. 电子设计工程,2023,31(3):63-68.

WEI Z L,WANG J C,LIU Q H. Road damage detection based on improved SSD algorithm[J]. Electronic Design Engineering,2023,31(3):63-68.

[72] 李想,熊进刚. 基于深度学习SSD目标检测算法的混凝土结构裂缝识别[J]. 南昌大学学报(工科版),2021,43(1):43-51.

LI X,XIONG J G. Identification of concrete structure cracks based on deep learning SSD object detection algorithm[J]. Journal of Nanchang University(Engineering & Technology),2021,43(1):43-51.

[73] HOU Y,SHI H Y,CHEN N,et al. Vision image monitoring on transportation infrastructures:A lightweight transfer learning approach[J]. IEEE Transactions on Intelligent Transportation Systems(Early Access),2022:1-12.

[74] REDMON J,DIVVALA S,GIRSHICK R,et al. You only look once:Unified,real-time object detection[C]//Las Vegas:2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2016.

[75] 呂坚. 基于深度学习的路面裂缝检测方法研究及实现[D]. 南京:东南大学,2019.

LYU J. Research and implementation of road crack detection method based on deep learning[D]. Nanjing:Southeast University,2019.

[76] 王成. 基于深度学习与多尺度分析的路面裂缝检测的研究与应用[D]. 武汉:武汉理工大学,2019.

WANG C. Research and application of road crack detection based on deep learning and multi-scale analysis[D]. Wuhan:Wuhan University of Technology,2019.

[77] 陈旭丹,姜男,董丽娜,等. 基于深度学习YOLO模型的高原山区沥青路面病害自动识别[J]. 公路交通科技,2019,15(11):75-78.

CHEN X D,JIANG N,DONG L N,et al. Automatic identification of asphalt pavement diseases in plateau mountain areas based on deep learning YOLO model[J]. Highway Traffic Science and Technology(Applied Science Edition),2019,15(11):75-78.

[78] 邓涵宇. 基于多尺度与机器学习的路面裂缝图像高精度快速识别方法与应用[D]. 南京:东南大学,2020.

DENG H Y. High-precision and fast identification method and application of road crack images based on multi-scale and machine learning[D]. Nanjing:Southeast University,2020.

[79] HAMED M,YAW A G,WILLIAM G B. Deep machine learning approach to develop a new asphalt pavement condition index[J]. Construction and Building Materials,2020,247:118513.

[80] 王勇. 基于车载360°环视影像和深度神经网络的路面坑塘与裂缝检测[J]. 电气自动化,2020,42(4):99-102.

WANG Y. Road pothole and crack detection based on vehicle-mounted 360° surround view images and deep neural networks[J]. Electrical Automation,2020,42(4):99-102.

[81] 王凯杰. 面向路面病害检测的YOLO算法改进研究[D].武汉:华中科技大学,2020.

WANG K J. Research on improvement of YOLO algorithm for road surface disease detection[D]. Wuhan:Huazhong University of Science and Technology,2020.

[82] LI S W,GU X Y,XU X R,et al. Detection of concealed cracks from ground penetrating radar images based on deep learning algorithm[J]. Construction and Building Materials,2021,273:121949.

[83] 李树伟. 基于探地雷达和超声波法的路面无损检测技术研究[D]. 南京:东南大学,2021.

LI S W. Research on non-destructive testing technology of road surface based on ground penetrating radar and ultrasonic method[D]. Nanjing:Southeast University,2021.

[84] 姜烊. 混凝土裂縫图像识别算法的精度研究[D]. 重庆:重庆交通大学,2022.

JIANG Y. Accuracy study of concrete crack image recognition algorithm[D]. Chongqing:Chongqing Jiaotong University,2022.

[85] ZHANG Y C,ZUOZ W,XU X B,et al. Road damage detection using UAV images based on multi-level attention mechanism[J]. Automation in Construction,2022,144:104613.

[86] ZHANG R,SHI Y X,YU X Z. Pavement crack detection based on deep learning[C]//Kunming:33rd Chinese Control and Decision Conference(CCDC),2021.

[87] 余俊英. 基于YOLO的公路路面病害检测方法研究[D].南昌:华东交通大学,2022.

YU J Y. Research on highway pavement disease detection method based on YOLO[D]. Nanchang:East China Jiaotong University,2022.

[88] YANG Z,NI C S,LI L,et al. Three-stage pavement crack localization and segmentation algorithm based on digital image processing and deep learning techniques[J]. Sensors,2022,22(21):1-31.

[89] 李鑫. 基于深度学习的公路路面裂缝检测[D]. 武汉:华中科技大学,2021.

LI X. Road pavement crack detection based on deep learning[D]. Wuhan:Huazhong University of Science and Technology,2021.

[90] 孙伟凯. 基于深度学习的高分辨率图像裂缝检测研究[D]. 济南:山东大学,2021.

SUN W K. Research on high-resolution image crack detection based on deep learning[D]. Jinan:Shandong University,2021.

[91] SHU Z K,YAN Z Y,XU X H. Pavement crack detection method of street view images based on deep learning[C]//Journal of Physics:Conference Series. IOP Publishing,2021,1952(2):022043.

[92] 梁槚. 沥青路面裂缝智能化检测关键技术研究[D]. 南京:东南大学,2021.

LIANG J. Research on key technologies of intelligent detection for asphalt pavement cracks[D]. Nanjing:Southeast University,2021.

[93] 仝泽兴,雷斌,蒋林,等. 路面裂缝检测融合分割方法[J].无损检测,2023,45(1):1-7.

TONG Z X,LEI B,JIANG L,et al. Fusion segmentation method for road surface crack detection[J]. Nondestructive Testing,2023,45(1):1-7.

[94] WANG S K,CHEN X Q,DONG Q. Detection of asphalt pavement cracks based on vision transformer improved YOLOv5[J]. Journal of Transportation Engineering,Part B:Pavements,2023,149(2):563-575.

[95] VASWANI A,SHAZEER N,PARMAR N,et al. Attention is all you need[C]//Long Beach:31 st Conference on Neural Information Processing System(NIPS),2017.

[96] XU Z S,GUAN H Y,KANG J,et al. Pavement crack detection from CCD images with a locally enhanced transformer network[J]. International Journal of Applied Earth Observation and Geoinformation,2022,110(12):102825.

[97] 刘军,王慧民,张兴忠,等. 基于Transformer的端到端路面裂缝检测方法[J]. 太原理工大学学报,2022,53(6):1143-1151.

LIU J,WANG H M,ZHANG X Z,et al. End-to-end road crack detection method based on Transformer[J]. Journal of Taiyuan University of Technology,2022,53(6):1143-1151.

[98] 陈虹嘉. 基于激光线扫描数据的路面纹理分析研究[D].武汉:武汉大学,2022.

CHEN H. Research on road texture analysis based on laser line scanning data[D]. Wuhan:Wuhan University,2022.

[99] XIAO S Z,SHANG K K,LIN K,et al. Pavement crack detection with hybrid-window attentive vision transformers[J]. International Journal of Applied Earth Observation and Geoinformation,2023,116:1-11.

[100] GUO F,QIAN Y,LIU J,et al. Pavement crack detection based on transformer network[J]. Automation in Construction,2023,145:1-12.

[101] 许正森,雷相达,管海燕. 多尺度局部特征增强Transformer道路裂缝检测模型[J]. 中国图象图形学报,2023,28(4):1019-1028.

XU Z S,LEI X D,GUAN H Y. Multi-scale local feature enhanced Transformer model for road crack detection[J]. Journal of Image and Graphics[J]. 2023,28(4):1019-1028.

[102] 楊泽. 基于深度学习的路面裂缝提取关键技术研究[D].太原:太原理工大学,2022.

YANG Z. Research on key techniques of road crack extraction based on deep learning[D]. Taiyuan:Taiyuan University of Technology,2022.

[103] GUO F,LIU J,LV C S,et al. A novel transformer-based network with attention mechanism for automatic pavement crack detection[J]. Construction and Building Materials,2023,391:131852.

[104] LIN C M,TIAN D X,DUAN X T,et al. Trans crack:Revisiting fine-grained road crack detection with a transformer design[J]. Philosophical Transactions. Series A,Mathematical,Physical,and Engineering Sciences,2023,381(2254):20220172.

[105] SUN Z Y,ZHAI J Z,PEI L L,et al. Automatic pavement crack detection transformer based on convolutional and sequential feature fusion[J]. Sensors,2023,23(7):3772.

[106] 李海丰,范天啸,黄睿,等. 联合Self-attention与Axial-attention的机场跑道裂缝分割[J]. 郑州大学学报,2023,55(4):30-38.

LI H F,FAN T X,HUANG R,et al. Airport runway crack segmentation using joint Self-attention and Axial-attention[J]. Journal of Zhengzhou University,2023,55(4):30-38.

[107] CHEN J Z,ZHAO N,ZHANG R H,et al. Refined crack detection via LECSFormer for autonomous road inspection vehicles[J]. IEEE Transactions on Intelligent Vehicles,2023,8(3):2049-2061.

[108] GUO J M,MARKONI H. Transformer based refinement network for accurate crack detection[C]//Ho Chi Minh City:2021 International Conference on System Science and Engineering(ICSSE),2021.

[109] MEHAJABIN N,MA Z C,WANG Y X,et al. Real-time deep learning based road deterioration detection for smart cities[C]//Thessaloniki:2022 18th International Conference on Wireless and Mobile Computing,Networking and Communications(WiMob),2022.

[110] YU M,WU D C,RAO W Y,et al. Automated road crack detection method based on visual transformer with multi-head cross-attention[C]//Chongqing:2022 IEEE International Conference on Sensing,Diagnostics,Prognostics,and Control(SDPC),2022.

[111] FANG J,YANG C,SHI Y T,et al. External attention based TransUNet and label expansion strategy for crack detection[J]. IEEE Transactions on Intelligent Transportation Systems,2022,23(10):19054-19063.

[112] XING J,LIU J,ZHANG G Z. Improved YOLOv5-based UAV pavement crack detection[J]. IEEE Sensors Journal,2023,23(14):15901-15909.

[113] LIU H J,MIAO X Y,MERTZ C,et al. Crack former: transformer network for fine-grained crack detection[C]//Montreal:2021 IEEE/CVF International Conference on Computer Vision(ICCV),2021.

[114] WANG Z W,FENG J,ZHANG T. Asphalt pavement crack image screening by transformer-based model[C]//Shijiazhuang:2022 International Conference on Computer Engineering and Artificial Intelligence(ICCEAI),2022.

[115] JIN X T,BU J J,YU Z,et al. FedCrack:Federated transfer learning with unsupervised representation for crack detection[J]. IEEE Transactions on Intelligent Transportation Systems,2023,24(10):11171-11184.

[116] XIANG X Z,WANG Z Y,QIAO Y L. An improved YOLOv5 crack detection method combined with transformer[J]. IEEE Sensors Journal,2022,22(14):14328-14335.

第一作者:易鈺程(1985—),男,讲师,博士,硕士生导师,研究方向为智能信号处理,多模信息融合,通信与雷达系统。E-mail:ycyi@ecjtu.edu.cn。

通信作者:朱路(1976— ),男,教授,博士,硕士生导师,研究方向为物联网、图像处理、信号处理、机器学习、以及深度学习等。E-mail:lzhu@ecjtu.edu.cn。

(责任编辑:吴海燕)

猜你喜欢

深度学习人工智能
我校新增“人工智能”本科专业
2019:人工智能
人工智能与就业
数读人工智能
有体验的学习才是有意义的学习
电子商务中基于深度学习的虚假交易识别研究
MOOC与翻转课堂融合的深度学习场域建构
大数据技术在反恐怖主义中的应用展望
深度学习算法应用于岩石图像处理的可行性研究
基于深度卷积网络的人脸年龄分析算法与实现