基于人工智能的高速公路病害自动检测系统

庞静，吕新建，娄胜利

（1.山东高速股份有限公司，山东济南 250000；2.山东高速信息集团有限公司，山东济南 250000；3.象谱信息产业有限公司，山东济南 250000）

0 引言

公路巡查能够及时全面地发现问题，是避免问题发生的方法之一。传统的人工巡查主要依靠人眼识别道路病害，然后停车拍照进行病害数据的采集与上报。人工巡查过程常存在病害采集不全面、方法不规范，采集不及时，导致效率低下，影响道路状态的及时监控与养护。并且存在很大的安全隐患，每年都有路政养护人员在巡查过程中出现危险事故，而且上报流程不通畅、不易追踪事件解决过程、路况隐患缺乏外界有效沟通。

我国大量早期修建的公路陆续进入改扩建及大中修养护阶段，养护任务逐年增加。运用最新的技术将自动化信息采集技术与人工智能技术紧密结合，实现道路常见病害例的全过程准确采集、人工智能筛选、传输、分析，可以全面及时地发现问题，大幅度提高巡查效率和安全性，同时为智慧养护提供有效的数据支撑。

近年来，深度卷积神经网络（Deep Neural Networks，以下简称DNNs）技术发展迅速，在许多极具挑战性的计算机视觉领域展现出卓越的性能。如：图像分类、语义分割、目标识别等[1-3]。本文利用人工智能技术，通过采集大量高清高速公路病害图像，训练目标检测及分类神经网络，实现病害目标的自动识别，并通过上传云端管理系统，实现高速公路病害的自动检测、管理及统计、规划一体化系统。

1 研究现状及存在问题

1.1 国内外研究现状

基于传统图像处理算法的道路检测模型自90 年代起即得到国内外的广泛研究。文献[4]利用传统图像处理的方法实现了道路裂缝病害的检测。但是道路病害种类多，同一种病害往往呈现不同形态特征，尤其是在不同的光照、天气情况下识别效果鲁棒性不强。

近年来人工智能技术发展迅速，在视觉识别及语音某些领域已经超越人类。国内外学者也从基于传统图像处理算法的半自动化检测研究转到基于深度学习的全自动化病害检测研究[5]。

田杨等[6]基于Fast-RCNN 神经网络构建道路病害检测模型，通过建立8 000 余张道路病害图片样本库，可以训练模型自动识别坑槽及裂缝病害，并结合GPS定位信息，生成时间、地点、属性完整的病害识别报告，提高道路维护病害检测的效率和准确率。

Zhang Ce 等[7]基于Wasserstein 对抗神经网络，设计了专门针对道路病害检测的Conn Crack，并设计了配套的摄像头硬件系统。其设计主要针对路面裂痕长宽比跨度大、检测难的问题，对传统的检测神经网络进行了改进。

1.2 存在的主要问题

利用深度卷积神经网络进行自动化的公路病害检测是目前的主流方向，并取得了优异的效果，在其检测鲁棒性方面优于传统视觉处理算法。但目前工作依然存在可识别的路面病害种类较单一、稳定性差等问题。此外，针对已经修复的病害，并没有进行单独处理，容易引起较多的误报。本文介绍了基于Google EfficientDet 的多目标检测系统，可以同时检测4 类路面病害，并通过级联神经网络设计，对检测出的病害进行进一步精细分类，减少对已修复病害的误报率，极大程度地提升了检测效率。

2 基于人工智能的高速公路病害自动检测系统设计

2.1 巡检摄像头硬件设计

巡检摄像头基于华为Hi3519 边缘计算模块开发，集成存储、通信、高速以太网及电源管理等模块，如图1所示。

图1 基于华为Hi3519平台的巡检摄像头硬件设计

其中主要组成模块如下：

（1）Hi3519 集成了性能强大的可编程神经网络推理引擎和一个向量DSP，支持多种智能算法应用。

（2）高速相机支持在车载主体高速移动下、成像质量较好采集的高清图像由Hi3519 图像处理引擎进行缩放、压缩等预处理，预处理后的图像由神经网络依据算法推理。

（3）神经网络推理结果在硬件端进行简单筛查，去除不相干图像后，采集的原始图像、推理结果、定位信息打包经4G网络上传至云端平台。

2.2 级联式道路病害检测神经网络架构

2.2.1 病害数据收集

通过车载高清摄像头在山东省内约2 000km 的高速路段上采集了约10 万幅以上高清图像，分辨率为（1920×1080）dpi。数据由两位具有5 年以上高速公路病害检测经验的人员进行筛查，共选出有效图像917张，使用labelImg 工具（https://github.com/tzutalin/labelImg）标记每张图的病害位置、尺寸及种类。总体标注病害6 类共1 192 个。其中，裂缝类别包括纵向裂缝、横向裂缝及网状裂痕存在病害影响面积跨度较大、类别间界限不明显（如：某些非典型纵向列横与横向裂痕难以界定），类别不平衡（网状裂痕较少）等问题，在相对少的训练样本下，较难明确区分。所以在本次实验中将其总体归为一类检测，人工智能检测结果可进一步由人工进行分类。表1统计了最终用于人工智能模型训练的数据统计结果。

表1 病害数据收集及标注统计

为扩充有效训练数据集，使用了传统的数据处理方法。如：图像旋转、亮度调节、饱和度调节、对比度调节、高斯噪声，对原始训练数据进行了15倍增广，共得到13 755 幅图像，17 880 个标签。通过随机采样，总数据的90%（12380）用于模型训练，总数据的10%（1375）用于模型测试。

2.2.2 人工智能检测模型设计

人工智能检测网络采用Google2020 年提出的Efficientdet 神经网络架构[8]，如图2 所示。该网络提出了双向特征金字塔结构，允许简单快速的多尺度特征融合；同时提出了符合尺度扩张方法，可以统一对经典目标检测神经网络的骨干网、特征网络和预测网络在分辨率、深度和宽度上进行缩放，在目标检测性能与计算存储资源消耗上取得了很好的平衡。相比其他目标检测网络，在同等计算存贮资源消耗的情况下，能达到更好的检测效果；在同样检测效果目标下，占用更少的计算机存储资源。

根据不同的网络性能/规模扩张尺度选择，提供了D0-D7 不同的网络选择，其中D0 网络规模最小，性能指标最低。根据数据规模，目标病害尺寸特征选择了EfficentDet-D1。基于PASCAL VOC2012 数据集预训练的模型，采用finetune方式冻结骨干网及特征提取网络，利用收集数据集对检测分类网络进行继续训练。训练过程损失函数演变过程如图3所示。

图3 训练数据损失统计

实验表明，一大部分假阳性结果是由于已经修复的病害，尤其是裂痕与周围路面有明显的形态及颜色差别，容易引起误判，增加后期人工复核的工作量。针对这一情况，设计了二级筛选网络，针对第一级检测网络筛选出的病害，进行进一步分类，鉴别已经修复的病害。

病害检测任务通过在固定分辨率（1920×1080）dpi的高清图像进行尺寸缩放后进行目标检测，可有效均衡神经网络预测性能及时间、内存消耗，缩小后的分辨率为（300×300）dpi。由于统一的尺寸缩小，及长宽比例的失调，对小病害目标及狭长的病害目标的细节损失较大，影响其分类的准确性。本项目设计的二级神经网络架构，根据第一步检测出的病害的包围框位置及尺寸，及EfficentDet对原图的缩放比例，恢复检测框，以原始尺寸进行精确分类，最大限度地保留图像的特征，进一步提升分类的准确度。分类神经网络采用Efficient-Net-B1网络架构，进一步提升了检测准确率。

为进一步提升数据的多样性，本项目对第二级病害样本进行了数据增强操作。第一级目标检测神经网络涉及整体公路（车道方向、隔离带等）、周边自然环境（天空、左右边坡等）、远景图像等认知，所以按照摄像头正位拍摄的图像原始位置检测神经网络预测及训练，缺乏对局部病害检测的旋转不变性。通过对检测出的疑似路面裂痕的病害框进行旋转、镜像、亮度等参数进行随机变换，实现分类数据的增强，如图4所示。有效地增强了分类神经网络的泛化能力，提升了对已修复及未修复裂痕病害的区分。

图4 路面裂痕样本数据增强

2.3 云管理平台设计

人工智能道路病害检测平台主要分为病害检测诊断服务和应用服务两个应用。考虑系统特性及计算资源要求，支持独立化部署，可根据资源占用情况进行动态扩充，系统架构如图5所示。

图5 高速道路病害管理云平台设计架构

道路病害管理平台分三层进行设计。基础服务层提供基础的数据存储能力和基于TFServing 容器的模型部署推理能力。其中，根据底层数据的存储特点，对业务数据和时序大批量数据进行分类存储，满足系统对性能的要求。应用支持层提供平台业务逻辑处理，支持整体道路病害管理功能的实现。对外服务层提供与外界通信的接口，主要支持车载设备的连接以及管理，数据应用的业务服务及展示。

（1）病害检测诊断服务主要与车载设备进行通信，识别车载设备并处理设备上传的GPS坐标及病害图片信息。主要功能包括供终端设备的接入及认证、运行轨迹记录、病害识别及存储、运维服务及展示等。为满足车载设备高并发、大数据量的上传要求，整体采用弹性设计，可根据需要对整体应用进行动态扩展，同时应用数据接收与处理进行解耦，提供数据的延迟处理能力，最大化地提供服务响应能力。

（2）应用服务主要提供给运维及管理人员使用，通过此平台，相关人员可以管理车载设备，维护车载设备信息，查看车辆运行轨迹及道路病害等。通过应用服务还可以集成外部系统。例如第三方的养护信息化系统，打通数据采集与养护信息管理结合，完善养护流程业务方向的集成。

3 人工智能高速公路病害自动检测系统应用

本平台已经在山东高速云平台部署并试运营。图6为云平台管理界面，其中对每一辆巡检车辆、检出病害时间、类型及置信度都进行了统一展示。图7展示了检出病害类型部分案例。

图6 云平台病害管理界面

图7 检出病害类型实例

4 结语

综上所述，基于人工智能深度学习的道路病害自动检测系统，以及基于云平台的统一病害管理、设备维护、运维调度系统，可有效提高高速道路运维人员的工作效率，减少漏检率，在提升道路安全的同时降低维护成本。

本项目通过部署与运营，将收集更多高清道路病害信息，继续训练模型，提升模型病害检测的准确率与灵敏度。随着云平台的建设及运营完善，将引入更多的业务类型，如基于人工智能自动检测的道路资产管理及边坡损毁识别等。随着数据的增加，将进一步细化病害分类，如详细区分横向、纵向及网状裂痕，帮助维护人员更准确地判断病害成因及修复方案。