基于机器视觉的车载式智能巡查装备及系统研究

杨有辉, 邓力珩, 姜 烊, 刘 力, 王吉龙, 张 朋, 陈 卓

(1.招商局重庆公路工程检测中心有限公司, 重庆 400067; 2.重庆交通大学 机电与车辆工程学院, 重庆 400074)

截至2022年底,我国高速公路建成运营总里程已超过17.7万km,同比上一年度增长4.73%,在这种超大规模和复杂环境下的高速公路运维管理面临着严峻的技术挑战。传统的道路养护数据主要通过人工采集和输入,数据更新速度慢,且不便于调用[1]。高速公路巡查主要依靠技术人员使用便携式仪器辅助进行现场测量、记录、整理,现场工作存在一定的风险[2-4],检测效率低且主观性强,对公路养护的指导作用十分有限,很难满足超大规模道路养护的需求[5-7]。吴勇往[8]曾提出采用地质雷达的无损检测技术,对运营高速公路各种病害进行检测,但存在多次波及其它杂波干扰严重的问题,且一直没有好的消除办法,影响检测结果;袁洋冰等[9]提出基于GIS和GPS等多系统联合定位检测,提高风险源位置信息的精确性,但仍需大量人员进行现场操作;中公高科研发的CiCS道路检测车[10]采用高分辨率线阵相机采集公路路面图像,总体检测精度较低;李清娟、杨明、李永胜等[11-13]提出目前的道路巡检车具有检测快速、准确、完整的优点,但周边环境对检测结果影响较大。机器视觉作为一种现代化的检测方法,以其快速、准确、非接触等优点越来越受到人们的重视[14],因此考虑引入基于机器视觉的人工智能技术,以形成科学先进、高效统一的行车风险源自动识别和智能巡查系统,提升高速公路巡查的安全性与高效性,服务于高速路网的智能化、信息化建设和升级改造。

本文针对高速公路行车风险源自主发现和识别这一难题,利用机器视觉来替代传统的人眼巡查的方法,使车载式智能巡检装备能够做到路面病害的自动识别,智能分析,实时上传,并建立一体化的管养系统,实现巡查过程的自动化、直观化、实时化、数字化,从而减轻道路巡查人员的工作负担,既提高工作的质量和效率,又便于数据调用。

1 系统总体框架

1.1 系统构成

本文设计的车载式智能巡查装备及系统主要由车载综合数据采集装置、“云”数据库、智能巡查系统3大板块组成。其中,数据采集装置负责风险源图像采集、处理以及车辆实时定位,包括双目视觉路况影像采集、行车辅助、信息传输模块、视频存储和在线计算单元;“云”数据库负责整理采集数据以及图像特征的进一步处理,采用深度学习算法识别出该图像特征的行车风险源类型,如路面异物(抛洒物等)、重度病害(裂缝、坑槽等)、交通异常(行人等)及路测异常等;“云”数据库处理的结果流转进入智能巡查系统,实现前端的人机交互以及后端的数据存储与处理,风险源数据整理及自动识别算法对该系统形成了有力的支撑。总体框架如图1所示。

图1 总体框架

1.2 系统功能

利用智能巡查车进行高速公路行车风险源巡查,养护巡查人员通过手持APP开启巡查任务,车载巡查终端自动采集路面图像及位置数据,融合自主研发的深度学习算法,自动识别路面病害、异常事件,同时可通过手持APP辅助人工手动上报巡查情况,Web端平台自动输出巡查报告,巡查数据与养护平台进行对接,为养护运营管理提供数据支撑。巡查车现场工作情况、巡查管理系统如图2、图3所示。系统主要功能如下:

1) 路产管理模块

路产管理主要包括路线管理和路产管理,路线管理模块提供巡查路线的新增、编辑以及删除操作,能可视化展示各条路线的名称、编码、等级、起始桩号、终止桩号、路线长度以及车道数等信息,并可完成对各类信息的编辑和删除操作;路产管理模块提供各个路线在地图上的可视化展示,并提供输入名称和桩号进行查询的功能。

2) 日常巡查模块

日常巡查主要包括日巡任务、日巡设备、日巡结果模块。日巡任务模块提供巡查车巡查任务的具体细节展示,包括巡查时间、巡查状态、经过路段、上报点数、病害点数、设施数、天气、巡查人员以及车辆车牌的信息,以及对该巡查任务的增删改查的操作,同时在地图上提供实时巡查路线的可视化展示;日巡设备模块提供巡查车辆的信息,包括车辆类型、车牌号、流量卡号、流量使用情况、品牌型号、所属单位、所属部门以及当前状态等信息;日巡结果模块提供各个路段的病害显示,包括每个病害的名称、参数以及病害标度,同时提供任务查询、详情查询、病害确认以及删除操作。

3) APP模块

APP提供巡检任务管理功能,巡查人员根据工作需求,可进行日巡查、夜巡查、经常检查、坐标采集等,可操作病害审核,对巡查异常状态进行展示,同时提供交通基础设施巡检知识库,巡查人员可根据巡查的对象及其病害类型进行点选式上传巡查情况。

图2 智能巡检车

图3 巡查信息系统

2 高速公路风险源采集装置硬件方案

高速公路车载综合监测的硬件方案如图4所示。

2.1 双目视觉路况影像采集模块

1) 车载双目视觉系统硬件集成

为了实现轻量化检测并使系统不依赖于特定载车,在系统集成时将双目摄影测量模块和定位定姿系统POS(Position and Orientation System)模块统一安装在一个刚性平台内部,即系统主机。所有系统核心传感器都集成在一个统一的刚性平台上,因此只需进行一次标定,后续在使用过程中,只需拆装系统主机而不会影响主机内部传感器之间的相对位置关系,这使得系统可安装在多种类型的汽车上,如轿车、皮卡车、越野车和吉普车等。通信供电模块由系统配套的电池箱实现,电池箱内部集成了铅蓄电池、电源模块、空开、逆变器和路由器等,可通过载车电源给电池箱供电。系统主机通过一根带有直流电源和千兆网信号的航插线缆与电池箱相连。其中,千兆网信号线接入路由器,使系统可通过网线或Wifi使用笔记本电脑或平板电脑操控与拷贝数据。系统的硬件组成及内部接线如图5所示。

图4 公路车载综合监测硬件方案

图5 系统硬件组成

2) 双目视觉结合POS模块标定

双目相机标定需先通过张氏标定法分别获取左右相机的内外参数和畸变参数;后提取双目视觉相机所获取图像中的特征点,通过匹配同一时刻左右目图像的特征点进行立体校准和对齐,以确定2个相机的相对位置关系;再与POS模块组合标定确定2个相机和POS模块的相对位置关系。

2.2 行车辅助和信息传输模块

行车辅助系统是车辆上安装的智能设备和传感器系统通过不同的传感器(如摄像头、雷达、激光等),获取车辆周围的信息,并通过信息处理和算法分析来进行决策和控制,巡查车采用高清防抖摄像头,以实现信息的获取。信息传输模块则是连接车辆和外部网络的重要组成部分,可将车辆内的数据传输到云端或其他设备上,以实现车辆与互联网的连接。信息传输模块包括移动通信模块、GPS模块等,以实现车辆位置追踪、车况监测等功能。

2.3 视频存储和在线计算单元

视频存储和在线计算单元用于存储和管理视频数据,采用嵌入式视觉计算单元接收来自摄像头采集到的图像,并利用图像处理单元执行目标检测算法,通过存储器接口连接工业计算机,将处理后的图像数据传输到工业计算机中,以实现数据的存储。

3 高速公路行车风险源的自动识别算法

3.1 基于Faster R-CNN的公路路面风险源检测与定位

基于Faster R-CNN模型对公路路面的风险源进行检测与定位,其算法模型如图6所示。本文将公路路面风险源定位和属性识别有机结合,实现风险源集合粗分类、精细定位和属性识别的多任务路面病害精细化检测,以对路面风险源(包括坑槽、裂缝、行人、抛洒物等)进行实时、准确检测。

图6 Faster R-CNN模型

Faster R-CNN由特征提取网络、区域生成网络RPN(Region Proposal Network)、感兴趣区域池化RoI Pooling以及分类和回归层(Classification and Regression)4个模块组成。各模块作用如下:1) 特征提取层用于提取输入图像特征,得到的特征图用于后续的RPN层生成proposal输出框;2) 区域候选层用于生成候选框,该操作分为2部分:一是分类,判断所有预设的anchors是属于背景还是目标,二是边界框回归,用于初步修正anchors,以得到较为准确目标的位置,RPN网络相当于提前做了一部分检测,即判断是否有目标以及修正anchors,使框选得更准一些;3) 感兴趣区域池化用于收集RPN生成proposals框的坐标,并根据坐标将其从特征提取网络模块中提取相应图像特征,生成proposals feature maps送入后续全连接层,并继续做细分类和回归;4) Classification and Regression是利用proposals feature maps计算出具体类别,同时再做一次边界框回归,以获得检测框最终的精确位置。

本文在Faster R-CNN基础上,引入FPN(特征金字塔网络)模块,利用CNN网络天然的特征金字塔特点,使得FPN和Faster R-CNN可在多个尺度级别的特征图上分别预测不同尺寸的对象,这大大提高了Faster R-CNN的检测能力,其结构如图7所示。

3.2 公路路面风险源检测与定位结果

本文使用Faster R-CNN模型对公路路面风险源中的16类风险源识别进行模型训练,其中训练集、验证集和测试集分别为12 492张、3 569张和1 785张,比例为7∶2∶1。该模型在测试集上对单类型病害检测的平均精度AP(Average Precision)结果如表1所示,全类平均精度mAP(mean Average Precision)为80.5%。

图7 Faster R-CNN+FPN结构

Faster R-CNN模型对路面风险源的检测和定位结果如图8所示,不同线型方框代表不同类型风险源。图8(a)展示了检测到的路面中的横向裂缝(中间实线框)和纵向拼接缝(右下方实线框);图8(b)展示了检测到的路面中的抛洒物(左下方实线框);图8(c)展示了检测到的路面中的坑槽(中间实线框)和纵向裂缝(右下方实线框);图8(d)展示了检测到的路面中的横向裂缝(右侧4个细长实线框)和修补块(最右侧实线框);图8(e)展示了检测到的路面中的行人(左侧实线框)和井盖(右侧实线框);图8(f)展示了检测到的路面中的修复裂缝(中间横向和右边纵向实线框)和纵向裂缝(左测纵向实线框)。

4 高速公路行车风险源智能巡查系统

4.1 基于边缘计算和云存储的后端数据处理与存储

1) 后端数据存储

后端数据服务通过云-边架构技术分别实现对风险源报警、风险源处理管理、风险源位置和现场信息查询、风险源综合统计以及大数据技术的风险源关联关系分析。系统通过5G/4G移动通信方式将风险源的感知数据、识别结果、风险源定位等信息传输到云平台,云平台对这些数据采用关系型和非关系型相结合的方式对其进行统一存储和管理。

表1 路面风险源检测与定位各分类的精准率

(a) 横向裂缝和纵向拼接缝

(b) 抛洒物

(c) 坑槽和纵向裂缝

(d) 横向裂缝和修补块

(e) 行人和井盖

2) 后端计算服务

后端计算服务依托于数据服务接口,在高性能并行计算服务器中集成高速公路场景语义分析、关键安全标识等设备设施定位识别、行车风险源视觉辨识等核心技术方法,建立高速公路行车监测的数据管理、试验方案和测试方法,并逐步迭代完善。在此试验验证通过基础上,使用Caffe2等工业级模型框架代替原有的PyTorch研究型模型框架,应用C++等静态语言代替脚本语义对行车风险源感知算法进行封装和部署,建立行车风险状态智能认知的示范应用方法,支撑高速公路智能检养技术体系。

4.2 风险源识别的人机交互前端系统

1) 前端系统拓扑

利用PC电脑终端与手持APP实现巡检过程的记录以及风险源的记录、跟踪和管理,实现人机交互。通过行车安全风险源AI分析模块对前端记录的风险源信息进行分类,对各类风险源采用不同的主动监测策略,结合相应支撑环境实现数据控制、数据处理、数据分析。系统功能扩展接口,使开发者可扩展核心功能模块,以满足市场的需求。同时,核心功能模块也可通过系统功能扩展接口来实现一些可插拔的功能,以提高系统的灵活性和可扩展性。系统管理和前端开发需密切协作。系统管理需确保服务器和网络基础设施的稳定性和安全性,以便前端开发可在可靠的环境中进行开发和部署。同时,前端开发需了解服务器和数据库等基础设施的相关知识,以便能够设计出更高效和可扩展的前端应用程序。系统管理结合相应运行环境实现数据输出,系统数据接口需与系统管理密切协作,以确保系统之间的数据交换和通信安全可靠,如图9所示。

2) 前端系统开发

为贯通风险源采集分析软硬件子系统,联合后端数据及计算服务和前端业务逻辑请求,研发风险源管控的人机交互前端软件系统,并基于Java开发平板端上位机采集、处理和交互功能模块,以嵌入日常巡查移动终端APP,实现在日常巡查移动终端APP软件中集成图像采集与硬件控制、图像处理和风险源辨识结果交互验证等关键功能,减少人工识别风险源的工作量和降低风险源漏判、错判的概率。针对多类风险源持续渐变或偶发突变的特点以及它们不同的危害程度,重点突破人机交互、多源协同的行车风险源主动监测策略,使巡检设备自主关注风险高、变化快的区域。利用线路监测历史记录,结合地理位置、里程桩号等信息辅助,再通过人机协同宏观优化,使监测设备有针对性地定点定向主动检测重点关注区域,形成重点疑点区域的持续监视记录。

5 装备及系统应用

5.1 工程概况

目前,该装备及系统在重庆、西藏部分高速公路的运用中已具有较好的使用效果。以成渝高速的日常检测为例,成渝高速设计时速为80 km,双向4车道。此路段总体车流量较大,重载车辆来往频繁,路面受车辆载荷的影响较大,且正式通车时间较久,目前表观可见路面开始出现大量损坏。为了能够排查道路的安全隐患,对该段道路运用车载式智能巡检装备开展路面检测,采集道路病害信息服务于后续道路养护工作。

图9 公路巡检的人机交互前端系统拓扑结构示意

5.2 检测流程

1) 巡检开始前对车载装备进行检查,确保设备能够满足检测需求;2) 准备完毕后,由巡查人员在手机APP上填写巡检信息以开始巡检任务,当车辆到达目标路段时,开始自动检测;3) 巡检过程中,车辆需在同一车道上保持时速80 km行驶,确保图像采集稳定,也不影响高速公路正常行车;4) 随着车辆前进,前置的双目摄像头采集路面实时影像并自动识别病害,检测到的数据传至车中的电子数据处理工作站,经过分项实时和自动处理,生成检测报告,同时巡查人员也可通过手持APP手动上报巡查情况,后台工作人员也可通过Web端观看巡检实时影像,减少病害遗漏;5) 车辆驶出设定的巡检路段后,检测自动停止。

5.3 应用效果

对成渝高速公路重庆段进行日常巡检,全长114.2 km,检测生成的报告如图10所示。

报告中详细记录了每次巡查过程所检测到的病害具体信息,为后续养护工作提供数据信息。结合案例检测与定位对各类病害的精准率进行分析,该设备能准确获取各类型病害的参数信息,其中对横向裂缝和纵向裂缝识别最为灵敏,坑槽和块状裂缝次之,后续还需进一步提升。除了路面本身的病害,对一些交通异常情况如行人、动物、抛洒物也能有效识别,并能及时给出相应处理方案。因此,该设备能满足目前高速公路安全、快捷、直观的日常巡检需求。

日巡查记录表 编号:CYGSYHYZ-JCRW-2311220001A

6 结束语

基于机器视觉的车载式智能巡查装备作为一种新型的道路检测方式,与传统的人工检测方式相比,具备更大的优势:在实际的工作中能降低检测人员压力,保证人员安全;能在正常路况中进行实时检测,无需对被检路段进行封堵,保证交通通畅;对各类风险源准确识别,保证较高的准确率;结合处理、交互系统实现检测过程、数据采集、数据分析的一体化。此外,该车载式智能巡检装备在重庆、西藏部分高速公路得到运用,实现了利用车载式系统的路面病害智能检测,具有良好的社会经济效益及运用前景。