基于振动-图像融合的道路窨井高差检测方法*

张思铭 吴荻非 潘 宁 张晓明

(1.上海同湛工程科技有限公司 上海 201800； 2.同济大学道路与交通教育部重点实验室 上海 201804；3.浙江省道桥检测与养护技术研究重点实验室 杭州 310023; 4.上海同陆云交通科技有限公司 上海 201800)

道路窨井与路面高程的差异(井框差)是影响城市道路平整度的重要原因之一，亦是城市道路养护管理的重要内容[1-2]。较大的井框差不仅影响城市道路的行驶舒适性，还会显著增大重车行驶的动态荷载，加速窨井盖及周边路面结构的损坏，严重时甚至引起安全事故[3]。为避免此类异常高差的危害，减少交通事故和设施资产损失，有必要对其进行快速检测、科学评估，从而及时制定养护策略，保障城市道路通行安全。

因窨井沉降导致的井框差通常表征为道路高程在较短距离内的局部异常变化，导致车辆产生跳车现象，可归属于异常颠簸的道路不平整范畴。针对此类由道路变形导致的异常颠簸病害，现有的检测方法多采用人工检测、断面类检测[4-5]或多源传感器检测等方法。受限于人工检测耗时费力、激光检测成本高等因素，现有的检测技术愈发朝着轻量化的多源传感器检测方法发展。由于其具备部署能力强、成本低、模块化的优势，适用于大范围、路网级检测。但针对道路井盖高差的判别，还尚无成熟算法和可靠的技术体系。

因此，本文充分调研了现有道路窨井高差检测方法在实用性、经济性上的不足和缺陷，从轻量化、模块化的车载多源传感技术入手，提出一种基于振动-图像融合感知的窨井高差检测方法。通过实时获取路面图像数据和车身振动数据，利用人工智能方法快速识别路表井盖信息，并通过时间戳信息匹配提取车身振动数据，进一步计算均方根值以评估井盖高差量级。

1 车载智能检测装备

针对窨井高差检测需求，设计了一套融合图像和振动感知的车载智能检测装备[6]，该装备由前置相机、后置相机、振动传感器和车载终端组成，其示意见图1。

图1 车载智能检测装备示意图

前置相机采用宽画幅拍摄路面图像信息，用于获取识别车行道井盖信息，并建立虚拟轮迹带用于判别车轮是否经过；后置相机对地拍摄，通过计算机视觉识别区域内的井盖信息，对前置相机识别内容进行复核；振动传感器可感知车辆经过井盖区域的竖向振动，进而评估井盖高差量级；车载终端集成了高精定位模块和4G无线通信模块，完成数据集成和上传。表1所示为各模块的性能参数。

表1 车载智能检测装备各模块参数

2 图像-振动融合的窨井高差检测算法

基于车载智能检测装备采集获取的各类检测数据，本文提出了如图2所示的窨井高差检测识别算法流程。具体步骤分为：①井盖识别与定位；②井盖有效性判别与复核；③井框高差评估。

图2 窨井高差检测识别算法流程

2.1 基于深度卷积神经网络的井盖识别与定位

为快速判别路面井盖的高差状态，首先利用机器视觉技术对路面井盖进行快速智能识别。通过对比现有多种面向目标检测的机器视觉算法，本文选用了基于YOLO-V3架构的深度卷积神经网络用于井盖识别。相较于传统以特征分类的机器视觉检测算法，选用的方法不需要大量的图像预处理，可自动学习物体的图像特征和像素差异，进而对标注类别进行快速、准确地分类[7]。所选用的深度学习架构(YOLO-V3)见图3。

图3 YOLO-V3深度学习架构

YOLO-V3卷积神经网络沿用了性能较为优异的DarkNet-53网络架构，可提取更深层次的特征信息，增加准确率。该结构主要采用1×1和3×3 2种形式的卷积核对样本进行特征采用，并分3个不同的特征尺度输出(8倍、16倍、32倍)。为防止梯度丢失，模型中包含了多个残差模块，以确保检测的准确程度。

基于该深度卷积神经网络架构，采用车载智能检测装备采集了超10 000张路面井盖的样本数据，包含混凝土井盖、铸铁井盖等10余种不同权属单位的窨井类型。其中，选择8 000张图片作为训练样本数据，剩余2 000张图片作为测试样本，采用Tensorflow 1.14-gpu作为网络搭建平台，迭代次数设置10 000次。使用该网络架构对训练样本进行学习后，使用测试集对准确率、精确率、检出率进行测试验证，结果见表2。

表2 窨井识别测试结果 %

2.2 井盖有效性判别与多图像复核

采用车辆振动判别井盖高差时，需保证车轮轮迹与井盖位置重合，因此在进一步判别井盖高差之前，需对井盖位置进行定位，即判别车轮是否经过井盖位置。同时，考虑到所训练的深度学习方法在井盖识别上仍存在误差，本文采用前后景图像交叉复核的方式以保证井盖识别的准确性。图4为前后景图像的对比，前景用于识别井盖和轮迹判别，后景用于井盖识别的复核验证。

图4 前、后景拍摄图像

为识别车辆的轮迹，首先在井盖识别的基础上，首先通过透视变换将前视景象投影到一个新的视平面，消除由相机倾斜导致的远近或倾斜透视失真，具体转换公式为

(1)

透视变换矩阵可以进行拆解如式(2)所示。

(2)

井盖有效性判别流程见图5。图像校正后，计算左、右车道线间的像素距离L，左、右各取L/3像素距离作为虚拟轮迹带区域。轮迹带区域确认后，提取识别井盖的外接矩形，计算其长、宽的像素距离a和b，并输出外接矩形中心距离图像左右车道线的像素距离d1、d2。采用式(3)对井盖位置进行判断，甄别与虚拟轮迹带区域相交的井盖为有效井盖，仅有效井盖才可判别。

图5 井盖有效性判别流程

(3)

在有效井盖判别基础上，进一步结合后置图像对井盖识别结果进行复核，当前、后景均识别为有效井盖信息时，即认为该井盖识别成功，并进一步提出振动数据进行高差评估。

2.3 车身振动筛选和高差评估

在井盖识别基础上，首先判定井盖是否为有效井盖。之后，通过时间戳匹配进行振动数据切分。受井盖定位误差和车速影响，车轮碾压井盖的时间很短，导致较难直接提取定位。因此，综合考虑车辆的行驶速度，首先采集有效井盖前后对应图像采集时间的前后各5 s(共11 s)的振动数据进行解析和评估。由于井盖高差所致的车辆振动为短时振动，因而选取均方根指标来表征车辆的振动量级[8]。

随后对11 s的振动数据进行切割，每1 s计算对应Z轴加速度分量的均方根值，见式(4)，并选取其中最大值作为该井盖所致的当量rms指标。

(4)

式中：zi为振动数据Z轴的分量；n为分量个数。

车速对于车身振动影响显著，在计算当量rms指标基础上，需根据当前行驶车速进行速度修正。本文采用线性模型进行修正，将所有行驶车速条件下计算的rms值，换算成40 km/h等效速度下的当量rms值，具体方法如式(5)。

(5)

当量rms可用以表征车辆振动的幅值大小，且与路面局部高差的幅值呈正相关，通常假设路面高差与当量rms呈线性相关，因而可依据该指标对窨井高差进行预估和量级评定，计算方法如式(6)。

h=M·rmsmax，revosed+e

(6)

式中：M为线性拟合参数；e为线性模型的拟合常数项。拟合参数与车辆的悬架参数、减震性能有关，可通过定量标定试验测得。

3 测试验证

为测试本文提出的道路窨井沉降识别方法，于上海市约10 km城市道路进行了实地测试验证，测试路段包含多个不同等级的道路窨井，用于验证方法的可靠性。测试过程中，车速保持在40 km/h左右，且保证车轮轨迹与井盖位点重合。

3.1 井盖识别效果分析

首先对路面窨井井盖的识别效果进行验证，对比实地调研结果，测试路段共有59处路面井盖，除有3处由于井盖拍摄不全导致未识别外，其余56处路面井盖均成功识别，检出率为94.9%。另有7处井盖距离车道线较近或未处于行驶车道内，因而未与车轮轨迹重合，判别为“无效井盖”。图6～图7所示为识别出的部分有效井盖和无效井盖，可见车行道的井盖识别效果较好，且识别所得的外框矩形基本覆盖井盖大小。

图6 有效井盖示例

图7 无效井盖示例

3.2 高差判别效果分析

针对49处“有效井盖”，采用塞尺对井盖高差进行实测。在对高差进行实测和计算时，以井盖所处平面和周围路面平面的高度差作为测量和计算值。按照3∶1比例，选取37个样本用于模型拟合，12个样本用于测试验证。根据上述37个样本，计算可得其拟合方程如式(7)。

h=4.08·rmsmax，revised-0.60

(7)

经计算，该拟合方程模型优度R2=0.91，拟合程度较高，良好地反映了当量rms与井盖高差的线性关系。37处井盖对应的当量rms、井盖高差及拟合的线性方程见图8。

图8 当量rms与高差的拟合关系

基于拟合的高差预估模型，对剩余12处井盖数据进行验证，计算结果见表3。由表3可见，高差预估误差均在6 mm以内，表明本文所提出的方法可有效判别道路窨井高差。此外，仍有部分井盖所对应的振动量级距线性回归结果具有一定偏差，推测其原因在于：①车轮碾压井盖的轨迹并不完全一致，理想情况下，车轮轨迹与井盖直径方向完全重合，但实际行驶过程中，车轮通常仅碾压井盖的局部区域，因而导致测量的振动数据存在偏差；②井盖前后的路面亦会存在一定的不平整现象，会对车身产生额外振动，引起判别误差。

表3 井盖验证结果 cm

进一步分析车辆经过井盖位置的振动特征，典型沉降窨井及其所对应的车辆振动特征见图9。由图9可见，车辆经过井盖时，其振动特征具有典型的“双峰”特征，分别对应于车辆的前后轮，且前后轮所致的加速度峰值基本一致。而随着井盖高差的增加，振动峰值和量级也随之增加，当井盖的高差达到2.8 cm(重度沉降)时，车身的振动峰值可达到1.68 m/s2。

图9 典型沉降窨井及其所对应的车辆振动特征

4 结语

本文针对城市道路窨井高差的快速检测问题，利用连续摄像、振动感知等技术，提出了一种图像-振动融合的道路窨井高差识别流程和检测方法。并结合现场测试数据，对窨井高差的检测性能和准确性进行了分析和验证。结果表明，文中提出的方法通过融合路面图像数据和窨井高差所致的车身振动数据，不仅可对路面窨井进行快速的识别和定位，还能够基于车身振动强度对窨井高差进行预估。实测结果表明，窨井检出率达94.9%，高差的判别误差在5 mm以内，可满足窨井设施日常养护维修的精度需求。但本文所提出的检测方法仅在单一车辆上进行了测试应用，对于不同车型、车辆悬架结构的影响尚未考虑，需在后续工作中进一步完善，以提升该方法的普适性。