地铁隧道裂缝图像采集与智能识别方法研究

王耀东，史红梅，朱力强，周维桢

（1.北京交通大学智慧高铁系统前沿科学中心，北京 100044；2.北京交通大学载运工具先进制造与测控技术教育部重点实验室，北京 100044）

1 引言

截至2021年12月31日，我国地铁运营线路总里程超过7 000 km[1]，由于隧道施工和后期运营管理等诸多环节中的多种因素作用，地铁隧道衬砌在投入运营后会出现病害。其中，裂缝病害为常见形式，并会引起隧道局部渗漏水，如图1所示。隧道裂缝不仅对地铁结构本身安全性、耐久性构成威胁，甚至会直接影响地铁的运营安全，所以隧道病害检测成为地铁隧道周期性巡检的重要任务。

图1 地铁隧道裂缝和渗漏水图

传统的隧道裂缝检测方法以人工为主，检测人员的安全作业难以保证，存在安全不确定性。利用机器视觉技术、数字图像处理技术和人工智能理论相结合完成地铁隧道裂缝的自动检测、智能分类和特征提取，已成为现今主要的研究方向。

2 相关工作

目前，国内外对于裂缝检测已取得了一定的研究成果。韩国Seung-Nam Yu等人设计制造了隧道裂缝检测试验平台。该设备可以进行遥控操作，以5 km/h的速度运行获取0.3 mm的裂缝图像，并采用最优路径的算法检测裂缝[2]。Landstrom提出一种基于形态学的裂缝识别算法，分别对3种不同分辨率的裂缝图像进行了形态学处理[3]。Yichang Tsai等人提出一种基于最小路径的半自动裂缝检测算法[4]。Protopapadakis等人研究了隧道内自主机器人检测技术[5]。Eftychios提出了一种用于隧道裂缝检测的计算机视觉模块，该模块具有能见度低、裂缝曲率小、裂缝结构深等特点，模块嵌入在一个机器人上[6]。薛亚东等人在2018年提出采用一种全卷积网络分类模型实现隧道衬砌病害自动智能分类检测的功能[7]。黄宏伟等人提出了一种基于深度学习（DL）的地铁盾构隧道裂缝和渗漏水缺陷图像识别新算法，该算法利用全卷积网络（FCN）提取的特征层次对裂缝和渗漏水缺陷进行语义分割[8]。北京交通大学王耀东等人针对地铁隧道复杂场景和弱光环境下，全局图像检测精度低的问题，提出分块图像局部纹理处理算法，基于图像细化与骨架提取算法，提出裂缝和虚假裂缝纹理的差异性计算模型[9]。

在硬件系统研究中，目前研制出的隧道图像采集系统可大致分为高速车载式大型系统和低速手推式小型系统两大类。高速车载式大型图像采集系统设备组成复杂、系统庞大、研发周期长且成本高昂；低速手推式小型图像采集系统集成度低、运行速度慢、检测效率低下。在此基础上，本文提出一种基于自行走平台的地铁隧道图像采集系统和裂缝精细化智能识别算法。

3 隧道图像采集系统

本研究结合现有2种采集系统的优势，搭建了中低速基于自行走巡检小车的隧道衬砌图像同步采集系统，系统由面阵相机及闪光灯一体化模块、供电系统和工控机等组成，如图2所示。

图2 地铁隧道衬砌图像采集系统示意图

3.1 隧道图像采集系统设计

标准地铁盾构隧道均为圆形，且隧道圆心距离轨道面的距离L固定，为1 840 mm，按照裂缝检测要求，相机视野应覆盖逃生平台以上隧道断面，逃生平台高L0为900 mm，计算得隧道圆心到逃生平台所在平面的垂直距离L1为940 mm，隧道半径R为2 700 mm，则隧道圆心和逃生平台的连线与隧道圆心到逃生平台所在平面的垂线之间的夹角θ为：

则逃生平台以上隧道截面的圆弧对应的圆心角（相机视场角总和需要达到的最小值）α为：

单台相机的视场角β为19.7°，则覆盖整个隧道断面需要的相机数量N为：

因此，采集完整的隧道表面图像共需要安装12个面阵相机。本研究针对南方某隧道现场实际需求，主要拍摄逃生平台以上的半隧道区域，所以设计为6个相机的图像采集系统。本文通过串口实现了6个相机的同步触发，可同时采集、同时停止。

系统将其中1台工控机设为主机，命名为1号机，其余2台工控机设为从机，分别命名为2号、3号机，主机通过串口通信的方式同时给自身和另外2台从机发送开始采集和停止采集的指令，从而实现6个相机模块同步触发的功能，隧道衬砌图像同步采集系统示意如图3所示。

图3 同步采集示意图

在实际应用场景中，可以利用相机获得图像中裂缝的像素宽度，通过相机标定可以得到图像中每个像素的实际宽度，即物理尺寸。将获得的裂缝像素宽度，通过标定系数得到的比例因子进行尺寸单位转换，即可获得该裂缝的实际宽度。本文使用棋盘格角点检测算法完成相机标定，最终标定的每个像素的实际尺寸为0.225 mm。

在获得像素尺寸的基础上，根据允许最长拖影S和相机的曝光时间T可计算出系统运动速度v的上限。

则相机模块最小采集帧率计算公式如下：

式（5）中，fmin为相机的最小采集帧率；w为相机视野实际宽度。

3.2 图像采集实验

为验证多目相机隧道图像采集系统的稳定性和可靠性，测试采集到的图像质量，在南方某地铁车辆段的盾构隧道模型内搭建了基于自行走平台的隧道衬砌图像采集系统样机，依据现场对于隧道两侧和拱顶的检测需求，实现半隧道图像采集，如图4所示。

图4 隧道图像采集系统样机

完成功能测试后，整体检测系统在夜间地铁停运后运行到隧道现场区间，实验过程中采集到的部分裂缝图像如图5所示。多目相机模块均可正常实现同步采集的功能，并且可以清晰地拍摄到精度为0.2 mm的隧道衬砌裂缝。

图5 图像采集实验结果

4 隧道裂缝智能识别算法

本文在采集到的海量隧道衬砌图像的基础上建立了裂缝图像样本库，制作像素级的裂缝边缘检测数据集，提出一种基于边缘检测的裂缝识别网络，并使用传统图像处理算法对网络输出的预测图进行后处理进一步提取裂缝。

4.1 样本库的建立和数据集的制作

从实际地铁隧道采集的图像中筛选出含有裂缝的图片，用于建立专门的地铁隧道裂缝图像样本库，并使用labelme标注工具对样本库中的裂缝进行像素级精细化标注，用于制作裂缝边缘检测数据集。

隧道图像分辨率为（5 760×3 840）dpi，为了方便网络识别裂缝，将4个样本库中所有的图片进行分块处理，分块示意如图6所示，分块后的图像分辨率为（720×480）dpi。地铁隧道图像样本库中共包含分块后的图像27 609张，最终从中筛选出3 000张裂缝图像，从而建立包含不同走向、不同长度和不同宽度的地铁隧道裂缝原始图像样本库，用于后期的数据集制作。

图6 图像分块示意图

本文使用labelme标注工具对裂缝进行标注，将裂缝像素与背景像素分割开，剔除背景像素影响。

4.2 基于边缘检测的裂缝识别网络

对裂缝特征进行观察和分析，总结如下：

（1）几乎全部的隧道衬砌裂缝都呈现不规则的曲线形，而与裂缝特征最为相似的接缝和划痕多为直线或平滑的短圆弧；

（2）隧道衬砌图像中的背景噪声多为斑点状，裂缝则大多是细长的形状；

（3）地铁隧道衬砌裂缝通常只有3～6个像素宽度，裂缝像素占比很小；

（4）裂缝图像纹理不均匀，相对于裂缝周围的背景像素存在灰度上的突变。

以上4个特征均与复杂物体边缘极为相似。基于以上观察和分析，本文尝试将边缘检测网络迁移到地铁隧道衬砌裂缝检测上来，提出一种基于边缘检测的裂缝识别网络，实现裂缝像素级识别的同时，补全裂缝的边缘信息，提高裂缝的识别精度。

本文提出的裂缝识别网络结构以经典边缘检测网络（HED）为基础，引入空洞卷积模块（MSBlock），并加入特征金字塔，以此获得更多的语义信息，网络结构示意如图7所示。

图7 网络结构示意图

采用经典卷积神经网络（VGG16）作为骨干网络，在HED的每个阶段（stage）和侧边输出之间加入特征金字塔，以获得不同尺度的语义信息，同时在融合层之前引入MSBlock，在较少的网络计算量的基础上，增大网络的感受野，获取多尺度上下文信息。本文提出的裂缝识别网络在获取充足的语义信息的基础上，尽可能降低了结构的复杂性，减少了网络参数，使网络能够在保证裂缝识别精度的同时，提高识别效率。

该裂缝识别网络的每个stage对应VGG16的5个stage，每个stage输出1张特征图，除最后一个stage外，其余stage的输出均通过1个上采样和上一个stage输出的特征图叠加，形成自上而下的特征金字塔结构，将深层的语义信息传入浅层。最后将5个stage的侧边输出通过一个1×1的卷积和上采样融合在一起，形成最终的融合层预测图。

本文使用损失函数（Focal loss）代替传统的交叉熵损失函数，该函数是在交叉熵损失函数的基础上进行优化和改进后得到的，不仅能够平衡正负样本，还可以动态调整样本的损失（Loss）大小，使网络在训练过程中更加注重对难识别样本的学习。批量参数大小（Batch size）是网络训练的重要参数之一，Batch size越大，越可以很好地代表样本总体，从而更准确地朝向极值所在方向。

本文采取以下3种方法增大Batch size：基于Apex的混合精度加速、梯度累加和分布式训练。此外，在网络训练过程中容易发生过拟合的现象，即网络在训练集上表现良好，在测试集上表现欠佳，这会导致网络的泛化能力下降，本文采用数据增强的方式防止网络过拟合。

4.3 图像后处理

为将网络输出的裂缝预测概率图转化为二值图像，本文设计了基于数字图像处理的后处理算法对裂缝图像进行处理。裂缝图像后处理算法流程如图8所示，部分后处理效果图如图9所示。

图8 裂缝图像后处理算法

图9 裂缝图像后处理结果

裂缝图像后处理算法主要包括4个步骤，具体如下：

（1）使用自适应阈值分割算法将概率图转化为二值图像，尽量完整的保留裂缝像素；

（2）使用连通域滤波算法将二值图像中像素数小于40的散点噪声滤除，只保留裂缝像素；

（3）使用形态学方法中的闭运算填补裂缝内部的空缺像素；

（4）通过平滑边缘改善裂缝边缘锯齿化严重的问题，这可以在一定程度上将复杂裂缝分岔点连接起来，避免出现裂缝断裂的情况。

5 实验与结果分析

5.1 数据集、评价指标和参数设置

使用深度学习的边缘检测算法，需要构建像素级的边缘检测数据集。本文在构建的地铁隧道裂缝边缘检测数据集上进行算法实验。数据集包含训练集1 780张、验证集509张和测试集254张，其中对于裂缝图像设置了真实标签数据（Ground Truth），如图10所示。

图10 地铁隧道裂缝数据集

为评价裂缝识别算法的效果，引入评价指标平均交并比（mIoU）、准确率、召回率和平均准确率（AP）对裂缝检测结果进行评价。

5.2 图像后处理实验结果

由于网络检测结果仍然不够精细，且少部分图像存在噪声干扰的情况，因此本文使用传统图像处理方法对网络输出的图像进行后处理，进一步精细化提取裂缝特征，如图11所示。由图可知，基于数字图像处理的后处理算法可以进一步提取裂缝，对裂缝的识别效果较好。

本文将边缘检测的评价指标AP、单图最佳尺度（OIS）下的平衡F分数（F1-score）和全局最佳尺度（ODS）下的F1-score引入裂缝检测中。经过计算，隧道裂缝在OIS下的F1-score为0.828，ODS下的F1-score为0.886，均获得了较高的得分。由于地铁隧道裂缝背景复杂，占比小，多为细小裂缝，与用于训练网络的路面裂缝相比识别难度更高，因此AP值为0.689，仍需提高，可使用精细化标注的隧道裂缝数据集训练网络提高隧道裂缝检测的AP值。

5.3 实验结果分析

基于边缘检测的裂缝自动识别和特征提取方法可以对裂缝进行初步提取，从结果图（图11）中可以看出，网络提取到的裂缝区域很亮，因此，深度学习具有一定的优越性。使用基于数字图像处理的后处理方法能够滤去背景中的噪声，进一步将裂缝提取出来。本文使用深度学习和数字图像相结合的方法实现了地铁隧道裂缝的自动识别和特征提取，对于采集到的裂缝图像，实现了裂缝纹理的提取，检测效果良好。

图11 地铁隧道裂缝后处理

6 结论

本文设计了一种基于自行走平台的地铁隧道图像采集系统和裂缝图像识别方法。通过串口通信方式实现多个相机的同步采集，搭建了隧道图像同步采集系统，并进行隧道现场图像采集实验，实验结果表明本文提出的方法可以同步采集隧道衬砌图像，且图像辨识精度达到 0.2 mm。

同时，本研究提出一种带有多尺度检测模块的双向级联网络。实验结果表明，采用深度学习算法和传统图像处理算法相结合的方法可实现地铁隧道裂缝的精细化智能识别，AP为0.689，OIS下的F1-score为0.828，ODS下的F1-score为0.886，均取得了较好的识别效果。相关研究为后续的现场应用示范提供了技术和理论支持。