基于深度学习的隧道渗漏水语义分割方法

徐艺文， 王维， 王鲁杰， 陈颖， 郭春生， 李家平

（1. 上海勘察设计研究院（集团）股份有限公司；2. 上海地铁监护管理有限公司）

1 引言

随着经济社会的发展，城市轨道交通需求增长，运营里程不断增长。截至2020年末，内地城市轨道交通的总运营里程达7978.2km[1]。城市轨道交通多采用地下隧道建设方式，由于建设条件、运营环境等复杂因素影响，管片衬砌结构在运营期间会出现多种病害，如：渗漏水、裂缝、掉块、管片错台等[2]。传统的病害检测以人工为主，通过人眼或简单仪器检测，判定效果依赖于检测人员的经验与主观判断，检测效率与可靠性均无法满足轨道交通发展的需求[3]。基于相机拍摄或三维激光扫描的隧道病害检测是发展的技术方向，目前已有国内外的许多学者对此进行了研究。2017年加拿大Cha 等[4]采用深度卷积神经网络对混凝土裂缝的识别进行了研究，在检测中结合滑动窗口可以检测任意大小的图像，并验证了深度学习在混凝土裂缝识别上的优势。2017年黄宏伟等[5]基于全卷积网络进行盾构隧道渗漏水病害图像识别。2018年薛亚东等[6]建立隧道衬砌特征图像分类系统，在现有的CNN模型GoogLeNet基础上进行改进，获得了准确率超过95%的网络模型。2020年薛亚东[7]就裂缝及渗漏水病害的特殊性，基于FastRCNN，采用数据统计分析及K-means 聚类算法分析其几何特征，结合病害特征优化VGG-16 网络模型，进一步提高病害识别的精度。以上这些研究表明深度学习方法较传统图像方法在隧道病害检测具备精度高和鲁棒性强的特点。然而，这些研究大多采用相机的照片建立深度学习数据集。本文基于自主研制的快速移动式隧道三维扫描检测系统，采集隧道衬砌的扫描影像，在上海轨道交通运营线路中选取了病害较多的区间，通过人工标注建立了具备一定规模的渗漏水病害样本库，基于图像分割的全卷积神经网络模型训练并识别隧道内渗漏水病害。

2 数据集

深度学习其数学本质是在一个有限数量的真实样本中寻求待求依赖关系的映射的学习方法。为了实现深度学习在隧道三维激光扫描影像识别中的应用，首先需要建立一个具备一定规模的隧道三维激光扫描影像人工标注数据集。不同于其他图像识别任务存在大量公开数据集如图像分类分割的ImageNet[8]，隧道病害检测领域目前尚没有一个公开的病害数据集。

本文通过隧道移动三维激光扫描技术，进行隧道衬砌表面点云采集，通过圆柱投影将点云投影生成隧道区间的三维扫描灰度影像。在上海轨道交通部分运营线路上，采集了34 幅区间扫描影像，通过开源标注工具Labelme 标注出其病害位置和轮廓，其统计信息如表1，示例如图1。

表1 隧道区间影像渗漏水病害统计表

图1 隧道区间三维扫描影像标注示例

图 2 渗漏水病害样本集示例（左侧为原图，右侧为标签图）

图像分割数据集的建立：由于一幅隧道区间影像数据量通常非常大，而计算机内存和显存有限，无法直接用整个区间影像作为样本来训练深度学习模型。另一方面区间影像上人工标注的信息为病害多边形的顶点坐标，还需要将病害的矢量信息栅格化作为样本的标签（label）来训练图像分割的深度学习模型。本文在标注的区间影像按384×384的尺寸滑框切割作为深度学习模型的原图输入及根据标注多边形生成一个对应的标签图（见图2）。表1 中标注区间影像处理成了一个包含34624 张的384×384 影像及对应标签，其中26825张影像只有背景，没有包含渗漏水病害对象，这样极其不均匀地分割样本可能导致模型训练容易偏向学习背景的特征而不是渗漏水病害的特征，因此在不包含渗漏水病害的图片按10%的概率随机选取了2561 张和包含渗漏水病害的7799张影像组成渗漏水病害数据集，并将所有的图像按8:1:1 的比例分成训练集、测试集和验证集，如表2。

表2 训练测试数据集构建情况

在7799张包含渗漏水对象在影像中，渗漏水对象的像素比较稀疏，大部分影像的渗漏水对象像素对象很少（见图3）。其中5179影像中渗漏水对象的像素占比不超过5%，2199张像素占比不超过1%，只有不到40 张影像渗漏水病害占比大于50%。从每张影像的像素分布来说，渗漏水的像素和背景的像素分布也是极其不均匀的。

图3 渗漏水对象像素占比分布图

3 基于图像分割的深度学习算法

随着卷积神经网络在影像识别领域的进展，针对影像分割任务也提出了许多卷积神经网络架构。全卷积网络Fully Convolutional Network(FCN)[9]是应用到影像分割领域第一个卷积神经网络算法。全卷积网络基于编码器(Encoder)-解码器(Decoder)架构利用图像分类任务中表现优秀的深度学习模型(如ResNet[12])作为编码器将高维特征映射到低维度，同时将分类模型最后的全连接层更换为反向卷积层作为解码器，反向卷积层(Deconvolution layer)将编码器提取的特征解码输出成原图尺寸相同的掩模，输出的掩模中每个像素表示原图同样位置的像素所属对象的类别。FCN将卷积神经网络应用在图像分割问题上的基本关键思路：上采样(Upsampling)、跳跃连接(Skip-connection)、迁移学习(Transfer Learning)。这些关键思路使得FCN在分割精度上较之前图像分割算法具有巨大的提升，此后影像分割领域许多表现优异的模型架构(U-Net[10]、Deeplabv3[11])都借鉴FCN思路来优化而取得更好的影像分割精度。本文基于前面建立的隧道影像病害样本集分析比较了FCN，U-net 和Deeplabv3 几种经典图像分割模型在隧道病害识别领域中运算速度和识别精度上的区别。

由于渗漏水对象的像素占比极少，选择图像分割经典的交叉熵损失函数会导致模型特征学习偏向背景，使得最终模型预测精度低，前景区域可能漏检或缺失。为了解决图像分割中待识别对象像素占比不均衡的问题，研究人员相继提出加权的交叉熵损失函数、Dice Loss损失函数、Sensitivity Specificity损失函数等[14]。本文采用文献[14]对Dice Loss损失函数的改进版损失函数GDL(Generalized Dice Loss)损失函数作为模型优化的损失函数。

4 算法实验

4.1 精度指标

影像分割通常由许多指标来评价算法的分割精度，这些指标中最为常用的是区域交并比(intersection of union-IoU)。其他精度评估指标基本上是这两个指标的变体[13]。

区域交并比又称为Jacard 指数，是计算真值集合和预测值集合的交集和并集之比，对于类i的区域交并比计算公式如下：

4.2 模型训练

本文在隧道三维激光扫描影像病害数据集上分别训练三种图像分割的深度学习模型FCN，U-net和Deeplabv3（见图4）。三个模型的编码器均采用ResNet-50模型，模型初始化参数采用ImageNet上预训练参数。超参数的设置对于深度学习训练最重要，本文采用模型如下参数配置：初始学习率（learning rate）均设置为0.0001，学习率衰减策略采用分段衰减，学习率优化方法SGD，权重衰减（weight decay）0.9995，批次大小（batchsize）24 个，最大迭代次数（epoch）100，模型基本训练信息见表3。

表3 模型训练信息

图4 测试效果图（从左至右分别为原图，标签图，DeepLabv3，U-Net，FCN）

三个模型中，训练推理最快的是解码器结构最简单的FCN，最慢的是解码器最复杂的Deeplabv3；模型参数最多的是U-Net这主要是因为其解码器较多的特征拼接结构。是在整个训练周期内dice损失随着训练的推进持续下降，训练集IOU精度也在提升，从验证集精度曲线图（见图5）可以看到，三种模型基本在15个epoch左右就收敛到最好精度。验证集最优模型最终测试精度见表3，Deeplabv3 取得了0.782的IOU精度，测试精度最差的为FCN。三个模型在测试集图片中预测效果如图4。

图5 模型训练

5 结语

本文利用开源标注工具建立了一个病害识别数据集，以此为基础，分析比较了几种经典的图像分割任务的深度学习模型（FCN，U-net 和Deeplabv3），并分别在验证集和测试集上进行了验证实验得出结论如下：

①现有图像分割的深度学习模型在病害检测中均能取得较好的IoU精度，相对于其他对象，如人物建筑等分割任务，渗漏水形态多变，轮廓不分明。

②通过对不同检测模型计算结果对比分析得出，Deeplabv3 的解码器结构较轻，参数较U-Net 少，但在渗漏水病害特征学习中表征能力更强。

③本文建立的数据集偏少不足9000张影像，且数据大多为同一款扫描仪采集，模型泛化能力有限。隧道衬砌病害的检测精度仍有待提高，可以考虑扩充病害数据库，增加模型的鲁棒性及准确度。