基于ResUNet网络的隧道围岩图像炮孔留痕检测方法

2020-01-03郭洪雨陈宝林傅金阳祝志恒李世东

水利与建筑工程学报 2020年6期

郭洪雨，陈宝林，王宇，傅金阳，祝志恒，李世东

(1.浙江省交通规划设计研究院有限公司，浙江杭州 310013；2.中南大学土木工程学院，湖南长沙 410075；3.浙江清华长三角研究院，浙江嘉兴 314006)

钻爆法是现代山岭隧道的主要施工方法之一，光面爆破技术由于能很好地控制隧道成形质量以及成形后的稳定性而被广泛应用。通常情况下，受爆破参数以及地质空间变异性的影响，在隧道爆破后需评估隧道的成形质量及围岩地质信息，以及时调整下一阶段的爆破参数，保证爆破效果与施工安全。然而，隧道爆破参数的选取极其依赖工程人员的主观经验，受爆破参数设计不当导致的隧道严重超欠挖和安全事故等时有发生[1]。

隧道掌子面炮眼残留率以及硐壁炮孔留痕率能一定程度上反映围岩的超欠挖情况与岩性差异，是评估爆破质量的重要指标之一，也是爆破参数选择的重要依据[2]。目前，爆破后的炮孔留痕主要通过人工识别或数字摄影留档的方式粗略地统计评估，其识别效率与准确率较低。

随着计算机技术的发展，基于数字图像处理技术的检测方法开始应用于传统工程领域中[3]。郭强等[4]利用摄影测量方法研究岩体破碎区域的分布规律，基于大津阈值法实现图像二值化，并辅助人工进行岩体破碎区域的划分；冷彪等[5]、李鹏云等[6]基于Canny算子与Hough直线变换算法识别隧道围岩表面的岩层和节理线条。陈爱云等[7]基于三维点云影像信息识别危岩体结构面产状，并基于此评价危岩体稳定性。但是，传统数字图像处理方法的表现严重依赖于先验知识与参数设定，因此往往只能针对特定条件下的工程场景发挥作用，鲁棒性较低。

基于深度学习的视觉检测方法，由于其自动化的参数学习能力，有效克服了传统图像处理方法泛化能力差的缺陷，能够适应复杂多变的工程应用场景。例如，黄宏伟等[8]基于FCN神经网络识别盾构隧道内的渗漏水病害，并通过对照实验表明该深度学习方法优于传统的大津阈值法、区域生长法与分水岭算法；Cha等[9]基于深度学习方法检测混凝土表面的裂缝缺陷；Liu等[10]基于深度层次特征学习架构实现裂缝分割，结果说明深度学习技术能够高精度检测裂缝病害；柳厚祥等[11]基于AlexNet网络识别隧道围岩节理特征；张万志[12]研究了基于Faster R-CNN的岩质隧道掌子面炮孔识别技术，用于辅助光面爆破的参数优化。

然而，硐壁炮孔留痕的检测受岩体纹理、爆破后的不规则断口、洞内灰尘与不均匀光照等因素的干扰，检测难度高，目前尚无相关研究成果。针对上述技术难点，本文提出一种基于ResUNet[13]深度网络的围岩炮孔留痕检测方法，该方法能够高效、高精度评估隧道光面爆破后的炮孔留痕率，提升隧道施工质量检查效率。

1 炮孔留痕检测算法

1.1 方法概述

(1) 检测难点。由于岩体的各向异性以及爆破效果的不可控性，岩质隧道爆破后会在硐壁上残留一些半炮孔痕迹，这些炮孔痕迹在图像上呈现为断续的线状目标。经过对围岩图像的分析，炮孔留痕检测存在如下技术难点：

① 炮孔痕迹具有不连续性，识别算法容易将单条炮孔痕迹识别为两个目标。

② 炮孔留痕在围岩背景纹理中不明显、边界模糊。

③ 图像中存在一些相似的线状目标，如岩石断口、结构面和节理，使用传统数字图像处理技术会导致结果中的假正例偏多。

④ 隧道施工现场光照条件差，灰尘等干扰因素众多。

(2) 技术路线。针对上述技术难点，本文提出了基于ResUNet[13]神经网络的炮孔留痕检测算法，算法分为分割和定位两个阶段，如图1所示。首先，在隧道爆破出渣后，采集开挖面硐壁围岩图像，利用Labelme软件人工标注炮孔留痕位置，并构建训练数据集；其次，使用训练集多次训练与验证ResUNet网络，反复试验网络超参数，最后保存精度最高的神经网络模型；最后，运用模型对测试图像进行推理，获得炮孔留痕的二值图像；最后基于二值图像各连通域的几何信息筛选目标，获得炮孔留痕的精确空间定位。

图1 基于ResUNet的围岩图像炮孔留痕检测流程

1.2 ResUNet神经网络

ResUNet[13]深度卷积神经网络是检测算法的核心环节。如图2所示，神经网络输入围岩RGB图像，输出标示着炮孔留痕位置的二值图像。ResUNet神经网络的结构同时结合了U-Net[14]的“编码器-解码器”设计与残差模块设计[15]，因此可以适应特定环境下的炮孔留痕检测。

(1) 编解码器结构。编解码器结构，也称为U形结构[14]，是用于图像语义分割任务的特殊神经网络结构。如图2所示，ResUNet网络左侧的“编码器”与右侧的“解码器”共同构成了一个对称结构。其中，“编码器”由一系列级联的3×3卷积层构成，对输入图像进行下采样处理，并逐层提取图像中的高级特征，输出小尺寸的特征张量。随后，右侧的“解码器”部分对特征张量进行多次上采样处理，最终获得与原图像相同尺寸的二值图像，此图像即为检测结果[14]。与此同时，在编解码器之间存在多条捷径连接，使得网络中处于不同深度的特征信息得以融合，以提高神经网络的多尺度识别精度[14]。

图2 ResUNet网络结构[13]

(2) 残差模块。ResUNet中的残差模块设计如图3所示，通过不同深度层之间的残差连接，而不是连续的长连接，避免了在深度网络带来的梯度弥散问题，减小了神经网络的参数总量，并加快训练收敛的速度[15]。

图3 ResUNet中的残差模块，其中BN操作表示批量归一化操作

如图，在ResUNet网络中，一个残差模块被定义为本体映射和残差映射的和：

yl=F(xl)+xl

(1)

其中：yl表示该残差块的输出；xl表示残差块输入。根据神经网络反向传播运算的链式法则，在ResUNet中，神经元的求导结果为：

(2)

其中，Loss表示损失函数。而在常规神经网络中，神经元的求导结果为：

(3)

其中:Wi表示每一层的神经元权重。通过比较式(2)与式(3)可知，ResUNet中的神经元的求导结果不会因为累乘Wi而出现弥散或爆炸，保证网络收敛速度[15]。

(3) 损失函数。损失函数是深度神经网络优化过程中的目标函数，通常至少包含一个指标，用于表征模型预测结果与真值间的差异程度。这样，神经网络在训练迭代中可以渐进式地优化模型参数，使得输出结果不断逼近真值，达到准确识别目标的目的。

根据实验需求，神经网络模型的损失函数被设计为交叉熵Lcre与Dice系数损失函数Ldice[16]的带权和：

Loss=λ·Lcre+(1-λ)Ldice

(4)

其中:λ表示权值，在实验中取值为0.5。交叉熵Lcre在二分类任务中定义为：

(5)

其中:yi表示样本i的标签值；pi表示样本i预测结果为正例的概率。

另一方面，由于炮孔痕迹在图像中的面积占比极小，约为3%左右，与岩体背景的面积占比(约97%)相差悬殊，会引起严重的样本不平衡问题，影响模型收敛效果。因此，在损失函数中引入了Dice系数损失Ldice[16]，该指标度量了真正例与正例和假反例两者之和的比值：

(6)

其中:T表示训练样本中真正例、假正例的集合；P表示训练样本中假反例、真正例的集合。

1.3 后处理技术

由于围岩图像中的干扰物众多，分割结果存在一定的误检。为了准确统计炮孔留痕数量及位置，本文借助OpenCV图像处理库获得疑似对象的面积与最小外界矩形，并基于上述信息筛选对象。

首先，基于二值图像闭运算连接断开的炮孔痕迹，本实验选择50×50的矩形核作为结构元素。在闭运算操作完成后根据面积大小筛选炮孔痕迹目标。令St为面积阈值，Si为二值图像第i个连通域的像素面积，当Si

最后，令P(xi,j，yi,j)(其中，j=0，1，2，3)为二值图像第i个连通域的最小外接矩形顶点坐标，则该最小外接矩形的边长Li、Li′分别为：

(7)

(8)

若Li

Li=max(Li，Li′)

(9)

同时，定义矩形的长宽比Di：

Di=max(Li,Li′)/min(Li,Li′)

(10)

当Di>DT=3时，标记该连通域为炮孔痕迹。

2 对比实验

2.1 实验设计

为了验证算法的应用优势，本文除了测试神经网络在训练图像上的预测精度外，还设计了一套基于传统数字图像处理技术的炮孔痕迹检测算法作为对照。

在预处理阶段，该算法首先对图像进行对比度增强处理。随后，基于邻差直方图阈值分割法[17]分割图像，该算法引入了指标S(x，y)用于衡量某个特定像素点与其领域像素点的差异程度：

S(x,y)=∑pj(x,y)∈W(x,y)

(11)

其中：p(x，y)表示中心像素点；W(x，y)表示八领域pj(x，y)的集合。那么，对于灰度为i的所有像素点的集合M(i)，定义：

A(i)=∑p(x,y)∈M(i)S(x,y)

(12)

因此最佳灰度阈值T可以表示为：

T=argmaxiA(i)

(13)

在后处理环节的算法流程与前文所述相同。

2.2 数据集构建

(1) 图像采集与标注。本实验的数据集包含105张大小为6 000×4 000像素的24位RGB图像，图像采集地点为杭州第二绕城高速六弓山隧道与文泰高速文成段金垟隧道，两者均为在建的特长隧道。在隧道爆破、排险、出渣后，技术人员进入隧道，检查开挖后的地质状况，并手持数码相机(佳能EOS80D)尽可能垂直于硐壁表面拍摄围岩图像。

随后，使用深度学习标注工具Labelme人工完成数据标注，利用直线段元素沿炮孔留痕的对称轴标注，如图4所示。在标注过程中不考虑留痕的实际宽度，并将线宽统一设置为10像素。最后，按照1∶9的比例将数据集分割为测试集与训练集。

(2) 数据增强。为了扩充训练集大小，防止神经网络模型的过拟合效应。本文首先以0.50、0.75、1.25的倍率分别对数据集进行金字塔缩放，随后以512×512的滑动窗口在原始图像上随机截取图像块。最后采用随机亮度、对比度、饱和度变化以及镜像操作再次扩充数据规模。

经过多种数据增强处理，最终获得了约20 000张大小为512×512的训练图像，如图4所示，在最终的训练集中存在炮孔痕迹的图像占比约为47.3%。

图4 滑动窗口法与数据标注示意

2.3 网络训练

本文基于Tensorflow深度学习框架开发ResUNet卷积神经网络，使用Adam优化器作为参数优化算法，学习率为10-4。训练过程采用小批量随机梯度下降策略，每次迭代时的批量数为16，共经历了100 000轮迭代，此时网络的损失函数逐渐稳定，网络模型趋于收敛，训练结束。

整个训练过程耗时约为10 h，最终网络模型在测试集上的像素精度为99.19%，这表明图像中约99%的面积都实现了正确的检测。

3 实验结果与分析

3.1 识别精度对比

本文选用两项指标，像素精度(PA)与均交并比(mIoU)用于衡量算法识别精度。如表1所示，在11张围岩图像测试用例中，传统阈值分割法的平均PA为91.82%，平均mIoU为60.84%，这说明传统阈值分割法的检测结果中存在大量假正例与假反例，会严重干扰炮孔留痕率计算的准确性。同时，本文提出的ResUNet法的平均PA为99.23%，平均mIoU为87.74%，在两项精度指标上均大幅优于传统阈值分割法，能够为围岩炮孔留痕率计算提供可靠依据。

3.2 鲁棒性对比

根据围岩图像中干扰因素的类别，我们将11张测试图像分为三类，以比较算法的鲁棒性表现，具体如表1所示。其中，第一类图像为岩体表面阴影干扰；第二类图像为岩体节理裂隙干扰；第三类图像为成像质量差、炮孔痕迹不明显等问题。

如图5所示，在第一类图像中，由于爆破后的岩体表面形状极为不规则，加之现场光照条件不理想，在图像中形成很多索条状阴影，这些阴影的颜色、形状与炮孔痕迹极为类似。而传统阈值分割法只依赖于亮度区分对象，因此在输出结果中包含约三分之一的假正例，如图5(c)所示。在ResUNet法的输出结果中，除少量炮孔痕迹不连续外，大部分对象的检测结果均正确，能够满足炮孔痕迹个数统计与炮孔留痕率计算的要求，如图5(d)所示。

表1 传统数字图像处理法与本文方法对比

图5 第一类图像(#2)

如图6所示，在第二类围岩图像中，岩体表面的节理裂隙等目标物的颜色与形状同样与炮孔痕迹极为类似。在这一条件下，传统阈值分割法的结果中包含约三分之一的假正例，这些假正例无法被后处理算法筛除，给后续炮孔留痕率计算带来困难。图6(d)为本文ResUNet法的检测结果，与人工标注的标准结果基本吻合。

在第三类图像(见图7)中，受现场客观条件的制约，图像成像模糊，且炮孔留痕不明显，个别痕迹的颜色与岩体背景几乎没有差异。在这一情况下，传统阈值分割算法直接失效，如图7(c)所示。而ResUNet法的结果基本正确，特别是在识别浅色炮孔痕迹方面，具有优越的鲁棒性。

图6 第二类图像(#7)

图7 第三类图像(#9)

从以上三类围岩图像识别结果可以看出，传统阈值分割算法根据图像的灰度特性识别目标具有一定的局限性，例如无法分辨阴影、节理裂隙等干扰因素，使得检测结果中假正例偏多，而且无法通过后处理算法筛除，严重影响算法的识别精度。另一方面，受围岩表面纹理的影响，阈值分割法所获得的连通域边缘更为粗糙，不利于统计炮孔留痕面积与长度信息。

基于深度学习理论开发的ResUNet算法，由多层堆叠的卷积层组成。经过反复迭代训练，网络中的卷积层能自动提取并学习图像中的高级图形特征，例如边缘、纹理、形态等，因而能够排除阴影、节理裂隙等目标物的干扰，使得算法具有较强的泛化能力和鲁棒性，能够显著降低错检率。