基于级联神经网络的隧道衬砌裂缝识别算法研究

刘新根，陈莹莹，王雨萱，刘树亚

(1.上海同岩土木工程科技股份有限公司， 上海 200092；2.上海地下基础设施安全检测与养护装备工程技术研究中心， 上海 200092；3.深圳市地铁集团有限公司，广东 深圳 518026)

裂缝是一种最主要的隧道衬砌病害类型[1]，根据交通运输部数据统计，截至2019年底，全国公路隧道19 067座、18 967 km，铁路隧道16 084座、18 041 km。为确保隧道安全运营，每条隧道都需定期检修、维护，且随着隧道运营数量和里程的快速增长，检测任务日渐繁重，但人工检测效率和准确率低、人员专业性要求较高。为提高隧道检测效率，图像检测技术得到广泛应用，其中裂缝的准确高效识别是该技术有效实施的关键。

许多学者针对这一需求，在裂缝自动识别领域进行了大量研究。文献[2]针对地铁隧道提出连通域分析获取裂缝区域；文献[3]基于模板、Hough变换以及支持向量机(SVM)的近似裂缝结构分析法，通过裂缝特征获取隧道衬砌裂缝；文献[4]提出基于裂缝几何特征、区域块状特征的裂缝自动分类算法，实现裂缝类别的自动区分。但隧道裂缝识别中存在裂缝特征不明显、隧道内干扰物过多、图像采集不清晰等问题，传统算法不能实现较好的识别效果。

目前卷积神经网络发展迅速，裂缝自动检测中也开始逐步应用这一技术。文献[5] 利用深度学习算法对无人机获取的混凝土桥梁图像进行结构表面裂缝识别；文献[6]提出一种用于磁光图像中裂缝检测的人工神经网络方法，利用旋转偏振光检测裂缝引起的磁场，实现裂缝识别；文献[7]利用卷积神经网络检测混凝土裂缝，并将其与传统的Canny等边缘检测方法进行对比，有效证明了卷积神经网络在裂缝识别上的鲁棒性与有效性。

为获取裂缝的准确位置，需进一步提取出裂缝。随着语义分割网络的提出，卷积神经网络不仅可以实现目标分类，同时可以实现像素级的目标分割。文献[8]对全卷积进行改进并用于路面裂缝识别；文献[9]在判别器中引入分割分支，将生成式对抗网络与语义分割网络合二为一；文献[10]提出基于卷积神经网络和朴素贝叶斯数据融合的方案，分析单个视频帧的裂缝，提高了系统的整体性能。然而裂缝在图像中占比很小，若直接采用以上的分割网络会造成大量的资源浪费，因此文献[11]采用超像素分割获得包含裂缝的块状区域，并对区域先分类后分割，实现裂缝识别。但超像素分割针对特征较弱的裂缝或背景干扰较多的图像并不能实现较好的区域分块。

针对以上算法中鲁棒性较差、网络分割效率不高且无法保证裂缝完整性的问题，本文采用三级联网络实现隧道衬砌裂缝识别。结合多尺度特征融合[12]，采用共享卷积层结合金字塔网络(FPN)的方式进行全图特征提取，解决裂缝特征较弱、浅层网络无法提取的问题。采用网格状区域划分法，通过分类网络对不同尺度下的区域进行筛查，并提出自适应区域扩张法确保裂缝区域的完整性。分割网络中采用多尺度的特征融合实现裂缝分割，并将分割结果映射到整张图像，实现对整张图像的裂缝自动识别。

1 三级联网络结构

针对隧道衬砌图像特点，设计了隧道衬砌裂缝识别算法，具体流程见图1。

图1 隧道衬砌裂缝识别算法流程

采用三层级联式网络结构，见图2。

图2 三级联网络结构

第一层的特征提取网络，采用五层共享卷积层结合金字塔网络获得多尺度特征图。

第二层的区域分类网络，采用多尺度区域生成思想，从不同尺度特征图中获取感兴趣区域。网络接收上一层获取的特征图，并进行分区域判定，判定为裂缝的区域保留其边界框的尺寸、中心点及偏移量，并传递到下一层的分割网络。

第三层区域分割网络，采用多尺度特征融合思想，以第一层网络的多尺度特征图和第二层网络获得的区域信息作为输入，对感兴趣区域进行多尺度融合分割。

1.1 特征提取网络

本层网络的主要任务是获取多尺度下的特征图，将深层特征与浅层特征相结合。采用多尺度特征建立特征金字塔结构，并将其传入后续的分类、分割网络，使得网络在不同尺度上对目标进行判定，同时可以实现分类网络与分割网络的特征图共享，减少重复计算。

1.1.1 网络结构

特征提取网络中，采用金字塔网络进行不同尺度下的全图特征提取，替代传统目标检测中的特征提取方式，采用多个尺度的池化替代原始方法中的单一池化，作用于卷积得到特征图，对于一幅图像的所有候选区域只需要进行一次卷积，避免了对不同尺度下各个图像块的单独操作，提高特征提取的效率，同时可以适应裂缝多尺度的问题，该层网络结构见图3，其中为了便于表示特征图拼接过程，假定输入图像的尺寸为572×572。

图3 特征提取网络结构

其中C1、C2、C3、C4、C5均包含两次3×3的卷积操作，FeatureMap2，FeatureMap3，FeatureMap4由上一层的初始特征图与该层的卷积结果crop后拼接得到，FeatureMap5为卷积层结果，FeatureMap6由FeatureMap5直接进行池化操作得到。

考虑内存及网络计算量，不采用尺寸较大的C1层的特征图，仅利用其他层特征图建立特征金字塔，将深层特征与浅层特征相结合，解决裂缝特征较弱深层网络无法提取的问题，同时加入特征图FeatureMap6增强裂缝的平移、旋转和尺度不变性。

1.1.2 特征图拼接

采用crop操作对特征图进行拼接，从图像中心点将较大尺寸的初始特征图直接进行裁剪，会导致对应点处的特征位置偏移。为了解决这一问题，在每一次图像卷积前均对输入图像进行padding操作，为图像四周补零，确保输入图像与输出图像尺寸一致，见图4。

图4 卷积中的padding操作

以某一层的特征图获取过程为例，下一层所得特征图通过Upsmpling操作，与上一层特征图进行crop拼接，将拼接结果作为输出结果，拼接过程见图5。

图5 特征图拼接示意图

加入padding操作后，下一层的输出经过同样步长的上采样后，可与上一层的输出直接拼接，解决了特征偏移问题，也减少了裂缝识别网络的计算量。为便于网络处理，将输入图像统一尺寸为512×512，结合图3可得每层特征图尺寸分别为256×256(FeatureMap2)，128×128 (FeatureMap3)，64×64 (FeatureMap4)，32×32 (FeatureMap5)，16×16 (FeatureMap6)。

1.2 区域分类网络

1.2.1 网络结构

第二层区域分类网络，将图像划分成网格状小区域，对每个小区域进行类别判断，可剔除大量无裂缝的背景区域，有效减少分割网络计算量，操作步骤见图6。

图6 区域分类网络操作步骤示意

区域分类网络采用多尺度区域生成，接收上一层获取的多尺度特征图FeatureMapi(i=2,3,4,5)。对待检测区域，在不同尺度特征图中生成多个锚框，并进行分类和边界框回归，保留判别为裂缝类的锚框及其尺寸h×w、中心点(x,y)、边界框偏移量，并记录此时参与分类的特征图层级i，分类网络结构见图7。

图7 区域分类网络结构

基于锚框得分及锚框重叠率筛查整张图像的锚框，并对剩余锚框进行自适应区域扩张，确保区域的完整性，同时修改每个锚框对应的尺寸信息，作为下一级网络的输入。

1.2.2 锚框生成

遍历各个尺度特征图，为其上的每个像素点生成对应尺寸的锚框。以128×128的特征图FeatureMap3为例，该特征图相对原图步长为8，则每个像素点均可生成8×8面积为64的锚框。在此基础上，为扩大视野范围且适应检测区域尺寸，将锚框长、宽均扩大2倍，尺寸变为16×16，面积变为256。由于裂缝具有线性形态，且方向具有不确定性，因此在保证面积不变的情况下，将长宽变换为8×32、16×16、32×8三种类型，即为FeatureMap3上的每个像素点生成3种不同比例的锚框如图8所示。

图8 锚框生成示意

不同尺度特征图相对原图的步长分别为4、8、16、32，因此同理设定每层的锚框尺寸为8×8、16×16、32×32、64×64，并在面积保持不变的情况下，每种按长宽比0.5、1、1.5的比例衍生为3种不同尺寸的锚框。

网络训练阶段，利用已生成的锚框建立正负样本，但其中包含很多重叠面积较大的锚框，为提高网络训练效率、减小计算量，采用的锚框删减准则为

式中：IOU为交并比。

1.2.3 区域分类

网络训练阶段，从保留下的正负样本中，各随机选取部分用于分类分支(cls)与边界框回归分支(bbox_reg)训练；在检测阶段则将锚框输入到已经训练好的cls与bbox_reg分支中，进行前景与背景的初步分类以及边界框回归。在分类分支中，预先设定判断为裂缝的得分阈值为score_th，通过区域内的锚框得分判断区域类别，具体操作见图9。

图9 区域分类操作流程

为减少包含在内的背景区域，区域分类时会对区域内的所有锚框进行筛选。由于不同尺度特征图下锚框尺寸不同，锚框之间可能会出现重叠现象。多尺度区域判别也可能会导致裂缝区域查找不完整，部分锚框间可能会存在漏检的裂缝区域，从而影响裂缝的完整性。同时，采用小区域依次判别的方式，存在某些与裂缝特征相似的目标被误判的情况。

针对以上问题，对整张图像的锚框进行二次筛查与修正，步骤如下：

Step1若两个锚框重叠率超过70%，则删除得分较低的锚框。

Step2根据锚框的长宽比进行n倍的扩张，直到80%的锚框与其周围锚框边长存在30%的重叠区域，去除其余独立且score较小的锚框。

Step1删除重叠区域过多的锚框，Step2删除可能被误判的独立锚框，并通过锚框扩展确保裂缝区域的完整性，具体操作见图10。图10(b)中包含2个锚框，对于面积较小的黄色锚框，两者的重叠率已超过黄色锚框面积的70%，因此删除两者中得分较低的红色锚框，保留结果见图10(c)。图10(d)中包含多个锚框，通过锚框自适应扩张后得到图10(e)。绿色锚框为独立锚框被去除，最终结果见图10(f)。

图10 区域分类与筛选流程

1.3 区域分割网络

区域分割网络基于多尺度区域融合思想，采用跳跃式网络结构，具有多种特征图结合方式。下一层预测结果通过2倍的上采样与该层自身的预测结果进行反卷积，再通过对应尺度的上采样作为该层最终预测结果。区域分割网络的具体网络结构见图11。

图11 分割网络结构

对区域分类网络传入的每一个裂缝区域，获取对应的特征层级i，利用该层及之后的特征图FeatureMapN(N≤i)，实现对该区域的像素分类。例如某一区域对应的特征图为FeatureMap3，则该区域的预测结果由特征图FeatureMap3、FeatureMap4、FeatureMap5、FeatureMap6融合得到，如图11将Output3作为最终预测结果输出。

采用更深的特征图，是由于裂缝特征较弱，在深层特征中会有更好的体现，由于该区域是在特征图FeatureMapi中获得的分类信息，表明特征图FeatureMapi对该区域具有更好的表征效果。因此将其与其后的特征图分类结果相融合，可以获得更准确的分割结果。将分割结果根据锚框位置和尺寸信息映射到原始图像，实现对整张图像的裂缝分割，见图12。

图12 整张图的裂缝分割步骤示意

2 试验与分析

2.1 试验环境与样本

采用Windows下的Spyder平台开发，使用基于Python语言的Tensorflow深度学习框架。为实现多级联网络训练，首先利用上海同岩土木工程科技股份有限公司研制的公路隧道检测车TDV-H2000，采集大量隧道衬砌图像，从单个相机图像中选取特征较为明显的裂缝图像作为样本，构建训练和测试数据集。共选用裂缝图片24 000张，按照常用的2∶1比例，将其中的8 000张作为测试样本，剩余的16 000张作为训练样本，并将图片统一resize为512×512。

为改善样本图像光照不均匀问题，对训练样本和待检测图像采用带色彩恢复的多尺度Retinex增强算法(MSRCR)进行图像增强预处理[13]，消除光照干扰并提高图像的对比度，图像预处理结果见图13。

图13 图像预处理示意图

网络训练时，将分类网络和分割网络作为2个独立网络进行训练，采用随机梯度下降法更新权重[14]，测试时分别载入各自的权重文件。

训练样本构建示例见图14，按8×8网格状划分输入图像，将包含裂缝与不包含裂缝的区域分别作为分类网络的正、负样本，见图14(b)、图14(c)。但裂缝在图像中占比例过小，会造成正、负样本量严重不均衡。因此区分正负样本后，按照网络训练中正负样本常用比例1∶3的经验值，从负样本中随机挑选3倍正样本数量作为训练样本，以确保正负样本量均衡。

分割网络仅采用包含裂缝的区域作为训练样本，提高对小区域的针对性，并进行像素级的人工标注作为训练样本，见图14(a)。

图14 网络训练样本示意

2.2 结果分析

2.2.1 特征提取结果分析

特征提取网络中采用5层卷积层获取共享特征图，在试验中为了验证光照对网络特征提取的影响，对光照处理前后的图像进行特征提取，将每一层的特征提取结果进行对比，结果见图15。

从图15中可以看到，对于未进行光照处理的图像，特征图中对光照部分更加敏感，尤其是在更深层的网络中，裂缝区域特征提取的效果很差。经过光照处理后的图片，网络会对图片中的裂缝区域更加敏感，特征提取效果明显有较大改善，因此网络训练、测试的样本图片均进行光照处理。

为了分析不同特征层中获取到的特征图形态，观察不同层特征图的输出结果。从图15中可以看出，FeatureMap6为更深层次的特征图，提取到的特征更加抽象，而FeatureMap1中较浅的特征图与输入图像相似度较高，因此采用金字塔式的特征图结构可以将深层特征与浅层特征相结合，可以获得更全面的图像特征。

2.2.2 分类网络结果分析

为评价分类网络的分类效果，可根据真实类别与预测类别的组合划分为真正例TP、假正例FP、真反例TN、假反例FN，引入网络性能测试中常用的3个评价标准，包括分类精度、查准率、查全率。

试验中设置分类网络的初始学习率为0.001，衰减为0.1，100个epoch中每10个降低一次，模型采用Softmax分类器，将其中得分大于0.7的区域判断为存在裂缝。采用800张测试样本，模型中将每张图像划分为8×8的网格状区域，因此共包含51 200个测试样本。为了验证小区域划分的必要性，试验中将整张图片作为输入，与小区域划分的判别结果进行对比，由于样本图像均包含裂缝，因此对整张图片测试时负样本数量为0，仅对其分类精度以及查全率进行统计，测试结果如表1所示。

从表1中可以看出，网络对于小区域有更高的分类精度，采用区域划分的方式可以筛除大部分的背景区域，同时绝大部分包含裂缝的区域得到了保留。

漏检的裂缝区域通过之后的自适应区域扩展得到补充，可以保证裂缝检测区域的完整性，而被误判为正例的非裂缝区域，在区域扩展后通过独立区域筛除，可以进行二次删除，假正例的数量减少，网络的查准率提高为98.21%。

2.2.3 分割网络结果分析

经过分类网络后大部分背景区域已被删除，但剩余区域中裂缝在宽度上仍然表现较弱，为更好地保留裂缝形态，分割网络中采用较低的判定阈值，试验中设置为0.5。

手工标注图存在较大主观差异，且在真实图像中裂缝与非裂缝区域之间存在一定的过渡区域。因此需设置一定的允许偏差范围[15-16]，在此本文选用2个像素大小，以确保分割精度计算的准确度。

经过分类网络后，被判定为正例的区域数量为6 438个，其中真实包含裂缝的区域个数为6 323个。在试验中输出判定为正例的区域图，对其中真实包含裂缝的图片采用人工标注的方式获得参考图。引入分割算法评价性能中常用的评价参数：分割精度、欠分割率、过分割率[17]，将网络分割结果与人工标注图进行对比，每个像素点处的裂缝垂直宽度允许有2个像素大小的差异，分割结果统计如表2所示。

表2 分割网络测试结果统计表

由于假正例中实际上不包含裂缝，因此仅将未分割出目标的区域数量占假正例总数的比例，作为分割网络对假正例的分割精度。从表2中可以看出，对于真实包含裂缝的区域，本文的分割网络精度可达到94.44%，可以从图片中较准确地分割出裂缝。

将判定为正例的区域图中真实包含裂缝的图像，采用FCN、UNet进行对比测试，FCN与UNet网络中均采用了金字塔的特征图构建方式，且均可实现像素级的目标分割。在相同的测试样本、训练批次与输出阈值下，将FCN、UNet网络的分割结果与本文的裂缝识别网络进行比较，结果见图16。

图16 不同网络的分割结果对比

分类选取环向、纵向及斜向裂缝进行对比，从图16中可以看出，本文网络相较FCN和UNet在裂缝分割的完整性上有更好的表现，分割结果更准确。将FCN、UNet的分割结果分别与参考图进行校对，并与本文的分割结果进行比较，统计结果如表3所示。

表3 不同网络的分割结果对比表

从表3中可以看出，本文算法在分割精度上比FCN提高了6.83%，比UNet提高了4.24%，同时在欠分割率和过分割率上都有一定改善，表明本文算法获得的裂缝区域更准确。但由于本文算法的网络结构较为复杂，从表3中可以看出本文算法识别效率略低于其他两种算法。

3 结论

(1)本文提出一种基于级联网络的隧道衬砌裂缝识别算法，重点介绍了级联式裂缝识别网络、多尺度区域筛查、区域自适应扩张，并与常用的语义分割网络FCN、UNet进行对比，试验结果表明本文算法在裂缝分割的准确度上有更好的表现。

(2)本文网络结构较为复杂，因此识别效率上略有降低，但识别准确度提高较大。并且在实际工程应用中，由于裂缝非实时变化，更关注裂缝识别的准确度以便获得更准确的裂缝信息，因此识别率的提高更具有实际使用价值。

(3)本文研究成果可应用于隧道衬砌裂缝的自动化检测，后续可通过形态学或连通域判断等操作进一步细化分割结果，实现对裂缝的精细提取，有效提高隧道衬砌裂缝的检测准确度，降低人工成本。

(4)开展裂缝区域里程定位、宽度等信息获取、裂缝病害数字化管理的深入研究，形成完整的隧道衬砌裂缝检测系统，将具有更高的使用价值。