基于图像结构信息的隧道衬砌裂缝实时快速识别

2022-11-16王平让黄宏伟薛亚东

科学技术与工程 2022年29期

王平让，黄宏伟，薛亚东

(1.郑州航空工业管理学院土木建筑学院，郑州 450046； 2. 同济大学地下建筑与工程系，上海 200092)

裂缝是隧道衬砌的常见病害，隧道出现裂缝后会破坏衬砌的稳定性，影响隧道的正常使用。基于图像处理的裂缝检测技术克服了人工测量方法存在的效率低等缺点，能够自动识别并获取裂缝特征参数，目前在病害检测中已得到了成功应用。

唐钱龙等[1]针对隧道渗水、污渍、剥落等区域对隧道裂缝识别的影响，研究了基于图像自适应分块下结合阈值和边缘信息的裂缝分割算法，取得了较好的效果；石钰锋等[2]从图像预处理、边缘检测、裂缝特征区域干扰点去除、裂缝连接及特征统计方面进行算法分析，研究了隧道衬砌裂缝的精细化识别及评价；李梓豪等[3]在裂缝识别中融入优化的Cascade区域卷积神经网络(region-convolutional neural networks，Cascade R-CNN)算法，在有监督情况下训练裂缝样本，实现了隧道裂缝病害的智能识别和高效提取；张振海等[4]对图像进行增强处理后，采用高斯-快速中值滤波去除噪声，最后采用二次改进的Otsu方法对图像进行分割得到裂缝二值图像；曹继飞等[5]针对碳酸盐岩裂缝，基于主成分分析法，得出裂缝表征综合量化值，实现了对裂缝的定量化识别；段明义等[6]提出了K-means与高斯混合模型相结合的桥梁裂缝图像分割方法，得到了比使用传统K-means算法和普通高斯混合模型(Gaussian mixture model，GMM)分割方法精度更高、稳定性更好的识别结果；谭卫雄等[7]利用改进的人工蜂群算法优化反向传播(back propagation，BP)神经网络的权值与阈值，建立了路面裂缝识别算法；谭小刚等[8]提出了基于小尺度分形维数的裂缝图像分割方法，能够对裂缝的不规则特征进行分割；韩锟等[9]基于多特征滤波方法及支持向量机(support vector machine，SVM)分类法完成裂缝识别后，采用基于像素灰度与梯度特征的种子生长方法提取裂缝特征，提出了路面裂缝检测方法；卢印举等[10]提出了一个利用全局K-means和高斯混合模型对公路路面裂缝图像进行分割的方法，其识别精度和稳定性均优于传统的图像分割方法。

深度学习在结构病害识别和检测领域也得到了较多研究和应用，取得了一定的研究成果。Kim等[11]采用深度学习层次卷积神经网络对混凝土裂缝进行自动识别，提高了裂缝的识别效率和检测精度；Teng等[12]研究了基于YOLO_v2神经网络结构的混凝土裂缝图像自动识别方法，该方法对长大裂缝的识别效果较好，但对细微裂缝的识别准确率较低；Protopapadakis等[13]提出了融合深度卷积神经网络和启发式图像后处理技术的隧道裂缝自动识别方法，取得了较好的裂缝检测效果；Kim等[14]将浅层卷积神经网络应用于隧道衬砌裂缝的自动识别，对图像是否包含裂缝进行二值分类，但对细微裂缝则不易识别；Huang等[15]研究了基于深度学习中全卷积网络的地铁盾构隧道管片裂缝识别方法，识别效果优于传统的裂缝识别方法；Kim等[16]采用二维卷积人工神经网络对裂缝进行分类，实现了混凝土结构裂缝的自动识别。

国内学者在裂缝的深度学习识别方面也做了较多研究，如雷斯达等[17]提出了基于深度学习的多场景条件下混凝土裂缝识别方法；杨杰文等[18]建立了一种结合U-Net和Haar-like算法的复杂背景下桥梁裂缝深度学习识别方法；高庆飞等[19]研究了基于卷积神经网络的混凝土桥梁裂缝识别与定位技术；柴雪松等[20]提出了基于深度卷积神经网络深度学习的隧道衬砌裂缝识别方法；刘新根等[21]研究了基于特征提取、区域分类与区域分割三级联神经网络的隧道衬砌裂缝识别方法，裂缝识别精度均优于全卷积网络(full convolution network，FCN)和U-Net网络；孙朝云等[22]建立了基于深度卷积神经网络融合模型的路面裂缝识别方法；侯越等[23]提出了基于卷积自编码的沥青路面目标与裂缝智能识别方法；陈健昌等[24]将原始路面图像切割为小样本图像并进行分类后，构建图像数据集，采用深度学习神经网络对路面裂缝进行智能化识别和特征提取，取得了良好的裂缝识别精度和效率；许颖等[25]针对钢筋混凝土结构锈蚀裂缝，利用TensorFlow学习框架和Python构建神经网络模型，提出了基于深度学习卷积神经网络的裂缝识别方法，取得了较高的准确率；刘奇等[26]提出了一套基于转置卷积神经网络层间特征融合的三阶段路面裂缝提取算法，提高了裂缝识别效率。深度学习识别方法运算速度快、效率高，但需要庞大的样本集才能取得良好的效果，样本集的大小对识别准确率有较大影响。

随着隧道病害车载自动检测系统的研制和应用，为提高检测效率，在检测系统采集图像过程中实时进行裂缝的识别就显得尤为重要。由于图像的采集和存储时间非常短，要在图像的采集和存储过程中实时完成裂缝的识别，对识别方法的运算速度要求非常高。目前传统的裂缝图像识别方法主要集中在裂缝的特征提取方面，进行裂缝特征提取时算法的计算量较大，计算机运行时间较长，因此存在运行速度慢、效率低等缺点，还不能完全适用于裂缝的实时快速识别，难以在图像采集过程中实时对图像是否包含裂缝进行判断。因此，现将图像结构信息用图像的亮度信息、对比度信息和结构元素掩码来表示，提出基于图像结构信息的隧道衬砌裂缝实时快速识别方法，在图像采集过程中实时快速识别裂缝，自动判断图像是否包含裂缝，提高隧道病害的检测效率，特别适用于隧道病害车载自动检测系统。

1 裂缝统计和图像特征

对浙江省金丽温、诸永等高速公路的29座运营隧道的衬砌裂缝病害进行了现场调查，具体统计结果如表1所示。

隧道衬砌裂缝按走向可分为纵向、斜向和环向裂缝，按分布位置可分为拱顶、拱腰和边墙裂缝。表1主要按照裂缝位置、裂缝走向、裂缝宽度和裂缝长度进行分类统计。由表1可知，拱腰裂缝占比最大，达46.6%；裂缝走向主要为纵向裂缝，占比为55.4%；裂缝宽度主要分布在0.3～2 mm，占比为84.9%；长度小于10 m的裂缝占比为92.8%。调查的部分裂缝形态如图1所示，每幅图像数据大小为4 096 Pixel×4 096 Pixel，对应的实际隧道衬砌区域大小为1 m×1 m，图像分辨率为0.24 mm/Pixel。

图1 隧道衬砌裂缝形态

表1 隧道衬砌裂缝统计结果

绘制沿裂缝宽度方向的图像像素灰度值剖面，可得到裂缝图像的像素灰度分布特征，如图2所示。可以看出裂缝的典型图像特征：沿裂缝宽度方向的像素灰度分布呈波谷状；裂缝区域的像素灰度值连续且低于非裂缝区域的像素灰度值；沿裂缝宽度方向的像素数目远小于沿裂缝长度方向的像素数目。

图2 沿裂缝宽度方向的图像灰度分布

2 实时快速识别方法

2.1 实现方法

假设x和y分别表示采集的当前图像和样本图像的像素灰度值集合，分别用公式表示为：x={xi|i=1,2,…,N}和y={yi|i=1,2,…,N}，其中N表示一幅图像的像素。由于图像信号是高度结构化的，采集的当前图像x和样本图像y之间的亮度信息L(x,y)和对比度信息C(x,y)[27]分别用公式表示为

(1)

(2)

式中：μx和μy分别为当前图像x和样本图像y的像素灰度均值；σx和σy分别为当前图像x和样本图像y的像素灰度标准差，用公式表示为

(3)

(4)

亮度信息L表示采集的当前图像和样本图像之间的亮度相似程度，其值位于0～1，当且仅当μx=μy时，L=1。对比度信息C表示采集的当前图像和样本图像之间的对比度相似程度，其值也位于0～1，当且仅当σx=σy时，C=1。如果亮度信息L和对比度信息C均接近于1，则表示当前图像与样本图像之间有最大的相似程度。

结构信息S采用水平、垂直和倾斜方向的结构元素掩码分别表示纵向、环向和斜向裂缝结构信息，每个结构元素掩码大小为5 Pixel×5 Pixel，将采集的当前图像与结构元素掩码进行卷积运算后，可得到滤波后的图像，具体用公式表示为

(5)

式(5)中：R(m,n)为进行卷积滤波后的图像；I(m-i,n-j)为当前图像，m和n为像素坐标；S(i,j)为不同方向的结构元素掩码[28]，分别表示为

(6)

(7)

(8)

(9)

式(6)和式(7)分别表示垂直和水平方向的结构元素掩码，代表环向裂缝和纵向裂缝的结构信息；式(8)和式(9)分别表示倾斜方向的结构元素掩码，代表斜向裂缝的结构信息。对于M幅样本图像，综合考虑亮度信息L、对比度信息C和结构信息S的图像结构信息因子Q可用公式表示为

(10)

在进行裂缝实时快速识别时，选择有代表性的M幅衬砌图像作为样本图像，通过计算采集的当前衬砌图像与样本图像之间的结构信息因子Q，判断采集的当前图像是否与样本图像接近，从而实时识别出当前图像是否包含裂缝。由式(10)可知，图像结构信息因子Q位于0～1，Q越大，采集的当前图像接近于样本图像的可能性就越大；反之采集的当前图像接近于样本图像的可能性就越小。如果图像结构信息因子Q大于预先设定的识别阈值T，则认为当前图像与样本图像接近。

图3是针对快速识别方法所选取的部分隧道衬砌样本图像，每幅图像数据大小为4 096 Pixel×4 096 Pixel，对应的实际隧道衬砌区域大小为1 m×1 m，图像分辨率为0.24 mm/Pixel。样本图像库包含了纵向、环向、斜向及龟裂、网状等各种不同的裂缝形态，裂缝宽度分布在0.2～3 mm。图4是提出的隧道衬砌裂缝实时快速识别方法流程图。

图3 实时快速识别方法样本图像

图4 实时快速识别方法流程

由图4可以看出，在进行裂缝的实时快速识别时，首先根据式(5)对采集的当前图像进行卷积滤波运算，随后根据式(3)和式(4)计算当前图像与样本图像之间的灰度均值和标准差，并根据式(1)和式(2)计算当前图像与样本图像之间的亮度信息和对比度信息，最后根据式(10)计算当前图像与样本图像之间的结构信息因子Q。如果图像结构信息因子Q大于最佳识别阈值T，则认为当前图像包含裂缝，并实时保存；否则，认为当前图像不包含裂缝，并剔除，从而完成当前图像的实时快速识别，并开始下一幅图像的采集和识别。

2.2 最佳参数估计

识别阈值直接影响裂缝的识别效果，最佳识别阈值应同时具有较高的灵敏度和特异度。接受者操作特征(receiver operating characteristics，ROC)曲线[29]可以反映灵敏度和特异度连续变量之间的相互关系，通过将连续变量设定为多个不同的阈值，计算出一系列的灵敏度和特异度，并绘制成曲线。

由于隧道衬砌图像存在噪声，识别时会出现将非裂缝图像识别为裂缝图像(假阳性)或将裂缝图像识别为非裂缝图像(假阴性)的情况，ROC曲线可以反映随识别阈值的改变而动态变化的灵敏度与特异度之间的关系曲线。

表2是ROC曲线的混淆矩阵，表中N表示识别的总图像数量。将ROC曲线应用到实时快速识别方法，其真阳性(TP)、假阳性(FP)、假阴性(FN)、真阴性(TN)分别表示该方法将“裂缝图像”识别为“裂缝图像”“非裂缝图像”识别为“裂缝图像”“裂缝图像”识别为“非裂缝图像”“非裂缝图像”识别为“非裂缝图像”的图像数量。

表2 ROC曲线的混淆矩阵

真阳性率(TPR)即灵敏度(sensitivity,Sen)和真阴性率(TNR)即特异度(specificity,Spe)分别表示为

(11)

(12)

假阴性率(FNR)和假阳性率(FPR)分别表示为

(13)

(14)

总的准确率(AR)用公式表示为

(15)

真阳性率和假阳性率与识别阈值密切相关，不同的阈值会得到不同的灵敏度和(1-特异度)。选取了浙江省金丽温、诸永等高速公路部分运营隧道的1 200幅衬砌图像进行分析，其中600幅图像包含裂缝，另外600幅图像不包含裂缝，裂缝形态包括纵向、环向、斜向及龟裂等各种不同形式，裂缝宽度分布在0.2～3 mm，每幅图像数据大小为4 096 Pixel×4 096 Pixel，对应的实际隧道衬砌区域大小为1 m×1 m，图像分辨率为0.24 mm/Pixel，样本库图像数目取M=128。进行识别分析后，可绘制出识别阈值与灵敏度、识别阈值与(1-特异度)之间的ROC曲线，如图5和图6所示。

由图5和图6可以看出，随着识别阈值的不断增大，灵敏度和(1-特异度)指标均同时减小，即真阳性率和假阳性率同时减小。最佳阈值应使灵敏度取得较大值，同时使(1-特异度)取得较小值。根据图5和图6可选择位于0.90～0.92的数值作为识别算法的最佳阈值，此时相应的灵敏度和(1-特异度)指标变化范围分别为0.836～0.802和0.036～0.022，识别效果良好。

图5 阈值与灵敏度之间的ROC曲线

图6 阈值与(1-特异度)之间的ROC曲线

3 现场实验及分析

3.1 现场实验过程

为了验证实时快速识别方法的有效性，采用自主研制的隧道衬砌病害车载检测系统对某隧道进行了现场实验，如图7所示，该检测系统主要由图像采集与实时快速识别、光源照明、定位控制和图像处理等模块组成，裂缝实时快速识别在图像采集与实时快速识别模块进行，裂缝特征提取则在图像处理模块进行。

图7 自主研制的隧道衬砌病害自动检测系统

图8是自主开发的图像采集与实时快速识别软件界面。检测过程中，启动该软件可实现图像的实时采集，采集过程中可实时快速识别当前图像是否包含裂缝，并实时保存，同时剔除非裂缝图像，以减少后期的裂缝特征提取工作量，提高隧道病害的检测效率。

图8 图像采集与实时快速识别软件界面

3.2 实验结果

现场实验时采用的计算机CPU为Dual Core 2.6 GHz，内存为2.0 GB，在图像采集过程中对每幅图像是否包含裂缝进行实时快速识别，算法的运行时间均小于0.01 s，远小于图像的采集和存储时间，可满足裂缝的实时快速识别要求，可以把实时识别后的裂缝图像实时保存至图像存储设备。本次现场实验共采集了1 020幅隧道衬砌图像，包含纵向裂缝、环向裂缝、斜向裂缝、龟裂及同时存在渗漏水的裂缝、宽度小于0.2 mm的细微裂缝等。部分现场实验结果如表3所示。

表3 实时快速识别实验结果

现场实验的1 020幅图像中，有26幅包含裂缝的图像识别结果为不包含裂缝，即假阴性(FN)；有32幅不包含裂缝的图像识别结果为包含裂缝，即假阳性(FP)；有424幅包含裂缝的图像识别结果仍然为包含裂缝，即真阳性(TP)；有538幅不包含裂缝的图像识别结果仍然为不包含裂缝，即真阴性(TN)。现场实验结果的总准确率可以根据式(15)进行计算，总准确率为94.3%，识别效果良好，可以满足隧道检测要求。

图9是包含细微裂缝和渗漏水的隧道衬砌图像，图中每幅图像数据大小为4 096 Pixel×4 096 Pixel，对应的实际隧道衬砌区域大小为1 m×1 m，图像分辨率为0.24 mm/Pixel，对此类图像进行识别时会出现假阴性(FN)或假阳性(FP)情况。

图9 包含细微裂缝和渗漏水的衬砌图像

分析部分识别结果出现假阴性(FN)的原因在于部分衬砌裂缝非常细微，裂缝宽度很小(小于0.2 mm)或与周围背景之间的对比度很低，导致图像中的裂缝像素数目相对较少，从而误将裂缝图像识别为非裂缝图像，如图9(a)所示；部分识别结果出现假阳性(FP)是由于隧道衬砌存在渗漏水或污渍，导致图像中渗漏水或污渍位置像素误被识别为裂缝像素，从而误将非裂缝图像识别为裂缝图像，如图9(b)所示。