基于图像的混凝土表面裂缝和孔洞检测

李 琛，骆汉宾,，魏 威,，徐文胜，李国卫

(华中科技大学 a.湖北省数字建造与安全工程技术研究中心；b.土木与水利工程学院；c.武汉华中科大土木工程检测中心，湖北 武汉 430074)

混凝土由于材料特性及制作成型工艺在施工和使用过程中不可避免会产生不同种类、不同程度的缺陷，图1为常见混凝土缺陷——裂缝和孔洞[1,2]。混凝土缺陷不仅影响结构的美观，严重的甚至直接影响结构的承载力、耐久性、缩短使用寿命。因此，正确地对混凝土缺陷进行识别、评估、鉴定，包括缺陷的检测和测量，对混凝土结构的质量安全评价、正常使用以及降低损失有着十分重要的意义[3,4]。目前对混凝土缺陷的日常检测通常由人工直接目视或仅仅使用简易工具。这种检测费事、费力、危险，且受检测人员的经验和技术水平影响较大，检查结果具有一定的主观性。为解决上述问题，必须改进传统的检测方法，减少人工干预，降低检测成本，以推动混凝土基础设施的日常维护管理水平。

图1 常见混凝土缺陷

相较于人工检测，基于图像的混凝土表面缺陷检测具有非接触式、便捷、快速、准确、安全、成本低等特点。因此，近年来开始广泛应用于各类建筑结构检测。通过图像实现的缺陷检测类似于人类的视觉检查，其中图像和视频是利用图像技术进行检测的两种主要数据载体。而视频是连续静态图像的序列，因此，可从混凝土表面缺陷的图像出发，研究基于图像的混凝土表面缺陷智能检测，从而为建筑工程的快速和自动化健康检测提供技术保障。

数字图像处理技术是用计算机对图像信息进行处理的技术，它具有检测速度快、精度高、易操作的优点，已广泛应用于航空航天、生物医学工程、通信工程、工业工程、军事等领域，近年来在混凝土缺陷检测方面也得到一定应用[5]。韩豫等[6]针对建筑外墙裂缝人工检测困难的问题，开发了基于无人机的建筑外墙裂缝快速检查系统，通过无人机获取建筑外墙图片快速检查外墙是否存在裂缝；Liang等[7]提出一种双卷积神经网络模型，能自动识别混凝土桥梁实际裂缝；王博等[8]将路面裂缝检测算法与高空拍摄的复杂场景图像相结合，提出了半自动算法用于路面裂缝检测；黄宏伟等[3]采用基于全卷积神经网络的图像识别算法对地铁盾构隧道渗漏水缺陷进行识别；Liu等[9]利用图像处理技术识别混凝土表面气孔。此外，基于图像的混凝土表面缺陷检测技术还能应用于检测混凝土剥落[10]、钢筋锈蚀[11]等。上述研究对基于图像的混凝土表面缺陷检测做出了大量贡献，涉及不同缺陷类型，研究深度从缺陷的定性识别到定量计算。但相关研究中，基于图像的混凝土表面缺陷检测方法均只针对某种特定的结构缺陷，如裂缝；而实际工程中，缺陷往往同时存在，如混凝土表面裂缝与孔洞同时存在。因此，亟需一种能同时检测多种结构缺陷，适应性较强和自动化程度较高的方法。

本文针对常见的两种混凝土缺陷——裂缝和孔洞，提出一种基于图像的混凝土表面缺陷智能检测方法。通过数字图像处理技术和深度卷积神经网络能同时检测混凝土表面裂缝和孔洞，将单一缺陷检测扩展至两种缺陷的检测，同时提高了缺陷检测的正确率。

1 需求分析及检测流程

目前，混凝土表面缺陷的检测主要有三种方式——人工目测、人工测量、专业检测。人工目测凭检测人员主观定性判断；人工测量，需要检测人员进行现场勘查、标记、测量，并手写记录检测结果；专业检测需要检测人员依靠专业检测仪器进行表面缺陷检测，如激光扫描、超声波探伤等。表1总结了以上三种检测方式的特点，同时分析了现有三种检测技术的不足并进行相应的需求分析。

表1 混凝土表面缺陷检测需求分析

基于图像的混凝土裂缝和孔洞检测操作简单、成本低、检测结果客观准确，能基本满足表1中的需求。其检测准确性的关键在于图像预处理提高图像质量及基于深度卷积神经网络的图像训练与测试，图2为本文提出的检测方法技术流程。

图2 基于图像的混凝土裂缝和孔洞智能检测流程

2 实 验

在建筑工程领域目前公开的混凝土裂缝和孔洞样本数据集及可供训练的图像较少，训练混凝土裂缝和孔洞检测模型较难。为获取混凝土裂缝和孔洞图像，在实验室条件下制作不同水灰比及不同引气剂掺量的标准混凝土块，并进行混凝土抗压强度实验，以得到不同裂缝和孔洞特征的混凝土试块图像，建立数据集。

2.1 材料

水泥采用标号42.5的硅酸盐水泥，质量符合国家标准GB 8076-2008《混凝土外加剂》的规定，密度3.15 g/cm3，比表面积342 m2/kg，实验室测定水泥3，7，28 d强度分别为21.3，34.8，54 MPa；细集料采用河沙，密度2.55 g/cm3，细度模数为2.6；粗集料采用石灰岩碎石，最大粒径20 mm，密度2.75 g/cm3，压碎值为8%；外加剂采用引气剂，主要成分为十二烷基硫酸钠，质量符合国家标准GB 8076-2008《混凝土外加剂》的规定，引气剂减水率为12%，密度为1.1 g/cm3。

2.2 配合比

按水灰比0.4，0.5，0.6设置三种不同配合比。同时，设置水灰比相同引气剂掺量不同的三种配合比，引气剂掺量分别为水泥质量的0.5%，1.0%，1.5%。实验试块配合比见表2。

表2 混凝土配合比设计

2.3 试块制备

按设计配合比制备不同水灰比及不同引气剂掺量的标准混凝土试块，试块尺寸为150×150×150 mm，制备过程按照GB/T 50081-2019《普通混凝土力学性能试验方法标准》的规定。在标养室中养护，至混凝土养护龄期(分别为3，7，28 d)，取出试块后清理混凝土表面，对试块进行抗压强度试验。按每秒0.5～0.8 MPa连续均匀地加荷，至试块破坏，记录试块破坏图像。

3 图像获取及预处理

3.1 图像获取

图像拍摄质量与拍摄距离有关。在相同的拍摄距离下，图像像素值越高，检测精度越高。当图像像素值不变时，拍摄距离越远，图像单个像素对应的面积越大，则检测精度越低。Liu等[12]研究了拍摄距离与图像检测精度的关系，结果表明，尺寸为150×150×150 mm的标准混凝土试块，最佳拍摄距离为40 cm左右。根据Liu的方法，经过测试，本研究选取拍摄距离20 cm能满足拍摄精度，同时拍摄时尽可能控制光照一致进行混凝土试块表面拍摄。

至混凝土养护龄期(分别为3，7，28 d)，取出试块后清理混凝土表面，并使用消费级数码相机拍摄试块4个侧面照片(试块顶面在振捣完成后收面，顶面无缺陷；试块底面为方便脱模需垫纸片，导致底面被遮挡，因此不采集试块顶面和底面照片)。抗压强度实验后，采用消费级数码相机，控制光照、距离等环境要素，记录试块缺陷面照片。共采集图像216张(3016×3016像素)，采集的图像经过裁剪后为227×227像素的子图像，经筛选形成共计22000张的图像样本数据集。按照“训练集∶测试集=4∶1”的比例，将图像样本数据集分成训练集和测试集，因此训练集图像数量为17600张，测试集图像数量为4400张。

3.2 图像预处理

(1)RGB三通道阈值分割

彩色图像的每个彩色像素点包括红(R)、绿(G)、蓝(B)三个通道，如图3所示。不同时间、不同地点拍摄的混凝土图像光照和阴影不能控制完全相同，直接将彩色图像转换为灰度图像或二值图像进行图像处理受光照和阴影影响较大，因此在图像阈值分割前进行RGB三通道像素值归一化，这样做的好处在于，当某个像素受光照或阴影的影响而产生颜色通道R，G，B上的比例变化时，则通过归一化操作，可以消除光照和阴影的影响。图4为混凝土图像原图及提取的三个单通道图像。

图3 三通道对应像素形成RGB彩色图像

图4 RGB三通道

三个通道上的归一化处理后进行三个通道上的阈值分割。每个通道上的像素点(x,y)的灰度值g(x,y)

(1)

式中：G(x,y)为阈值处理后的图像；标注为0的像素对应于背景，标注为1的像素对应于检测对象。

通过选取合适的阈值完成三通道上的阈值分割。经RGB三通道阈值分割后的图像如图5所示。

图5 RGB三通道阈值分割

(2)形态学处理

形态学处理是提取图像分量的一种方法，通过对图像像素与自定义的结构元素进行数学几何运算，使图像的特征区域扩大或缩小。形态学处理有两种基础运算——膨胀和腐蚀。膨胀是对图像特征“加长”或“变粗”处理，即[13]：

(2)

式中：A为被处理图像；B为结构元素；∅为空集；A⊕B表示A被B膨胀。

腐蚀是对图像特征“收缩”或“细化”处理，即：

(3)

式中：AC为A的补集；A⊖B表示A被B腐蚀。

对图像先进行腐蚀运算再进行膨胀运算称为形态学开运算。开运算能有效地消除背景噪声，但同时形态学开运算不可避免的将直径小于0.2 mm的孔洞忽略。由于小孔径孔洞占孔洞总面积比率较小，同时小孔径孔洞对混凝土影响较小，因此本文不考虑小孔径孔洞。形态学开运算为：

A°B=(A⊖B)⊕B

(4)

对经RGB三通道阈值分割后的图像进行形态学开运算，处理结果如图6所示。

图6 形态学处理

4 裂缝和孔洞检测

4.1 深度卷积神经网络

随着深度学习的迅猛发展，其应用也越来越广泛，特别是在视觉识别、语音识别和自然语言处理等很多领域都表现出色。深度卷积神经网络(Deep Convolutional Neural Network，DCNN)作为深度学习中应用最广泛的网络模型之一，也得到越来越多的关注和研究。传统图像处理算法的泛化能力弱，为提高识别系统的鲁棒性，结合DCNN进行混凝土表面缺陷检测，DCNN能自动提取图像中的特征值，检测效果比传统方法效果好。

本文基于Alexnet网络建立深度卷积神经网络，图7为DCNN模型框架图。该框架共25层，Ln表示对应的层，其中L1为照片输入层；L25为输出层；L2，L6，L10，L12，L14为卷积层；L5，L9，L16为池化层；L3，L7，L11，L13，L15，L18，L21为ReLU层；L4，L8为规范化层；L17，L20，L23为全连接层；L19，L22为Dropout层；L24为Softmax层；COn表示卷积系列操作，如CO1包括卷积层L2、ReLU层L3、规范化层L4和池化层L5。深度卷积神经网络第一层为227×227×3的像素分辨率的输入层，其中数字表示图像高度、宽度及RGB三通道。由96个11×11×3，步长为1的卷积核进行第一次卷积操作，经激活函数ReLU及规范化后，作为池化层的输入，进行第一次3×3，步长为1的最大池化操作。经过5轮卷积、规范化及池化，同时在训练过程中以概率50%关掉一部分神经元，避免在学习中过拟合，最后的矢量被送入整流线型单元ReLU。最后由Softmax函数来预测每个输入数据在卷积后是否为裂缝和孔洞。采用MATLAB提供的FasterRCNN目标检测来进行CNN的训练，训练过程包括4步，每步的学习深度为10，其中，前两步初始学习率为10-5，后两步初始学习率为10-6。

图7 深度卷积神经网络模型

4.2 测试结果

为了验证深度卷积神经网络的训练结果，需对测试集图像进行测试。一般地，对于一个目标检测问题共有4种检测结果——TP(True Positives)，FN(False Negatives)，TN(True Negative)，FP(False Positives)[14]。针对混凝土裂缝和孔洞检测，TP表示图像为裂缝或孔洞，且被正确检测为裂缝或孔洞的图像数量；FN表示图像为裂缝或孔洞，但被误检测为背景的图像数量；TN表示图像为背景，且被正确检测为背景的图像数量；FP表示图像为背景，但被错误检测为裂缝或孔洞的图像数量。一张图像中一般包含一条或两条裂缝和多个孔洞，在进行测试时，本文将检测出部分裂缝和孔洞记为正确检测。

正确率、精确率、召回率可用来评价检查结果的质量。其中，正确率为正确检测样本数与总样本数之比：

(5)

精确率为检测到的正确目标样本数与检测到所用目标样本数之比：

(6)

召回率为检测到的正确目标样本数与应被检测到的目标样本数之比：

(7)

表3为测试检测结果，裂缝检测的正确率、精确率、召回率分别为97.48%，87.78%，92.99%，孔洞检测正确率、精确率、召回率分别为94.05%，91.66%，94.27%，裂缝和孔洞检测情况较好。

表3 测试检测结果

图8展示了测试样本中两张带裂缝和孔洞的子图像的检测情况。混凝土试块尺寸为150×150 mm，对应的像素大小为3016×3016像素，可得每个像素对应的实际长度，从而根据检测的裂缝和孔洞像素大小得到实际尺寸。其中图像1裂缝和孔洞检测完全正确；图像2正确检测两条紧邻的裂缝，但未完全检测出所有孔洞，且将非孔洞的污渍错检测成孔洞，这是由于混凝土表面细小污渍与孔洞形状相似，且灰度值接近，同时本方法检测精度有限，对粒度过小的孔洞检测效果不理想。

图8 裂缝和孔洞检测及测量结果

测量图像1和图像2中裂缝长度和孔洞孔径，并与实际测量尺寸进行对比，对比结果如表4，测量误差在6%以内，测量精度较高。

表4 裂缝长度和孔洞孔径测量结果

5 结 语

针对目前混凝土表面缺陷检测存在的问题，通过结合数字图像处理和深度学习提出一种基于图像的混凝土表面缺陷检测方法。该方法能同时检测混凝土表面裂缝和孔洞，检测正确率较高，具有一定的工程应用价值。由于在实际场景下混凝土表面缺陷情况复杂，缺陷种类多，同时考虑条件限制，未在实际场景下进行测试。本文所研究的混凝土表面缺陷只包括裂缝和孔洞，实际上，混凝土缺陷种类较多，后续研究可涵盖更多缺陷类型，在不同实际场景中进行测试，同时改进相关算法以提高混凝土缺陷检测正确率、减少检测测量误差。