基于深度学习的建筑表面裂缝缺陷识别

陈墨，杨沛，陈丽君

基于深度学习的建筑表面裂缝缺陷识别

陈墨，杨沛，陈丽君

（安徽工业经济职业技术学院，合肥 230051）

针对传统建筑表面裂缝缺陷中存在识别效率低下、且识别精度较低的问题，为此，提出了基于深度学习的建筑表面裂缝缺陷识别方法。首先采集建筑表面裂缝缺陷的图像数据，然后将采集图像采样与量化，以实现缺陷图像的数字化处理。将上述数字化后的图像数据进行阈值分割、滤波以及以及增强等，完成建筑表面图像的预处理；构建R-CNN深度学习模型，模型结构分为四部分，包括输入图像模块、生成模块、提取卷积特征模块以及分类和边框回归模块。将建筑表面裂缝图像输入构建的深度学习模型中，完成建筑表面裂缝缺陷的识别。实验结果表明，采用所提方法识别建筑表面裂缝缺陷的效率较高，且识别的精度较好。

深度学习；建筑表面裂缝；缺陷识别；阈值分割；卷积特征模块

对于建筑物而言，其表面由混凝土材料构成，在外界环境的不断变化中，很容易形成产生裂缝。形成裂缝的原因除自然灾害之外，主要包括施工技术与施工材料的影响和温度变化等因素。混凝土很容易发生结构变形，在雨水与空气长期侵蚀下导致其结构被腐蚀，降低其承载能力，从而产生裂缝。长期负载过重导致应力不均问题，也会导致裂缝产生。表面裂缝的产生会影响建筑物的使用寿命，严重会导致事故的发生，造成经济、生命财产损失。因此，对建筑表面裂缝缺陷进行检测对消除安全隐患具有重大意义。作为建筑物缺陷检测工作中重点，检测其表面裂缝既可以及时修护和填补缺陷，阻止建筑危害的发生，避免造成老化或结构损害等问题带来经济损失，还可以检验建筑物施工质量与施工材料，对工程整体质量进行监控。在该背景下，对建筑表面裂缝缺陷识别问题进行研究。裂缝缺陷识别可以说是裂缝检测中十分重要的一环，对于建筑表面裂缝缺陷识别问题的研究，各国家均展现出十分重视的态度，这是由于该问题对于建筑维护具有很大意义，能够有效提升整体建筑质量水平。文献[1]中提出了一种基于图像的混凝土表面裂缝和孔洞检测方法，还有学者提出了一种基于编解码网络的建筑表面裂缝缺陷识别方法[2]。这些方法在实践中均存在一定不足。因此，本文在建筑表面裂缝缺陷识别中对深度学习的一些方法进行应用，设计了一种基于深度学习的建筑表面裂缝缺陷识别方法，实现建筑表面裂缝缺陷的高效识别。

1 基于深度学习的建筑表面裂缝缺陷识别方法

1.1 建筑表面裂缝图像数据采集

通过深度学习进行建筑表面裂缝缺陷识别，首先需要采集建筑表面裂缝缺陷的图像数据，然后进行采集图像的采样与量化，以实现缺陷图像的数字化处理[3-4]。

采集裂缝缺陷的图像数据主要从三个方面着手，通过人工实地采集方式对裂缝缺陷图像进行施采集、在实验室中采集裂缝缺陷图像以及通过无人机对裂缝缺陷图像进行采集[5]。

其中，人工实地采集方式较为简单，主要通过人工方式采集图像，使用工具为PA线扫描相机。

实验室中对图像进行采集时，主要是采集建筑物混凝土梁抗弯相关实验的图像数据，采集工具为单反数码相机，型号为佳能EOS T08[6]。

通过无人机对裂缝缺陷图像进行采集时，使用飞行器型号为RTK M012，在其上搭配航拍相机，具体型号为XS1-4，图像采集现场具体如图1所示。

图1 无人机图像采集现场

为使训练模型泛化能力和鲁棒能力更强，在对缺陷图像进行采集时需要对图像多样性进行充分考虑。部分图像采集距离为0.5m以下，剩余图像的采集距离为0.5～1m，并在采集时对阴影、光照等影响因素进行充分考虑[7]。

人工实地采集方式所采集的图像共240张，其像素分辨率为4806×3654；实验室中采集的图像共120张，其分辨率为2253×1865；通过无人机采集方式采集的图像共360张，其像素分辨率为4468×3846。采集图像中700幅图像应用于模型测试、验证以及训练过程中，剩余图像则用于实施二次测试中。为增加整体数据集中数据数量，使模型获得更高识别精度，针对采集图像实施图像剪裁，使图像像素分辨变率为150×150，通过Python语言中窗口滑动分割算法自动剪裁缺陷图像[8]。然后对部分不含裂缝缺陷与混凝土的背景图像进行剔除，最后对图像进行标注，标注内容为无裂缝缺陷图像与裂缝缺陷图像，作为测试、验证、训练的数据库。构建的裂缝缺陷图像数据库中共有20000张图像。在其中进行随机选择以产生测试集、验证集以及训练集[9]。通过剪裁这一步骤，能够保证数据库中数据更加丰富，包含图像类型更加广泛，如大裂缝缺陷、小裂缝缺陷、边缘裂缝、失真裂缝、以及凸起、纹理、划痕等无裂缝缺陷图像。

为更好地理解建筑表面裂缝图像数据，通过分布邻域随机嵌入实施数据集的降维可视化处理，具体如图2所示[10]。

图2 降维可视化处理结果

采样与量化采集图像，数字化处理具体过程如图3所示。

图3 数字化处理的具体过程

1.2 建筑表面裂缝图像数据预处理

对于数字化处理后得到的图像数据，还需要对其预处理，具体步骤包括阈值分割处理、滤波处理以及增强处理[11]。

1.2.1 阈值分割处理

阈值分割处理使用方法为OSTU自动分割法，该方法属于参数自动选择全局性分割方式，主要利用图像灰度统计对灰度直方图进行获取，并以其最大化类间方差目标对阈值进行求解，将阈值作为判断标准分类图像像素，共分为背景与前景两种类型[12]。

首先对第一种像素点实际灰度期望进行计算，即：

并对第2种像素点的实际灰度期望进行计算，即：

接着计算第1种像素点的实际加权期望：

并计算图像中全部像素点的对应加权期望：

最后计算两种像素的实际类间方差[14]，即：

1.2.2 滤波处理

滤波处理所选取的滤波器为LPF 滤波器，具体滤波处理过程如下：

滤波函数的表达式具体如下：

频域函数的表达式具体如下：

根据上式对后频域滤波函数进行计算：

最后对原空间域滤波后的对应函数进行计算：

1.2.3 增强处理

增强处理使用的是自适应增强法，具体处理步骤如下：

首先计算裂缝图像期望灰度总值，具体计算公式如下：

最后实施图像的自适应增强，具体公式如下：

1.3 深度学习模型构建

最后构建深度学习模型，实现建筑表面裂缝缺陷识别。构建的深度学习模型为R-CNN深度学习模型，该模型为一种卷积神经网络模型，模型结构分为4部分，包括输入图像模块、建议框生成模块、提取卷积特征模块以及分类和边框回归模块，如图4所示。

图4 R-CNN深度学习模型

将收集的裂缝缺陷图像输入R-CNN深度学习模型中，对该模型进行测试、验证以及训练，最后利用该模型进行裂缝缺陷识别。识别具体步骤如下：

（1）在R-CNN深度学习模型中输入收集裂缝缺陷图像数据集[17]。

（2）在模型网络中，利用选择搜索算法提取裂缝缺陷图像内裂缝缺陷候选区域。

（3）完成模型训练后，在模型网络架构下实施各识别候选区域的对应评分处理。

（4）评分后进行识别候选区域的分类处理，并实施边框回归，实现裂缝缺陷识别。其中，边框回归能够形成识别候选区域及其包围盒的映射，从而使真实窗口与候选区结果更加接近。

边框回归的列如图5所示。图5中，R代表矩形边框内候选区域所对应的包围盒，U代表检测目标真实所处区域位置的窗口，Q代表R在经过边框回归后的窗口。

图5 边框回归列图

2 工程实例应用

2.1 工程实例概况

在某建筑物工程中对基于深度学习的建筑表面裂缝缺陷识别方法进行实例应用测试。该建筑工程的概况具体如下。该建筑工程为一个大型工程，共分为两部分，包括住宅区与游乐场区，其中住宅区总面积超过120000m2，建筑共六栋，每栋建筑的层数为33层，建筑的总高度为99m；游乐场区中共有单体建筑18栋，各建筑的总面积均大于10000m2。工程的建筑表面成型质量具体如图6所示。在该工程完工并投入使用后，利用设计方法对其实施建筑表面裂缝缺陷识别，在实验中设置R-CNN深度学习模型的迭代初始参数为4000次，在前两千次中，将模型迭代学习率设为0.01，而对于后2000次，则将模型迭代学习率设为0.001。

图6 工程建筑表面成型质量

对该方法识别速率与识别范围进行测试。并将文献[1]中方法与基于编解码网络的建筑表面裂缝缺陷识别方法作为对比测试方法进行对比实验测试。同样获取二者识别速率与识别范围实验数据。

2.2 研究结果

设计方法的裂缝缺陷识别结果具体如图7所示。

图7 设计方法的裂缝缺陷识别结果

2.2.1 识别速率研究结果

设计方法与文献[1]中的方法、基于编解码网络的建筑表面裂缝缺陷识别方法的识别速率实验结果具体如表1所示。

表1 识别速率实验结果

由表1识别速率实验结果可知，较于文献[1]中的方法、基于编解码网络的建筑表面裂缝缺陷识别方法，设计方法的识别速率更高。

2.2.2 识别范围研究结果

在测试中，设计方法与文献[1]方法、基于编解码网络的建筑表面裂缝缺陷识别方法的识别范围实验结果具体如表2所示。

根据表2的识别范围实验结果可知，设计方法的识别范围大于文献[1]中的方法、基于编解码网络的建筑表面裂缝缺陷识别方法的识别范围。

表2 识别范围实验结果

3 结束语

当前对于建筑表面裂缝缺陷识别方法整体存在不足，因此在建筑表面裂缝缺陷识别中对深度学习的一些方法进行应用，并实现了识别速率的提升与识别范围的扩展，研究成果具备可行性与可靠性。

[1] 李琛，骆汉宾，魏威，等. 基于图像的混凝土表面裂缝和孔洞检测[J]. 土木工程与管理学报，2020, 37(6): 121-126.

[2] 谢迎娟，吴宁馨，张卓. 基于视频跟踪的水下裂缝缺陷智能标注系统[J]. 现代电子技术，2020, 43(12): 163-168.

[3] 陈波，张华，王姮，等. 基于迁移学习的坝面表观缺陷智能检测方法研究[J]. 水利水电技术，2020, 51(4): 106-112.

[4] 李清，张随喜，彭阳，等. 冲击荷载下Ⅰ型裂纹与圆孔缺陷相互作用[J]. 科学技术与工程，2019, 19(6): 1-5.

[5] 韩晓健，赵志成，沈泽江. 卷积神经网络在桥梁结构表面病害检测中的应用研究[J]. 结构工程师，2019, 35(2): 110-115.

[6] 高旭光，刘辉. 建筑裂缝近景摄影测量法观测与空间模型建立[J]. 合肥工业大学学报：自然科学版，2020, 43(5): 76-82.

[7] 朱海堂，程晟钊，高丹盈，等. 玄武岩纤维增强聚合物筋钢纤维高强混凝土梁受弯试验及裂缝宽度计算方法研究[J]. 建筑结构学报，2020, 41(6): 136-145.

[8] 潘斐，张在旭，明玉坤. 基于Hilbert空间的致密碎屑岩储层有效裂缝识别方法[J]. 油气地质与采收率，2020, 27(2): 80-86.

[9] 徐灵丽，朱晓坡，侯一兴，等. 基于增强色调特征的涵洞裂缝缺陷分割算法[J]. 激光与光电子学进展，2020, 57(8): 153-160.

[10] 杨建华，闫磊，于航，等. 基于表面主要缺陷的锯材外观质量量化评价方法[J]. 林业科学，2019, 55(8): 128-135.

[11] 周林城，黄超，夏松林，等. 钢支撑体系在高层建筑后浇带中的应用[J]. 建筑技术，2019, 50(10): 1216-1218.

[12] 张振海，尹晓珍，王阳萍，等. 基于特征分析的图像式地铁隧道裂缝检测方法研究[J]. 铁道科学与工程学报，2019, 16(11): 2791-2800.

[13] 王利民，薛辉庭，张春巍，等. 准脆性材料断裂过程区中的圆饼微裂纹损伤计算[J]. 力学季刊，2020, 41(2): 86-94.

[14] 陈旭丹，姜男，董丽娜，等. 基于深度学习YOLO模型的高原山区沥青路面病害自动识别[J]. 公路交通科技：应用技术版，2019, 15(11): 82-85.

[15] 王玉龙，蒋华义，费新玲，等. 环向裂缝缺陷管道带压密封的安全注剂压力影响因素分析[J]. 润滑与密封，2019, 44(4): 120-125.

[16] 张伟杰，廖飞宇，王静峰，等. 带球冠形脱空缺陷的钢管混凝土拉弯构件滞回性能试验研究[J]. 工业建筑，2019, 49(10): 32-36.

[17] 张俊文，张志新，倪元珍. 陆水水利枢纽主坝闸墩下游侧上部斜向裂缝成因分析及处理方案[J]. 长江科学院院报，2020, 37(12): 169-172.

Recognition of cracks and defects on building surface based on deep learning

CHEN Mo，YANG Pei，CHEN Li-jun

(Anhui Technical College of Industry and Economy, Hefei 230051, China)

Aiming at the problems of low identification efficiency and low identification accuracy in the traditional building surface crack defects. Therefore, a deep learning based crack defect identification method for building surface is proposed. Firstly, image data of building surface cracks and defects are collected, and then the collected images are sampled and quantified to realize digital processing of defect images. Threshold segmentation, filtering and enhancement of the digitized image data are carried out to complete the preprocessing of the building surface image. R-CNN deep learning model is built. The model structure is divided into four parts, including image input module, generation module, convolutional feature extraction module, and classification and border regression module. The image of building surface cracks was input into the deep learning model to complete the identification of building surface cracks and defects. Experimental results show that the proposed method is efficient and accurate in identifying cracks on building surface.

deep learning；building surface cracks；defect recognition；threshold segmentation；convolutional feature modules

2021-03-24

陈墨（1984-），男，安徽合肥人，讲师，本科，主要从事BIM（建筑信息模型）、装配式建筑、土木与建筑工程等研究，wy20210525@163.com。

TU755.7;TP399

A

1007-984X(2021)05-0057-05