基于渗流和区域生长联合分析的红外图像裂缝病害检测方法

严世强 张宇峰 刘宁宁 马月辉 刘明静 韩泽夏

摘  要： 裂缝病害是影响混凝土结构耐久性的重要因素之一，然而在复杂服役环境下，既有裂缝视觉检测方法难以保证算法的鲁棒性和高效性。基于此，文章提出一种基于渗流和区域生长联合分析的裂缝病害检测模型。首先，为了抑制不均匀光照和背景杂波的干扰，文章选用红外热图像作为裂缝病害感知源。针对红外裂缝图像数据，提出大津阈值分割和边缘检测相结合的裂缝区域种子点提取方法，提高裂缝病害检测效率。基于选取的种子点区域，展开裂缝病害渗流与区域生长联合分析，在保证裂缝检测精度的前提下，进一步提升裂缝病害检测速度。利用红外热成像仪对现场混凝土结构进行裂缝图像采集，实验结果表明，相比于既有裂缝视觉检测方法，文章算法在裂缝病害检测精度和效率两方面均取得了较为满意的结果。

关键词： 裂缝病害检测; 红外图像; 渗流模型; 区域生长; 种子点提取; 检测分析

中图分类号： TN247?34; TP391                  文献标识码： A                       文章编号： 1004?373X（2020）18?0006?05

Abstract： The crack damage is one of the most crucial factors affecting the durability of concrete structures. However， in the complex service environment， the existing crack visual detection methods are difficult to guarantee the robustness and high?efficiency of the algorithm. Based on this， a model of infrared image crack disease detection based on conjoint analysis of percolating and region growing is proposed. The infrared thermal image is used as the crack disease sensing source to suppress the interference of uneven illumination and background clutters. The crack damage region seed point extraction method combined with Otsu threshold segmentation and edge detector is proposed according to the data of infrared crack image to improve the efficiency of the crack disease detection. The conjoint analysis of percolating and region growing for the crack disease is performed based on the selected seek point region， so as to further improve the speed of crack disease detection on the premise of guaranteeing the crack detection precision. The crack images of the concrete structure on site are collected by means of the infrared imaging device. The experimental results show that， in comparison with the existing crack visual detection methods， this algorithm has achieved satisfactory results in both accuracy and efficiency of crack disease detection.

Keywords： crack disease detection; infrared image; percolating model; region growing; seed point extraction; detection analysis

0  引  言

随着交通事業的飞速发展，桥梁、公路等混凝土结构安全问题的重要性逐渐提升。裂缝是混凝土结构表面常见的病害之一，然而针对混凝土结构病害检测问题，目前我国仍以人工巡检方式为主。人工巡检方法存在效率低、成本高、主观性强等缺陷。随着近几年图像处理与人工智能的高速发展，利用计算机视觉技术对混凝土结构表面图像进行分析，逐渐成为土木结构安全领域的研究热点之一。目前，国内外学者已先后提出多种基于图像分析的混凝土裂缝检测方法[1?2]。

由于裂缝区域灰度值较小且与背景区域图像灰度差异较大，王睿提出将Prewitt边缘算子与Otsu阈值分割相结合并利用形态学分析去噪的方法检测裂缝病害[3]，进一步增强了算法的鲁棒性。刘一等人利用区域生长模型对建筑物外墙红外热图像进行检测[4]，虽然红外热图像相比可见光图像有更好的抗干扰能力，但由于该方法对种子点提取与相似性生长阈值计算方法不够精准。Wang等人提出一种基于Canny边缘算子与K?means聚类相结合的桥梁裂缝病害检测模型用于裂缝的精细提取[5]。2006年，Yamaguchi等首次将渗流模型应用于图像处理领域[6]，渗流模型借鉴了自然界中液体的扩散规律，模拟了自某一中心点按一定规则向其邻域逐渐渗透的过程。然而该方法需要对图中全部像素点逐个渗流以得到最终检测结果。因此，该方法在检测效率方面并不理想。后续，瞿中等人利用裂缝区域灰度值较低的特点，从图像中提取暗点作为种子点进行渗流检测[7]。该方法在一定条件下能够提升算法效率，但在光照不足或背景杂波颜色较深的情况下，难以保证算法的鲁棒性。

近几年深度学习快速发展，有学者将深度学习框架应用于混凝土裂缝检测。Zhang等人利用4层卷积神经网络提取图像隐层特征，并利用全连接神经网络进行裂缝检测[8]。Cha等人将图像进行重叠分块，同样利用4层卷积神经网络提取图像子块特征，最后利用Softmax分类器实现裂缝检测[9]。相比于基于灰度特征表达的裂缝检测模型，深度学习方法能够提取裂缝图像更深层的语义特征，因而更好地处理一些背景杂波干扰。然而深度学习网络结构相对复杂且随着网络层数的增加，网络参数的训练过程异常复杂，在少量的图像样本数据集下，该模型容易出现过拟合，进而出现裂缝检测漏检或背景虚警。

基于此，本文提出一种基于渗流和区域生长联合分析的红外图像裂缝病害检测方法，其流程图如图1所示。本文采用红外热图像作为裂缝病害感知源，首先对输入的红外热图像进行增强，抑制由于相机红外传感器不均匀采集产生的温度畸变对后期裂缝病害检测的影响。而后，针对种子点提取问题，本文提出了一种边缘检测与阈值分割相结合的种子点提取方法。结合2种方法优点实现最优种子点提取，提升算法效率及精度。基于上述方法，本文进一步对渗流模型进行改善并结合区域生长方法构建渗流与区域生长联合分析模型，实现混凝土结构表面裂缝区域精准检测。现场实验结果表明，相比既有裂缝病害视觉检测方法，本文算法在裂缝病害检测精度和效率两方面均取得了较为满意的结果。

1  算法概述

1.1  红外裂缝图像增强

红外热图像通过利用不同物体间的热辐射差异性完成对目标对象的检测。正常混凝土结构表面基本没有破损，热辐射率相近。当混凝土表面出现裂缝时，由于裂缝凹陷处存有少量空气，考虑空气与混凝土结构的热辐射率有较大差异，因此利用红外热像仪能够较好地探测混凝土表面裂缝病害。

一般而言，混凝土结构表面的热辐射率差异较小，因此红外热图像对混凝土结构表面的背景杂波有较好的抑制作用。此外，热辐射率受光照变化影响较小，即使在光照条件不理想的检测环境下仍能保证图像质量，为后续病害检测提供良好的数据基础。然而，红外热图像虽有上述优点，但由于相机内部原因，在成像过程中可能出现温度畸变现象，即热图像中某些探测点温度远高于实际温度，导致图像温度区间增大，温度分布失衡。在利用温度信息对图像进行分析时将出现由于温度分布失衡而导致的畸变点亮度极高，正常温度点亮度偏低，裂缝与背景区域对比度较低的现象，增大了后续裂缝病害的检测难度。

本文在对温度畸变现象进行分析的基础上，提出一种红外图像增强模型，以克服温度畸变现象对后期裂缝病害检测产生的不利影响，具体如下。

1） 从红外热图像中提取出各点温度信息，设图中像素总数为[G];

2） 对全部像素点温度信息进行升序排序得到温度序列[L={l1，l2，…，lG}]，从[L]中提取出温度较高的[λG]个像素点构建温度畸变序列[L′={l（1-λ）G，l（1-λ）G+1，…，lG}]，并对[L′]中畸变点在图像中的位置进行还原;

3） 以各个畸变点为中心进行大小为[5×5]的最小值滤波，整合得到增强后的温度信息图;

4） 对温度信息图进行线性变换，将其转化为8位深度的单通道图像。

上述过程中，[λ]为畸变系数，由相机参数决定。相机稳定性越好，温度畸变发生概率越小，[λ]越小，反之亦然。

1.2  红外裂缝区域种子点提取

种子点提取是裂缝病害渗流检测的重要环节之一。裂缝病害渗流检测过程中，每次选取一个种子点进行开窗，并在此基础上对窗口区域展开渗流病害检测，最终通过局部渗流结果形状特征判别所选种子点区域是否属于裂缝区域。因此，所选种子点的数量及质量将直接影响算法性能。针对种子点提取问题，部分学者提出采用边缘检测方法，提取裂缝边缘作为关键区域种子点。然而边缘作为裂縫与背景区域的连接处，其灰度差异比裂缝中心区域更小，由此导致后期渗流裂缝检测的误检率上升。综上所述，种子点提取的最优位置应为与背景区域灰度差异最大的裂缝中心区域。

图2为本文提出的一种边缘检测与大津阈值分割相结合的种子点提取方法。大津阈值分割法通过寻找前景与背景的最大类间方差，计算图像最优分割阈值，实现前景与背景的分离。实际应用中裂缝与背景区域灰度差异较大，大津阈值分割法能够有效提取出完整裂缝，但在光照不均条件下会存在虚警，因此本文将边缘检测结果与大津阈值分割结果相结合。利用边缘检测剔除阈值分割结果中的虚警，利用阈值分割填充边缘检测结果裂缝内部缝隙，再对融合结果进行连通体、形态学处理，最终提取出最优种子点区域。

1.3  渗流模型与区域生长联合分析

渗流模型描述了自然界中液体在孔隙介质中的流动过程。在裂缝渗流检测过程中，以种子点为中心的窗口区域内按某种相似性准则逐渐渗透，重复迭代渗流过程直至渗流区域邻域像素点均不满足相似性准则，最后通过式（1）求得局部渗流结果形状特征值以判定所选种子点区域是否属于裂缝区域。

式中：[Ccount]为窗口渗流结果中流体区域的像素点个数;[Cmax]表示流体区域的最大长度。不难看出，[Fcircle]的取值范围为0～[4π]，其值越接近[4π]，表明以[Cmax]为边长的方形区域中的流体像素点数越多、方形区域填充率越高、流体形状越接近于方形或圆。而[Fcircle]越接近于0，则表明以[Cmax]为边长的方形区域中的流体像素点数越少，方形区域填充率越低，流体形状越接近于线形。考虑裂缝在形态上大多呈条形状，因此[Fcircle]越小，则表示流体形状越接近线形，流体区域为裂缝区域的概率越大，渗流迭代次数越少，停止阈值对当前区域适用性越强。反之，流体区域有较大概率为背景。

经典渗流模型中每次渗流检测仅对单个像素点进行判别，即使种子点选取结果中不含噪声点，巨大的迭代次数仍需消耗大量时间，严重影响算法效率。基于此，本文提出一种渗流模型与区域生长联合分析方法，利用渗流模型计算裂缝种子点衍生流体区域渗流停止阈值[T]。再以该裂缝种子点为中心，[T]为停止生长阈值，在更大范围内对裂缝区域进行相似性生长，最后对局部结果进行整合，得到最终的裂缝病害检测结果。本文方法中，每次渗流过程可实现区域检测，相比经典渗流模型的单像素点检测大幅提升了算法效率。考虑本文是基于渗流模型原理展开裂缝病害检测的，因此本文将早期Yamaguchi等人提出的渗流裂缝病害检测算法[6]作为主要对比算法，并在后文中称为“经典渗流算法”。

由于在区域生长过程中增大了裂缝病害检测范围，渗流模型得到的停止阈值有可能不适用于扩增后的检测范围。因此，本文通过[Fcircle]（见式（1））对局部检测结果进行判别，仅有当检测结果较为理想时，才利用区域生长模型对扩增区域进行检测。具体如下：若[Fcircle≥Tp]，则判定该种子点为背景点;若[Tg

2  实验结果与讨论

本文利用FLIR T420红外热成像仪采集部分混凝土破损结构，如桥墩、简支梁、墙面等。图像采集过程中，尽可能使相机与混凝土结构表面距离保持不变。在此基础上，本文共采集了可见光图像与红外热图像各150张，2种图像的分辨率均为240×320。本文从数据集中随机挑选100张红外热图像作为实验数据，用于调整本文算法参数，使裂缝检测模型达到最优检测效果。剩余图像集则作为测试数据，用于验证本文方法的可行性。在图像数据采集中，为了保证实验数据的多样性与真实性，采集数据中包含了不同形状和尺寸在各种干扰条件下的裂缝图像。为了更加直观地体现算法性能，本文进一步对文中算法与其他裂缝病害检测方法进行对比总结。为保证实验公平性，上述方法均采用同一平台（Intel i7?6700 3.40 GHz CPU， 16 GB内存，WIN10系统，Matlab 2016a）进行仿真。

2.1  定性分析

为了更加直观地体现本文算法的裂缝检测效果，图3对比展示了4种裂缝病害检测算法与本文算法在6种复杂干扰下的裂缝检测结果。图3中的第1行为可见光拍摄图像，第2行为对应的红外裂缝图像。图3中第3行为算法1采用的Canny边缘检测方法易受背景杂波干扰（见图3c）中红色虚线圈标注部分，下同），且只检测到了裂缝边缘区域。图3中第4行算法2采用Otsu方法利用图像直方图计算裂缝与背景的分割阈值，对小面积噪声有较好的抑制作用，但当背景干扰面积较大时，检测效果不够理想。图3中第5行算法3利用深度卷积网络提取图像子块特征并利用分类模型进行裂缝检测，取得了较为理想的检测效果。但由于深度学习网络较为复杂，在训练过程中易产生过拟合现象，导致在实际检测中对于细小裂缝容易产生漏检，见图3e）。图3中第6行算法4为经典渗流算法，该算法能够较为完整地提取出裂缝区域，但在背景噪声较为复杂的情况下会出现裂缝检测虚警。图3中第6行为本文方法的裂缝检测结果，由实验结果可以看出，相比其他4种算法，本文方法能够取得更为理想的检测效果。即使在光照条件不理想的情况下见图3g），也能保证算法的裂缝病害检测精度。

2.2  定量分析

为了更加精准地体现算法性能的提升，本文分别采用准确率[PR]与召回率[RE]作为检测指标对算法进行测试。其中，[PR]为算法检测到且正确的裂缝区域像素点数与检测到的像素总数之商，[RE]为算法檢测到且正确的裂缝区域像素数与人工标记的裂缝像素点总数之商。图4与表1共同对比展示了本文算法与经典渗流算法的检测性能。

图4展示了不同检测条件下本文算法与经典渗流算法的检测精度。不难看出，基于渗流模型的混凝裂缝病害检测方法在各种干扰条件下能保持较好的鲁棒性。同时也可看到，在多数情况下，本文算法可以取得与经典渗流裂缝检测方法基本一致的检测精度，验证了本文算法在复杂检测条件下的鲁棒性。表1对不同检测条件下2种算法的检测时间与渗流迭代次数进行了统计。由对比结果可知，本文算法能有效减少非必要渗流迭代数，从而大幅缩短裂缝病害检测时间。综上所述，本文算法能够在保证检测精度与经典渗流算法几乎一致的基础上，提升裂缝病害检测效率，取得鲁棒高效的裂缝检测效果。

3  结  论

本文提出一种基于渗流和区域生长联合分析的红外图像裂缝病害检测方法。首先对红外热图像温度畸变产生规律进行分析，得到一种可有效抑制其干扰的红外热图像增强方法。然后对裂缝区域种子点提取的最优位置进行讨论，并依据讨论结果建立种子点精准提取模型，提升了裂缝病害的检测效率。在上述基础上，本文进一步利用区域生长模型对渗流裂缝病害检测模型进行优化，增大了单次渗流过程的检测范围，大大地减少了裂缝病害检测所需的渗流迭代次数，使裂缝病害检测速度进一步提升。经大量真实裂缝病害图像测试，实验结果表明，本文算法能取得良好的检测效果，相比既有裂缝病害检测模型，能够在保证检测精度的前提下显著提升检测效率。

参考文献

[1] YEUM C M， DYKE S J. Vision?based automated crack detection for bridge inspection [J]. Computer?aided civil and infrastructure engineering， 2015， 30（10）： 759?770.

[2] NEOGI N， MOHANTA D K， DUTTA P K. Review of vision?based steel surface inspection systems [J]. EURASIP journal on image and video processing， 2014（1）： 50.

[3] 王睿，漆泰岳，雷波，等.隧道衬砌裂缝特征提取方法研究[J].岩石力学与工程学报，2015，34（6）：1211?1217.

[4] 刘一，刘欣，赵永强，等.红外热成像在建筑物外墙裂缝检测上的应用研究[J].科技经济导刊，2016（2）：96.

[5] WANG G， TSE P W， YUAN M. Automatic internal crack detection from a sequence of infrared images with triple?threshold Canny edge detector [J]. Measurement science and technology， 2017， 29（2）： 103?111.

[6] YAMAGUCHI T， HASHIMOTO S. Image processing based on percolation model [J]. IEICE transactions on information and systems， 2006， 89（7）： 2044?2052.

[7] 瞿中，郭阳，鞠芳蓉.一种基于改进渗流模型的混凝土表面裂缝快速检测算法[J].计算机科学，2017，44（1）：300?302.

[8] ZHANG L， YANG F， ZHANG Y D， et al. Road crack detection using deep convolutional neural network [C]// IEEE International Conference on Image Processing. Phoenix： IEEE， 2016： 3708?3712.

[9] CHA Y J， CHOI W， ORAL B. Deep learning?based crack damage detection using convolutional neural networks [J]. Computer?aided civil and infrastructure engineering， 2017， 32（5）： 361?378.

[10] HAN Te， LIU Chao， YANG Wenguang， et al. A novel adversarial learning framework in deep convolutional neural network for intelligent diagnosis of mechanical faults [J].  Knowledge?based systems， 2018， 165： 474?487.