基于全局和局部二值模式的显著图裂缝自动分割算法

胡晓勇， 徐嘉明， 刘爱荣， 杨智诚， 杨永民

（1.广州市市政工程设计研究总院有限公司，广州 510060；2.华南理工大学自动化科学与工程学院，广州 510640；3.广州大学风工程与工程振动研究中心，广州 510006；4.仲恺农业工程学院城乡建设学院，广州 510225）

0 引 言

混凝土结构性能退化主要通过缺陷的形式变现出来，其中包括裂缝、剥落、洞穴和风化等，而裂缝是主要的基础形式病症［1-2］。混凝土结构裂缝的扩展降低了结构的安全性、稳定性和可靠性，由此需要对其进行必要的检测和维护。在检测阶段，需要获取裂缝的形态、病症、损害程度等信息作为结构可靠性评估和损害管理的依据。目前，基于机器视觉的自动化裂缝检测技术快速发展，搭载了机器视觉的水下检测机器人或无人机通过摄像机捕获结构表面视频序列，结合图像处理算法对裂缝进行提取以及分析［3］，并且能够实现在从光照不均匀和复杂纹理背景中快速精确分离裂缝区域［4］。

近年来，学者们设计了不同的算法以提取复杂背景中裂缝的特征。Chen 等［5］针对电致发光图中的裂缝提出了方向可调证据滤波来生成裂缝显著性图，能够突出随机分布的晶格背景中的裂缝信息，但滤波核的尺寸自适应确定是该方法的难点。Cho等［6］基于边缘检测算法提出了一种宽度变换裂缝检测算法，通过搜索垂直于裂缝伸展方向的边缘点对，并将其连接起来组成裂缝区域。该方法效果的优劣取决于提取边缘是否连续，如果出现边缘断裂或者丢失，则边缘点对会搜寻错误，最终导致裂缝分割失败。Qu 等［7-8］基于渗透模型建立了一种鲁棒的裂缝检测方法，其原理是依次遍历图像像素点，并通过灰度信息和圆度信息进行区域生长，满足一定条件的像素点则被认为是裂缝缺陷中，但由于每个像素点的分类过程十分复杂的，所以该方法难以应用到在线检测中。

基于深度学习的端到端网络方法实现裂缝特征自动学习和检测分割具有良好的效果［9-10］。其中，Unet++是目前较为通用的卷积神经网络，其在充足的训练数据和标记数据下可以获得理想的性能，但该方法需要获取的大量的裂缝样本数据，特别是对稀有类型的裂缝样本，存在较大的难度［11-13］。本文提出了一种快速、准确的裂缝自动分割方法，包括图像预处理增强图像对比度，基于改进的局部二值模式生成裂缝的显著图来缓解背景光照不均匀以及噪声影响问题，提取裂缝区域并迭代修正裂缝分割结果等过程。该方法只需要少量的训练样本来自适应配置参数便能获得较好的检测结果，并且可应用到在线检测中，有利于工程应用。

1 裂缝检测方法

图1给出了本文关于裂缝自动分割方法的主要流程，主要包含图像预处理、显著图生成和裂缝分割。本文的最终目的是要将裂缝区域从复杂的背景中分离出来，具体的步骤如下：

（1）图像预处理。图像预处理的主要目标是增强裂缝与背景间的对比度。从图1（a）可以看到，裂缝区域的灰度值比背景低，而主要关注区域正是低灰度值的部分。因此，采用了对数变换将较暗的裂缝缺陷进行灰度范围扩展，使得图像显示出更多低灰度细节。根据变换后图像灰度的值将图像灰度范围映射到［0，255］之间，从而实现裂缝与背景之间的对比度增强，如图1（b）所示，增强图记为G。

（2）全局和局部二值模式显著图。局部二值模式（Local Binary Patterns，LBP）主要是用来描绘局部纹理特征，而本文改进的LBP算法是针对裂缝检测设计的，该方法不仅继承了原始LBP 的局部特性，同时也考虑到了全局信息。为了更好地说明本文提出的全局和局部二值模式显著图算法，首先回顾一下旋转不变LBP算法。该算法中，图像上的任意像素点会与其相邻的像素点集依次进行比较计算LBP码［14］：

图1 裂纹自动分割方法的框架

式中：C为LBP码；gt为目标像素点pt的灰度值；gi为第i个相邻像素点pi的灰度值；n表示相邻像素点的总个数。

由此，得到旋转不变LBP码为

式中：IRC为旋转不变LBP 码；B2D 表示二进制转换为十进制；D2B表示十进制转换为二进制；Rot（x，j）表示对二进制数值x执行j次循环按位旋转。

虽然旋转不变LBP 描绘局部特征被应用到纹理检测中，但是这种特征结果用于缺陷检测是困难的，因为其检测结果受目标像素点到相邻像素点的距离r=的影响。当r小于缺陷最短距离的1/2 或当r远大于缺陷最短距离时，处在缺陷内部的像素点和处在背景中的像素点的IRC 几乎没有区别，这样会导致检测结果出现较多假阴性和假阳性。多数情况下，该算法只能检测出粗糙的缺陷边缘。

为了缓解这个问题，本文提出了改进的LBP 检测方法，兼顾局部与全局信息来测量所有像素在4 个方向（即：水平，垂直以及两个对角线）的变化，如图2 所示，其中，绿色空心圆表示目标像素；正方形框表示相邻的像素，不同颜色的直线代表代表不同的方向。

备份和恢复：语料文献数据的备份由数据库自动完成，语料文本的备份还需要更新数据库中备份文件路径的信息。并做一个镜像文件到备份的磁盘中。根据需要可以随时恢复备份了的语料文木。

图2 改进的LBP检测方法示意图

在每个方向中，目标像素会与其所在方向均布的n个点进行比较，比较的规则与原始的LBP 一致。在本文中，取n=8，图像灰度范围控制在［0，255］。这n个点的灰度值可由7 ×7 矩形领域灰度均值替代，由此可以降低噪声的影响，同时将式（1）中的阈值常数值0设为1 个相对阈值TR，即：

式中：d表示上述的4 个方向，d=1 为左上对角线方向，d=2 为水平方向，d=3 为垂直方向，d=4 为左下对角线方向。

由此，每个目标像素会有4 个IRCd值，即有4 幅不同方向的旋转不变LBP检测图，如图1（c）～1（f）所示。取其平均作为显著图，如图1（g），记为S。从图中可以看到，复杂的背景被过滤掉了，裂缝显而易见，但仍然存在一些离散的噪声，因而需要进行第3 步裂纹分割与修正。

值得注意的是，上述相对阈值TR是由对比度增强后图像的灰度直方图确定的。如图3 所示，首先锁定最大的驼峰，为1 个类高斯分布［15］

式中：μH为类高斯曲线最大值所对应的灰度值；σH为类高斯曲线的标准差。

图3 预处理后图像的灰度直方图

根据高斯分布可知，背景出现的概率在高斯分布的中部，而缺陷总是出现在其两端，因此需要粗略计算背景灰度范围。由图3 可以看到，腰部以下的地方可能会受到噪声影响，所以通过对类高斯曲线求导，求得函数y最大值所对应灰度值μH左边部分一阶导数为0 的位置（即μH-σH）。由于裂缝是暗缺陷，且认为类高斯分布是对称的，只需计算左边即可，然后令相对阈值TR=ασH。

式中：AReg表示某区域Reg 的像素个数；DReg表示区域中心到边缘最大的距离。

若区域是个圆形，Cir =1；若区域有空洞或很长，Cir ＜1。同时基于万有引力定律，认为裂缝区域面积越大，其端点对附近点的影响范围越大，即

式中：RReg表示区域的影响半径；k是1 个变化系数。

综合以上的特点，设计了如下裂缝分割程序：

2 实验与分析

本文提出了全局和局部二值模式裂缝自动分割方法（GLBPCS）的性能评估，对照已公开的裂缝数据集Crack Forest 1. 0（https：/ /github. com/cuilimeng/CrackForest）上图像分别用可控证据滤波法（SEF 方法）［5］，宽度变换法（WT 方法）［6］，渗透算法（P 方法）［7］，改进的U 型卷积神经网络法（Unet++方法）［13］进行检测并比较，性能指标分别采用重合率Dc（即真实值与预测值的重合率），准确率Pr（即正确缺陷像素个数占总预测缺陷值的比值）和召回率Re（即正确缺陷像素个数占总的真实缺陷值的比值）以及运行时间来表示。

式中：TP表示真实值和预测值皆为缺陷的像素个数；FP表示真实值是背景但预测值是缺陷的像素个数；FN表示真实值是缺陷但预测值是背景的像素个数。

2.1 GLBPCS参数配置

图4 不同方法对公开裂缝数据集Crack Forest 1.0的检测结果

Crack Forest 1.0 中包含118 张480 ×320 的三通道图像，如图4 所示，其中从上往下分别是原始图（图4（a1）～（a6）），真实值（图4（b1）～（b6）），SEF（图4（c1）～（c6）），WT（图4（d1）～（d6）），P（图4（e1）～（e6）），Unet++（图4（f1）～（f6））和GLBPCS（图4（g1）～（g6））的检测结果。原始图选取了不同样式的裂缝形状进行分析，如图4（a1）、图4（a4）和图4（a6）均为单支裂缝，图4（a3）和图4（a5）为多支裂缝，图4（a2）为网状裂缝。同时图像中还包含了噪声的影响，如图4（a3）中存在油漆，图4（a6）中存在油斑。由此，将数据集平均分为训练集和测试集，GLBPCS 采用自适应的方法配置参数，具体为从训练集中任意选取5个样本计算Dc来调节各参数取得较优结果。程序自动生成4 幅曲线图，即阈值系数α，标准差系数λ，变化系数k，允许灰度变化范围δ分别与重合率Dc的关系，如图5 所示，程序自动选取平均最大Dc所对应的值，即α=3，λ=1，k= 7，δ=11，考虑到算法精度和运行时间的平衡，k微调为5。

图5 GLBPCS的参数自适应配置

2.2 实验结果对比

实验结果从视觉比较和定量分析两方面进行评价：①SEF方法，如图4（c1）～（c6）所示，该方法能够检测出各种裂缝的类型，但其检测效果受限于滤波核尺寸，当核较大时该方法能检测较宽的裂缝，当核较小时其能检测较窄的裂缝；②WT 方法，如图4（d1）～（d6）所示，该方法检测效果较差，几乎无法辨识裂缝的特征，这是因为该方法依赖边缘提取效果，对于裂缝与背景过渡平滑的位置，边缘提取可能会失败，导致边缘点对寻找失败或错误；③P 方法，如图4（e1）～（e6）所示，该方法对复杂背景中的缺陷提取效果一般，仅在背景较为纯净而且无太多噪声干扰的情况下能取得较好的效果；④Unet ++方法，如图4（f1）～（f6）所示，该方法基本能完全提取裂缝区域，主要得益于上百万的样本参数，即使这样也引入了较多的假阳性区域；⑤本文提出的GLBPCS 方法，如图4（g1）～（g6）所示，该方法能够较好地检测出裂缝的区域，而且不会引入过多假阳性，主要是因为改进的LBP算法融合了全局与局部信息，加上修正算法中引入了万有引力理论和圆度特征，使得裂缝特征能够较好地被提取。

图6给出了不同裂缝检测方法的定量分析结果。由于真实值是人为标记，存在主观因素，因而3 个指标Dc、Pr、Re≥0.5 即认为该算法检测效果较好。从图中可以看到，本文提出方法的3 个指标均超过0.6，检测效果优于其他方法。虽然其检测速度慢于SEF 方法和WT方法，但是还是能达到1 s内在线检测的要求。

图6 不同方法检测结果的定量分析柱状图

3 结 语

本文提出的混凝土结构裂缝自动分割方法，利用对数变换增强裂缝图像的对比度，使得裂缝的暗部信息更加丰富；改进了旋转不变局部二值模式纹理特征，融合四方向的全局信息，生成裂缝显著图；最后，引入了万有引力定律，以及灰度和圆度特征对裂缝分割结果进行修正，提高了分割精度。该方法能够在光照不均和复杂纹理的背景中分割出裂缝区域，具有较好的鲁棒性，且满足在线检测要求。然而，裂缝区域附近的噪声还是难以完全过滤，这是下一步需要改进的地方。