基于泊松噪声-双边滤波算法的桥梁裂缝修补痕迹图像分割方法

赫中营,徐闻

（河南大学 土木建筑学院，河南 开封 475004）

中国绝大部分既有桥梁为钢筋混凝土桥梁，该类桥梁的损坏90%以上由裂缝引起[1]。桥梁出现裂缝病害后，环境中的水蒸气及CO2会渗入裂缝并与钢筋接触，导致钢筋出现不同程度锈蚀，从而缩短桥梁服役寿命，增加危险性[2]，所以，对桥梁裂缝进行检测、处治及预防是桥梁智慧管养的重要部分。

现行《公路桥涵养护规范》（JTG 5120—2021）[3]和《公路养护技术规范》（JTG H10—2009）[4]中规定，宽度≥0.15 mm 的裂缝采用压浆法修补，宽度＜0.15 mm 的裂缝采用封闭法修补。无论采用哪种方法，修补后均会留下修补痕迹。在桥梁病害智能检测及图像识别中，裂缝修补痕迹易与混凝土剥落、脱落、掉角等病害混淆，造成误检。另外，裂缝修补材料与混凝土存在性能差异，随着使用时间的增长，裂缝修补材料与混凝土自身耐久性进一步退化，裂缝修补材料自身被撕裂[5]或与裂缝内壁脱离[6]，在原有位置或附近，裂缝会二次开裂。因此，准确识别二次开裂裂缝及对桥梁其他病害准确分类，对裂缝修补痕迹的识别十分必要。裂缝修补痕迹准确识别的关键是对修补痕迹图像进行合理预处理，相关学者对此进行了大量研究。Li 等[7]为了准确地提取裂缝，提出了一种基于相邻差分直方图的裂缝分割算法，但没有考虑环境及光照等的干扰；Qiao 等[8]在U-net 卷积神经网络的基础上增加了改进的incep 模块和Atrous Spatial Pyramid Pooling模块，并通过室内试验验证了该方法能够提高分割图像的精度及识别的准确性，但其获取的裂缝图像来源于实验室内混凝土抗弯试验，没有考虑自然环境对混凝土的影响；Tian 等[9]提出了一种基于Mask R-CNN 的混凝土CT 扫描图像细观裂缝分割与提取方法，并应用于静态单轴压缩下的实时CT 试验图像分割及混凝土CT 扫描图像中空洞和裂缝的高精度识别；贾真等[10]提出一种基于贝叶斯概率模型的泊松噪声图像去噪方法，经过仿真试验对比，其去噪性能显著优于其他方法；黄启宏等[11]提出了一种基于成分分析（ICA）的软阈值滤波算法，主要用于识别自然中的物体图像；许玉婷等[12]提出了一种基于剪切变换的降噪方法，并通过对集装箱扫描图像的处理验证了该方法降噪效果的优越性；王惠琴等[13]将双边滤波和三维块匹配算法（BM3D）相融合，提出了一种联合去噪算法，并应用于地质雷达图像，取得了很好的去噪效果；杨燕等[14]基于α-Le模型提出了一种基于框式约束的快速全变差图像泊松去除算法（CADMM 算法），并通过多种类型的图像验证了算法的可行性与有效性，但其使用的试验图像中线条都极为丰富，轮廓均较清晰。上述方法使用的验证图像一般来自试验或自然界，形状规则且特征明显。但在实际桥梁裂缝病害检测中[15]，裂缝修补痕迹受树木等物体的阴影遮挡，光照的不均匀会破坏裂缝修补痕迹的连续性和亮度均衡性，使其特征被弱化，采集到的图像一般形状不规则、特征不明显，使用上述方法进行裂缝修补痕迹图像预处理很难达到准确识别效果。Wu 等[16]在自然语言文本翻译的预处理过程中发现，对于特征不明显的自然语言文本，随着预训练语言模型（PLM）由浅至深，词性、成分和依存等通用浅层特征逐渐向语言原型角色和上下文关联等具体深层特征转化。受dueling bandits 机制启发，在PLM 微调之前，使用NoisyTune 将不同强度的噪声根据其方差添加到PLM 不同的参数矩阵，对PLMs 进行适当扰动来探索不同参数空间，以减少语言文本数据过拟合问题，并基于英语的GLUE benchmark 和XTREME多语言benchmark 试验证明了其性能的优越性。

裂缝修补痕迹图像识别与语言文本翻译具有类似特征和过程，随着图像预训练模型由浅至深，图像识别的感受野重叠区域逐渐增加，提取的裂缝修补痕迹图像细粒度信息向粗粒度信息转变，细粒度信息包含裂缝修补痕迹边缘纹理等浅层特征，其像素位置等空间参数关联性较差，而粗粒度信息包含更多高级语义信息，其中像素点梯度值等参数的变化反映了裂缝修补痕迹边缘的灰度变化及层次感[17-18]，是正确识别裂缝修补痕迹的基础。基于此，笔者针对裂缝修补痕迹图像形状不规则、特征不完整的问题，拟借鉴自然语言文本预处理技术，首先使用泊松噪声-双边滤波算法对裂缝修补痕迹图像进行平滑，然后使用Otsu 算法对平滑后图像进行分割，以期得到修补痕迹细节良好且特征明显的二值化图像，为进一步实现对裂缝修补痕迹图像及二次裂缝的准确识别奠定基础。

1 图像预处理流程

易与裂缝修补痕迹混淆的病害如图1 所示，裂缝修补痕迹上出现的二次裂缝如图2 所示，它们都会对裂缝修补痕迹图像的识别造成干扰。

图1 桥梁病害Fig.1 Bridge disease

图2 二次裂缝Fig.2 Secondary cracks

为保证准确识别裂缝修补痕迹，拟采用的裂缝修补痕迹图像预处理技术流程如图3 所示。

2 泊松噪声-双边滤波算法

2.1 算法基本原理

对于采集到的裂缝修补痕迹图像，为了用较少数据表征图像大部分特征，使用图像灰度效果最好的加权平均法[19]将桥梁裂缝修补痕迹的RGB 图像转化为灰度图像，如图4 所示，其中图4（a）为采集到的裂缝修补痕迹图像，图4（b）为灰度化后的图像。

图4 裂缝修补痕迹图像灰度化Fig.4 Image grayscale of crack patch traces

假设裂缝修补痕迹含噪灰度图像中每个像素yi都是独立的泊松随机变量[20]，则泊松噪声图像中像素的离散泊松分布概率PG如式（1）所示，其中fi和yi分别表示干净图像f和含噪图像y中的第i个分量，e为自然对数的底。

根据式（1）及统计理论可知，亮度越大的像素受干扰越多。由于最大灰度值是固定的，亮度的增加使裂缝修补痕迹图像中最大灰度值和最小灰度值的差值减小，影响图像的对比度和清晰度。对裂缝修补痕迹灰度图像进行亮度和噪声处理后的图像如图5 所示。

图5 亮度对比及添加噪声图Fig.5 Brightness comparison and add noise plot

对图5（a）所示的原裂缝修补痕迹灰度图进行全局亮度增强后得到图5（b）所示的全局亮度增强灰度图，对比可看出，亮度增强后图像特征趋向不明显。

图5（a）、（b）根据式（1）添加泊松噪声后得到图5（c）、（d）所示的含噪灰度图，对比可看出，添加泊松噪声后的图像像素略有降低，裂缝修补痕迹图像对比度增强，原灰度图中的部分背景干扰被泊松噪声掩盖。

对图5（a）～（d）所示的灰度图像分别进行各灰度级在图像中分布频率的读取统计，得到图5（e）～（h）所示的各灰度直方图。其中，横坐标表示各灰度级像素，纵坐标表示各灰度级像素在灰度图像中出现的频率。

将图5（e）作为参照对象，图5（f）亮度增强后的图像直方图各灰度级像素的频率波动范围扩大且峰值增加。图5（g）、（h）含泊松噪声的灰度图像直方图中，灰度级像素的频率峰值下降，裂缝修补痕迹灰度图像的像素灰度值动态范围增加，反映出裂缝修补痕迹图像特征得到增强。

综上，对裂缝修补痕迹图像添加泊松噪声可改善原灰度图像中亮度不均衡的问题。

通过上述分析可知，未添加噪声前，原灰度图像中本身含有真实的背景噪声，添加泊松噪声后，裂缝修补痕迹灰度图像中含有更多噪声。为减少图像的次要细节，以提取裂缝修补痕迹的结构，需对含多种类型噪声的灰度图像进行滤波处理。由于裂缝修补痕迹边缘细节多且密集，故采用双边滤波对添加泊松噪声后的裂缝修补痕迹图像进行滤波，以保护图像边缘。

双边滤波算法以裂缝修补痕迹灰度图像领域内像素亮度值的加权平均值代表某处位置上像素的强度，如式（2）所示[21]，其中，空间域核Gσs代表像素位置的欧氏距离决定的模板权值，由式（3）计算；值域核Gσr代表像素差值决定的模板权值，由式（4）计算；Wp是检测到的每个像素点Gσs与Gσr相乘结果的和，由式（5）计算；式（3）、式（4）两个模板相乘得到双边滤波器的模板权值，如式（6）所示，式中的i、j、k、l分别代表系数坐标点q(i,j)和中心坐标点p(k,l)，f(i,j)为q(i,j)处的像素值，f(k,l)为p(k,l)处的像素值。

由式（2）～式（6）可看出，双边滤波器的空间域权重随两点间距离的增加而降低，值域权重随两点间像素相似程度的增加而增加。当图像处于没有边缘的区域，临近像素差值较小，邻域内点和泊松噪声点分配权重基本一致，近似高斯均值滤波；图像处于有边缘的区域，临近像素差值较大，边缘内部权重分配增加，边缘外部权重分配减少，图像边缘细节信息得以保持。

对添加泊松噪声的裂缝修补痕迹图像进行双边滤波，结果如图6 所示，其中图6（a）为滤波前图像，图6（b）～（f）分别为图6（a）在不同双边滤波参数下的滤波后图像，图6（g）、（h）分别为图6（e）、（f）两种滤波参数的滤波图像直方图。

图6 双边滤波前后对比图Fig.6 Comparison of bilateral filtering before and after

由图6（b）、（c）、（d）图像中噪声和裂缝修补痕迹的变化可看出，随着双边滤波参数的增加，滤波效果也逐渐增强；由图6（e）、（f）视觉感知及图6（g）、（h）灰度峰值可知，两种滤波参数下的滤波图像无较大差异，原背景真实噪声和添加的泊松噪声被有效滤除，裂缝修补痕迹的边缘特征连续突出，达到“去噪”和“保边”的目的。为防止双边滤波后裂缝修补痕迹图像像素的降低对后续图像分割产生不利影响，经综合考虑，取参数space-Sigma=5 和range-Sigma=10 作为后续添加泊松噪声后对裂缝修补痕迹图像进行双边滤波的滤波参数。

2.2 算法评价指标

目前对图像质量评价的共识是，通过主客观相结合，以观察者的感觉为主，针对具体图像进行具体分析，目标是追求客观的评价结果与人的主观评价尽可能地一致，也就是客观评价要以主观评价为准则。

采用峰值信噪比（PSNR）作为泊松噪声-双边滤波算法处理后的图像评价指标，如式（7）所示，单位为分贝（dB），其中，MAXI表示裂缝修补痕迹灰度图像点颜色的最大值。MSE[22]为均方误差，如式（8）所示，其中I 为原裂缝修补痕迹灰度图像，K 为添加噪声后的裂缝修补痕迹滤波图像，I 和K 均为大小为m×n的灰度图像。

用于评价图像处理的PSNR 值常处于30～50 dB 之间，越高则代表图像质量越好，不同PSNR 比值的视觉感知如表1 所示。

表1 不同PSNR 比值的视觉感知Table 1 Visual perception of different PSNR ratios

结构相似性（SSIM）用于客观衡量两张数字图像的相似程度，相较于传统图像质量衡量指标，其更符合人眼对图像质量的判断[23-25]。SSIM 的定义如式（9）所示，其中x为原裂缝修补痕迹灰度图像，y为裂缝修补痕迹滤波图像，μx、μy、σx、σy分别为图像x和图像y的平均值和标准差，σxy为图像x和图像y的协方差，C1和C2为常量，用以维持比较图像x和图像y的亮度、对比度和结构的函数稳定性。SSIM 的数值范围为[0,1]，数值越大，说明处理后图像和原图越接近。

根据PSNR 和SSIM 原理，对图6 所示不同滤波参数下滤波后图像进行计算，结果如表2 所示。表中PSNR和SSIM的变化趋势验证了选择space-Sigma=5和range-Sigma=10 作为添加泊松噪声后裂缝修补痕迹图像滤波参数的合理性。

表2 不同滤波参数图像评价Table 2 Image evaluation of different filter parameters

3 Otsu 图像分割

通过泊松噪声-双边滤波算法得到了干净的裂缝修补痕迹灰度图像，为了快速定位裂缝修补区域或二次裂缝发生位置，为后续桥梁裂缝处置提供依据，需要对滤波后的图像进行图像分割。根据类间方差最大化，选取的Otsu 图像阈值分割方法将裂缝修补痕迹图像的所有像素分为只含裂缝修补痕迹的黑色前景和含背景的白色后景两部分[26-27]，类间方差越大则说明前景和后景差别越大，裂缝修补痕迹和背景的错分概率越小，裂缝修补痕迹图像分割效果越明显。

设双边滤波后的裂缝修补痕迹图像大小为M×N，集合{0,1,2…L-1}表示图像中L个不同灰度级，设分割阈值为T(k)(0 ＜k＜L-1)，灰 度值在[0,k]内的所有像素组成C1，灰度值在[k+1,L-1]内的所有像素组成C2，分类到C1的概率为PC1(k)，分类到C2的概率为PC2(k)，整个图像的平均灰度值为mG，可得式（10）、式（11）。其中，m1(k)表示C1内像素的平均灰度值，m2(k)表示C2内像素的平均灰度值，如式（12）所示。其中Pi表示裂缝修补痕迹滤波图像中像素灰度级为i的概率。

根据统计理论中方差的概念，类间方差表达式如式（13）所示，全局方差表达式如式（14）所示。可以看出，均值m1和m2距离越远，越大，当达到最大值时，求得裂缝修补痕迹滤波图像最佳分割阈值k*，即式（15）。图像分割后，以类间方差和全局方差的比值作为度量，完成输入图像中裂缝修补痕迹与背景可分性的描述。

根据Otsu 算法原理，对输入的裂缝修补痕迹滤波图像进行图像分割，Ostu 算法设计流程如图7所示。

图7 Otsu 算法设计流程Fig.7 Otsu algorithm design process

根据Otsu 算法设计流程，选取图6（d）、（e）互为参照输入程序进行Otsu 图像阈值分割，分割后的图像如图8 所示，其中，图8（a）为图6（d）含些许噪声的裂缝修补痕迹滤波图像分割后的图像，图8（b）为图6（e）满足预期滤波效果的裂缝修补痕迹滤波图像分割后的图像。从图8（a）中可以看出，裂缝修补痕迹大部分边缘较清晰连续，但边缘仍有毛刺，背景中的少许黑点为图6（d）滤波修补痕迹滤波图像中未滤除的裂缝修补痕迹图像噪声，图8（b）中裂缝修补痕迹的边缘清晰连续，背景中无噪声干扰，裂缝修补痕迹的边缘细节保留完整，分割效果达到预期。

图8 Otsu 算法图像分割Fig.8 Otsu algorithm image segmentation

4 工程案例

基于河南省某高速公路桥梁历年定检中的图像，以处理器为Intel(R)i5-1135G7、内存为16 GB 的计算机和Matlab 作为试验操作环境，随机选取5 种情况的裂缝修补痕迹图像，按照选取顺序分别命名为案例1、案例2、案例3、案例4 和案例5，如表3 中原图所示，其中案例1至案例4为只含裂缝修补痕迹的图像，案例5为裂缝修补痕迹上出现二次裂缝的图像。

表3 不同裂缝修补痕迹原图及加噪图Table 3 Original diagram and noise reinforcement diagram of different crack repair traces

将椒盐噪声和高斯噪声作为参照，以PSNR 和SSIM 作为评价指标，5 个案例分别添加椒盐噪声、高斯噪声和泊松噪声后的图像如表3 中第2、3、4 列所示。从图像可以看出，添加椒盐噪声和高斯噪声的灰度图像噪声污染均比较严重，添加泊松噪声的图像无较大变化。

4.1 泊松噪声-双边滤波算法的PSNR 和SSIM

原灰度图及添加不同噪声的图像进行双边滤波处理后的图像如表4 所示。从表中图像可以看出，泊松噪声滤波图图像效果优于原灰度图滤波图像，椒盐噪声滤波图和高斯噪声滤波图图像效果劣于原灰度图滤波效果，分别计算PSNR 和SSIM，如表5 所示。

表4 双边滤波图Table 4 Bilateral filter plot

表5 图像去噪的评价指标Table 5 Evaluation indicators of image denoising

通过表4 图像和表5 数据可以看出，对于原灰度滤波图像，裂缝修补痕迹边缘细节或二次裂缝信息存在丢失；对于泊松噪声滤波图像，裂缝修补痕迹边缘或二次裂缝清晰连续，噪声也被有效滤除；对于椒盐噪声滤波图像和高斯噪声滤波图像，裂缝修补痕迹边缘或二次裂缝特征已无法观察。根据图像的PSNR 和SSIM 值可以得出同样的结论。

综上，泊松噪声可以保护图像细节信息并优化图像质量，是理想的添加噪声类型，适用于裂缝修补痕迹图像预处理。

4.2 图像分割的运行时间和LCFB

将Canny 算子、Laplacian 算子和Prewitt 算子作为参照，以运行时间和最大连续可用内存块（LCFB）使用情况作为Otsu 算法的评价指标。Otsu算法、Canny 算子、Laplacian 算子和Prewitt 算子对5个案例的分割效果图如表6 所示，其中对原灰度图滤波图像和泊松噪声滤波图像均进行了Otsu 分割。

表6 图像分割效果图Table 6 Image segmentation renderings

通过表6 图像可看出，原灰度图滤波图像的分割效果均较差，不仅裂缝修补痕迹边缘信息及二次裂缝信息缺失较多，且多处区域被误分为裂缝修补痕迹。

对于泊松噪声滤波图像，Canny 算子将部分背景判定为裂缝修补痕迹边缘，出现误判；Prewitt 算子分割后的裂缝修补痕迹边缘不连续且特征少；Laplacian 算子近似无法分割出裂缝修补痕迹边缘。而Otsu 算法对5 个案例的分割效果均达到预期，痕迹边缘和二次裂缝清晰连续，达到理想的图像分割效果。

图像分割的运行时间和LCFB 见表7，其中变化量是其他算法运行时间或LCFB 相对“泊松噪声Otsu”算法运行时间或LCFB 差值的百分比。为减小误差，对各算子均进行多轮测试后参与指标评价。

表7 图像分割的评价指标Table 7 Evaluation indicators for image segmentation

通过表7 数据可以看出，相较于原灰度图滤波图像，Otsu 算法对泊松噪声滤波图像分割时的运行时间起伏较小，LCFB 略有减少，总体效果呈现良好；Canny 算子、Laplacian 算子、Prewitt 算子的运行时间起伏较大，LCFB 近似不变，总体效果呈现较差。

5 结论

针对裂缝修补痕迹图像形状不规则、特征不完整的问题，基于自然语言文本预处理技术，提出先添加泊松噪声再进行双边滤波及Otsu 分割的图像预处理方法，得到易于识别的二值化图像，并通过工程案例验证了方法的可行性和有效性，结论如下：

1）对裂缝修补痕迹的灰度图像添加泊松噪声，降低直方图峰值的同时，有选择地增强某灰度像素点邻域内的对比度，使裂缝修补痕迹信息突出，与背景形成对比，说明泊松噪声可以显著改善裂缝修补痕迹图像的质量。

2）对添加泊松噪声后的图像进行双边滤波，在合理的滤波参数下，对图像进行多次滤波操作，裂缝修补痕迹的边缘保存良好，原图像真实噪声和后添加噪声均有效滤除，兼具“去噪”和“保边”的效果。

3）对裂缝修补痕迹滤波图像采用Otsu 自适应阈值算法进行分割，可自动生成最佳分割阈值，在分割后的裂缝修补痕迹二值化图像中，裂缝修补痕迹边缘连续完整，说明Otsu 算法可将噪声的干扰降至最低。

4）对不同桥梁裂缝修补痕迹图像使用提出的图像处理方法，滤波后的图像视觉感知达到要求，PSNR 和SSIM 均达到理想数值，进行图像分割的运行时间有显著提高，LCFB 稳定且略有降低，在出现了二次裂缝的裂缝修补痕迹图像中，裂缝修补痕迹和二次裂缝界限明显，易于分辨。