钢桥桥面细小裂缝图像特征动态识别仿真

谢君利,郭魏源,张春生

(1. 黄河科技学院应用技术学院,河南 济源 459000;2. 河南理工大学土木工程学院,河南 焦作 454003)

1 引言

我国交通运输业的迅速发展使公路桥梁被大量建造并投入使用[1],钢桥是公路桥梁的典型形式之一,具有受力明确、跨越能力大等优点,但在长期降雨和风沙等自然环境侵蚀下,钢桥难免出现劣变情况,桥面裂缝是最常见的钢桥劣变问题,裂缝不但会降低钢桥的路用性能,而且对钢桥受力也存在很大的负面影响,导致钢桥整体性能下降[2]。因此,建立科学有效的钢桥桥面图像细小裂缝动态识别方法至关重要。

胡成雪等人[3]利用灰度校正和形态学重建降低外界干扰和噪声影响,通过显著性差异提取图像邻域显著特征,引入方向可调滤波器获取方向各异的梯度显著特征,融合邻域显著特征和梯度显著特征生成特征融合显著图并采用阈值分割,得到可能的裂缝聚集区域,采用聚类算法依据区域内不同几何特征筛选裂缝候选区域,定位候选区域端点,剔除无端点区域子集,将不同区域端点连接,实现钢桥桥面图像细小裂缝动态识别。常惠等人[4]混合传统卷积块和空洞卷积块,构建金字塔空洞卷积模块作为残差网络底部模块,通过改进的残差网络实现钢桥桥面图像细小裂缝动态识别。谢雄耀等人[5]采用基于深度学习算法的Faster R-CNN网络识别原始钢桥桥面图像裂缝目标,判定裂缝存在与否,若存在,标记裂缝区域并裁剪裂缝区域,进而得到全部裂缝图像,去除图像干扰背景后通过U-Net语义分割网络实现钢桥桥面图像细小裂缝动态识别。以上方法没有在识别到细小裂缝后对裂缝优化处理,导致误差较大。

为了解决上述方法中存在的问题,提出钢桥桥面图像细小裂缝最优化动态识别方法。通过Mask匀光法和灰度级腐蚀法,提高图像质量。采用改进Canny算子,提取细小裂缝边缘。通过形态学方法实现裂缝最优化动态识别。

2 钢桥桥面图像细小裂缝粗提取

2.1 钢桥桥面细小裂缝图像预处理

钢桥桥面图像中往往存在由桥面颗粒纹理、积水水渍、抛洒物、光照不均、对比度较低等因素造成的图像质量低问题,在识别钢桥桥面图像细小裂缝前务必对图像预处理。

2.1.1 图像匀光处理

采用Mask匀光法平衡钢桥图像整体光强。

用Ig(x,y)表示原始图像,Ig(x,y)表示高斯滤波法滤波后得到的背景图像[6],Ib(x,y)表示线性拉伸前图像,(x,y)表示图像中任意像素,φ表示灰度偏移量,则存在以下关系式:

Ir(x,y)=Ig(x,y)-Ib(x,y)+φ

(1)

在[0,255]范围内对Ib(x,y)的像素值拉伸处理,用ε表示线性拉伸因子,得到匀光后图像Im(x,y)如下所示:

Im(x,y)=255×[Ir(x,y)-ε]/(255-2×ε)

(2)

2.1.2 图像对比度增强处理

由于拍摄环境和拍摄设备等因素影响,钢桥桥面图像对比度较低,因此采用灰度级腐蚀法增强图像对比度。

用H(x′,y′)表示结构元素[7],H(x′,y′)表示结构元素中任意像素,Gs表示H(x′,y′)的定义域,得到经灰度腐蚀增强对比度后图像Ie(x,y)如下所示:

Ie(x,y)=min[Im(x+x′,y+y′)-H(x′,y′)]

(3)

2.2 图像细小裂缝粗提取

在经过图像预处理得到高质量钢桥桥面图像后,引入模糊C均值聚类算法(FCM)对图像细小裂缝粗提取[8]。

(4)

FCM算法主要流程如下:

①选取大于0的一个小数作为停止阈值θ,初始化隶属度矩阵记作U0,迭代次数t设置为0;

因为在钢桥桥面图像中光线被细小裂缝所吸收,所以裂缝所处区域反射作用较弱,即对应图像区域像素灰度值较低。将灰度值作为聚类特征,记作xi,将聚类中心zj的最小值对应索引记作j=J,若第i个像素点对于第J个聚类中心的隶属度μiJ在{μij|1≤j≤c}中为最大值,则将xi判定为裂缝。完成对全部像素点的判断,即可实现钢桥桥面图像细小裂缝的粗提取。

3 细小裂缝最优化动态识别

3.1 细小裂缝边缘提取

钢桥桥面图像细小裂缝可视为不规则曲线段组合,存在一定的边缘性质,基于粗识别结果提取细小裂缝边缘有助于后续对细小裂缝的分析和识别,采用改进Canny算子提取钢桥桥面图像细小裂缝边缘[9]。

传统Canny算子的滤波对非线性噪声没有滤波效果,滤波能力受标准差σ的直接影响,其一阶差分会造成部分图像信息的丢失[10],并且其采用人工定义阈值,会导致结果出现一定偏差。因此所提方法对传统Canny算子加以改进。

采用非线性中值滤波替代高斯滤波作为滤波算法,中值滤波依据升序排列钢桥桥面图像像素值并选取中间值实现滤波[11]。

引入Sobel算子的8方向模板计算图像梯度[12],假设存在钢桥桥面图像f(x,y),(x,y)表示图像中任意像素值,则经Sobel算子计算得到方向梯度Sx和Sy如下所示:

(5)

通过Otsu法替代人工阈值选取[13],假设钢桥桥面图像中共存在Y个灰度级,每级灰度出现次数记作mi,对于一幅尺寸为M×N的钢桥桥面图像,每级灰度出现概率pi计算方式如下所示:

pi=mi/(M×N),i∈[0,1,…,Y-1]

(6)

设置阈值K用于划分图像背景和边缘区域,基于该阈值计算背景和边缘区域在图像中的概率Pb和Po,如下所示:

(7)

(8)

(9)

在[0,Y-1]范围内不断调节阈值K,重复计算不同阈值下的类间方差,其中,类间方差最大值对应的阈值即为所求阈值,通过该阈值即可区分钢桥桥面图像细小裂缝边缘区域与背景区域,实现细小裂缝边缘提取。

3.2 细小裂缝识别

区域生长法通过合并相邻且具有近似属性的像素点为一个区域实现细小裂缝识别[14],依据灰度阈值制定生长规则,将生长点灰度值记作p,生长点8邻域内像素点灰度值记作qi,i∈[1,2,…,8],生长阈值记作Td,则有:

|p-qi|

(10)

通过区域生长法动态识别钢桥桥面图像细小裂缝的主要流程如下所示:

①在粗识别区域内,将通过改进Canny算子提取到的钢桥桥面图像细小裂缝边缘点设定为种子点集合;

②设定种子点生长规则,根据式(10)确定生长阈值;

③以种子点为起始生长点,标记种子点所在区域为目标区域Q;

④对生长点8邻域内全部像素点加以搜索,保留不属于Q的像素点和未超出粗识别区域像素点;

⑤对比保留像素点和相应生长点,将满足生长规则的像素点记作新生长点,添加至Q中;

⑥若新生长点个数0,则算法结束,最终得到的区域Q即为钢桥桥面图像细小裂缝区域;反之返回步骤④重复执行直到满足终止要求。

3.3 细小裂缝动态识别结果最优化处理

由于钢桥桥面图像中存在无法避免的噪声,识别到的细小裂缝可能会出现不连续、空洞或毛刺等问题,因此对识别到的细小裂缝进一步处理,通过形态学方法去除细小裂缝图像毛刺和空洞[15],依据像素位置信息拼接细小裂缝。

引入形态学方法中的开操作和闭操作处理细小裂缝图像,前者负责去除比结构元素更小的毛刺,后者负责填补比结构元素更小的空洞或缺口,进而使得细小裂缝边缘更为平滑。

识别到的细小裂缝图像中可能存在不连续的问题,同一条细小裂缝断开区域间距离较近,所提方法基于该特征拼接细小裂缝,主要流程如下所示:

①将通过区域生长法得到的细小裂缝均标记为候选裂缝,由左上至右下排列全部裂缝,生成候选裂缝集合,选取首个裂缝作为当前待拼接裂缝;

②由该待拼接裂缝端点开始判断裂缝走向,遍历该裂缝端点方向附近像素点,如果在端点指定像素点距离内存在其它候选裂缝,则将该裂缝与待拼接裂缝拼接;

③完成当前裂缝拼接后选取下一个候选裂缝作为待拼接裂缝执行步骤②,直到完成全部候选裂缝拼接。

所提方法具有计算过程简单、效率高等特点,采用所提方法对不断更新的钢桥桥面图像持续识别、监测,即可实现对钢桥桥面图像细小裂缝的实时最优化动态识别。

4 实验与结果

为了验证钢桥桥面图像细小裂缝最优化动态识别方法(所提方法)的整体有效性,需要对其测试。实验选取362幅钢桥桥面细小裂缝图像,构建裂缝数据库。采用邻域与梯度显著特征融合的裂缝检测方法(参考文献[3]方法)和基于改进残差网络的铁路隧道裂缝检测算法(参考文献[4]方法)为对照检测所提方法的有效性。任意选取4幅图像对比所提方法、参考文献[3]方法和参考文献[4]方法的细小裂缝识别结果,测试结果如图1所示。

图1 三种方法细小裂缝识别结果视觉对比图

由图1可以看出,所提方法的细小裂缝识别结果更为清晰,边缘更为明确,而参考文献[3]方法和参考文献[4]方法虽然能够识别到细小裂缝,但与背景区别较小,难以区分,识别效果不理想。

为了更加客观的评估所提方法、参考文献[3]方法和参考文献[4]方法的检测结果,采用ROC曲线、AUC值、平均绝对误差量化362幅钢桥桥面图像细小裂缝检测结果,测试结果如图3所示。

1)ROC曲线和AUC值

ROC曲线图能够用来衡量裂缝识别的准确性,ROC曲线与横纵坐标围成的面积越大,即AUC值越大,则对应方法的裂缝识别准确性越高,不同方法的检测结果如图2所示:

图2 ROC曲线和AUC值检测结果

由图2可以看出,在相同假阳性率处,所提方法真阳性率高于参考文献[3]方法和参考文献[4]方法,说明所提方法检测出的点是真实裂缝点占比最高,同时所提方法的AUC值高于参考文献[3]方法和参考文献[4]方法,因为所提方法在识别到钢桥桥面细小裂缝后采用形态学方法和像素位置信息拼接方法解决细小裂缝不连续、空洞或毛刺等问题,优化识别效果。

2)平均绝对误差

ROC曲线主要衡量的是潜在识别目标,为了全面评估裂缝识别性能,引入平均绝对误差进一步检测所提方法、参考文献[3]方法和参考文献[4]方法的可靠性与准确性。

用M和N表示图像长和宽,(x,y)表示任意像素值,G(x,y)表示真实像素值,H(x,y)表示不同方法检测下像素值,则平均绝对误差MAE计算方法如下所示:

(11)

通过式(11)计算三种方法在不同钢桥桥面图像细小裂缝类别中识别结果的平均绝对误差,如下表所示。

表1 平均绝对误差检测结果

由图3可以看出,所提方法在不同裂缝类别中的平均绝对误差始终保持在0.015以下,参考文献[3]方法的平均绝对误差均已超过在0.02,参考文献[4]方法的平均绝对误差总体趋势虽略低于参考文献[3]方法,但明显高于所提方法,说明所提方法具有一定的有效性和优越性。

图3 不同方法的运行时间检测结果

为了进一步检测三种方法在细小裂缝识别中的性能,统计三种方法在识别362幅钢桥桥面图像细小裂缝时的平均运行时间,结果如图3所示。

由图3可以看出,所提方法的运行时间在0.5s以下,参考文献[3]方法运行时间在1.5s以上,参考文献[4]方法运行时间接近3s,所提方法的运行时间明显少于参考文献[3]方法和参考文献[4]方法,说明在相同时间内所提方法能够完成更多的裂缝识别任务,更符合动态识别需求。

5 结束语

为了保障钢桥使用寿命和运行安全,对钢桥桥面裂缝及时检测识别并维护至关重要。为此,提出钢桥桥面图像细小裂缝最优化动态识别方法。采用Mask匀光法和灰度级腐蚀法预处理图像,利用改进的Canny算子提取细小裂缝边缘,通过区域生长法识别细小裂缝并结合形态学方法和像素位置信息拼接方法缓解细小裂缝不连续、空洞或毛刺等问题,不断分析、识别持续更新的钢桥桥面图像细小裂缝信息,完成细小裂缝最优化动态识别。该方法能够有效地增大AUC值、减小平均绝对误差、缩短运行时间,为钢桥的安全运行奠定基础。