基于YOLOv5和U2-Net的高铁桥梁裂缝智能检测方法研究

乔 攀, 潘存治, 张萌萌

(1.石家庄铁道大学 机械工程学院,河北 石家庄 050043;2.石家庄铁道大学 交通运输学院,河北 石家庄 050043)

0 引言

截至2022年末,中国高铁运营里程超过40 000 km,目前大多数高铁线路都采用“以桥代路”的方式进行修建[1]。因此桥梁结构在高铁线路中占据了较大的比例,高铁桥梁的健康状况成为保障行车安全和桥梁可靠性的关键因素。传统的人工检测方法存在效率低、成本高和人为主观因素等问题;传统数字图像处理技术在处理桥梁结构裂缝时,由于裂缝的形态和尺度比较复杂、存在噪声干扰和光照变化等因素,处理效果难以满足工程需求[2]。

近年来,随着机器学习和人工智能技术的发展,基于深度学习的图像处理方法逐渐兴起,并取得了很好的效果[3-4]。深度学习和机器视觉在高铁桥梁裂缝检测中具有更高的准确性、更强的鲁棒性、更高的实时性和更强的泛化能力,结合裂缝识别、分割、宽度测量等方法,实现高铁桥梁裂缝的自动检测[5]和量化[6],为高铁桥梁的安全监测和维护提供更加可靠和高效的技术手段。

裂缝识别定位和裂缝分割是基于深度学习的裂缝检测系统的两大主要任务。REDMON et al[7]提出了YOLOv3算法,该算法对YOLO和YOLOv2进一步改进,升级了网络结构,提升了对小目标的检测能力。ZHANG et al[8]对YOLOv3进行改进用于实现桥面裂缝的检测,实现了高准确率实时检测桥面裂缝。SHU et al[9]将YOLOv5运用到裂缝检测中,相较于YOLOv3检测效果更好,其识别精度与效率以及网络的灵活性都得到大幅提升。李怡静等[10]提出一种改进U2-Net的裂缝检测方法,将深度可分离卷积和扩张卷积融入U2-Net语义分割模型,提升了模型对微小裂缝的预测效果,提升了识别精确率。

1 高铁桥梁裂缝智能检测算法与实现

研究目的是开展基于机器视觉的高铁桥梁裂缝检测研究,主要包括以下3个部分内容:裂缝自动识别定位、分割和最大宽度测量。首先,采用YOLOv5作为裂缝识别定位模型,通过训练和优化模型,实现对高铁桥梁中裂缝的自动定位,同时,使用U2-Net作为裂缝分割模型,将其应用于裂缝像素级别的分割,以获取裂缝的准确轮廓信息;然后,研究裂缝宽度测量方法;最后,利用机器视觉技术实现对裂缝实时监测与宽度测量。

1.1 YOLOv5裂缝识别定位算法

YOLOv5是One-stage目标检测算法,它在经过YOLOv1、YOLOv2、YOLOv3和YOLOv4的不断改进下,拥有了更强大性能的网络,使其速度与精度都得到了显著的提升,尤其是在细小目标的检测任务上。YOLOv5主体模型结构主要由4部分组成:输入端、Backbone网络、颈部网络和预测端[11]。YOLOv5的模型结构图如图1所示。

图1 YOLOv5网络结构

输入端负责对输入图像进行预处理和数据增强,以提高模型的泛化能力和鲁棒性。主要包括Mosaic图像增强,将4张不同的图像拼接成一张大图像,增加数据集的多样性和难度;自适应锚框计算,根据输入图像中目标的尺寸和形状,自动计算出最适合的锚框参数,避免手动设置;自适应图片缩放,根据输入图像中最大目标的尺寸,动态地调整输入图像的尺寸,以适应不同尺度目标的检测。

Backbone网络负责对输入图像进行特征提取,提取出不同层次和尺度的特征图。颈部网络结合了FPN结构和PAN机构,从骨干网络的输出中继续提取特征,并进行上采样处理,从而进一步提高模型在目标检测任务中的性能。预测端负责对特征图进行目标检测和分类,输出最终的检测结果。

1.2 U2-Net裂缝分割算法

U2-Net又称U2-Net,是一种用于显著目标检测的深度网络架构,其主要特点是采用了2层嵌套的U-结构,即U2-结构,来提取和融合不同层次和尺度的特征图,从而实现高效且准确的目标检测。U2-结构是U2-Net的核心组成部分,它由2个嵌套的U-结构组成,即RSU(ReSidual U-blocks)。RSU是一种改进的残差U-块,它可以在不同层次上提取特征,并通过跳跃连接实现特征之间的残差学习,还使用池化操作来增加总体体系结构深度,而不会显著增加计算成本。其由输入卷积层、对称编码器-解码器结构和残差连接3部分组成。与U-Net类似,它能够从不同尺度的特征中提取信息,并通过残差连接融合多尺度特征。U2-Net算法的网络结构和RSU残差块结构如图2所示。

图2 U2-Net网络结构和RSU结构

1.3 计算轮廓最大内切圆裂缝宽度测量法

传统的裂缝宽度测量法受到环境、裂缝形状等影响导致效果不佳,本文提出了一种计算轮廓最大内切圆算法。如图3所示,该算法主要包括图像预处理和裂缝轮廓提取、确定内切圆搜索范围及圆心、二分法求最大内切圆半径。首先,对图像进行连通域去噪、灰度处理和二值化,去除干扰因素,保留有效信息;然后,找到裂缝的轮廓,利用轮廓检测的算法,提取出二值化图像中的裂缝轮廓;最后,用轮廓最大内切圆算法计算裂缝最大宽度,打印出裂缝宽度信息并在图像中对应位置绘制最大内切圆。

图3 计算轮廓最大内切圆裂缝宽度测量法

2 裂缝检测模型构建和数据集制作

2.1 模型构建和训练数据集制作

在进行裂缝定位和分割模型的训练前,需要构建相应数据集。针对此任务,基于Pytorch框架构建和优化了YOLOv5和U2-Net深度网络模型。系统训练阶段采用的计算机环境基于Python3.8、PyTorch1.1.1、AMD Ryzen 7 5800H处理器、英伟达RTX3060显卡和32 GB内存。

裂缝识别定位模型训练数据集采用Concrete Crack Images for Classification数据集中的40 000张混凝土裂缝图像,并且利用对实验采集的2 000张高铁桥梁裂缝进行了随机裁剪、随机旋转、随机噪声、随机亮度等数据增强方法,将数据集扩充到4 000张,二者相结合组成了本次裂缝识别定位模型的数据集共计44 000张。以YOLOv5s作为基础模型架构,训练过程设置初始学习率为0.01、最小学习率设置为0.000 1、batch size大小为50、epochs大小为1 000、模型总共训练时间为25 h。

裂缝分割数据集共包含1 500张裂缝图像,其中从Concrete Crack Images for Classification数据集中选择了500张,加上采集的1 000张高铁桥梁裂缝图像。训练过程设置学习率为0.000 1、batch size大小为10、epochs为500、模型总共训练时间为10 h。

2.2 实验采集测试数据集

由于高铁桥梁目前大多数年限较短,从安全因素考虑,采用实验模拟进行裂缝图像数据的采集工作和裂缝检测模型的测试。模拟实验采用4根混凝土桩进行破坏性实验,每根桩高60 cm、宽15 cm,对每个面按25 mm×25 mm方格进行划分,共144(24×6)个方格。

3 裂缝检测模型实验测试与结果评估

3.1 模型评估

评估模型的目的是为了衡量训练得到的模型性能,即检验模型的准确性和可靠性。评估指标是用于评估模型性能的量化标准,评估指标可以反映模型的优劣。

引入3个评价指标,准确率(Precision,Pr)、召回率(Recall,Re)和平均精确度(Average Precision,AP)来对模型进行评估。Pr为被模型预测为正类的样本中,实际为正类的比例

(1)

式中,TP为正确预测的正例数;FP为错误预测的正例数。

Re为实际为正类的样本中,被模型预测为正类的比例

(2)

式中,FN为错误预测的负例数。

AP为预测结果排序后每个阈值下的精确率的平均值

(3)

式中,Pr(Re)为召回率为Re时的最大精度值。

3.2 结果分析

3.2.1 识别定位模型结果分析

利用YOLOv5识别定位模型训练结果如图4所示。模型的收敛速度很快且最终趋于平稳,所以选用该权重为检测时的预权重。

图4 各项训练评价指标随训练次数变化曲线

将测试图像输入到最优网络模型中之后,统计裂缝识别定位结果,得到该模型的准确率、召回率、平均精确度分别为92.21%、94.63%、95.32%。

3.2.2 裂缝分割模型结果分析

模型将预测到的裂缝区域像素赋值为255,其他区域像素为0,并最终输出裂缝的二值图像。经统计,分割模型对测试集的准确率、召回率、平均精确度分别达到92.86%、95.61%、93.35%,U2-Net裂缝分割模型对于测试集中单条裂缝、多条裂缝和交叉裂缝的准确率、召回率、平均精确度如表1所示。

表1 U2-Net裂缝分割模型结果评估 %

在通过对分割后的图像进行预处理、裂缝边缘提取之后,最终通过计算轮廓最大内切圆算法打印出裂缝的像素宽度并在图中绘制最大内切圆位置,如图5所示。最后需根据实际图像参数将像素宽度转化为实际宽度,以分辨率为512×512像素图片为例,在方格划分时每一个方格尺寸是25 mm×25 mm,25 mm对应512个像素点,所以,1 mm代表20.48像素,输出的像素宽度除以20.48则为实际的裂缝宽度,单位为mm。

图5 桥梁裂缝智能检测示例

随着时间的推移和承受不断增加的荷载作用,未来的高铁桥梁可能会出现开裂,通过对4根混凝土桩进行破坏性实验,模拟了高铁桥梁可能出现的裂缝情况,并获得了具有较高普适性的裂缝样本集。该裂缝智能检测系统可以实现裂缝的自动定位、判断,系统表现出较高的泛化能力,能够较好地处理复杂的实验数据。

3.2.3 裂缝检测方法对比分析

YOLOv5识别定位模型识别准确率和召回率分别为92.21%、94.63%,均高于文献[8]采用改进YOLOv3模型中的裂缝识别准确率89.16%和召回率91.16%;且对于512×512像素的图像平均检测速度为62.50帧/s,远高于文献[8]中的检测速度20.56帧/s。可见YOLOv5对于裂缝的识别定位更为准确、速度更快。U2-Net裂缝分割模型分割准确率为92.86%,高于文献[12]中采用U-Net卷积网络的裂缝分割准确率91.40%;而仅使用U2-Net裂缝分割模型处理一张测试图像用时平均为2 012 ms,本文中将YOLOv5与U2-Net结合进行裂缝检测,经过前者快速识别裁剪,明显减少了后者的分割任务量,节约了55.77%的处理时间。

4 结论

提出计算轮廓最大内切圆裂缝宽度测量法,再结合YOLOv5目标检测算法和U2-Net图像分割算法构成了高铁桥梁裂缝智能检测系统,构建并训练出了针对高铁桥梁裂缝识别定位模型和分割模型,实现了裂缝的自动定位、分割和测宽,裂缝检测更精确、更快速,提升了检测效率,得到以下结论:

(1)针对高铁桥梁裂缝构建和训练了YOLOv5裂缝识别定位模型,引入了U2-Net算法来完成裂缝分割任务。

(2)针对裂缝宽度计算部分,提出了基于计算轮廓最大内切圆算法的裂缝最大宽度计算方法,获得裂缝的宽度信息。与传统裂缝图像处理测宽方法相比,该方法能更好地适应多条裂缝、交叉裂缝等复杂的裂缝形状,从而使计算的裂缝最大宽度更为精确。

(3)为了模拟高铁桥梁可能出现的裂缝,通过对混凝土桩进行破坏性实验,以此作为测试对象。对模型评估、测试,统计测试结果得到识别定位模型的准确率、召回率、平均精确度别为92.21%、94.63%、95.32%;分割模型准确率、召回率、平均精确度分别达到92.86%、95.61%、93.35%。对比结果表面,所提出的裂缝智能检测方法具有更快的速度和更高的精确度,该方法为高铁桥梁裂缝的智能检测提供了技术支撑。

(4)此方法对单条和多条独立裂缝的检测效果较好,但对于分叉交叉裂缝等复杂情况识别效果依然不够理想,后续需继续提升系统泛化能力,进一步优化网络架构和丰富模型训练数据集样本数量。