基于数字图像的砌体涵洞病害识别与工程应用

2023-08-28蒋买勇庄泽麟谭文波李金友

中国农村水利水电 2023年8期

蒋买勇，庄泽麟，谭文波，李金友

（1. 湖南水利水电职业技术学院，湖南长沙 410131； 2. 武汉大学水利水电学院，湖北武汉 430072）

0 引言

涵洞作为大坝、堤防、灌区等水利工程的重要输水建筑物，一般采用混凝土或砌体结构，具有灌溉、供水、导流等功能。随着长时间的运行服役，涵洞易引发渗漏造成溃口事故［1］，对于以砖砌结构为主体的涵洞，裂纹、下沉塌腰、风化剥落、裂损变形等方面的病害尤为突出，严重影响涵洞的正常运行，危及工程安全［2，3］。

涵洞的病害定位与识别，是涵洞安全评价工作的基础。长期以来一直采用人工统计，配合无损检测、钻孔取芯等方法进行验证；另外，长距离的水工涵洞检测受到现场光照条件恶劣、检测窗口期短、洞长较长且高低起伏剧烈等因素影响，传统方式检测较为困难［4］。

随着计算机视觉技术和深度学习理论的发展，在隧涵洞数字影像的基础上进行快速、无损化的病害识别成为一种新的技术方案。Krizhevsky 等［5］提出深度卷积神经网络（Deep Convolutional Neural Networks， DCNN），解决了过拟合问题对训练的影响。自深度卷积神经网络网络提出后，基于深度学习的目标检测方法迅速发展。目前主流的两类检测方法，一类为先进行目标检测候选框的预测，再对候选框的类别及位置进行预测的两阶段目标检测法，最具代表性的有R-CNN（Region Convolutional Neural Networks）［6］、Fast R-CNN（Fast Region-Based Convolutional Neural Networks）［7］以及Faster R-CNN（Faster Region-Based Convolutional Neural Networks）［8］等；另一类为将候选框的预测与类别及位置的预测置为同一CNN 网络中的一阶段目标检测法，最具代表性的有YOLO（You Only Look Once）［9］、SDD（Single Shot MultiBox Detector）［10］等。

然而，砌体结构涵洞存在砌块不规则变形、个别砌块突起等大量干扰因素。针对上述特点，本文提出了一种基于YOLOv5 算法识别砌缝扩张的方法，通过将目标检测的识别结果利用优化算法进行优化，从而达到对目标的精确识别。该方法具有占存小、速度快以及精度高等优点，能够快速准确识别目标区域。

1 工程背景

合东水库位于湘江水系涟水支流岩江上游，总库容2 501万m3，是一座以灌溉为主，结合防洪、养殖等综合效益的中型水利工程。该水库建成于1976年，为黏土心墙坝，最大坝高39 m，坝顶宽6 m，坝顶轴长146 m，坝内输水涵洞采用城门洞型砌体结构，总长约210 m，如图1 所示。由于工程施工质量差、运行久，输水涵洞渗漏严重，经安全鉴定为三类坝病险水库［11］。对水库输水涵洞进行病险精准识别时，受现场光照条件较差、检测窗口期短等影响，传统检测方式精准度较低，统计难度大。

图1 输水涵洞位置航拍图及洞口照片Fig.1 Aerial photo of hydraulic culvert location and portal photo

2 基于YOLOv5 网络框架的砌体图像识别方法

2.1 水工砌体涵洞图像特征分析

砌体拱涵结构中最普遍的病害是结构砌缝的张开，涵洞主要由砌块及胶凝材料连接而成，经过长时间的水流冲刷及风化等作用，极易出现砌缝开裂、张开的情况，当水流进入砌缝时，会加速结构的损害，影响整体结构，严重时会危及结构的安全。砌体拱涵结构渗水极易发生在拱顶及拱腰处，主要原因是砌体之间因开裂而形成缝隙，在水压作用下，水流会从结构的一侧流至另一侧，从而形成渗漏的通道，在水流的持续冲刷作用下甚至会出现砖砌脱落的情况，缝隙不断扩展，直至严重危及砖砌体涵洞结构安全。结合实际工程，砖砌体涵洞中砌缝扩张相比较其他病害而言是危及结构安全的重要因素，在进行评价时，主要关注其形状及颜色特征。

在形状上，正常砌缝［图2（a）］主要表现为规则的长条状，宽度一般为7.5～12.5 mm，脱空的砌缝［图2（b）］主要表现为规则的长条状，整体宽度大小一致，无明显变化，张开的砌缝主要表现为规则的长条状［图2（c）］或不规则的长条状［图2（d）］，整体宽度不同，一般呈线性变化；在颜色上，正常砌缝表现为与背景颜色相近的颜色，脱空砌缝与张开砌缝表现为具有一定宽度的深色。

2.2 YOLOv5网络框架构建

采用YOLOv5 算法的YOLOv5m 版本作为砌缝扩张检测与分类的模型，其体积较小，权重大小仅为42.5M。算法框架如图3所示。

图3 YOLOv5m模型结构Fig.3 YOLOv5m model structure

输入端：将输入的图片缩放至网格的输入大小，并进行归一化操作，在训练时使用由CutMix 改进而来的Mosaic 数据增强操作提高模型训练的速度与精度，以及采用自适应锚框计算与自适应图片缩放方法自动计算最佳锚框值。

基准网络（Backbone）：用以提取通用特征。YOLOv5m 采用Focus 模块、CBL 层、跨阶段局部网络（CSP）层及空间池化金字塔（SPP）层，由4 个CBL 层、3 个CSP 层、1 个Focus 层和1 个SPP层组成，其中Focus 模块主要是通过slice 操作对输入的图片进行裁剪操作，CBL 层是卷积层、批量归一化层于Leaky ReLU 激活函数的串联结构。

Neck 网络：进一步提升特征的多样性及鲁棒性，采用了改进的FPN+PAN 结构，加强了网络的特征融合能力。Neck 部分由4个CBL层、4个Concat（对特征张量的堆叠）层、5个CSP层及2次上采样组成。

Head 输出端：输出目标检测的结果，采用3 个卷积层组成，共有3 个输出。输出层利用GIOU_Loss 函数提升算法的检测精度，公式如下。

式中：A为神经网络的预测框；B为真实框；C为能将A、B包含在内的最小外接矩形。

2.3 算法及结果优化

砌体结构水工涵洞内部砌缝扩张是最主要的病害问题，由于涵洞内部砌缝扩张处明显，且无其余干扰因素，因此选用将候选框的预测与类别及位置的预测置为同一CNN 网络中的一阶段目标检测法能够快速、精确识别砌缝扩张。在一阶段目标检测法中，YOLOv5不仅权重、体积小，且识别迅速，适用于砖砌式水工涵洞的病害识别。

在YOLOv5m 网络结果中加入目标裁剪算法，将测试图片的预测框进行裁剪，并把预测结果进行二值化，以最小外接矩形包围目标区域进行再次裁剪，最终的优化结果与原图进行模板匹配，得出最终检测结果，其算法流程如图4所示。

图4 算法流程Fig.4 Algorithm flow

3 图像数据采集及及前处理实验

3.1 数据采集及增强

（1）图像采集。在涵洞内无明显积水的情况下，工作人员进入合东水库坝内涵洞，初步检查洞内病害状况，并手持数码相机（佳能EOS80D）拍摄衬砌表面，并保证所有表面均被覆盖至少1次，作为YOLOv5目标检测数据集。该数据集包含115张RGB 图像，每张图片的分辨率大小为6 000×4 000，每张图片按608×608 随机裁剪，生成有病害图像2 140 张，无病害图像1 174 张，共3 314 张图像，将裁剪后的图像数据集按4∶1 的比例分为训练数据集和测试数据集。

labelImg 是一款图形图像注释的工具，其采用Python 编写，应用第三方库Qt 进行图形界面编辑。采用labelImg 工具对数据集中的砌缝扩张部分进行标注，数据集生成标注信息文件为txt格式的YOLO数据集。

（2）图像标注与数据增强。为扩充数据集，在图像预处理阶段，在原图的基础上进行镜像、旋转、转置和Mosaic 数据增强处理，Mosaic 数据增强处理是在数据集中随机抽取四张图片，经过随机缩放、随机排布随机剪裁等方式进行拼接［12］，使得原图的表现形式集尺度各不相同，不仅避免过拟合现象的出现，还提高了检测的准确率和速度。

3.2 YOLOv5m网络训练

该模型采用YOLOv5m 网络训练，运行环境采用Intel（R）Core（TM） i7-10700F 处理器，NVIDIA Quadro P620 显卡，Windows 10 Pro 64 bit 操作系统，基于PyTorch 框架及CUDA11.0。主要参数设置：学习率0.008 56，余弦退火参数0.192，学习率动量0.98，权重衰减系数0.000 57，批次大小设置为4，共运行1 000轮。

损失函数可以很好地反映模型与实际数据之间的差异，选取损失函数作为评定模型的指标，其结果如图5所示，为模型训练及验证的损失曲线。损失曲线在迭代开始时损失较大，随着迭代次数的增加而迅速降低，直至趋于稳定，最终验证损失曲线损失值稳定于0.07 左右，训练损失曲线损失值稳定于0.055左右。

图5 训练、验证损失函数曲线Fig.5 Training and verification of loss function curve

4 图像处理对比实验设计

为验证方案的可行性，分别进行Mosaic 数据增强、多尺度训练以及采用Adam 优化器代替SGD 优化器3 组实验作为对比，其中Mosaic 数据增强（如图6 所示）步骤主要为在数据集中随机抽取四张图片，经过随机缩放、随机排布随机剪裁等方式进行拼接。多尺度训练通过对输入图片的尺寸进行放大或缩小等操作生成更多尺寸的图片进行训练，可以在一定程度上提高模型的精度，提高模型对不同大小检测目标的鲁棒性。Adam优化器结合AdaGrad 以及RMSProp 两种法算的优点，通过对梯度的一阶矩估计（梯度均值）和二阶矩估计（梯度未中心化的方差）综合考虑，计算出步长。SGD（随机梯度优化）：从样本中随机抽取一组进行训练，训练结束后按梯度进行更新，不断重复直至结束，每次迭代时样本需随机打乱。

为分析不同模型效果，选取F1-Score 平衡F 分数（F1-Score）作为衡量指标，结果如表1 所示。F1-Score 是精准度/查准率（Precision）及召回率/查全率（Recall）的调和平均数，公式如下：

表1 测试结果对比Tab.1 Comparison of test results

其中精准度/查准率指模型预测正例中正样本的比例，公式如下：

召回率/查全率指模型预测中正例占总正样本的比例，公式如下：

式中：TP（True Positive）为将正样本预测正确的个数；FP（False Positive）为将负样本预测为正样本的个数；FN（False Negative）为将负样本预测为正样本的个数。

由表1可知，通过采取Mosaic数据增强、多尺度训练和采用Adam 优化器方式可以明显提高F1-Score 指标取值，采用Mosaic 数据增强，F1-Score 指标的最大取值由不进行模型改进的0.458提升至0.521，提高了13.76%。进行多尺度训练，F1-Score指标的最大取值由不进行模型改进的0.458 提升至0.635，提高了38.65%。采用Adam 优化器代替SGD 优化器，F1-Score 指标的最大取值由不进行模型改进的0.458 提升至0.46，提高了0.44%。

随后对Mosaic 数据增强、多尺度训练和采用Adam 优化器进行随机组合测试，选取SGD 作为优化器的对照试验，仍选取F1-Score作为衡量指标，结果如表2所示。

表2 组合测试结果对比Tab.2 Comparison of combined test results

由表2 可知，通过采取Mosaic 数据增强、多尺度训练、采用Adam 优化器或SGD 优化器组合方式相较于单一改进F1-Score指标取值可以进一步提高，采用Mosaic 数据增强和Adam 优化器对F1-Score 指标的取值提升最为明显，可达0.652，相较于基本模型提高了42.36%。

5 砌体涵洞病害识别测试

对砌体涵洞进行实体数字图像识别测试，分为脱空砌缝、张开砌缝识别，不同灰度直方图像素值变化的扩张识别效果，测试结果如下。

图7 所示为脱空砌缝和张开砌缝的测试结果，由测试可以看出，在不同条件下模型均能检测到砌体结构的病害，且识别效果较好。无论是对脱空砌缝的检测和张开砌缝的检测，检测目标的置信度均能达到较高值，证明算法具有较强的鲁棒性。

图7 脱空、张开砌缝测试结果Fig.7 Test results of void and open masonry joints

图8为灰度直方图像素值偏低且成双峰分布图例的砌缝扩张识别结果，其中图8（a）为涵洞中像素值偏低图像的灰度直方图，砌缝扩张处的像素值与背景区域差别较小，容易被归于背景区域，识别难度较高，图8（b）为最终目标识别结果图，目标检测框基本为砌缝扩张区域的最小外包围框，且砌缝扩张区域基本全部识别，识别结果满足要求。

图8 像素值偏低图例识别结果Fig.8 Legend recognition result of low pixel value

图9为灰度直方图像素值均匀且成双峰分布图例的砌缝扩张识别结果，其中9（a）为涵洞中像素值分布较均匀图像的灰度直方图，像素值较低处极易出现误判情况，但最终结果依然能够很好识别出砌缝扩张区域，且识别结果能够较好的满足要求，证明算法具有较强的鲁棒性。

图10 为灰度直方图像素值偏高且成单峰分布图例的识别结果，其中图10（a）为涵洞中像素值偏高图像的灰度直方图，干燥部分的砌缝扩张区域与渗水区域像素值接近，极易出现误判情况，但最终结果依然能够很好地识别砌缝扩张区域，证明算法具有较强的鲁棒性。

图10 像素值偏高图例识别结果Fig.10 Legend recognition result of high pixel value

经过测试，在像素值偏低、均匀、偏高的情况，YOLOv5目标检测均能表现出优异的识别结果。同时，本文所提出的算法流程在识别精度及效率上均比传统计算机视觉算法具有明显优势，相较于其他目标检测算法，本文所采用的YOLOv5算法为一阶段检测算法，虽然精度略低于其他二阶段检测算法，但在识别速度上可达0.016 张/s，远远低于其他目标检测算法。因此，该算法更加适用于涵洞安全隐患的快速检测。

6 砌体涵洞病害识别工程应用

应用基于YOLOv5 网络框架的砌体图像识别方法，对合东水库输水涵洞桩号K0+222.4～K0+258.6 进行现场检测，共划分为24 区段进行检测，以涵洞右水平方向为0 角度，沿逆时针方向每次递增30 度角对涵洞进行病害识别，每段共划分0°～30°、30°～60°、60°～90°、90°～120°、120°～150°、150°～180°六个部分，K0+222.4～K0+258.6涵洞各区段病害检测结果如表3所示。

表3 K0+222.4～K0+258.6区段涵洞病害结果（处）Tab.3 Culvert disease results in K0+222.4～K0+258.6 section

图像采集完成后，根据涵洞设计参数采用隧道衬砌展开影像生成器软件对所拍摄的图像进行处理，得到涵洞内壁的全景展开图。将设计参数与展开图尺寸进行比较，以每像素（pixel）相对实际单位（mm）为尺度，得到展开图与实际尺寸之间的转换参数α（mm/pixel）。

式中：w′i为涵洞某段第i块实际砖砌体宽度，mm；wi为涵洞某段第i块实际砖砌体对应展开图砖砌体宽度（pixel）。

计算全景展开图上结果检测框所占像素个数，乘以转换参数得到砌缝扩张实际宽度。涵洞各段病害检测结果如图11 所示。病害严重程度由大至小以不同颜色表示，其中深红色区域为涵洞存在危险隐患的安全性评估区域，浅红色区域为涵洞安全性评估较差的区域，淡绿色区域为涵洞安全性较好的区域。

图11 K0+222.4～K0+258.6段涵洞检测结果Fig.11 Test results of culvert at K0+222.4～K0+258.6 section

砌体涵洞中砌缝扩张相比较其他病害而言是危及结构安全的重要因素，故选取砌缝扩张程度作为安全评估等级划分的主要依据。本工程中砖砌结构正常砌缝宽度均值为7.5 mm，在此基础上结合砌体结构裂缝指标，划分病害等级如表4所示。

表4 病害级别划分Tab.4 Disease classification

对涵洞K0+222.4～K0+258.6段的病害类别、角度、区域进行统计分析，结果见图12，其中轻微病害共26 处，占总病害数8.07%；一般病害共40 处，占总病害数12.42%；严重病害共93处，占总病害数28.88%；重大病害共163 处，占总病害数50.62%。0～30°内病害共29处，占总病害数9.01%；30°～60°内病害共28 处，占总病害数8.70%；60°～90°内病害共60 处，占总病害数18.63%；90°～120°内病害共81 处，占总病害数25.16%；120°～150°内病害共70 处，占总病害数21.74%；150°～180°内病害共54 处，占总病害数16.77%。涵洞安全性较好的区域共122处，占总数的84.72%，涵洞安全性评估较差的区域11 处，占总数的7.64%，涵洞存在危险隐患的区域11处，占总数的7.64%。