公路隧道衬砌裂缝图像质量增强方法研究

刘健解全一吕成顺赵致远

(1.山东大学齐鲁交通学院，山东 济南 250002；2.山东省工业技术研究院，山东 济南 250101)

0 引言

“十三五”时期，我国公路交通发展迅速，公路总里程接近520 万km，高速公路通车里程达到16.1 万km，二级及以上公路通达97.6%的县域，已基本形成覆盖广泛、互联成网、质量优良、运行良好的公路网络[1]。 公路运输在中国货物运输业中仍占据主导地位，而公路隧道作为提升运输效率与服务水平的重要基础设施，也得到了长足的发展[2]。 2011—2020 年，我国公路隧道数量增加了12 794座，里程增加了1 574.59 万延米，分别增长了1.5 倍和2.52 倍。 公路隧道建设已呈现出规模大、隧道长、埋深大的趋势[3－5]。

公路隧道作为岩土介质中的地下工程，在长期的运营过程中，一直承受着围岩压力、活荷载、邻近工程扰动、温度效应、地下水及化学侵蚀等多场耦合作用，隧道衬砌表面难免会出现各种类型的衬砌表观病害，常见的有裂缝、渗漏水、露筋、衬砌脱落等[6]。 据统计，目前我国约30%的公路隧道处于亚健康状态[7]，已严重威胁隧道结构耐久性及使用寿命，因此我国公路隧道整体面临着长期而又繁重的检测和维护任务。

随着机器视觉和人工智能技术的发展，国内外开发了多款移动式隧道检测车及病害数据智能处理系统。 公路隧道病害检测车主要聚焦于采用数字照相、激光扫描等机器视觉技术采集衬砌裂缝、渗漏水、形变等病害信息[8]。 山东大学[9]、同济大学[10]、武汉光谷卓越科技股份有限公司[11]、西南交通大学[12]、日本铁道综合技术研究院[13]、韩国汉阳大学[14]等开发了相机、激光等多传感器的移动触发方法，建立了基于图像的隧道病害移动式检测技术，集成了移动测量平台。

通过移动式隧道检测车开展隧道表观病害信息采集具有速度快、成本低的优势。 但是，公路隧道表观缺损图像采集精度要求高，一般要求能够清晰辨识0.2 mm 及以上宽度的裂缝，导致图像画幅偏小，致使单隧道将获取数万张图像数据。 因此，借助人工智能技术，构建隧道裂缝智能辨识算法已成为公路隧道检测行业亟需解决的关键难题。 近年来，由于卷积神经网络、递归神经网络、生成对抗网络等算法具有图像识别速度快、准确率高的特点，已大范围应用于图像裂缝辨识任务中，并提出了CrackNet[15]、CrackUnet[16]、DeepCrack[17]、U-HDN[18]、ConnCrack[19]等裂缝识别算法，极大地提升了隧道裂缝的检测效率。 但是，在实际隧道检测过程中，由于隧道衬砌裂缝尺度小、灰尘覆盖、涂料反射等影响，导致获取的图像检测数据质量不高，在智能辨识算法实际应用过程中误判率较高。 因此，亟需结合实际检测车获取的图像数据，研究适用于隧道检测的图像质量提升方法。 文章以图像质量及裂缝目标位置为切入点，分别提出了基于均衡化理论的图像质量增强方法以及适用于图像边缘裂缝的边框增强方法，并采用主流的目标检测算法对文章所提算法开展了试验。

1 数据集构建

1.1 公路隧道表观数据采集

对于深度神经网络这一数据驱动方法，使用足够的数据训练网络模型是保证算法有效性的关键点。 基于神经网络的裂缝识别相关技术研究的前提是获取足够多的公路隧道衬砌表观数据。 为了获取这些数据，课题组研发了一种轻量化公路隧道检测装备，如图1 所示，主要包括图像采集单元、激光雷达与定位单元、控制存储服务器与配套的车辆。 图像采集单元包括两台工业相机、旋转云台和补光灯，激光雷达与定位单元包括激光雷达、惯导定位模块和车轮编码器，控制存储服务器包括设备同步触发模块和3 台存储服务器。 图像采集单元和激光雷达与定位单元通过支架固定在车辆顶部，而控制存储服务器放在车辆后备箱内，三者通过集成数据线连接。

图1 公路隧道轻量化检测装备图

文章使用该公路隧道轻量化综合检测装备在多条两车道、三车道公路隧道开展了衬砌表观图像数据采集；在部分四车道的大断面公路隧道，包括开元隧道、老虎洞山隧道、港沟隧道、黄龙山隧道、花山大道隧道、龙洞隧道、樵岭前隧道等，也进行了表观数据的采集试验。

1.2 公路隧道裂缝数据集构建

在研究公路隧道裂缝识别算法之前，需要给出公路隧道衬砌表观裂缝数据集。 通过对装备采集的公路隧道表观图像进行人工逐张筛选，判断采集的图像中是否存在裂缝。 在此基础上，使用标注工具Labelme 人工注释1 744 张包含裂缝的公路隧道表观图像，如图2 所示。 裂缝数据集可以随机分成作为训练集用于裂缝识别网络模型训练的1 494 张图片和作为验证集用于评估训练准确性的250 张图片两组。 为了提高网络训练速度并加速网络收敛，图像分辨率均可归一化为640 pixel × 640 pixel。Labelme 标注工具输出的是JSON 格式的标注，而文章所用目标检测算法需要TXT 格式的标注进行训练。 因此，训练前需要在JSON 和TXT 格式之间转换，之后再分开存储TXT 格式的标注信息和图像。

图2 公路隧道裂缝图像标注图

2 图像质量增强方法

2.1 直方图均衡化方法

对于应用神经网络的裂缝识别，除了网络模型本身的性能差异，训练数据质量也是影响检测结果的关键因素。 图像数据增强通过改善现有的数据提高分类的准确性和稳定性。 图像直方图可以显示图像颜色值的频率分布，而通过重新分布图像直方图的分布，可以改变图像对比度。 直方图均衡化实际上是对原始图像灰度级的映射变换，而扩大像素灰度值的动态范围会使图像特征表现得更明显。 直方图均衡化是该思想的基础实现方法，其算法步骤如下:

(1) 计算图像的直方图H，并将直方图的灰度值归一化为[0，255] 。

(2) 积分计算出归一化后对应灰度值i的直方图分布，式中H′i代表灰度值为i的点对应的映射关系。

(3) 使用H′作为查找表计算均衡化图像equx，y＝H′(srcx，y) ，式中H′代表原始图像直方图变换时的映射矩阵；srcx，y为原始图像中坐标为(x，y) 的点灰度值；equx，y为均衡化图像中坐标为(x，y) 的点灰度值。

现阶段常用的图像均衡化算法主要有灰度直方图均衡(Histogram Equalization，HE)方法和限制对比度的自适应直方图均衡化(Contrast Limited Adaptive Histogram Equalization，CLAHE)方法。 HE方法可以有效地归一化亮度并增加图像对比度，但是也存在一些缺陷，如图像部分区域由于对比度增强过大而成为噪点，一些区域调整后变得更暗或更亮，容易缺失信息细节。 CLAHE 方法通过对图像数据分区域处理来改善这些缺陷，其主要步骤如下:(1)将图像切分为固定大小的矩形块；(2)设定直方图阈值，对于每个矩形块子图，分别计算其灰度直方图和对应的变换函数，并通过设定阈值可以把占比超过阈值的部分均匀分布到其他灰度上，降低图像的对比度；(3)使用线性插值进行像素值重构解决矩形块之间的差异，其中针对角落区域的像素使用原始变换函数计算灰度值，对边缘区域的像素使用周围两块子图的变换函数进行线性插值计算灰度值，其余区域使用周围四块子图的变换函数进行双线性插值计算灰度值。 但是，CLAHE 方法尚不能解决裂缝图像质量差的问题。

2.2 改进的隧道图像增强算法

文章提出的算法基本思想是通过增强图像的对比度来提升裂缝区域的显著程度，同时使图像的背景部分趋于一致。 文章通过融合HE 方法和CLAHE 方法，提出了一种改进的直方图均衡化算法以提高背景的相似性与裂缝的显著性。

(1) 使用CLAHE 方法，其中算法使用默认阈值(颜色对比度阈值cliplimit ＝40，均衡化网格大小gridsize ＝(8，8))。

(2) 对第一步均衡化的结果使用直方图均衡化，将图像灰度图拉伸，强化裂缝区域与暗色背景区域的差别，辅助神经网络提取特征。

图3 是文章提出的增强算法与其他增强算法的效果图。 原始图像中裂缝不够明显，直方图分布也较为集中。 HE 算法对直方图进行简单的拉伸和插值，使图像直方图分布趋于一致，但是简单拉伸灰度分布导致图像明暗更不均匀，噪声点更多。 CLAHE算法与文章提出的增强算法在图像层面基本一致，但从直方图来看，所提增强算法使直方图的分布更加均匀，可以明显看出图像部分区域的灰度特征表观得到了强化。

图3 裂缝图像的直方图均衡化方法效果图

2.3 裂缝边缘图像边框增强方法

与其他目标检测任务相比，裂缝常呈现细长的特征。 为了满足公路隧道裂缝检测的高精度要求，检测装备的拍摄范围通常较小，因此在采集的公路隧道表观图像中，一条裂缝通常连续覆盖多张图像。对大多数包含裂缝的公路隧道表观图像，其裂缝贯穿整张图像。 在实际使用裂缝识别网络的过程中，发现网络预测框很少能够覆盖图像边缘的裂缝目标，目标相对位置越接近图像中心，检测结果的置信度就越高，如图4 所示。

图4 贯穿图像的裂缝的识别效果图

针对图像边缘区域的裂缝识别问题，为了提高裂缝识别的精度，通过改变裂缝区域在图像中的相对位置，使裂缝更集中在图像中心，从而突出目标信息的特征。 因此，文章提出了一种为图像添加边框的公路隧道图像增强方法。 图像边框增强方法的步骤如下:(1) 将公路隧道衬砌裂缝数据集中的图像转换为灰度图，并获取每个灰度图像的尺寸信息；(2) 根据灰度图像的尺寸信息，设定需要添加的边框尺寸；(3)利用相对位置关系，重新生成裂缝标注信息；(4) 使用灰度值0(黑色)或255(白色)进行边框填充。

3 裂缝识别算法试验

3.1 算法试验基础

3.1.1 YOLOv5 网络

YOLOv5 是2020 年提出的目标检测系列算法(You Only Look Once，YOLO)的最新版本，旨在进一步优化基于YOLOv4 的物体检测的速度和准确性。为了适应不同的场景，发布了YOLOv5 的4 个预训练模型分别为YOLOv5s、YOLOv5m、YOLOv5l 和YOLOv5x。 其中，YOLOv5s 预训练模型包含1 001个卷积核和12 个残差分量，参数量仅有14.4 M，其宽度系数和深度系数分别为0.5 和0.33。

3.1.2 YOLOv3－MobileNet 网络

YOLOv3－MobileNet 提出于2018 年，是YOLO单阶段目标检测算法的第三个大版本。 作为单阶段检测模型，YOLOv3 可以直接计算目标位置信息和类别信息。 同时，YOLOv3 借鉴了传统图像算法特征金字塔概念，在3 个不同尺度分别检测并输出特征图，因此对小尺寸目标也有较好的检测效果。

3.1.3 Faster R－CNN 网络

Faster R－CNN 是2015 年提出的一种广泛使用的两阶段目标检测模型，可以使用多种特征提取网络作为模型的主干。 输入经过卷积主干生成特征图，通过区域建议网络(Region Proposal Network，RPN)进行特征判断并生成检测框。 RPN 会给出检测框可能的位置提案，并对检测框进行回归以更接近目标实际位置。 从RPN 中生成的提案与特征图相结合以获得提案特征图。 提案特征图在感兴趣池化(Region of Interest，ROI)中并调整位置大小后送入全连接层完成最终分类和检测框回归，得到最终预测结果。

3.2 评估指标

文章采用COCO 数据集的检测评估指标测试模型。 COCO 评估指标作为最主流的目标检测评估指标之一，共包含12 个用于评价目标检测算法性能的指标。 由于该文的数据集仅包含裂缝这一类目标。因此，选择使用其中有关精确率的评价指标mAP50、mAP75、mAP 和平均召回率AR 评估裂缝识别的效果。

精确率(Precision)和召回率(Recall)已广泛用于评估分类模型。 精确率代表预测为正类的正样本数量占预测为正类的样本数量的比例，召回率代表预测为正类的正样本数量占全部正类样本数量的比例。 精确率、召回率分别由式(1)和(2)表示为

式中TP为预测为正类的正样本数量；FP为预测为正类的负样本数量；FN为预测为负类的正样本数量。

在此基础上，目标检测任务引入了交并比(IoU)以扩充评估指标。 IoU 是检测评估指标中一个非常关键的概念。 交并比示意图如图5 所示，标注范围框和预测范围框为两个区域，IoU 表示的是两个区域的重叠程度，由式(3)表示为

图5 交并比示意图

式中Ap为预测范围框的区域；Agt为标注范围框的区域。

通过设定不同的IoU 阈值(从0.5~0.95，每0.05一档)，可以对预测结果得出不同的评估结果。mAP50、mAP75 分别为IoU 为0.5 和0.75 时的精确率，mAP(亦作mAP＠50∶95)是所有设定IoU 阈值下精确率的平均值。

3.3 算法试验方案

利用YOLOv5、YOLOv3－MobileNet 和Faster RCNN 等3 种网络分别针对文章提出的图像质量增强方法开展算法试验。 针对直方图均衡化方法，采用上述3 种算法，分别使用公路隧道原始图像、CLAHE 算法增强图像和文章增强方法增强图像进行裂缝识别网络的训练，评估不同增强方法对裂缝识别造成的影响。

针对边缘裂缝图像边框增强方法，为了探讨添加的边框宽度和边框填充颜色对裂缝识别的影响，在原始数据集上添加了不同宽度的边框。 边框大小为原始图像长与宽的1/10、1/9、1/8 和1/7，边框填充颜色为黑色和白色。 根据边框宽度和边框颜色的组合，设计8 组工况，分别为(1/10，黑色)、(1/10，白色)、(1/9，黑色)、(1/9，白色)、(1/8，黑色)、(1/8，白色)、(1/7，黑色) 和(1/7，白色)，采用YOLOv5 算法对该方法开展算法试验。

训练周期设置为60、批训练大小设置为4。 考虑到图像边框增强方法会影响图像的尺寸，训练和验证时输入图像的尺寸均自动调整为640 pixel×640 pixel并关闭马赛克增广方法，其余训练参数保持为默认值。 训练数据集为1.2 节中构建的裂缝数据集。 训练电脑硬件配置为处理器Intel i7－11700、显卡Nvidia Tesla T4 16 G、内存32 G；开发环境为CUDA 11.1、Python 3.7.9 和PyTorch 1.8.2。

4 均衡化图像质量增强方法试验结果

4.1 均衡化图像质量增强方法效果

文章所提出的均衡化质量增强图像的目标检测算法试验的9 组结果见表1，部分典型裂缝识别结果对比如图6 所示。 对于YOLOv5 网络模型的检测评估指标，经过提出的增强方法处理的图像得到了最好的评估指标。 相比未经处理的原始图像数据，mAP、mAP50、mAP75、AR 分别提高了13.5%、10.1%、20.0%和6.0%，其增幅都比较大；相比于CLAHE 增强方法，在mAP 和mAP50 处的增幅取得小幅领先，均提高了约1.4%，但是在mAP75 处的增幅更加明显，提升了7.3%，说明该算法在高IoU 条件下的准确性较好，识别得到的包围框与真实情况更相符。

图6 部分典型裂缝识别结果对比

对于Faster R－CNN 网络模型的试验结果，所提的图像增强方法相对于原始图像数据仍有较好的提升效果，mAP、mAP50、mAP75、AR 分别提高了5.6%、2.8%、10.1%和2.7%。 同样，对比CLAHE 增强方法也有提高，其中mAP75 更是提高了4.9%，说明在对裂缝检测包围框精度要求更高的场景下所研算法会有更好的表现。 整体评估结果证明该算法可以用于改善基于Faster R－CNN 网络的公路隧道裂缝识别网络模型。 YOLOv3－MobileNet 的试验结果与Faster R－CNN 网络类似，从数值上看，文章提出的算法相较两组对比数据均有较大提升，并且是3 个网络模型中提升幅度最大的，mAP 分别提高了22.2%和6.3%，mAP75 甚至提高到了45.7%和23.5%。

从上述分析可以得出，文章所提算法可以有效提升裂缝识别神经网络的准确性，并且此方法具有良好的适用性，在试验中使用的3 个网络模型中均具有良好的表现。 同时，所提算法比CLAHE 算法更好，在4 项评估指标上基本都是最好的，尤其在mAP75 上的较大领先表明能够满足较高精度的裂缝检测场景。 AR 方面，在与原始图像对比中，提高的百分比约等于AP 提升度的一半，说明基于灰度均衡化的增强方法在提高召回率上的作用相对有限。

4.2 均衡化图像质量增强目标检测算法训练曲线

均衡化质量增强图像目标检测算法训练曲线如图7 所示，原始数据的训练曲线有剧烈的波动，说明训练数据与验证数据差别较大，训练质量不高，而采用所提均衡化质量增强方法可以平滑训练曲线，且使训练结果适用范围更广。 由此可以看出，对于YOLOv5 模型，提出的增强方法可以显著改善道路裂缝图像数据与隧道裂缝图像数据在训练中的差异，提高模型预测能力。

图7 均衡化质量增强图像目标检测算法训练曲线

4.3 裂缝边缘图像边框增强方法分析

通过均衡化图像质量增强方法试验可以看出，YOLOv5 的试验结果相较于其他两种算法表现优异，更适用于隧道衬砌裂缝的识别，因此在图像边框增强方法试验中仅选取了YOLOv5 算法进行训练。

表2 为使用不同图像边框增强图像采用YOLOv5 训练的裂缝识别结果。 可以看出，所有使用了边框增强方法的裂缝识别结果在mAP50 和mAP 两个指标上均有提高，并且两个指标提升幅度最大的均是工况4，mAP50 提高了2.7%，而mAP 提高了3.4%。 从边框宽度方面来看，1/9 的边框宽度取得了最好的评估指标，之后随着边框越来越宽评估指标开始降低，但是仍然优于不添加边框的工况1。 在原始图像上添加边框会导致图像分辨率变大，而网络输入尺寸始终保持为640 pixel ×640 pixel，添加边框的裂缝图像的实际裂缝范围经过缩放会比原始图像更小，并且边框越宽实际裂缝范围越小，由缩放产生的图像精度损失会更大，因此在边框宽度超过一定的范围时裂缝识别的精确率开始降低。

表2 不同工况图像边框增强方法试验结果表

从边框颜色方面来看，1/10 宽度的工况条件下白色边框的评估指标优于黑色边框，但是二者差距较小。 其余宽度条件下黑色边框的评估指标均优于白色边框，其中mAP50 的提高幅度较小，但是mAP的提高幅度较大一些，说明在精度要求较高的场景下黑色边框会有更加明显的裂缝识别增强效果。 考虑到公路隧道光照条件较差，采集的公路隧道表观图像通常灰度值较低，相比于白色，其更接近于黑色，因此可以认为针对公路隧道衬砌表观灰度图像的裂缝识别任务，添加黑色边框会优于白色边框。结合边框宽度和边框颜色两方面的分析，图像边框增强方法可以有效提高公路隧道裂缝识别的精确率，并且在640 pixel×640 pixel 的输入尺寸下为裂缝图像添加宽度为1/9 的黑色边框可以获得最好的裂缝识别效果。

4.4 裂缝边缘图像目标检测算法训练曲线

裂缝识别模型在工况1、4 和5 的训练损失和验证损失曲线变化趋势如图8 所示，在开始训练之初，工况4 的损失曲线迅速下降，工况1 的损失曲线下降最慢。 训练结束时，工况1 具有最高的损失值。通常，越低的损失值表示越好的训练指标。

图8 裂缝图像边框增强图像目标检测算法损失曲线

在训练前期验证损失曲线震荡较大，主要是因为在“预训练－微调”模式下迭代次数较少时，权重的参数矩阵进行前向推理预测的裂缝锚框与实际裂缝锚框相差较大造成的，此时的训练权重不能够很好地进行裂缝识别这一任务。 随着迭代次数的增加，裂缝识别模型的损失曲线震荡现象逐渐变小且趋向于稳定，工况4 率先达到收敛状态。 由于验证集也被定义为测试集，因此在评估不同的模型预测性能时，与训练损失相比，验证损失更为可靠。

5 结论

针对现阶段采用移动测量技术获取隧道裂缝图像信噪比低、对比度低，图像质量差的问题，分别提出了基于均衡化理论的图像质量增强方法和适用于边缘裂缝的图像边框质量增强方法，采用主流目标检测算法开展了算法试验，分析了图像质量增强效果，得到的主要结论如下:

(1) 所提的均衡化图像质量增强方法通过均衡直方图的方法使裂缝图像直方图的分布更加均衡，强化了部分区域的灰度特征表现，使不同场景下的高噪声裂缝呈现出类似的视觉效果，可以辅助提升裂缝识别效果。

(2) 所提的图像数据增强算法可以有效提升裂缝识别的准确性，YOLOv5 模型、Faster R－CNN 模型、YOLOv3－MobileNet 模型分别可以使AP 提升13.5%、5.6%、22.2%。 在均衡化图像裂缝检测试验中，YOLOv5 模型具有最好的评估指标，轻量化模型YOLOv3 可以应用于快速化裂缝检测任务，FasterRCNN 模型在精细目标识别方面有一定的优势。

(3) 为公路隧道衬砌表观灰度图像添加边框的图像边框增强方法可以有效提高公路隧道裂缝识别的准确率，并且该方法在添加宽度为1/9 的黑色边框时可以获得最好的裂缝识别效果，同时可以加快模型的收敛速度。