基于YOLO算法的探地雷达道路图像异常自动检测

覃紫馨,姜彦南*,徐立,王娇,张世田,冯温雅

(1.桂林电子科技大学信息与通信学院,桂林 541004; 2.中国电波传播研究所,青岛 266108)

伴随着城市化进程的发展,城市空间利用和城市道路安全受到愈来愈广泛的关注。地下空洞、管线和既有建筑的基础是城市道路勘查的主要异常目标,准确、高效地检测出道路内部的异常目标可为城市建设和治理提供技术保障,而探地雷达(ground penetrating radar,GPR)作为一种常用的、无损的城市工程勘查技术,具有高速率、高精度和高经济性等特点,目前已成为城市道路勘察主要的地球物理探测手段[1]。GPR的应用十分广泛,如混凝土中的空洞定位与治理[2]、地雷探测与排除[3]、地下设施追踪和绘图[4]、铁路道碴的优化和评估[5]等。虽然GPR在道路无损检测方面有着很大的优势,但其数据量通常十分庞大,且数据解释主要依靠专业技术人员,具有人工经验要求高、数据解译难度大、解释工作量大、解释周期长等突出问题。因此,研究从GPR图像数据中准确快速自动解译道路内部异常目标的方法具有重要的应用价值和现实意义。

近年来,已有关于将深度学习应用于GPR 图像数据自动识别掩埋物体的研究报道[6-8]。Dinh等[9]提出,通过预处理确定目标双曲线顶点后,提取顶点周围固定大小的区域用作训练样本。Lei等[7]使用了典型的目标检测框架,即更快的R-CNN(region-convolutional neural network)[10]对隐藏的线性对象进行分类,并缩小了候选框的双曲线范围。冯德山等[11]利用深度学习模型自动处理和分析地质雷达图像,从而实现隧道衬砌结构物的自动化识别和检测。张世瑶等[12]使用卷积神经网络进行特征提取和裂缝检测,并通过数据增强和网络结构调整来优化检测性。罗晖等[13]提出使用YOLOv4算法检测道路路面病害在精度和速度上优于Faster R-CNN算法。在目前的探地雷达道路图像异常目标识别相关研究中,尚未涌现出通用的公开数据集,多数研究借助模拟软件生成道路结构仿真图像。虽然这些研究利用深度学习技术实现了一定的异常目标检测效果,但在高效性和实时性方面仍有提升的空间。因此,迫切需要探索更为优越的目标算法,以提升检测模型的高效性、实时性和准确性,以满足实际应用的需要。

常用于目标检测的深度学习算法[14]有两种,一种是先得到目标的候选框,再对候选框中的目标进行分类,也称为“双阶段”算法,以R-CNN、Faster-RCNN等为代表;另一种是直接预测到检测的目标位置和类别,也称为“单阶段”算法,以YOLO系列为代表。而YOLO系列目标检测算法拥有较高的精确率,较快的检测速率,超越“双阶段”算法更适用于探地雷达图像目标检测。为此,首先引入一个实测的GPR道路图像异常目标数据集,该数据集由山东青岛多个城市道路路段的实测GPR B-scan图像裁剪而成,用以研究开发新的GPR数据自动检测模型方法并评估其在实测数据中标记和识别异常目标体的性能。接着,对比研究YOLOv3和YOLOv4目标检测算法的基本网络框架,以及YOLOv4的改进算法,分析YOLOv4目标检测算法框架以及改进算法带来的检测效率的提升。

1 YOLOv3和YOLOv4网络框架对比

YOLOv3算法是应用最为广泛的目标检测算法之一,也是YOLO系列中最经典的算法。YOLOv4算法[15]是基于YOLOv3网络框架,优化了主干网络模块和特征融合模块。通过对比分析YOLOv3和YOLOv4的网络框架,研究YOLOv4网络如何提升实测GPR图像目标的检测效果。

1.1 网络模型整体架构

YOLOv3和YOLOv4网络模型架构如图1所示。其中图1(a)所示的YOLOv3网络模型架构包含Darknet_53、特征融合网络(feature pyramid networks,FPN)和YOLO Head等三部分,它是在YOLO 系列的基础上将主干网络Darknet_19改为Darknet_53,使得主干网络的层数加深,提高了对道路内部异常目标特征的提取能力,并借助残差网络的思想,减小主干网络由于层数增加带来梯度消失的影响。另外,YOLOv3中引入的特征融合网络FPN则用于检测目标的多尺度特征提取和多尺度特征预测。

YOLOv4网络模型架构主要也由三部分组成[图1(b)]:CSPDarknet_53、路径聚合网络(path aggregation network,PAN)和YOLO_head,框架上的主要差别是在CSPDarknet_53与PAN模块中间加入了空间金字塔池(spatial pyramid pooling,SPP)模块。在YOLOv3的基础上,YOLOv4将主干残差网络Darknet_53为CSPDarknet-53,后者集成了跨阶段局部网络(cross stage partial net,CSPNet),这有助于加强卷积神经网络的计算能力和降低内存成本,兼顾了算法模型的速度和精度。此外,PAN和SPP构成的特征融合网络极大地提高了实测GPR图像数据的检测精度。

1.2 主干残差网络

如图2(a)所示为YOLOv3的主干残差网络Darknet_53,其中的主干部分为两次卷积操作,即一次1×1卷积和一次3×3的卷积,而残差边部分不做任何处理直接将输入与输出结合,将二者的输出相加便得到了残差模块的输出。在Darknet_53网络中,每层卷积层之后增加一个标准化处理来不断地调节神经网络的中间输出以避免深层的卷积神经网络在参数更新的过程中导致的输出急剧改变,使整个神经网络在各层的中间输出的数值更稳定,加快模型收敛速度提高训练速度。

图2 YOLOv3的残差模块和 YOLOv4的残差模块

YOLOv4模型主干残差网络如图2(b)所示,其采用了一种新的CSPDarknet-53网络。CSPDarknet-53网络借助了CSPNet算法思想对残差模块进行优化,这也是YOLOv4的重要改进之一。CSPDarknet-53残差模块(CSP_resblock_body)中的特征层包括两部分,一部分接连若干小的残差网络并输出,另一部分只经过简单的卷积操作输出,将二者经过张量拼接(concat)后进行输出。相较于Darknet_53网络中的残差模块只是将残差单元进行简单的堆叠,CSP_resblock_body不仅显著提高了网络的特征提取能力,还解决了在其他常用的目标检测网络框架中存在的重复信息计算的问题,并将梯度的变化从始至终集成到特征图中,这种分流再结合的策略有效地丰富梯度流信息且减少了计算量,大大提高了GPR图像中异常类别推理的速度和异常定位的准确性。

1.3 特征融合网络

如图3(a)所示YOLOv3的特征融合网络包含两个部分,左边部分从底层向上,卷积神经网络前向提取特征,右边部分从顶层向下,特征层进行上采样,中间的横向连接将当前层的特征与上采样后的特征进行融合。由于不同层次的特征图表达能力不同,浅层特征反映明暗、边缘等细节,深层特征则反映更丰富的整体结构。FPN网络通过简单的连接,将深层丰富的特征语义信息和浅层精确的目标位置信息相结合,有利于小目标物体的检测。

图3 特征融合网络结构

YOLOv4在CSP darknet-53提取相关特征后,同样需要特征融合网络对提取的特征进行融合,以提高模型的检测能力。YOLOv4的特征融合网络包括SPP和PAN两部分,前者位于CSP darknet_53网络之后。SPP模块由四个不同核大小的池化操作组成,将得到不同特征信息进行融合,输出具有丰富特征信息的特征层。由于卷积神经网络限制了输入的GPR图像尺寸,使得异常目标受到不同程度的压缩,引入SPP模块增加不同感受野并有效分离重要的上下文特征,在降低限制输入大小的影响同时不会降低网络的运行速度。

PAN网络如图3(b)所示,其中左半部分为FPN网络,右半部分为改进部分。PAN网络在FPN网络的基础上,再将底层特征层进行下采样,中间横向连接将上采样得到的强语义特征信息和下采样得到的强定位特征信息相结合,输出三个包含不同特征信息、不同尺度的检测层。YOLOv4的特征融合网络解决了GPR B-scan图像异常目标多尺度的问题,在不增加过多计算量的同时,更好的提取到异常目标的特征信息,从而提高模型的判别能力。

2 YOLOv4的改进算法

尽管YOLOv3框架已经在目标检测领域取得很大的成就,但是由于GPR扫描图像复杂,不仅背景多变,而且异常目标回波时强时弱,导致该检测框架在探地雷达异常目标检测任务中效果不理想。YOLOv4边界框损失函数使用CIOU(complete intersection over union)损失函数代替均方误差损失,使得边界回归更快、更准确;将mosaic数据增强方法和迁移学习相结合,缓解了GPR数据紧缺的问题;引入标签平滑处理等一系列改进,进一步提高了目标检测性能。

2.1 CIOU损失函数

目标检测算法中预测框的回归损失函数随着研究的发展不断变化。最初在目标检测任务中使用IOU判断预测的目标位置是否正确。IOU计算公式为

(1)

式(1)中:A为预测框;B为真实框。但IOU无法区分预测框和真实框不同的相交情况。随后提出的DIOU(distance-IOU)将预测框和真实框的重合度考虑进去,解决了预测框和真实框出现包含的现象时IOU损失值相同的问题。DIOU 损失函数计算公式为

(2)

式(2)中:d为预测框和真实框中心点间的距离;c为能够同时包含预测框和真实框的最小闭合区域的对角线距离。

在此基础上,CIOU损失函数还将长宽比用于判断预测框和真实框的相似度,解决了DIOU无法判断同样面积的预测框形状不同的情况。同时考虑重叠面积、中心距离和长宽比三个因素的损失函数CIOU计算公式为

(3)

式(3)中:α为惩罚因子;μ为预测框和真实框长宽比相似度。CIOU损失函数可以不断拉近预测框和真实框之间的距离,而且是预测框向更靠近真实框的方向前进,且CIOU损失函数的精度更高,收敛速度更快。

2.2 Mosaic算法增强数据集

在实验中,GPR道路内部异常目标样本数量较少,异常目标形态多变,而且GPR工作时干扰较多,异常目标检测效果受背景影响较大。Mosaic算法与常见数据增强算法最大的不同在于,常见的数据增强办法是在模型训练前进行样本数量的扩充,而Mosaic算法则是在训练过程中实时进行数据增强。在训练过程中每个迭代(epoch)训练前使用Mosaic算法,随机在训练集样本中选取4张图像,然后按照一定的顺序排列在新图像的4个固定位置,最后在新图像中间部分画切十字割线,剪切掉图像重叠部分即可。Mosaic算法在训练过程中进行随机的数据增强,使每个迭代过程中训练集都会增加新的样本,从而有效解决较少数量的训练样本使模型陷入过拟合的问题。同时,Mosaic数据增强算法,将4个不同背景的图像进行拼接,丰富了训练集中GPR图像异常目标的背景,提高了模型的检测性能。Mosaic算法处理的GPR道路实测数据效果如图4所示。

图4 Mosaic数据增强效果图

2.3 标签平滑处理

在分类任务中,常使用交叉熵损失函数计算预测异常目标和真实异常目标的误差,从而推动模型向更精确的预测靠近。在交叉熵损失函数的计算中,使用独热编码的形式区分正负样本,即标签1为正样本,标签0为负样本。

交叉熵损失函数可表示为

(4)

式(4)中:m为样本总数;n为样本类别总数;yi为one-hot标签信息;pi为概率。

例如,对类别总数为5的一批样本,假设存在一个未平滑处理的one-hot标签[0,0,0,1,0]通过网络模型后的概率矩阵p为[0.1,0.1,0.1,0.36,0.34],代入交叉熵损失函数可得单个样本的loss为1.47。标签经计算的平滑处理后的one-hot标签为[0.02,0.02,0.02,0.92,0.02],代入交叉熵损失函数可得单个样本的损失为2.63。计算公式为

(5)

式(5)中:ε为平滑因子。

可以看出,未做标签平滑处理的损失只考虑了正确标签位置的损失,导致了模型在训练过程中过于拟合GPR道路图像训练集中的异常目标形态,而在测试集中存在大量复杂特征的异常目标未能正确检测,即模型过拟合,泛化能力差;经过平滑处理后的损失既考虑了正确标签位置的损失也考虑了错误标签位置的损失,使得损失值增大,模型在提高异常目标正确分类的同时减少异常目标错误分类,增强了模型的学习能力,提高模型的泛化能力,使训练后的模型在背景多变,形态复杂的探地雷达图像中也能准确识别异常目标。

由于可用于GPR道路内部异常检测目标的样本集数量较少,在训练网络模型时常常使之陷入训练验证效果较好但测试结果差的困境,这是由于较小的数据集导致训练模型过拟合,而标签平滑处理较好地解决了小样本数据集的过拟合问题,这对提升本文算法的实用性具有十分重要的意义。

3 实验方案与实验结果

3.1 探地雷达异常目标数据集

本文中GPR道路内部异常目标数据集数据主要从原始实测的长剖面数据截取。其中,数据集类别包括空洞、破碎、管线、钢筋网、雨污井(检测中分别命名为cavity、broken、pipeline、rebar、well)五类异常目标;共145张1 000道实测去除直达波的探地雷达图像数据。

采用VOC数据集格式标记道路内部异常目标检测数据集。将标记的数据集按照9∶1的比例划分为训练集和测试集。为了进一步提高模型的泛化能力,增加样本的多样性,对训练集数据进行图片随机水平翻转、竖直或水平移动、放大或缩小、高斯模糊和明亮变换等增强操作,得到1 419张训练集图片,再按照9∶1的比例将训练集划分出142张数据图片用作验证集,实时监控模型的检测性能。

3.2 实验方案、平台及配置

为了进一步加快网络的训练速度,联合VOC 2007数据集预训练YOLOv4 CSPDarknet-53卷积神经网络,获得预训练权重;采用迁移学习方法,基于道路内部异常目标数据集进一步训练模型。训练时,先冻结主干网络的权重参数,精调训练后半部分网络的权重参数,经过50个迭代训练后再解冻主干网络,训练全部网络层,并更新整个模型的权重参数。本文中YOLOv4使用SGD优化器[16],并采用余弦退火衰减调整学习率。实验平台使用的软件情况为:Pycharm2020,Python3.6,CUDNN11.0和CUDA11.0.2。训练YOLOv3和YOLOv4网络的参数如表1所示。

表1 YOLOv3、YOLOv4训练网络参数

3.3 探地雷达目标检测性能比较

目标检测任务在类别判断正确的基础上,通过设置IOU判断检测是否准确。IOU的值超过阈值,即预测目标位置准确,判断检测正确;IOU的值低于阈值,即预测目标位置不准确,判断检测错误。本次研究将IOU的阈值设置为0.3。

在目标检测任务中,通常使用准确率和召回率作为衡量一个模型检测效果的标准。准确率即判断模型所检测到道路内部异常目标类别是否准确,召回率即判断模型所检测到的道路内部异常目标数量是否完全。准确率和召回率是一对相互矛盾的性能指标,但是它们对模型检测性能同等重要,故引入F1计算准确率和召回率调和平均数,进行综合评价。准确率越高则说明模型判别效果越好;召回率越高则说明模型识别能力越强;而F1数值越高则说明模型越稳健。

基于测试集数据实验测试训练完成的目标检测网络模型结果如表2、表3所示。

表2 道路异常类别检测结果比较

表3 YOLOv3和YOLOv4检测结果比较

由表2可以看出,较之YOLOv3算法,YOLOv4算法在检测GPR 道路内部五类异常目标时,除雨污井外,其他类别异常的检测准确率和召回率均有较大提升。进一步由表3可知,YOLOv4的平均准确率提升了24.91%,平均召回率提升了10.09%,综合评价F1由0.739 5提高到0.918 8。YOLOv4的改进算法,既继承了YOLOv3的优点,又带来检测性能的进一步的提升。

图5为LTD-2600型号探地雷达对山东省青岛市江西路某路段实际探测图并经过本文研究的目标检测模型进行检测。该图片中,两个紫色框中自动定位识别异常目标为雨污井,并判断为雨污井的概率分别为0.98和0.93,绿色框中异常目标为管线,为管线的概率为0.96,即极大的概率异常目标为雨污井和管线。经由经验丰富的技术人员人工判别该路段存在两个雨污井和一根管线。证实基于YOLOv4的探地雷达异常目标自动检测模型检测正确。

图5 山东省青岛市江西路某路段探地雷达实测图

图6给出了不同类型异常目标检测结果对比。明显可以看出,YOLOv3网络对于较明显、单一、较大的道路内部异常目标检测结果较好;但对于GPR实测图像数据中经常出现的密集、相互重叠、规模小的目标,YOLOv4网络有更好的检测结果。基于YOLOv3的YOLOv4改进算法,明显提高了GPR 道路异常检测的正确率,极大地降低了异常的漏检率。

图6 YOLOv3和YOLOv4目标检测模型结果比较

4 结论

探地雷达道路内部异常目标智能化检测技术在道路维护、城市基建等领域具有重要的应用意义。YOLOv4的改进算法重点解决了自建探地雷达数据集中YOLOv3检测精度不足的问题。在YOLOv3的基础上,本文中YOLOv4不仅改进网络模型,还使用CIOU损失函数、Mish激活函数提高模型收敛精度,结合Mosaic数据增强算法以解决数据集数量过少的问题,加入标签平滑处理防止小样本训练集导致的模型过拟合问题。实验结果表明,YOLOv4模型在探地雷达地下目标检测任务中的准确率高于YOLOv3,平均准确率提高了24.91%,平均召回率提高了10.09%,综合参考指标F1提升了0.18满足探地雷达道路内部异常目标智能化检测需求,具有较强的实用价值。