基于尺度融合的机场跑道地下病害检测算法

李海丰，潘梦梦，王怀超，李南莎，雒宇飞，桂仲成

(1.中国民航大学 计算机科学与技术学院 天津 300300；2.成都圭目机器人有限公司 四川 成都 610310)

0 引言

随着降水、温差及飞机荷载的反复冲击作用，机场跑道地下不可避免地出现不同类型的病害，如脱空、不均匀疏松、裂缝和沉降，这类病害具有很强的隐蔽性和危险性。准确高效地检测出不同类型的地下病害并有针对性地进行跑道养护是十分必要的。探地雷达[1]是一种广泛应用于地下目标探测的无损检测设备，具有快速无损、安全高效的特点，已逐渐成为机场跑道地下病害检测的主流手段。

然而，实现自动化的机场跑道地下病害检测面临巨大挑战。一方面，不同于公路、铁路、桥梁检测[2]，对机场跑道的检测精度要求更高，即使细小的病害也要求能及时准确地被检测出来，以保障飞机安全起降。另一方面，机场跑道固有的分层结构导致不同类型的地下病害的生成具有动态演化性，由探地雷达采集的病害数据特征存在模糊性及强干扰性，不同类型病害特征区分难度大(如图1)。面对结构复杂的雷达数据，无论是人工数据解析还是传统机器学习的方法，都存在信息片面、成本高昂、费时耗力的缺点，无法灵活对各类型病害多变的外观形态进行区分。因此，如何充分挖掘跑道地下病害的更多细节信息并进行准确分类检测是目前需要解决的问题。

图1 四种地下病害的雷达数据特征图Figure 1 Radar data characteristic map of four types underground disease

针对上述问题，本文通过探地雷达实地采集数据并构建了机场跑道地下病害数据集，提出了一种自动检测机场跑道地下病害的尺度融合(scale fusion-single shot multibox detector，SF-SSD)算法。首先，在基于VGG16的主干网络上，根据各种雷达信号特征和形态分布特点，设计了具有更宽感受野的RFB[3](receptive field block)模块，在有效抑制病害周围噪声干扰的同时，使模型能提取更多原始雷达数据的病害特征信息；其次，通过融合网络浅层特征捕捉不同类型病害的细节纹理特征；最后，根据6种网络特征层生成6种不同尺度大小的检测框，对先验框进行位置修正,实现地下病害的分类定位。在上述数据集上进行实验，结果优于目前5种经典的目标检测算法，在检测裂缝、脱空、疏松、沉降4种病害的平均准确率达到了82.18%。

1 国内外研究现状

现有研究中，基于探地雷达采集的B-scan数据[4]进行地下目标检测的方法可以分为：基于信号处理的方法、手工特征和机器学习相结合的方法、深度学习的方法。

基于信号处理的方法通常需要进行大量的预处理和计算，陶向华等[5]通过用探地雷达信号特征对脱空进行识别，找到了脱空边界，但该方法对噪声十分敏感，难以适应复杂的病害环境；Al-Qadi等[6]使用小波变换法对B-scan波形图进行分析，但由于B-scan波形特征复杂，该方法提取的特征表示能力有限，较难得到具有代表性的特征。

基于手工特征和机器学习相结合的方法，是通过手工设计目标特征再结合传统机器学习的方法实现的。Karem等[7]使用探地雷达检测地下物体，引用尺度不变特征变换算法，对目标物体每个位置的特征进行提取，但路基病害形态多样，人工特征的表示能力有限；Windsor等[8]利用灰度直方图和霍夫变换法人工设计病害特征，但在面对强噪声情况下无法为检测病害提供科学依据。

基于深度学习的方法目前在目标检测领域取得了巨大突破，基于候选框的卷积神经网络目标检测算法也被应用到地下病害分类任务中。这类算法可分为基于候选区域的双阶段检测方法 (two-stage)，以及基于回归的单阶段检测方法(one-stage)。双阶段检测方法中，Besaw等[9]应用CNN从B-scan中提取有意义的特征，但这类算法很难实现对目标的精准定位；Fang等[10]利用Faster R-CNN来识别灰度图像的双曲线特征，能实现对B-scan图中的病害目标进行分类并定位，但没有考虑病害复杂的雷达数据分布特征，对不同类型病害检测效果不佳。单阶段检测方法中，轻量化YOLOv3[11]算法虽满足实时检测的需要，但由于特征提取网络较浅，不能充分提取病害特征；RetinaNet[12]、RFBNet[6]、SSD[13]算法在进行机场地下病害检测时，由于缺乏特征层之间的互补性，无法满足不同病害形态特征变化多样性，尤其对波形复杂的雷达数据检测效果不好。

2 机场跑道地下病害检测模型

2.1 机场跑道地下病害检测模型

由于现有的目标检测算法没有考虑实际地下病害的复杂雷达数据波形，进行特征提取的不同尺度特征层是独立的，对辨识度低、噪声强度大的地下病害雷达数据很难准确区分。针对此问题，本文提出了一种基于尺度融合的机场跑道地下病害检测算法SF-SSD，具体网络结构设计如图2所示。

图2 SF-SSD网络模型结构图Figure 2 Structure diagram of SF-SSD network model

在基于VGG16的主干网络上，根据不同类型病害雷达数据形态分布不一的特点，在Conv3特征层和Conv7特征层设计了具有更宽感受野的RFB模块，扩展网络宽度从而提取更多原始雷达数据的病害细节信息；融合RFB1、Conv4、Conv6特征层，在强干扰的雷达数据下可以识别不同类型病害间的细微特征；根据主干网络上6种网络特征层设计6种不同尺度(38×38、19×19、10×10、5×5、3×3、1×1)的先验框，通过非极大值抑制的方法对符合要求的先验框进行筛选，最终实现对多样特征病害的类别预测和准确定位。

2.2 宽感受野RFB模块

由于VGG16主干网络采用直联式结构，而本模型的主干网络具有网络参数少、结构简单、分类性能好的优点，但是面对强噪声环境下形态特征变化多样的地下病害，区分病害特征与背景的效果不好。传统的RFB是一种以Inception[14]结构为基础，利用不同膨胀率卷积来扩大特征网络感受野的模块，可以提取目标的细节特征。

受RFB模块的启发，本文基于VGG16的主干网络，设计了一种更宽感受野的RFB结构。具体的结构如图3所示。通过 7 个分支的卷积扩大网络宽度，接着通过2 组分别为3×1 和1×3 的卷积在提升网络深度的同时减少计算量。设计4 组膨胀系数分别为1、3、5、7 的膨胀卷积来增大感受野，最后将膨胀卷积后的特征图通过Concat与1×1卷积进行特征融合。通过ShortCut的方式给非线性的卷积层增加直连来提高信息的传播效率，与经过融合后的特征进行加操作。

2.2.1RFB1模块设计 位于VGG16主干网络的Conv3层具有高分辨率和感受野小的特点，在该特征层下采用RFB(如图2中RFB1)模块一方面可以很好捕捉地下病害的纹理和边缘等细节信息，对不同类型地下病害的特征进行学习；另一方面由于模型在浅层网络的宽度增加，当网络向后传播时，可以减少原始输入图像的信息损失，减少了检测中等目标和大目标的特征丢失，对检测裂缝、疏松、沉降类病害有一定的提升。

2.2.2RFB2模块设计 位于VGG16主干网络的Conv7层19×19的感受野可以使网络提取特征明显的地下病害。将RFB(如图2的RFB2)模块引入此层可以使网络更加关注感受野中心，既降低了网络模型总的参数量，又可以有针对性地提高病害的检测准确度，防止漏检。

2.3 尺度特征融合模块[15-17]

通过设计更宽的RFB模块优化模型的网络主干，可以从一定程度上缓解病害周围的噪声，但是由于不同类型地下病害的雷达数据特征区分难度大，网络对不同类型病害间的细微差异捕捉能力较差，尤其对裂缝、脱空类病害存在检测精度低甚至检测不到的现象。针对此问题，本文考虑挖掘浅层特征Conv4_3层的特征提取能力，利用RFB1具有的高分辨率信息和Conv6层丰富的语义信息，融合不同感受野特征，提取高辨识度的病害细节纹理特征，提高模型对不同类型病害的识别精度。其具体的网络设计结构如图4所示。

图3 宽感受野RFB模块Figure 3 Wide field RFB module

图4 Conv4_Fus尺度融合模块Figure 4 Conv4 scale fusion module

Conv4_Fus是一个尺寸为38×38的特征层，由RFB1、Conv4和Conv6 融合形成。本文使用最大池化操作对RFB1模块进行下采样，设置卷积核大小为2×2，步长为2，使尺寸统一到38×38。

同理，为了统一尺度，对Conv6模块进行上采样操作，所用卷积核大小为2×2，步长为2。在融合之前对RFB1、Conv4、Conv6模块都引入1×1卷积，减少输入病害特征映射的数量从而提高计算效率。由于不同特征层的数据维分布存在差距，直接融合会在检测病害上效果不好，本文考虑在融合之前对每一特征层上加BN(batch normalization)层进行归一化处理。通过设计这种尺度融合模块可以使预测网络能够考虑不同病害细节纹理特征，增强模型的泛化能力。

2.4 先验框分类回归设计

SF-SSD网络采用对先验框进行分类回归的一阶段目标检测方式，对地下病害进行实时检测。首先，根据主干网络上6种分辨率的特征层(Conv4_Fus、RFB2、Conv8、Conv9、Conv10、Conv11)设计6种不同尺度先验框，先验框的设置包括尺度、长宽比和数量，先验框的尺度设置如表1所示。

表1 先验框参数设置Table 1 Priori box parameter setting

生成不同比例及数量的先验框后利用Smooth L1 loss损失函数对病害先验框进行位置坐标回归修正，利用softmax loss损失函数对病害进行置信度分类。最后通过非极大值抑制的方法剔除重复多余的先验框，最终得到满足要求的正确先验框。

3 实验与分析

3.1 机场跑道地下病害数据集

由于机场的特殊环境及安全保密限制，目前在机场跑道地下病害方面没有公开的数据集。本文实验数据集来自国内三个机场的真实数据，由探地雷达采集，探测地下深度为1.53 m，总采集面积为21 083 m2，采集的地下病害B-scan图裁剪为448×448像素的单通道灰色图。根据专家经验进行人工标注，最终将B-scan图做成相应的PASCAL VOC数据集格式，并命名为AUD(airport underground disease)数据集。本实验从AUD数据集里挑选了1 604张含裂缝、脱空、沉降、疏松4类地下病害的B-scan图。

3.2 网络参数设置及实施细节

本文实验采用的硬件环境为：服务器主频为3.2 GHz的i7-8700CPU；64 G内存；11 G NVIDIA GeForce GTX 1080 Ti 显卡；操作系统为Ubuntu18.04。采用了 TensorFlow深度学习框架用于训练和测试工作。

在整个模型训练过程中，设置总epoch为240，当网络训练2个epoch时，与上个epoch训练的相比，损失值不下降，学习率变为原来的1/2。当训练6个epoch后，与上个epoch训练相比，损失值不下降，网络将停止训练，认为此时达到最优值。本文设置训练批次为16，动量大小设置为0.9，权重衰减设置为上一次的1/2，学习率初始为 5×10-3，在第141个epoch时减小为1×10-4。

在训练阶段，本模型使用了随机裁剪、水平翻转、对比度变换的数据增强方式对数据集进行随机扩充，将病害图片的分辨率统一为300×300进行训练和测试。

3.3 评价指标

为了客观评估本文中不同模型的性能，使用了Precision、Recall、F1和mAP(mean average precision)4个评价指标。其中，Precision为精确率(Prec)，即预测是病害的样本占所有预测为病害的比例；Recall(Rec)为召回率，即预测是病害的样本占所有真实病害的比例；F1为Prec和Rec的调和平均值；mAP为衡量所有病害类别的平均准确率。上述指标的计算公式为

3.4 实验结果与分析

为了验证本文提出的SF-SSD算法在检测机场地下病害的有效性，将SF-SSD与目前5种主流的目标检测算法进行了对比。实验具体设置为：AUD数据集的80%为训练集，20%为测试集；IoU为0.5；置信度阈值为0.5。表2为各类算法在病害上的检测结果。可以看出本文提出的SF-SSD算法与SSD算法相比，每一类病害的Prec和Rec值都有所提升(除了检测裂缝外)，mAP值提升了6.92%。

表2 对比实验结果Table 2 Comparison of the experiment 单位：%

本算法的F1值在裂缝、脱空、疏松和沉降4类病害上分别达到了65.00%、65.00%、91.00%和92.00%，优于SSD、Yolov3、Faster R-CNN、RFBNet和RetinaNet等经典目标检测算法。图5为本算法与其他5种检测算法的可视化检测对比图。

从图5(a)、(b)可以看出，SSD和YOLOv3算法对于沉降、疏松此类边界模糊的病害明显存在漏检情况，在检测脱空和裂缝病害上也存在Rec低的现象；Faster R-CNN算法(图5(c))的检测结果中有更多冗余框，同一病害具有多个检测框，无法实现对病害精准定位。RFBNet算法(图5(d))和RetinaNet算法(图5(e))的检测效果图也都出现了对各类病害的漏检、预测框置信度低的现象，而RetinaNet算法的定位精度更不好，漏检率更高；本文提出的SF-SSD算法无论是针对边界模糊不清的疏松、沉降类病害，还是背景复杂条件下辨识度低的脱空、裂缝类病害，都能准确检测出来且具有较高的检测置信度。

图5 地下病害可视化检测对比图Figure 5 Contrast map of visible detection of underground diseases

3.5 消融实验

为了验证SF-SSD 算法中各模块的性能，本文进行了消融实验。消融实验中，除变量参数以外，其余网络设置、训练步骤均保持一致。然后依次在上述机场地下病害数据集中进行消融实验，验证独立加入尺度融合模块、不加入三个模块以及同时使用三个模块对模型的影响，得到最终的实验结果如表3所示。

表3 消融实验Table 3 Ablation experiments 单位：%

由表3可以看出，当只在网络里添加尺度融合模块时，对裂缝、脱空两类病害检测的F1值有较大程度的提升，mAP相较于基准模型提高了2.6%，说明该模块能充分利用病害雷达数据的浅层纹理信息，起到了对复杂背景下病害类型的准确区分，一定程度上防止了漏检和错检的发生；当只在网络添加RFB1模块，对于裂缝、脱空在F1值上分别有12%、2%的提升，证明了通过在网络中添加RFB1模块可以提高浅层网络的感受野，提取更多病害原始特征信息；当只加入RFB2模块时，模块对疏松、沉降两类病害的F1值较不加入时有所提升，该模块的加入可以降低网络传播过程中病害特征的信息丢失，从全局上抑制了病害周围噪声的干扰。本文提出的SF-SSD算法通过结合尺度融合、RFB1、RFB2三个模块，在每类病害的F1值和mAP值上均取得最优。

4 结论

本文通过探地雷达采集并制作了一个用于机场跑道地下病害检测的数据集，并设计了一种基于尺度融合的机场跑道地下病害检测算法，来解决强噪声背景条件下、不同类型地下病害的形态特征被严重干扰、目标辨识度低等问题。该算法通过结合尺度融合和宽感受野RFB 结构，既可以通过学习病害的细微特征信息进行类型区分，又抑制了病害周围的噪声干扰，提高了网络模型的特征提取能力，有助于跑道地下病害检测。将该算法应用于机场地下病害检测中，实验结果表明，本算法可以大幅度提升裂缝、脱空病害的召回率，优于目前主流的5种目标检测算法，对实际机场地下病害检测具有一定的指导意义，本文算法已投入实际系统中应用。