基于改进YOLOX-s的机场跑道冰雪状态感知

邢志伟, 阚 犇, 刘子硕, 李 彪, 罗 谦

(1. 中国民航大学 电子信息与自动化学院, 天津 300300; 2. 天津航空机电有限公司, 天津 300308;3. 中国民航局第二研究所 工程技术研究中心, 成都 610041)

2021年11月4日,国际民航组织(International Civil Aviation Organization, ICAO)要求按照统一的全球跑道表面状况报告格式(Global Reporting Format,GRF)[1]评估和报告跑道表面状况.按照新的模式,跑道摩擦系数仅用于干跑道表面状况的日常监测和道面维护,不再作为跑道适航性的认定标准.对于有冰雪覆盖物污染的跑道,机场运行方应根据跑道道面污染物的种类、覆盖范围、深度等跑道表面状况,确定跑道状况代码,提供给管制和航空情报服务部门.因此,如何科学精确地感知跑道表面状态及演化规律,确保跑道运行的适航性,是冬季冰雪气象条件下机场不停航运行需要突破的核心关键技术.

目前,国内外学者针对ICAO提出的跑道运行新标准,展开了多方面的研究:一是道面冰雪污染物的状态识别,如Kim等[2]提出一种利用毫米波传感器和人工神经网络(Artificial Neural Network, ANN)接收信号强度统计特征来识别冰雪种类;Ma等[3]利用多波长非接触光学技术,发现黑冰、结冰和下雪条件下的归一化反射率不同,用于辨识路面冰雪状态;Baby等[4]基于电容传感原理,提出一种可以集成到远程操作车辆(Remotely Operated Vehicle, ROV)中的电容式传感器,用于自动检查跑道等重要位置的冰层及形态;Troiano等[5]设计了一种用于估计路况的低成本电容式传感器,建立了一种当水或冰覆盖其表面时传感器的电容变化模型,并评估环境温度变化对道面冰雪厚度及状态的影响.二是道面冰雪污染物的厚度、界限检测,如Hoshino等[6]针对跑道受冰雪污染问题,在道面嵌入检测冰雪的激光传感器,通过光散射理论检测冰雪厚度;任宏宇等[7]针对复阻抗式结冰检测技术,提出一种温度漂移补偿方法,提升冰雪厚度测量精度以及稳定性;Hong等[8]利用系统动力学理论,建立随时间变化的道路结冰的界限和位置检测模型;勾一等[9]基于红外热波检测技术,搭建了闪光红外热波检测系统,并提出将高斯-拉普拉斯金字塔算法与面积滤波算法两者相融合识别冰雪界限.三是道面冰雪污染物的演化规律研究,如Qin等[10-11]基于Bessel函数提出一种描述冰膜演化动力学的热传导数学模型,通过该模型计算地温分布,研究冰膜的状态演化规律;Chen等[12]利用改进粒子群优化算法对最小二乘支持向量机的核函数和惩罚函数进行优化,实现道面冰雪厚度与多气象因子的非线性映射演化模型;Costa等[13]提出一种基于道面温度、湿度等气象因子的ANN模型,模拟路面积冰状态演化过程.

上述在跑道埋设传感器等接触式冰雪检测方法受环境影响大,且多传感器间的数据难以实现深度融合,无法实现对道面冰雪状态的精确感知,但是基于图像理解的冰雪状态感知受气象条件影响很小,无需庞大的数据融合,可在不接触道面冰雪的前提下对冰雪状态进行感知;与上述利用电磁波、光波等非接触式冰雪检测方法相比,以图像作为状态感知的依据,几乎不受环境限制,对黑冰、雪水混合物、冰水混合物等污染物复杂情况感知精确、可信度高.

本文从图像层面实现机场跑道冰雪状态感知,设计并搭建跑道冰雪实验系统,采集冰雪状态微观图像并制作数据集,通过改进YOLOX-s[14]模型来感知冰雪状态.在CSPDarknet53主干特征提取网络中,添加全局上下文模块(Global Context block, GC block)来提高网络注意力;使用双向特征金字塔网络(Bi-directional Feature Pyramid Network, BiFPN)替换原加强特征提取网络,提高网络对多尺度的特征提取能力;同时引入自适应空间特征融合(Adaptive Spatial Feature Fusion, ASFF)结构,进一步提升特征融合能力;使用α-EIoU损失函数代替原有的IoU损失函数,进一步提高模型的收敛速度与感知准确率.实现跑道冰雪状态智能感知,可为道面除冰提供决策依据,有助于提高冬季机场跑道适航性.

1 实验系统与数据采集

1.1 跑道冰雪实验系统

跑道模型结构分解如图1所示,在距道面10 cm处铺设电热线,向上以2.5 cm为间隔分别埋设3层PT-100,每层均匀埋设8个PT-100.电热线层主要用于对道面进行加热,控制道面温度,使冰雪呈现不同状态,模拟道面冰雪状态演化的过程.3层PT-100用来监测跑道每层温度分布,利用传热学研究跑道导热效率对道面冰雪状态的影响.

图1 跑道模型结构分解(cm)

跑道冰雪实验系统如图2所示,当实验系统实际运行时,将跑道模型置于高低温试验箱或者冬季户外冰雪环境中,模拟冬季机场跑道表面实际情况,运行状态如图3所示.

图2 跑道冰雪实验系统

图3 实验系统实际运行

1.2 数据采集与分类

通过实验系统模拟冬季机场道面环境,共采集到 2 592 像素×1 944 像素的图片 5 668 张,并根据北海道大学低温科学研究所对冰雪的分类方式[15-16]与ICAO发布的GRF标准中的跑道表面污染物分类,结合文献[17]中的冰雪状态图像灰度区分表,得到如表1所示的道面冰雪状态分类标准.将由实验系统采集的 5 668 张冰雪污染物图片划分为6类:雪、雪浆、融雪、冻冰、湿冰、水,如图4所示.使用Labelimg工具对图像进行标注,生成xml类型的标签文件.

表1 跑道冰雪状态分类

图4 冰雪状态

2 基于多尺度特征的冰雪状态感知模型

YOLOX-s算法是2021年旷视科技研究院提出的高性能One-Stage目标检测网络[14].它巧妙地将解耦头、数据增强、无锚点等目标检测领域优秀进展应用到YOLO上,其网络结构由3个部分组成,如图5所示.其中Backbone部分即主干特征提取网络使用的是CSPDarknet53网络,Neck部分加强特征提取网络使用的是路径聚合网络(Path-Aggregation Network,PANet),Prediction部分即检测头使用了3个解耦头(Decoupled Head).Backbone部分对输入图片进行浅层特征提取得到3个特征层,Neck部分再对3个特征层进行深层特征提取,最终再分别传入3个Decoupled Head进行目标框检测,得到检测结果[14].

图5 YOLOX-s网络结构

基于YOLOX-s框架,在CSPDarknet53主干特征提取网络中引入GC block,将提取后的3个特征图经过BiFPN加强特征提取,得到3个具有不同尺度信息的特征图,再引入ASFF自适应地学习各尺度特征,增强特征融合效果,最后使用α-EIoU损失函数代替原有的IoU损失函数,提高模型精度和加快收敛速度.改进后的YOLOX-s(Improved YOLOX-s,IYOLOX-s)网络结构如图6所示.

图6 IYOLOX-s网络结构

2.1 基于GC block的主干特征提取网络

主干网络提取特征的能力可以直接影响目标检测效果,在对图片浅层特征提取阶段使用改进的CSPDarknet53作为主干网络.由于卷积受限于局部感知的特点,只可以对局部区域进行上下文建模,限制感受野的大小.并且在道面冰雪污染物图像中,冰雪晶体状态呈现大小和形状不同的特点,且有灰尘等杂质以及相干斑噪声的干扰,不易进行状态感知.所以引入GC block到CSPDarknet53特征提取网络的CSP结构后,不仅可以提取全局上下文信息,以此获得更丰富的浅层和深层特征,还可以大大降低计算量.

如图7所示,GC block[18]由非局部均值模块(Non-Local block,NL block)[19]、压缩激励模块(Squeeze-Excitation block,SE block)[20]组合而成,组合过程及机理如下.图中:C为特征层的通道数;H为特征层高度;W为特征层宽度;r为缩减比例.

图7 组合机理

Step1简化并融合NL block.

图7中,xi为输出信号代表当前位置的像素,xj为所有与xi位置特征相似、大小相等的像素,NL block利用嵌入高斯计算wij,其表示xi与xj之间的归一化注意力权重即两者位置的相关性,可以使两者相隔一定距离的xi与xj建立联系来增强识别效果,同时还可以明显降低图像中的噪声,计算公式为

(1)

式中:f(xi,xj)为xi与xj的关联系数;C(x)为归一化因子;m为任意位置像素点;xm为任意位置的像素;Wq、Wk为卷积操作.

由于NL block以其他位置xj的信息为基础去增强当前xi的信息,xi均需计算与其他xj的关系,导致计算量激增[18].所以,GC block对其先简化再融合.如图7所示,简化后的NL block(Simplified Non-Local block,SNL block)不再对xi进行操作,将原始NL block中的Wq卷积模块移除,以节省计算成本,此外再将Wv卷积模块移至下方乘法运算后来替换Wz,形成Context Modeling模块.GC block将该模块融合,继承了NL block适应特征之间长距离依赖的性能.wij由式(1)简化如下,即GC block中的全局注意力池化的权重αj:

(2)

式中:Np=H×W表示特征层中位置的数量.

Context Modeling模块数学表达式∑∀jαjxj如下:

(3)

Step2引入SE block.

GC block在融合NL block的过程中对其进行了简化,在减少计算量的同时,会牺牲一定的准确率,为此引入SE block中Transform模块.

GC block引入SE block中Transform模块,并在线性激活函数ReLU非线性激活前加入层标准化LN(Layer Normalization,LayerNorm),可以降低优化难度,提高网络泛化能力,弥补主干特征提取网络重复堆叠相同函数导致提取的特征缺乏多样性的问题,进而填补步骤一所损失的准确率,改进后的Transform模块数学表达式δ(·)为

δ(·)=Wv2ReLU(LN(Wv1(·)))

(4)

式中:Wv1、Wvw分别为两次卷积操作.

Step3特征融合.

如图7所示,GC block融合SNL block中Context Modeling模块,引入SE block中添加层标准化的Transform模块,再使用相加操作进行特征融合,得到最终输出结果:

zi=F(xi,δ(∑jαjxj))=xi+

(5)

2.2 基于BiFPN的加强特征提取网络

图8 PANet网络结构

图9 BiFPN网络结构

改进之后的加强特征提取网络如图10所示.

图10 改进后网络结构

图中:ω1～ω9表示可学习的参数.YOLOX-s通过CSPDarknet53主干网络提取出3个有效特征层,然后输入PANet,但是PANet有5个输入特征层,因此将PANet简化为3个输入特征层(记作PANet-s),网络结构如图10(a)所示,同理也对BiFPN做上述简化操作(记作BiFPN-s),以此来减少计算量,提高精度,并与YOLOX-s网络结构相匹配,网络结构如图10(b)所示.

对不同尺度特征进行融合时,通常将所有尺度特征视作同等重要,赋予相同特征权重,再进行相加等融合操作,但是不同尺度特征对融合的贡献是不一样的,在融合过程中会丢失一些有用的信息.BiFPN为每个尺度的特征赋予不同权重,让网络自主学习不同尺度特征的重要性[23].加权特征融合表达式为

(6)

式中:Ii、O分别为融合前和融合后的特征;ωi和ωj为可学习的权重;ε为远小于1的极小量,用来保证数值稳定.

(7)

(8)

(9)

(10)

式中:Resize是对输入特征进行上采样(Upsample)或下采样(Downsample)操作.

2.3 引入自适应空间特征融合结构

本文使用BiFPN-s代替原有的PANet-s,以此提高网络对多尺度特征的提取能力,同时在BiFPN-s的尾部添加ASFF结构[23],进一步增强多尺度特征融合效果.其本质是自适应地学习各尺度特征融合的空间权重,以此来抑制加强特征提取网络中不同尺度的不一致性缺点,使得多尺度的特征被自适应地融合,达到最优融合效果.ASFF结构如图11所示.

图11 ASFF结构

如图11所示,Level 1、Level 2、Level 3分别是通过BiFPN-s提取得到的加强特征层,以ASFF-3为例,经过BiFPN-s得到的特征层Level 1、Level 2,对其进行1*1卷积操作将其通道数压缩成与Level 3相同,再分别对其进行4倍、2倍上采样形成与Level 3相同维度的特征图,记作Resize_Level 1与Resize_Level 2,接着对Resize_Level 1、Resize_Level 2和Level 3进行1*1卷积操作得到权重参数αij、βij、γij,最后将权重参数与Resize_Level 1、Resize_Level 2和Level 3相乘并求和得到特征融合后的ASFF-3,上述过程可由下式来描述:

(11)

对于通过道面冰雪污染物微观晶体状态来对其状态进行感知,需要底层特征中的细粒度特征来辨识,通过在BiFPN-s的尾部引入ASFF结构,使每一层的权重参数与特征相乘再相加来实现融合,学习了空间滤波冲突信息以抑制不同尺度的不一致性,从而使得提取的特征更加层次化,并且几乎没有引入推理开销,提升了模型的训练效率.

2.4 损失函数

YOLOX-s的损失函数由3个部分组成:边界框定位损失函数Lloc、分类损失函数Lcls、置信度损失函数Lconf,本文的损失函数为L=Lloc+Lcls+Lconf.对于定位损失函数Lloc,YOLO系列最早使用的是IoU损失函数LIoU,其原理为1减去预测框和真实框的交集与预测框和真实框的并集之比,计算公式为

(12)

式中:A为预测框的面积;B为真实框的面积.IoU损失函数具有尺度不变性、非负性、同一性等特点,且输出值在0～1之间,能够较好地体现预测框和真实框的检测效果.但实际会存在预测框与真实框没有相交的情况,此时LIoU恒为1,因此没有梯度的回传将无法继续学习,而且IoU损失函数针对预测框和真实框的位置关系无法做出判断,更无法反映预测框和真实框的相交情况.

因此文献[24]中提出使用GIoU损失函数LGIoU,在IoU损失函数的基础上引入预测框和真实框的最小外接矩形,计算公式为

(13)

式中:C′为最小外接矩形的面积.引入最小外接矩形不仅可以反映重叠区域的面积,还可以计算非重叠区域的比例,因此GIoU损失函数能够更好地反映预测框和真实框的重合程度与远近距离.此外由于最小外接矩形的存在,使得GIoU损失函数在两个矩形框不重合时,也可以继续计算回传梯度,模型进而可以继续学习.GIoU损失函数虽然解决了IoU损失函数的上述两个问题,但是当两框相互包含时,GIoU损失函数会退化成IoU损失函数,在水平和垂直方向上,误差很大,导致收敛速度大大减缓.

所以本文采用EIoU损失函数[25]来替换GIoU损失函数,并根据文献[26]对EIoU损失函数增加幂指数α且α=3,变成α-EIoU损失函数Lα-EIoU,以加快收敛速度,其计算原理如图12所示.图中:b和bgt分别为预测框和真实框的中心点;ρ(·)为两个中心点的欧氏距离;c、cw、ch分别为预测框和真实框最小外接矩形的对角线距离以及宽度和高度;w、wgt、h、hgt分别为预测框和真实框的宽度和高度.α-EIoU损失函数使用最小化两个框中心点的欧氏距离替代GIoU损失函数中最小外接矩形,同时分开计算目标框的长和宽.α-EIoU损失函数包含3个部分:重叠损失LIoU、中心距离损失Ldis、宽高损失Lasp,计算公式为

图12 α-EIoU计算原理

(14)

由于EIoU损失函数将目标框的长、宽分开计算,弥补了GIoU损失函数在水平和垂直方向上误差大的问题,并且在EIoU损失函数的基础上增加α(α=3),进一步加快收敛速度和提高精度.图13为4种损失函数L在同一数据集上的效果对比.图中:N为迭代次数.从图中可以看出,α-EIoU损失函数在训练初期下降速度更快,当迭代次数N=5时,train_loss和val_loss就已经达到了6以下,最后能达到2左右,比其他3种损失函数更容易收敛,定位精度更高.

图13 4种损失函数效果对比

3 实验验证

3.1 模型环境设置

在训练环境方面,操作系统为Windows10,CPU为Intel(R) Xeon(R) CPU E5-2680 v4 @ 2.40 GHz,内存为64 GB,GPU为NVIDIA GeForce RTX 3080Ti,显存为12 GB.使用Pytorch 1.7.1深度学习框架,底层使用CUDA 11.0作为并行计算框架.

在训练策略方面,将数据集图片按照8∶1∶1的比例划分为训练集、测试集和验证集,为防止工作站性能不足,将训练分为两个阶段,分别是冻结阶段和解冻阶段,冻结阶段、解冻阶段迭代次数均为75次,批处理量(batchsize)为64,图片尺寸为640 像素×640 像素.

3.2 评价指标

(1) 平均准确率(Average Precision,φAP),

(15)

式中:μTP(True Positive)为感知正确的正样本;νFP(False Positive)为感知错误的正样本;P(R)为PR曲线中P(Precision)值即准确率值,R(Recall)为召回率.

(2) 平均准确率均值(mean Average Precision,ψmAP),

(16)

式中:M为冰雪污染物的种类数;φAP(i)为第i类冰雪污染物的平均准确率.

(3) 平均召回率均值(mean Recall,φmR),

(17)

式中:θFN(False Negative)为感知错误的负样本;Ri为第i类冰雪污染物的召回率.

(4) 检测速度,使用每秒帧数(Frames Per Second, FPS)作为检测速度评估指标.

3.3 实验结果

3.3.1对比实验结果及分析 目标检测算法主要分为两种:① Two-Stage目标检测算法,最具代表性的有R-CNN、Fast R-CNN、Faster R-CNN等;② One-Stage目标检测算法,最具代表性的有YOLO和单次多边框检测(SSD)等.将IYOLOX-s与其中部分算法进行性能对比,如表2 所示.可以看出算法IYOLOX-s对于道面冰雪状态感知获得了较好的效果,与Faster R-CNN相比,使得雪、雪浆、融雪、冻冰、湿冰、水6种冰雪状态的φAP分别提高了8.13%、7.33%、10.99%、8.24%、8.96%、5.94%,ψmAP提高了8.26%,φmR提高了13.2%,检测速度提高了5 帧/s,由于IYOLOX-s算法在速度、精度和召回率都比Faster R-CNN高,由此可见One-Stage目标检测算法更适合于道面冰雪状态的感知;与SSD相比,使得6种冰雪状态的φAP均有7%～12%不同程度的增幅,此外ψmAP提高了10.16%,φmR提高了15.11%,检测速度提高了7 帧/s;与YOLOv5-s和YOLOX-s相比,雪的φAP分别提高了7.55%、6.04%,雪浆的φAP分别提高了6.12%、3.29%,融雪的φAP分别提高了9.81%、4.76%,冻冰的φAP分别提高了6.26%、4.70%,湿冰的φAP分别提高了8.13%、5.75%,水的φAP分别提高了5.06%、3.54%,ψmAP分别提高了7.15%、4.68%,φmR分别提高了10.83%、4.43%,但是检测速度分别降低了2、1 帧/s,IYOLOX-s相较于YOLOX-s在损失1 帧/s的基础上,ψmAP、φmR分别提高了4.68%、4.43%是可以接受的.此外,不同网络模型训练结果对比如图14所示.IYOLOX-s训练150次的ψmAP曲线均在另4种目标检测算法之上,可见IYOLOX-s算法在道面冰雪状态感知中比其他主流目标检测算法有着一定的优势.

表2 不同网络模型测试结果对比

图14 不同网络模型训练结果对比

3.3.2消融实验结果及分析 消融实验可以用来检验各种改进的有效性.为了验证IYOLOX-s算法中各改进的有效性,将其分为5组进行训练测试.第1组(G1)为原始YOLOX-s算法,第2组(G2)为在主干特征提取网络中添加GC block,第3组(G3)是在G2的基础上将原始的加强特征提取网络PANet改成BiFPN-s,第4组(G4)是在G3的基础上引入ASFF结构,第5组是在G4的基础上使用α-EIoU损失函数.表3为5组消融实验结果,表中“√”代表使用该改进方法,“×”代表不使用改进方法.在表3中,通过G2与G1相比较,在主干特征提取网络中添加GC block,ψmAP、φmR分别提高了1.29%、1.10%,这是因为冰雪晶体状态大小不一、形状不同,且图像中有相干斑噪声干扰,影响CSPDarknet53主干网络提取特征,通过加入GC block,实现对全局上下文的建模获取全局信息,获得更丰富的浅层和深层特征,使得感知效果变好;通过G3与G2相比较,使用BiFPN-s代替原始PANet-s,在输入层与输出层之间增加跳跃链接,使输出层不仅可以得到自下而上已参与特征融合的信息,还可以保留原始节点未参与特征融合的信息,进一步加强特征提取,使得ψmAP、φmR分别提高了1.07%、1.11%;通过G4与G3相比较,在BiFPN-s得到的3个加强特征层中,大、小目标分别在高层、底层被检测到,因此引入ASFF结构,自适应地学习各尺度特征映射融合的空间权重,通过学习权重参数将各层的特征融合到一起,使得ψmAP、φmR分别提高了1.08%、1.16%;通过G5与G4相比较,使用α-EIoU代替IoU更好地反映真实框与预测框的重合程度与远近距离,进一步提高收敛速度,使得ψmAP、φmR分别提高了1.24%、1.06%,表明α-EIoU损失函数提高了感知精度.

3.3.3感知效果对比及分析 图15和16分别为使用YOLOX-s和IYOLOX-s感知出来的结果.通过两者的对比,可以看出对于雪、雪浆、融雪、冻冰、湿冰这5种冰雪晶体状态,YOLOX-s均存在1处漏检,并且感知精度基本上都要比IYOLOX-s低,说明对于冰雪晶体状态图像而言,IYOLOX-s感知效果要优于YOLOX-s感知效果.

图15 YOLOX-s感知结果

4 结语

通过搭建跑道冰雪实验平台模拟冬季机场跑道环境,采集道面冰雪状态微观图像,并根据冰雪状态分类制作数据集.基于YOLOX-s提出IYOLOX-s模型,把GC block应用到CSPDarknet53中,在保持精度的同时增强全局建模,减少计算量;使用BiFPN-s作为加强特征提取网络,保证较高推理速度前提下,提高感知精度;在BiFPN-s的基础上引入ASFF结构,自适应地学习空间权重参数,让特征更好地进行融合,提高了状态感知准确率;使用α-EIoU损失函数,更好地反映预测框与真实框的重合度与远近距离,提高收敛速度.实验结果表明,使用IYOLOX-s模型,在每个冰雪状态类别的感知都有较好的表现,雪、雪浆、融雪、冻冰、湿冰、水6种状态的精度分别提高了6.04%、3.29%、4.76%、4.70%、5.75%、3.54%,平均精度达到了91.53%,为新模式下保障冬季民航机场的安全高效运行提供决策依据.

目前,机场跑道冰雪状态感知依旧存在许多不足,如冰雪状态图像分类仍存在很大的细分空间;通过实验平台采集图像,易受冰雪表面灰尘、道面凹凸不平以及不良光照干扰,对微观冰雪结构识别造成困难.以上问题需要对图像进行有针对性的预处理,完成图像增强和重建等工作.此外,改进后的感知模型相比改进前在检测速度上略有下降,说明检测速度还有提升空间,以上问题均是后续工作的重点研究方向.