基于Mask R-CNN的机场地面保护区航空器识别研究

杨昌其,郭睿豪,张晓磊

(中国民用航空飞行学院 空中交通管理学院，四川 广汉 618307)

0 引言

中国民用航空局CAAC统计报告显示[1]，2019年民航运输航空年运行架次量增长至496.6万架次，较2018年增长5.8%。随着运输航空运行压力的增加，严重事故征候发生11起，跑道侵入(runway incursion, RI)是运输航空安全的重点关注部分。目前跑道监视技术成本高、人工投入大且自动化水平低，中小机场难以配备。通过合理布局摄像头对机场地面保护区航空器实时监控，识别航空器，进行相对位置及运动状态判断跑道侵入，能够有效减少跑道侵入的发生率。

目前多数文献对航空器识别的图像数据主要源于卫星遥感图像，而卫星遥感图像存在受天气影响大、实时性差等问题，无法满足实时监视航空器要求。实时捕捉机场内航空器图像信息识别航空器，并判断航空器位置，对航空器监视技术的发展具有重要意义。文献[2]识别目标的雷达散射截面数据，基于BP(back propagation)神经网络提取航空器目标特征，能够对不同大小类型的飞机进行识别。文献[3]基于Darknet-53网络结构，改进了YOLO算法，以远程塔台系统捕捉到的航空器图像为目标进行识别，证明YOLO算法可检测远程塔台系统中的运动目标，但未说明在边缘天气下的航空器的识别效果。文献[4]布置多摄像头识别和追踪航空器目标，提出一种分析航空器位置和速度的模型，通过计算判断航空器滑行冲突，降低了航空器滑行阶段的风险。文献[5]提出一种改进的快速深度学习方法实现对航空器的目标跟踪，并在ILSVRC2015数据集上将识别准确率提高到了59.2%。

随着计算机计算能力的迅速提升，图像处理和目标识别技术日新月异，其中基于卷积神经网络(convolutional neural networks, CNN)的目标识别技术最为火热，发展出了基于预选框识别的各类网络结构，包括区域卷积神经网络R-CNN (region-convolutional neural networks)[6]、快速区域卷积神经网络Fast R-CNN[7]、更快速的区域卷积神经网络Faster R-CNN[8]、区域全卷积网络R-FCN(region-based fully convolutional networks)[9]等两阶段算法；另一种不需提取候选框直接使用卷积神经网络提取目标特征，例如SSD(single shot multibox detector)[10]、YOLO(you only look once)[11]等一阶段算法。两阶段算法对检测目标的识别精度高，但同时处理速度较慢，实时性差；一阶段算法处理图像速度较快，但目标识别精度低，且目标较小时容易丢失。Mask R-CNN[12]是一种多任务训练、两阶段神经网络模型，其核心神经网络使用了残差网络ResNet-101和特征金字塔网络FPN(features pyramid network)，较Faster R-CNN提升了目标分割精度，在处理像素级目标识别和目标分割任务时性能更强。

为满足检测航空器时所需的准确性和实时性，本文首次将Mask R-CNN模型应用于识别地面保护区内的航空器、车辆和人员，基于COCO数据集权重模型，建立航空器训练样本数据集，提升模型在检测航空器、车辆和人员时的准确率。此外，设计跑道侵入判定逻辑电路，可根据检测信号判断是否发生跑道侵入。

1 Mask R-CNN目标检测算法原理

典型的Mask R-CNN模型包括：特征提取网络、候选区域生成网络、RoI Align、Mask预测分支和分类网络。特征提取网络提取全图特征，并共享特征图；特征图输入候选区域生成网络，输出候选框，同时修正感兴趣区域RoI(region of interest)的候选框；RoI Align网络在特征图选取每个候选框对应特征。最后并行运行Mask预测分支网络，通过全连接层对候选框目标进行分类，同时再次修正目标框。Mask R-CNN模型结构如图1所示。

图1 Mask R-CNN网络结构图

特征提取网络FPN(feature pyramid networks)[13]是模型主干网络，其结构是ResNet-101网络，是输入图像的特征提取网络。特征提取时对不同层别特征有不同特点：低层特征语义信息少，但目标位置精确；高层特征反之。因此，FPN设计了两路网络如图2所示。一路自底向上对图像进行下采样，特征图像素在特定层发生改变，其他层则不变，改变像素大小前的所有层划为一个stage，该stage最后层特征图作为输出；另一路自顶向下进行上采样，同时与第一路生成相同大小的特征图融合。

图2 特征提取网络FPN结构

候选区域生成网络RPN(region proposal networks)在FPN输出的网络特征图上生成候选框锚，对锚进行打分判断其为目标或背景，同时修正锚框坐标。RPN在特征图上生成一个滑动窗口，为每个锚预设9种初始锚框。初始锚框包含三种大小(128×128, 256×256, 512×512)，每种大小包含三种比例(1:1, 1:2, 2:1)。因此，大小为w×h的特征图有w×h×k个锚，锚框种类k=9。在RPN头部，以图3所示结构生成f个锚。对每个锚输出坐标回归层和二分类层：坐标回归层包括锚的坐标(x,y,w,h)，每个锚通过回归生成4个预测值Ax,Ay,Aw,Ah标出候选框；二分类层输出锚的背景分数和目标分数，两个分数均为预测值，该分数为锚与正确标注的重叠区域IoU(intersection over union)值。锚的边框修正与4个值tx,ty,tw,th有关，tx,ty表示锚在x方向和y方向的平移量，tw,th表示长和宽的缩放量，以Gx,Gy,Gw,Gh表示标定的正确标注框，用G′x,G′y,G′w,G′h表示锚映射得到的和正确标注框最接近的回归窗口，则可通过公式(1)～(4)平移和缩放：

(1)

(2)

(3)

(4)

式中,dx(A),dy(A),dw(A),dh(A)四种变换通过训练得到对应权重，变换通过式(5)～(8)调整：

(5)

(6)

(7)

(8)

特征图转化的特征向量定义为Φ，预测值(tx,ty,tw,th)，输出dx(A),dy(A),dw(A),dh(A)，w为学习参数，目标函数则可表示为式(9)：

(9)

训练RPN的损失函数为：

(10)

RPN的分类和边框回归分别对锚进行计算，在RPN结构尾部对两分支输出结果汇总，实现对锚初步去重和偏移。

图3 RPN原理图

RoI Align网络对特征图进行m倍下采样，结果使用浮点数表示，下采样特征图划分m×m个单元，单元边界同样使用浮点数表示。该浮点数利用双线性插值得出像素点数值，对特征区域分类和分割。使用浮点数表示能够确保特征对齐候选框，在像素级目标识别中减少偏移量。

Mask预测分支的结构是一个微型卷积神经网络，输入为目标候选区，生成28×28浮点数分辨率的Mask。训练时将Mask缩小为28×28计算损失函数，预测时将Mask放大为RoI边框尺寸，输出Mask结果，每类目标有独立的Mask。

分类网络使用目标候选框特征图，通过FC(full connect)层与softmax层计算目标候选框所属类别，输出概率向量；同时再次利用边框回归修正目标候选框的位置偏移量。

式(11)用Lcls表示分类层的回归损失值，式(12)Lbox表示边框回归的回归损失值，式(13)Lmask表示Mask预测分支损失函数，则Mask R-CNN的损失函数可表示为式(14)：

(11)

(12)

(13)

L=Lcls+Lbox+Lmask

(14)

2 地面保护区预警

2.1 地面保护区

跑道侵入定义为：在机场中发生的任何涉及错误的出现或存在在用于飞机起飞和降落的地面保护区表面的飞机，车辆以及行人的事件[14]。地面保护区包括机场跑道、滑行道上跑道等待位置和跑道之间的区域、跑道中线两侧各75 m内的土面区、ILS敏感区、ILS临界区和跑道端安全区，如图4所示。

根据定义，防止跑道侵入即监视地面保护区内航空器、车辆与人员的相对位置关系与状态。据FAA对涉及跑道侵入事件和严重事件调查分析，跑道侵入可分为以下几种典型：

1)航空器或车辆不正确进入地面保护区；

2)撤离航空器或车辆不正确地出现在跑道保护区；

3)航空器或车辆不正确地穿越跑道；

4)连续落地、落地与起飞或起飞与落地航空器之间的间隔不满足规定；

5)航空器着陆时没有空中交通管制许可；

6)航空器起飞时没有空中交通管制许可。

图4 机场地面保护区示意图

2.2 跑道侵入检测模型

模型在跑道和滑行道等待线的一侧安装n个摄像头，摄像头检测有效范围内航空器位置并判断运动状态。摄像头安装间隔需保证不会有同一架航空器出现在两个摄像头中，同时调整摄像头仰角防止将目标区域外的航空器捕捉进画面对识别产生影响。模型布局如图5所示。

图5 摄像头位置示意图

模型输入信号为摄像头实时检测结果，Ii表示第i个摄像头，若检测到航空器处于该摄像头检测区域并处于运动状态，则Ii=1；否则Ii=0。除地面保护区内航空器，获得空管着陆许可航空器在距接地点数公里时，跑道必须为清空状态，此时摄像头无法捕捉空中正在着陆航空器的图像信息。该飞机状态需通过塔台管理系统接口获取航空器是否处于获得着陆许可状态。I0作为飞机着陆许可状态位，连接塔台管理系统接口，发布着陆许可时I0=1,否则为0。当摄像头检测信号与着陆许可信号中有两个及以上信号为真时，判定发生跑道侵入。本研究选择数字电路处理检测信号，该电路使用半加器，当输出Output=1时跑道侵入发生；Output=0时为正常状态。逻辑电路如图6所示。

图6 跑道侵入信号检测逻辑电路图

常见的跑道侵入有三种相对位置关系。第一种空管发布航空器着陆许可，跑道等待线外航空器进入地面保护区，地面飞机造成跑道侵入。该情况下着陆许可状态信号I0=1，滑行道上第i个摄像头检测到航空器进入地面保护区且为运动状态，Ii=1。如图7所示。

图7 穿越跑道航空器进入被着陆航空器占用的跑道

第二种当空管发布航空器起飞许可后，跑道等待线外的航空器进入地面保护区造成跑道侵入。该情况下，跑道上第i个摄像头检测到起飞航空器处于地面保护区内且为运动状态，信号状态Ii=1，同时滑行道上第j个摄像头检测到航空器进入地面保护区且为运动状态，信号状态Ij=1。如图8所示。

图8 穿越跑道航空器进入被起飞航空器占用的跑道

第三种当空管发布航空器穿越跑道许可后，跑道端航空器起飞或空管发布航空器着陆许可造成跑道侵入。此时，跑道上第i个摄像头检测到起飞航空器处于地面保护区内且为运动状态，信号状态Ii=1，或空管发布着陆许可I0=1，同时滑行道上第j个摄像头检测到航空器进入地面保护区且为运动状态，信号状态Ij=1。如图9所示。

图9 起飞/着陆航空器进入被穿越跑道航空器占用的跑道

3 实验结果与分析

3.1 数据集与实验环境

文献[12]中的Mask R-CNN模型基于COCO数据集进行神经网络训练。但COCO数据集包含的目标种类多，且多数目标所处场景复杂，在实验本文提出的地面保护区目标识别时效果较差。目前没有专门用于机场地面保护区目标识别的数据集，本文自建地面保护区航空器、车辆和人员图像数据集，该数据集主要来源于运输机场监控视频、民航研究所数据、中飞院空管安全研究所数据以及部分PASCAL航空器数据集。模型利用开源数据集标注工具BBox-Label-Tool对数据集中的目标物体进行标记。本文通过迁移学习，基于COCO数据集训练权重模型建立训练样本数据集，训练效率和检测精度得到显著提升。

本文模型使用的软硬件具体型号如表1所示。

表1 软硬件清单

此外由于条件限制，无法得到机场许可在现场安装摄像头，因此在中国民航飞行学院空中交通安全管理实验室使用1:2 000沙盘模型模拟机场环境，对模型进行测试验证，沙盘模型如图10所示。

图10 1:2 000机场跑道模型

3.2 测试结果

本文在准确率测试中挑选500张正样本以及300张负样本，样本包括净空条件正常时航空器正面、侧面和俯视航空器的检测效果，航空器和车辆、人员同时出现在画面中的检测效果，背景与航空器低对比度的检测效果，含航空器遮挡、重叠的检测效果和大雾天气航空器检测效果，部分测试的效果图如表2所示，测试结果见表3。

表2 目标检测测试效果

表3 测试结果准确度

根据机场地面保护区发生跑道侵入的情况，使用航空器模型在机场沙盘模型上模拟跑道侵入场景。图11演示了23号跑道上有航空器起飞时，另一架航空器滑过等待线进入地面保护区的情况；以及航空器穿越23号跑道时有航空器开始起飞的情况。实验显示，该跑道侵入检测模型准确率可以达到95%，平均运行时间达到3.7 fps。

3.3 实验结果分析

本实验模拟跑道侵入实际发生状况，演示了包括：航空器穿越被着陆航空器占用的跑道、航空器穿越被起飞航空器占用的跑道、起飞/着陆航空器使用被穿越跑道航空器占用的跑道三种情形的跑道侵入。

图11 跑道侵入检测效果图

由实验结果可知，因机场背景相较其他场景更加简单，本文模型对净空条件正常的场景下航空器识别效果非常精确。大雾天气中的航空器，大雾条件高于机场最低运行能见度条件时，对航空器识别准确率影响不大。当拍摄画面中有航空器重叠时，航空器识别效果会变差，但航空器在地面保护区正常运行时，极小概率出现同一有效检测区域有多架航空器出现且重叠的情况，且航空器运动过程速度较快，重叠对判断航空器发生跑道侵入的准确率影响不大。测试中发现，当航空器颜色与背景颜色对比度较低或没有明显颜色区分时，航空器识别准确率影响较大。通过分析训练样本，低对比度图像多为摄像头机位较高、像素低图像较模糊情况。摄像头机位较高，拍摄时易出现从上往下看航空器与滑行道颜色相近的情况。该情形下可通过降低摄像头的安装位置以及调整摄像头仰角，避免图像中目标与背景对比度过低的问题。本文提出的防止跑道侵入模型检测跑道侵入事件的准确率取决于对航空器运动状态识别准确率，目标识别的实时性基本满足航空器实际运行要求。

综上，本文提出的基于Mask R-CNN的航空器检测模型能够有效识别机场地面保护区的航空器、车辆和人员，将识别结果转换为信号，根据信号判断地面保护区内目标的相对位置关系和运动状态信息，从而准确判断跑道上是否发生了跑道侵入，由此减少机场不安全事件的发生率。

4 结束语

本文提出的方法是一种低成本、高效率的减少机场不安全事件的方法，通过迁移学习使用Mask R-CNN模型对机场地面保护区相关目标进行识别；还结合摄像头获取地面保护区图像信息，提出摄像头的布局方案，设计一种基于电信号判断发生跑道侵入的逻辑电路方法，有效地减少机场跑道不安全事件的发生，为没有能力配备场监设备的中小机场提供了一种低成本防跑道侵入技术方案，具有广阔的应用前景。