结合卷积神经网络与显著性特征的机场检测

余东行，张 宁，张保明，郭海涛，卢 俊

(1. 信息工程大学，河南 郑州 450001; 2. 中国卫星导航定位应用管理中心，北京 100088)

机场作为国民经济的交通枢纽和军事斗争中重点打击的战略目标，实现遥感影像上机场和跑道的自动检测和识别对于辅助飞机起降和空中交通管制、提高精确制导武器的打击效果等方面都具有重要的现实意义。

机场目标在遥感影像上具有显著共性特征：①长直性的跑道和滑行道；②水泥和沥青等构成的地面及建筑具有较高影像灰度值；③位置通常远离城区，周边大多为农田、植被和稀疏的居民地，具有视觉显著性特征。基于上述特征，机场检测方法主要可分为三类：利用边缘和直线特征检测机场[1-4]、利用显著性检测与图像分割算法提取较大的机场连通区域[5-9]和利用机器学习的方法识别机场[10-14]。利用边缘和直线特征简单直观，但受影像质量的影响，通常难以获得稳定可靠且连续性较强的直线，直线检测的有效性与直线组的平行性判断易受田垄和河流等影响，检测耗时且精度低。视觉显著性特征依赖于图像上具有明显的视觉显著性区域，但这些方法极易受城区、山脉等其他同样具有显著特点的地物影响，虚警率高、通用性较差。文献[10—11]将卷积神经网络(convolutional neural network,CNN)应用于遥感影像的机场检测与识别任务中，大大提高检测的速度和精度，但由于机场具有多方向性，机场检测的精度仍有进一步提升的空间。针对上述问题，利用卷积神经网络在目标检测上的优势与机场在影像上的视觉显著性特征，本文设计一种结合卷积神经网络与显著性特征的机场目标检测算法，可实现机场的快速高精度检测。

1 基于YOLO的目标检测

YOLO[15]将目标检测视为回归问题，从而实现端对端的实时目标检测。在训练过程中，将图像划分若干网格(S×S，如图1所示)，利用卷积神经网络预测每一个网格是否存在目标的中心点以及该目标的类别置信度和边界框，最后利用非极大值抑制的策略对所有边界框进行筛选和合并，得到检测结果。

YOLO模型的卷积神经网络结构设计如图2所示，包含卷积层和全连接层，根据其功能可分为特征提取层和分类定位层两部分。特征提取层由卷积层和池化层组成， 用于提取图像的特征。分类定位层由全连接层组成，输出大小为7×7的格网，用于预测目标的位置和类别概率。每个格网预测B个边界框和C个类别的概率，每个边界框包含5个预测值：边界框的中心点坐标(x,y)、大小(w,h)和置信度(confidence)。置信度包含预测边界框是否含有目标以及边界框与实际位置的偏差。

YOLO算法采用损失函数为

(1)

YOLO对小目标的检测能力较差，YOLOv2[16]和YOLOv3[17]算法在YOLO算法的基础上进行了改进，提高了其精度和效率：去掉YOLO中的全连接层和最后的池化层，将格网划分的数量从7×7增加到13×13，卷积神经网络模型采取残差网络等，增强了对小目标的检测能力。

2 显著性检测

分析机场的空间分布及其在影像上的特征可知，在其周边局部范围内，机场区域的面积较大，且具有较高的灰度值和明显的边界，这些特征具有视觉的显著性。在卷积神经网络快速获取机场范围的基础上，本文采取频率域视觉显著性分析方法[18]来获取机场的显著性区域。

图像的频率域信息可由傅里叶变换得到，f(x,y)表示一幅大小为M×N的图像，其傅里叶变换为

(2)

式中，u=0,1,2,…,M,v=0,1,2,…,N。令R(u,v)和I(u,v)分别表示F(u,v)的实部和虚部，则图像的频谱为

|F(u,v)|=[R2(u,v)+I2(u,v)]1/2

(3)

F(u,v)=arctan[I(u,v)/R(u,v)]

(4)

F(u,v)=|F(u,v)|ejF(u,v)

(5)

式中,|F(u,v)|为振幅谱;Φ(u,v)为相位谱。图像的相位谱保留了图像中重要的显著性信息，为了获取图像中较大的显著目标、突出目标整体显著性区域和边界范围，需要保留频率域中的高频信息；由于影像中的高频信息还包含噪声、纹理等干扰因素，需要截去一定的高频信息，因此采用不同标准差(s1和s2，且s1>s2)高斯滤波器G进行差分

G(x,y,s1)-G(x,y,s2)

(6)

将多个差分结果相组合，从而大大提高显著性检测的效果。当采用的高斯方差成一定比例时，即s1/s2=r>1，s2=r，K个高斯差分的组合可表示为

G(x,y,rKs)-G(x,y,s)

(7)

当rKs为无穷大时，对图像的高斯滤波即为计算整幅图像的均值(Iu)；s值较小时，可以滤去部分噪声，最终显著性检测的结果可表示为

S(x,y)=‖Iu-Is(x,y)‖

(8)

显著性检测的流程如下：

(1) 将影像进行高斯滤波以除去部分噪声，将RGB通道的影像转换到Lab颜色空间。

(3) 显著性检测结果为

(9)

3 机场检测方法

目标检测算法通常采用边界框来描述所检测到的目标，如图3(a)所示。为了更精确地检测机场目标，需要采用最小矩形边界框来描述，如图3 (b)所示。本文采取自上而下的检测方式：利用卷积神经网络在目标检测上的速度和精度优势，用于检测机场的整体区域，在兴趣区域内利用机场在影像上所呈现的视觉显著性特征，进而获取更精确的机场位置，流程如图4所示。因此本文算法步骤如下：

(1) 机场区域检测：采集少量机场影像作为训练数据，基于迁移学习的思想，对经过自然影像数据集上训练好的YOLOv3模型进行微调，用于机场的兴趣区域提取。

(2) 显著性检测：利用基于频率域分析的显著性检测方法计算所获取兴趣区域的显著图。

(3) 图像分割和连通区提取：利用大津分割法(Otsu)确定显著图的分割阈值，对分割后的图像进行闭运算，填充图像分割后产生的空洞，连接相近的碎片，扩大图像分割后产生的连通区，对所有连通区进行标记，保留面积最大3个连通区。

(4) 机场位置确定：虽然利用卷积神经网络可以有效提取机场的整体范围，但同时少数机场(的机场、沥青材质的跑道等)在影像上不具有视觉显著性特征(如图5所示)，难以提取机场的准确轮廓。因此，对兴趣区域的连通区提取结果进行重心判断，若该连通区的重心不在兴趣区域的中心，则保留原始兴趣区域的边界；否则，输出该连通区的边界作为优化后的机场边界。

4 试验结果分析

4.1 试验数据与训练

试验采用264幅卫星影像，空间分辨率约20 m，影像大小从500×500到2000×2000之间不等，其中100张影像用于训练，164张影像用于测试。所选取影像涵盖了不同地区、不同种类、不同形状的机场目标，图6给出部分机场实例。试验使用深度学习环境为Tensorflow，所用的硬件配置为GTX1080Ti(显存10 GB)，Intel酷睿8核处理器(主频3.8 GHz，内存64 GB)。由于所采集的数据不足以训练一个完整的深层卷积神经网络，因此训练采取迁移学习的方式，对COCO数据集下的Darknet-53的预训练权重进行微调，并以聚类的方式获取机场的先验尺寸。

4.2 机场检测结果对比

采用文献[6]、FRCNN[19]、YOLOv2、RetinaNet[20]以及本文所采取的YOLOv3算法对测试集164张影像进行检测，不同阈值T的检测结果统计及用时见表1—表3(概率大于T的目标则认为是机场，文献[6]仅采用视觉显著性特征检测机场，阈值T对其无影响)。

表1 机场检测个数统计(阈值T=0.3)

表2 机场检测结果统计(阈值T=0.7)

表3 平均每张影像检测用时

从表1—表3统计结果可以看出，文献[6]采用基于频率域的视觉显著性特征来检测机场，具有较高的虚警率和漏检率，且耗时长；将卷积神经网络应用于遥感影像的机场目标检测任务中，显著提高了机场识别的精度和效率。图7为不同方法的检测效果，测试影像涵盖了多种场景：郊区机场、城区机场、濒海岸机场以及特征不明显的山地机场。位于郊区的机场周边地物以植被为主，具有较强的视觉显著性特征，易于检测和识别，但同时受到道路、河道、田垄以及城镇居民区的干扰；位于城区的机场影像上道路纵横交错、纹理较为复杂，机场灰度和对比度较弱；沿岸和岛屿上的机场受海岸线和突出的岛屿影响较大；位于山地(沙漠)的机场通常视觉特征较弱，也最难以检测。

从机场的影像特征可以发现，机场的形状多样，仅靠跑道的直线特征通常难以做到准确检测和识别。从不同方法在影像上机场的定位效果上看，利用机场的显著性特征颜色和灰度特征来识别机场目标，缺乏有效的机场识别方法，难以有效排除同样具有视觉显著特征的非机场地物，虚警率和漏检率较高。在机场周边存在更为显著的目标时，将极大地干扰机场检测的效果。利用卷积神经网络对机场检测，不依赖于直线特征和视觉显著性特征，能够有效应对多种类型和复杂成像质量下的机场检测，稳健性强。在众多基于卷积神经网络的目标检测算法中，FRCNN、RetinaNet和YOLOv3算法均具有较高的准确率，对多种类型的机场目标均能做到有效检测和识别。但Faster R-CNN虚警率较高，这些误识别为机场的地物主要为与机场跑道在颜色和形状上相近的公路和海岸线等，同时FRCNN检测速度较慢。YOLOv2算法检测速度虽然较快，但准确性较差，漏检率较大。RetinaNet和本文采取的YOLOv3对于各种类型的机场都可以较好地进行检测，稳健性较好，检测的精度较高，其中YOLO3具有绝对的速度优势。

4.3 机场检测优化结果

利用YOLOv3算法可以准确快速地获取机场整体范围，对兴趣区域的显著性检测决定了机场的精确位置，机场检测的优化结果如图8和图9所示。对兴趣区域进行简单的分割(Otsu分割法)，对大型机场效果较好，但当机场的范围较小时，周围地物(建筑物、裸地、植被等)将极大地干扰机场的分割结果，难以获取机场的准确位置，本文所采取的显著性检测方法，能够有效过滤机场跑道周边地物的干扰，提高机场边界和机场跑道的精确度。

5 结 论

本文提出了一种结合视觉显著性特征的机场检测算法，利用深层卷积神经网络快速提取机场目标，避免了传统方法采用人工设计特征泛化性差的问题，同时结合机场在影像上所呈现的视觉显著性特征获取更加精确的机场边界位置，实现了遥感影像上机场目标的快速高精度检测。从试验结果和分析来看，在遥感影像的机场检测和识别问题中，相对于其他方法，YOLOv3算法不仅具有较好的识别效果，而且具有较强的稳健性，能够有效应对复杂场景下的多种机场目标，在检测精度和速度上具有明显的优势。然而，这些优势主要依赖于具有高性能计算能力的硬件设备和训练数据，如何在可移动设备上兼顾较高的识别精度和理想的实时性，实现多尺度影像上的机场检测和识别，是进一步研究的问题。