基于深度信息融合的航拍车辆检测

陶晓力，刘宁钟，沈家全

(南京航空航天大学 计算机科学与技术学院，江苏 南京 211106)

0 引 言

随着无人机技术的快速发展，无人机在遥感图像拍摄中的应用越来越频繁。无人机技术的优点在于低成本，设备尺寸小，安全，最重要的是能够快速和按需完成任务。现阶段，无人机技术的发展已经能够为人们提供具有极高分辨率的遥感图像，同时能够包含空间信息如GPS定位等。这使得基于无人机图像的分析应用场景大大扩展，包括植被检测、电气设备检查、城市交通监测等等。

近年来，随着汽车数量的快速增长，在给人们的生活和工作带来便利的同时，交通事故、道路拥挤等问题也变得更加频发。因此，结合无人机检测技术的智能交通越来越受到交通部门以及学者的关注。而车辆检测作为智能交通领域中绕不开的点，更是研究的重点。然而，由于无人机航拍图像中的车辆尺寸相对较小且方向可变，自动车辆检测存在着很多困难与挑战。此外，在复杂背景下的目标实时检查也是一大难点。

1 相关工作

根据现有的目标检测方法，检测任务主要分为三个部分：特征提取，候选区域的生成以及分类[1]。在大部分已经存在的车辆检测方法中，手工设计的特征应用广泛。文献[2-3]使用类哈尔特征(Haar-like)和局部二值化模式(LBP)进行特征提取。文献[2]使用了尺度不变特征变换描述符(SIFT)。文献[4]中使用了方向梯度直方图。这些算法通过滑动窗口的方法，以预设的窗口遍历整张特征图，然后使用SVM或adaboost等分类器对提取的特征进行预测，以判断窗口中是否存在可能的车辆[5-6]。

目标检测的性能表现主要依赖于特征提取。然而上述方法并不能很好地适用于所有的应用场景，尤其是复杂背景下的车辆检测。同时滑动窗口的方式会导致过多的重复计算，在检测效率上也不尽如人意。

最近随着深度学习的兴起，卷积神经网络(CNN)在目标检测领域取得了重大的进步。多种检测模型包括RCNN[7]、Fast-RCNN、Faster-RCNN[8]、YOLO[9]、SSD[10]等都有着良好的表现，在识别精确率以及检测时间上都优于传统的人工设计特征的检测算法。

RCNN使用选择性搜索算法来生成候选区域，之后对每一个区域通过卷积神经网络提取深度特征，并使用SVM分类器进行分类。RCNN是最早的基于CNN的目标检测算法，尽管识别准确率有了极大的提升，但由于大量的重复计算以及候选区域的生成，CNN的训练和SVM都不在一个网络中，导致训练的繁琐和检测时间的过长。Faster RCNN使用区域建议网络(RPN)来生成候选区域，并与特征提取的卷积神经网络共享参数，之后通过全连接层实现目标分类，真正意义上实现了端到端的网络结构，加快了网络的训练和检测速度。

目前，Faster RCNN在目标检测方面达到了一个领先的水平，但是，在航拍车辆检测方面仍然存在缺陷。由于粗糙的特征图设计，RPN网络不适合小目标检测。同时，在航拍图像的复杂大背景下，误识别也影响着模型的识别效果[11-12]。

2 模型和方法

2.1 模 型

ZFNet[13]和VGG16[14]是两类典型的基于CNN的目标检测网络。ZFNet是一种轻量型的模型，它的模型参数较少，主要包括5层卷积层以及2层全连接层。VGG模型是一系列不同深度的神经网络模型，包括VGG13、VGG16、VGG19等。这一系列模型显示了随着网络结构的加深，模型的表现将会得到提升。其中VGG16的综合表现最好，因此，文中将在VGG16的基础上进行优化，结合Faster RCNN模型，构建出可行的车辆检测网络。

VGG16网络共包含13层卷积网络以及紧接其后的三层全连接网络，若按照网络的输出大小划分，也可以将前面13层卷积网络分为5部分。不同于传统的将第五部分的输出特征图直接传递给RPN网络，在文中网络，通过添加concat层将后面的三部分结合形成新的超特征层，具体的网络结构如图1所示。串联模型可以通过学习权重的融合获得目标体系结构信息，减少背景噪声对检测性能的影响。同时，相关研究表明，更深的网络可以得到更高的召回率，而浅层的网络可以得到更好的准确率。因此，结合浅层特征和深层特征的方式可以有效地提高模型的检测效果。

超特征图如图1所示，这是基于VGG16的卷积网络，输入为701*623*3的jpg格式图片。因为要将conv3,conv4,conv5三部分的输出通过concat层链接，而由于这三部分的输出结果的长宽不一样，所以具体的做法是使用512个大小为3*3*256的卷积核对conv3的输出进行卷积，步幅为2，然后再接一层maxpool层，得到的结果为22*20*512。使用512的大小为3*3*512的卷积核对conv4的输出进行卷积，步幅为2，得到的结果为22*20*512。接着使用concat层将conv3_out,conv4_out和conv5进行通道合并，使用512个1*1*1 536卷积核进行卷积，得到所需的超特征层，大小为22*20*512。

2.2 训练过程

输入图片经过一系列卷积之后变成超特征图传入RPN层。RPN层的目的是预测所有可能的候选区域，并给出前背景的概率[9]。通过3*3的滑动窗口，RPN层将得到的超特征图的对应部分变成一个512维的特征向量，然后对其进行前背景的分类以及包围框的回归。因为对于每一个滑动窗口预测k个物体可能存在的位置，所以共有2k个前背景的分数以及4k个包围框的值。如图2所示，文中k的值是9。

(1)

其中，area(Bp∩Bg)表示Bp与Bg的交集的面积；area(Bp∪Bg)表示Bp与Bg的并集的面积。

使用多任务损失函数来反向传播用以更新网络参数，目的是最小化分类和回归的错误率。多任务损失函数定义如下：

(2)

(3)

(4)

RPN网络中最重要的是预测包围框的生成。上文提到过卷积之后图片大小成为了原来的1/32，即特征图上的一点对应于原图中32*32大小的一个区域。在VGG16-faster-RCNN中，包围框的大小设置：基础大小为16，比例变换为(0.5,1,2)，尺度变换为(8,16,32)，因此最终得到三类尺度的包围框(256,512,1 024)，对应比例变换后得到9种包围框，如图3所示。

图3 9种包围框

从包围框的大小可知，如此之大的包围框只适合正常大小的目标，不适用小目标检测。根据航拍车辆的大小，在包围框基础大小和比例变换不变的情况下，修改尺度变换为(2,4,8)，最终得到的包围框大小如表1所示。

表1 各包围框大小

3 实验结果与分析

3.1 数据集

使用了两个数据集进行实验对比，一是慕尼黑航拍车辆数据集，另一个是自己使用无人机收集的南京石杨路和东麟路的航拍车辆数据。

DLR 3K慕尼黑航拍车辆数据收集的车辆地点是德国城市慕尼黑。这些图像是通过Canon Eos 1Ds Mark III相机从飞机上拍摄的，分辨率为5 616*3 744像素，焦距为50 mm，并以JPEG格式存储。图像拍摄自地面1 000米的高度，地面采样距离约为13厘米。数据集中共包括20张图片，其中10张为训练集，10张为测试集，共细分为7种类型的车。将pkw_car和pkw_van合并为car，将cam和truck合并为truck，这样共得到car 8 381辆，truck 130辆。将每张5 616*3 744的原始图片裁剪成11*10的有重合的图像块，每个图像块大小为702*624。最后将每个图像块通过旋转90°，180°，270°的方式增加4倍，共得到8 800张图。

自己收集的车辆数据包括石杨路和东麟路两部分，拍摄点据地面约为100米，分辨率为5 472*3 078。其中石杨路376张，包含3 565辆汽车以及127辆卡车共3 692辆，东麟路101张，包含1 930辆汽车以及318辆卡车。将原图像的长宽缩小1/4到1 368*770，同时通过镜像变换将车辆样本增加4倍。

3.2 结果对比

采用mAP指标来衡量模型的好坏，定义如下：

(5)

其中，R表示召回率；P表示该召回率下的准确率。

(6)

(7)

其中，TP表示将正样本预测为正的数量；FP表示将负样本预测为正的数量；FN表示将正样本预测为负的数量。

实验结果如表2所示。分别在慕尼黑数据集和自己的数据上运行了ZF模型，改进后的ZF模型，VGG16模型以及改进后的VGG16模型。可以看到，改进后的模型相较于原始模型，其mAP都有了较大的提升，VGG16模型的效果又好于ZF模型。而最终基于VGG16改进的方案得到了最好的效果。同时，在自己数据集上的效果比慕尼黑数据集上好的原因在于，自己收集的车辆数据集分辨率更高、更清晰，特征相较于慕尼黑车辆数据集更为明显。部分实验结果如图4和图5所示。

表2 不同模型的mAP

4 结束语

基于Faster RCNN设计了一个具有较好精确率和鲁棒性的航拍车辆检测模型。建立一个超特征图，将深度网络的浅层特征和深层特征相结合，进行目标车辆的特征提取。实验结果表明，该方法在小目标检测上具有良好的效果。同时，在RPN层上，通过先验知识，根据车辆的大小设计了合适的anchor box，也提升了检测模型的性能。另外，该方法也存在不足，仍旧会有小部分的车辆漏检。因此，将会继续深入研究网络模型，在提升准确率和召回率的同时，减少检测时间。

图4 慕尼黑车辆数据结果

图5 自己收集的车辆数据结果