基于尺度估计的无人机场景车辆跟踪算法研究

杨 朔，张俊星，王 萌

(大连民族大学 信息与通信工程学院，辽宁省 大连市 116600)

1 背景与意义

现今，计算机技术发展迅速，特别是在人工智能方面，生活中日常消耗品的智能化需求变得越来越大.目标跟踪是人工智能的一个重要研究方面，与当前的日常生活有着千丝万缕的联系.小在市场中用视频可跟踪每一个购物者，大在国防中追踪锁定目标导弹等，均用到目标跟踪技术[1].同时，我们都希望有更加高效的目标跟踪方法去实现实时跟踪，以此让我们生活更加舒适和便捷.

1.1 无人机场景车辆跟踪算法意义

由于中国城市化发展迅速，各地车辆数量成倍增加，道路交通问题十分突出，在实际交通路况中，视频监控会出现多目标跟踪困难、不同目标特征不一等众多问题，所以，提高交通部门处理道路交通问题的具体方法成为一个热点问题.

2016年以来，随着无人机设备的迅速发展，无人机场景目标跟踪引起了图像处理学者的研究热潮，特别是在外景移动图像中的目标跟踪.无人机场景跟踪有较大优势，特别是针对日常数码设备拍摄的二维图像，无人机能够使用俯视角拍摄，将平面中出现的非跟踪目标的遮挡问题可以有效地避免.

在交通事故中大多由机动车辆造成，而无人机对车辆目标进行高效跟踪管理的重要性可见一斑.而车辆目标具有鲜明的特点，其外形、色彩以及运动轨迹都有助于我们跟踪中的特征提取.所以，使用无人机航拍可以进行大面积的拍摄、监督和对目标车辆的跟踪，能帮助交通管理部门更加准确高效处理道路交通问题以及提高针对车辆肇事事故处理的能力.

综上所述，无人机场景下的车辆目标跟踪具有广阔的应用前景和良好的学术研究价值，因此，对无人机场景目标跟踪算法的研究意义重大.

1.2 算法难点与挑战

2013年，Y. Wu等人制作了一个较完整的视频跟踪数据集，并对视频目标跟踪的效果影响指标进行了系统性的总结，目标跟踪中主要的影响因素为[2]：

①光照变化；②尺度变化；③遮挡；④非刚性目标形变；⑤移动模糊；⑥快速移动；⑦平面内旋转；⑧平面外旋转；⑨图像超出视野范围；⑩背景杂波；低分辨率.

除了上述干扰因素，我们还需要对低帧率采用、小目标、地理遮挡区域和像素点位移四个问题采取有效的措施，提高算法鲁棒性.

1.3 典型跟踪算法

近年来，视觉目标跟踪研究[2]发展迅速，鲁棒性高的优秀算法层出不穷，目标跟踪算法框架也日趋成熟. 相关滤波算法[3]，能够大大提升目标跟踪速度，同时保证跟踪准确度.该算法引入傅里叶空间的点乘思想，将邻帧图像块之间的时域卷积转为傅里叶域点乘运算，再计算候选目标与真实目标的相关系数，取极值后确定当前帧目标位置.

之前算法均以处理灰度图像为主，忽略了场景中的目标颜色特征，也降低了跟踪准确度.随后，Liang P等人将颜色信息应用在目标跟踪中[4].他们将RGB、HSV、OPP等特征融合进16个目标跟踪算法中，并且证明不同的特征会产生不同的跟踪效果，而合适的颜色模型可以不同程度地提高算法准确度.

对于普通目标跟踪，无人机场景车辆跟踪由于地理环境影响、目标尺寸较小以及运动模糊问题，采用相关滤波算法可以解决简单跟踪问题，但是却会产生跟踪精度不准确的问题.文献[5]中，作者通过融合方向等特征获得全面车辆跟踪目标外观模型，并且实现低帧率视频跟踪.但其由于提取特征较多，不能保证所有特征均能实现目标精确跟踪.文献[6]则在此基础上，引入计算输入图像前背景方差比进行特征选择，提出动态特征评估和基于排序的特征融合车辆跟踪框架.该算法证明，通过合适的特征选择机制可以大大提高跟踪效果，提高计算效率，能够实现航拍下的目标实时跟踪.

综上，我们在构建跟踪框架时，通过已有的核相关滤波算法，改进特征选择机制，引入尺度估计和颜色特征模型，通过对比实验，验证跟踪效果.

2 基于核相关滤波改进跟踪算法

2.1 算法框架

该类方法被称为一种鉴别式的追踪方法[7]，简称为KCF(Kernelized Correlation Filter)算法.其基本原理是：使用目标周围区域的循环矩阵，采集正负样本，利用脊回归训练目标检测器，循环矩阵在傅里叶空间可对角化的性质将矩阵运算转化为向量的Hadamard积(即元素的点乘).这样可以减少提取目标特征时的运算量以及时间成本.再使用目标检测器去检测下一帧预测位置是否是目标.最后使用新检测结果去更新训练集，进而更新目标检测器.

该类方法能快速完成检测过程以及核函数的相关运算，能够快速地找到目标.其实现原理如下：

在跟踪的过程中，目的是训练滤波器 ，使得对于任意输入图像块可以得到相应的回归标签.找到当前帧目标位置，需要对不同候选区域的图像块进行评估.这些图像块可以建模成循环移位矩阵.

设Kx为所有训练样本和候选图像块的核矩阵.在经过线性模型以及傅里叶空间对角化运算后，寻找线性回归函数f(x)=wTx，使得样本xi和目标的回归标签yi的均方误差最小.其计算式最终可以简化为

式中，w是特征权重，λ是为防止过拟合加入的正则化系数.在确定候选目标与前帧标签的最小均方误差后，便确定当前帧的目标位置，同时更新回归标签，进行下一帧的目标判断，完成整个跟踪过程.在保证模型标签准确度的基础上，算法框架可以快速实现目标跟踪任务.

2.2 算法总结

该类算法相对于传统滤波算法在速度上有了较大提升，特别能够减少计算成本.其中，对于循环移位得到训练样本的方法，能利用其傅氏空间对角性质，很好地提供算法的效率.本文主要借鉴以高斯核函数在不同维度空间的转化运算，成功克服跟踪训练中维数控制过度问题.当然，通过循坏移位产生样本的方式，会消耗较多的时间，并不能很好地解决尺度问题.另外，在自然环境中，该算法有实时性的优点，有更好的目标跟踪效果，但对无人机场景来讲，算法效果并不能保证.

3 基于尺度估计的核相关滤波跟踪改进算法

3.1 算法框架

在核相关滤波算法中，没有很好地解决尺度问题，即在无人机拍摄过程中，会出现与目标距离和航行高度上的不同，从而会引起与目标的尺度变化，这对于跟踪准确性来说影响较大.

本文在此基础上增加尺度滤波器[8].这样将滤波器分为两种，一种为位置滤波器，主要功能是在当前帧下，对目标进行位置定位；另一种为尺度滤波器，主要功能是在当前帧下，对选择目标的尺度进行估值.两种性质基本一致，但又有矛盾存在.我们选择不同特征种类和特征计算方式进行训练和测试.

3.2 增加颜色模型

在前文总结的影响因素中，有些因素难以从算法中进行改进，如阴影、前背景区分等.以往算法都以目标的灰度特征提取为主，没有把颜色因素考虑进去，主要原因是颜色特征易受光照等外界因素影响.但是在文献[3]中，其通过实验指出，收集颜色特征可以帮助提高算法精度，特别是针对无人机航拍场景.所以，本实验中通过构建RGB三通道彩色模型，以帮助算法模型能提取到更多目标的特征信息.RGB模型的主要优点是在目标检测等领域应用较为广泛，与计算机匹配度高.

3.3 算法总结

该算法是在结合核相关滤波算法的基础上，从构建特征模型和目标尺度变换两个方面进行改进.构建颜色模型，可以让特征丢失更少，有助于在之后的特征提取和融合中的模型训练.本文在提升目标跟踪精度的同时也保证目标跟踪实时性问题的解决，在增加滤波器后会增加计算量与时间成本，但是精度有较大提升，特别针对相邻帧尺度变换较大的目标，并且能够满足实时性的要求.

4 车辆跟踪的特征选择与融合

4.1 基于置信图主旁瓣比的特征选择机制

跟踪算法在特征选择时，均以置信相应图(confidence map)方差作为主要特征选择方式.置信图便是候选图像块与目标图像块相关计算后的响应图.当前景和背景区分度较大时，置信图的总体方差较大；当前景和背景区分度较小时，置信图的总体方差较小.如图1所示，图中置信图总体方差大，但是丢失大量外部信息，造成后续跟踪效果较差.

图1 由左至右：原图，方差较大的置信图

主旁瓣比(Peak-to-Sidelobe Ratio)，在数字信号处理中有广泛的应用，其主要功能是评价置信响应图中的峰值强度.通过对文献[9]的学习，主旁瓣比的跟踪可靠度可以很好地用在图像处理方面.本文结合置信图方差，构造主旁瓣比的评价函数，提高模型特征的泛化能力.

主旁瓣比的评价函数模型中心思想是：设R(X)为置信响应图，设Φ是以峰-峰值为中心并占响应区域15%的旁瓣区域.评价函数希望将该部分区域进行保留，同时不影响真实目标区域，所以构造函数特征评价模型如下式：

式中，μΦ和σΦ分别代表置信相应图中排除Φ区域后的均值和方差，max(R(X) )为置信响应图峰-峰值.由函数模型可知，当置信响应图中目标的峰-峰值越大，s(X)越大.本文把s(X)作为跟踪好坏的评估函数.

4.2 自适应权重融合

我们在提取特征后，需要对不同的特征进行一定比例的融合，并建立我们的模型.这个比例就是我们所说的权重值.具体方法分为两种：固定权重和自适应权重.

对于固定权重，就是对每个提取的特征在wi∈[0，1]之间添加权重值建模.该方法的随机性，影响我们的跟踪效果以及时间成本.所以本文并未采用该种方法.

自适应权重是依据监督学习的机制，对每一帧进行权重计算，提高对每一帧目标的跟踪精度.当然，会增加大量的运算，但是我们通过硬件设备的支持，可以尽可能地增加速度.

5 实验研究

5.1 数据库

我们采用德国卡尔斯鲁厄理工学院KIT_IPF提供的数据.该数据由无人机在高度为1 500 m，由三个摄像头完成拍摄任务.该视频只提供了少量训练集，尚未有测试集.数据集具体详细信息如表1.

表1数据集信息

5.2 车辆跟踪算法框架

图2 无人机场景车辆跟踪算法框架

本文算法采用RGB模型构建目标模型，通过置信响应图主旁瓣比选择机制进行特征选择.采用自适应高斯权重对各特征进行融合，以基于核函数和尺度估计的相关滤波为主要跟踪框架，通过逐帧更新滤波器分母与分子的机制，提高了跟踪框架的时间成本和精度.具体算法框架如图2.

5.3 实验结果与总结

整个实验依托MATLAB R2016b平台之上，使用机器的具体参数为：2.4 GHz英特尔酷睿i7四核处理器，内存为4 GB，GPU为NVIDIA GTX 860.实验中，对于单张图片处理的时间为3～4 s.由于采用三通道RGB模型，所以初始权重值为1/3.由于数据集中目标众多，所以，我们选取了多帧图片中目标出现次数大于10的目标作为对象.

实验中主要对比两种算法框架在固定权重阈值设定下的目标跟踪精度，并且验证本文目标跟踪算法在不同权重阈值下的车辆目标跟踪精度.

我们采用精度图(Precision plot)作为比较标准.我们计算跟踪目标位置的跟踪误差，公式如下：

式中，假设该视频共有F帧，针对选定的一个目标，第f帧中该目标位置的值为[tx(f)，ty(f)].跟踪后得到的目标位置为[outx(f)，outy(f)].

在计算精度时，我们设置阈值Threshold = [1，2，…，20]，则在阈值Tm的精度值为：

在实验中，我们设定目标跟踪位置均为整数，因此loss值不会出现为0的情况.

1)算法精度对比实验.我们根据不同阈值，获取两种算法跟踪精度，得出结果.表2和图3显示的是我们针对两种目标跟踪算法的精度对比.

由图表结果可知，在阈值T=10后，两者算法精度趋于稳定.同时验证本文所提出的算法相对于传统核相关滤波算法有较大的精度提升.同时，也验证在普通环境下跟踪精度较好的核相关滤波算法，并不完全适用于无人机场景下的车辆跟踪.

表3Tm=10处不同权重值精度比较

2)权重对比实验.权重对于特征模型构建有极大影响，并影响着跟踪精度.另外，阈值T的不同对于权重的影响也不同.根据上述实验，在Tm=10时，阈值的前后精度波动较小，精度趋于稳定.所以，本文就在阈值Tm=10处，找出更加适合本文应用的构建特征模型的权重值，比较结果如表3.

通过无人机车辆跟踪算法基本框架，数据集选择，实验过程与结果分析，可知本文采用的置信图方差结合主旁瓣比的特征选择方式，最高跟踪精度可以达到0.69，相对于传统的目标跟踪算法，精度上有较大的提升.同时，本文算法也保证了实时性，计算量较小.以此可知，本文无人机场景车辆跟踪算法具有一定的优越性.

6 结语

本文主要以无人机场景下车辆目标跟踪为核心，以构建RGB颜色模型为基础，通过置信图主旁瓣比结合的方式提取特征，并在基于尺度估计的核相关滤波算法框架下，实现了鲁棒性较好的无人机车辆目标跟踪.结果归纳如下：

1)本文提出将尺度估计加入核相关滤波算法的目标跟踪框架，使本算法具有更高精度；

2)本文采用置信图方差与主旁瓣比结合方式进行特征选择，能更好地完成特征目标提取；

3)构建颜色模型，虽然增加运算，但能提升算法精度.

但本文仍有跟踪效率低，跟踪效果有待提高的问题.如何采用更加优秀的跟踪算法框架(深度学习框架)，优化算法精度以及速度，还有待进一步的深入研究.