多特征重检测的相关滤波无人机视觉跟踪

董美宝 ，杨涵文 ,2，郭 文，马思源 ，郑 创

(1.山东工商学院信息与电子工程学院，山东 烟台 264005；2.山东省烟台第一中学，山东 烟台 264000)

目标跟踪作为计算机视觉领域最基本的问题之一，其应用遍布多个领域，如人机交互、视频监控、无人驾驶等。尽管多年来，目标跟踪领域发展迅速，涌现出大量优秀的算法，但由于涉及到的领域不断更新，对目标跟踪算法的要求也随之提高。低空无人机目标跟踪作为刚刚兴起的一个领域，机遇与挑战并存。除了传统目标跟踪中一直存在的问题，如光照变化、几何变化、局部遮挡、快速运动、背景杂波等，由于无人机系统的飞行高度、飞行姿态不稳定、飞行速度较慢等因素，与传统目标跟踪相比，其获取的影像的像幅小、分辨率不高、畸变大，给跟踪带来了较大的困难和挑战。本文的研究是基于在传统跟踪数据集上表现良好的 KCF跟踪器，解决无人机目标跟踪在低分辨率小幅图像表观下出现的跟踪失败的问题。

1 相关工作

1.1 相关滤波算法

作为目标跟踪领域的重要进展之一，相关滤波以其准确和高效吸引了大量的关注，与其他跟踪算法相比，相关滤波在不同数据集上的表现都显示出其强大的性能，尤其在遮挡等条件下，具有更高的鲁棒性和准确性。文献[1]提出的最小输出平方误差滤波器是最早将相关思想应用到目标跟踪领域的跟踪器，使用峰值旁瓣比检测遮挡，使得目标重新出现时跟踪器能够及时恢复跟踪。文献[2]提出的循环结构核滤波器是使用核技巧的非线性相关滤波器，可以用于冗余类相关特征分析，能够在进行人脸识别时具有更好的鲁棒性。核相关滤波跟踪算法[3]是在相关滤波的基础上加入了核函数的算法，使用多通道的HOG特征代替单通道的灰度特征，在采集样本过程中使用循环矩阵来增大运行效率，利用傅里叶对角化使计算效率明显提高。文献[4]提到的具有特征集成的尺度自适应核相关滤波跟踪算法，在传统的核相关滤波跟踪器基础上，提出尺度自适应方案来处理固定模板尺寸的问题，并通过将HOG和颜色命名等特征融合在一起，进一步提升跟踪器的整体性能。文献[5]利用分块的思想，将目标分为不同的模块，并对其各自的响应进行加权拟合，使用峰-旁比(peak-to-side ratio，PSR)和光滑约束置信图(smooth constraint of confidence maps，SCCM)对每个模块的参数进行限制，从而实现更好的跟踪效果。文献[6]训练出一个在线随机蕨丛分类器，在跟踪失败的情况下，对目标进行重新检测，增强了跟踪器的跟踪效率、精确度和鲁棒性。该方法对长期视觉跟踪的问题具有较好的效果，但跟踪速度慢。文献[7]提到的算法是通过基于尺度金字塔表示来学习判别相关滤波器，由于其是独立的，因此可以与任何没有尺度估计的滤波器相结合，实现更好的性能。文献[8]提出了一种结构相关滤波器，用于模拟目标外观，实现鲁棒的视觉跟踪，所提出的循环相关粒子滤波模型将基于部分的跟踪策略融合到相关滤波跟踪器中，并利用所有部分的循环移位进行运动建模以保持目标对象结构，此算法不仅在计算效率与鲁棒性上具有相关滤波算法的优点，对解决遮挡问题也具有较好的效果。

1.2 无人机目标跟踪

如前文所述，无人机目标跟踪相较传统目标跟踪具有更大的难度。针对这些难点，国内外的研究人员已经提出了不少改进算法。例如在解决遮挡方面，文献[9]提出的方法能够对目标位置、方向和尺寸等进行估计，使用粒子滤波器处理遮挡、图像噪声等多种问题；文献[10]通过将粒子滤波与P-N在线学习结合的方法，解决了跟踪过程中的短暂遮挡等导致的跟踪失败的问题；文献[11]为了解决自适应均值漂移算法对相似对象和目标遮挡的问题，融合局部特征和颜色特征，实现了对目标的有效跟踪。另外，无人机目标跟踪在其他方面的研究也有所突破，如文献[12-13]提出利用图像信息和机载传感器信息等跟踪地面目标。文献[14]提出了一种能够实现城市交通行为的高水平情况感知的系统，采用彩色图像和热图像的输入序列，用于构建和维护目标结构并实时识别被跟踪车辆的交通行为。文献[15]开发出COCOA跟踪系统实现对目标的自动跟踪。文献[16]提出的新型跟踪系统，完全在四旋翼飞行器上运行，无需依赖外部定位传感器或GPS，在闭环控制中应用低频单目计算机视觉算法来跟踪已知颜色的物体。文献[17]提出了一个集成到飞机中的实验性Sense and Avoid系统，用于检测和跟踪其他具有电光传感器的空中物体。文献[18]提出的算法使用零均值归一化互相关来检测和定位图像中的对象，并用卡尔曼滤波器来提高跟踪算法的效率。尽管低空无人机目标跟踪的研究取得了一定的成果，但低空无人机目标跟踪尚处于发展阶段，仍有许多问题需要解决。

1.3 本文工作

KCF算法作为相关滤波类的经典算法，以其强大的计算效率以及良好的性能被关注，在快速运动等方面表现尤为突出，KCF算法在常规目标数据集如 OTB50上实验结果名列前茅，但在无人机跟踪数据集UAV123的表现却并不理想，跟踪图像分辨率低，像幅小是导致跟踪失败的主要原因之一。针对此类问题，本文提出了多特征重检测相关滤波跟踪框架，如图1(以OTB50中视频Jogging-1为例)所示。在该方案中，为了应对图像像幅小、分辨率低的挑战，除了使用简单的低层灰度表观特征，还使用了HOG特征和颜色命名特征，通过设计多特征融合的KCF表观模型，得到更鲁棒的目标表观。另外，为进一步避免跟踪失败，在 KCF跟踪框架下进行跟踪时，将对每帧图像跟踪是否成功进行判断，当跟踪失败时，跟踪器会进入到重检测机制，重新进行位置检测，并通过模型更新阈值的限制，对目标位置进行有效更新。

图1 本文算法流程图

本文的贡献在于：①设计了基于核函数的多特征融合表观模型，提高了目标特征的判别性。②加入了重检测机制，有利于缓解跟踪的漂移问题，提高跟踪的精度。通过本文提出的算法，使得无人机在进行目标跟踪时具有较好的性能，在低空无人机数据集上的精确度和成功率均取得了较好的结果。

2 核相关滤波跟踪算法(KCF)

KCF跟踪器具有良好的性能，其关键在于在采集样本过程中设计使用了循环矩阵增加了跟踪检测分类器训练负样本的数量。增加的负样本可以很好的提高分类器的判别性，进而提高跟踪效果来提高运行效率。本文简要介绍下 KCF的算法思想。该算法详细内容可参考文献[3]。

2.1 训练相关滤波器

KCF跟踪器提出在图片块上训练一个相关滤波器来建模目标表观。将目标及周围部分背景作为搜索区域，得到一个大小为I×J的图像块x，通过上下移动不同的像素得到循环图像样本xi,j(i,j)∈(0,1,···,I–1)×(0,1,···,J–1)。由循环图像样本与其对应的高斯函数标签yi,j共同构成了训练样本集合。KCF跟踪器的目标则是找到一个满足如下优化目标的相关滤波器ω，即

其中，φ为核函数空间的投影函数；γ为正则约束系数。使用快速傅里叶变换计算相关性可以得到式(1)的最优解为

其中，系数β的计算为

其中，y=(y(i,y))；F和F–1分别为傅里叶变换及其反变换。

2.2 确定新帧跟踪目标位置

给定学习好的β和目标表观模型，跟踪的任务则是在新的一帧图像中，用I×J的搜索窗口得到的图像块z去计算相关滤波响应，即

其中，⊙为哈达玛积。通过找到的最大值位置即可找到跟踪的目标位置。

3 多特征重检测相关滤波跟踪框架

为了解决无人机视频分辨率低、像幅小引起的跟踪失败，本文在 KCF算法的基础上，融合灰度特征、HOG特征及颜色命名特征，并加入重检测机制，使得无人机在对目标发生跟踪偏移时，及时进行自我修正，从而实现对目标跟踪的优化。

3.1 多特征融合

由 KCF跟踪器的跟踪过程可以看出，要找到最终的目标位置，关键在于求相关滤波响应的最大值。由式(3)和式(2)可以看出，的求解关键在于2个内积。由于φ是核空间的投影函数，因此其内积可以用核相关函数计算 。 定义核函数，则内积可分别表示为Kx,x和。本文引入高斯核相关函数来计算循环矩阵高维空间内积，即

由(5)可得，核相关函数的求解仅需要计算点积和向量的模。如此处理，可以方便的将多特征引入KCF跟踪器中。

假设表观x=[x1,x2,···,xD]由D个特征级联得到，则式(5)可以改写为

如此，便可以将多种特征融合到 KCF跟踪框架中，从而提高框架的鲁棒性。本文中采用了3种典型的特征，分别是灰度特征、HOG特征和颜色命名特征。灰度特征是跟踪中常用的低层简单特征；HOG特征则强调图像的梯度，计算离散方向以形成直方图，是视觉领域最受欢迎的特征之一[19]；颜色命名特征又叫颜色属性，更加注重目标对象所包含的颜色信息，是人类在语言上用来描述颜色的标签，颜色标签空间中的距离更类似于人类感觉，因此是比 RGB空间更为优越的透视空间。颜色命名特征已经在很多视觉领域表现优异，比如目标识别、目标检测和行为检测[20-21]。本文采用文献[22]描述的映射方法将RGB空间转换为颜色名称空间，这是一个 11维的颜色表示。颜色名称提供对目标颜色的感知，通常包含目标的重要信息。3种特征的融合将大大提高跟踪器的工作效率。

3.2 重检测机制

根据相关滤波的原理以及文献[1]的实验数据得知，在跟踪过程中，目标发生遮挡时跟踪失败，最大响应值会减小，本文算法利用了此特点，使得响应值在小于给定阈值时，进行重检测更新。

在跟踪失败的情况下，当重新进入搜索区域时，跟踪过程需要一个重新检测模块。另外，不同于以往的跟踪器[23]中对每一帧都进行重新检测，由于这个滤波器是在高维HOG特征空间训练的，为了提高计算效率，对于目标的重新搜索和检测，并不使用相关滤波器来扫描图像的所有帧，而是使用了一个触发机制，当置信度在小于给定的阈值θ1时，会激活重检测方案。

进入到重检测循环后，利用滑动窗口进行2倍搜索区域搜索，将每个窗口的响应值存储到矩阵中，取出其中响应值最大的窗口，将其与阈值θ2进行比较，如果大于此阈值，则更新坐标值，否则不进行坐标值更新。

该算法有效地缓解了由于遮挡时模型更新导致的漂移，在复杂的图像中具有较好的鲁棒性。加入重检测后的多特征融合KCF算法流程如下：

(1)对第m帧的搜索区域进行特征提取，利用公式(1)~(4)求得I×J图像块中每一帧的置信度，得出对应的pos值P1；

(2)将每一帧的置信度与阈值θ1进行比较，如果小于此值，则判断为跟踪失败，进入重检测机制，否则按照原算法更新；

(3)在重检测循环内，利用滑动窗口对搜索区域的2倍进行分割采样，求得每个滑动窗口的置信度，构成置信度矩阵；计算出置信度矩阵中数值最大的图像块，得出对应的pos值P2；

(4)判断是否进行模型更新：若图像块的置信度大于阈值θ2，对pos值进行更新；否则不更新。

4 实验结果分析

为了验证本文算法性能，在无人机视频库中[22]进行了相关的实验对比。视频以及原始信息均来自于文献[24]所提出的基准库UAV123。本文选取了7个具有公开代码的跟踪算法进行了实验比较，分别为核相关滤波跟踪算法[3]、增量式学习算法[25]、循环结构核跟踪算法[2]、正负约束学习跟踪算法[26]、迭代凸优化[27]、压缩感知跟踪算法[28]、分布场跟踪算法[29]。

4.1 实验设置

本文算法在核相关滤波跟踪算法的基础上，加入了颜色命名特征和重检测机制，优化了在目标跟踪过程中容易出现的目标遮挡、低分辨率、快速运动等因素引起的干扰。算法的执行程序为Matlab2016，实验的硬件配置为Intel I5,2.5 GHz处理器，8 G内存。

重检测选择区域为搜索区域的2倍。重检测算法流程中的参数分别为θ1=0.30，θ2=0.31。为了对比实验的效果，其余所有跟踪算法使用的都是原始参数，并且已经设定好的参数在整个过程中保持固定。本文使用的15个视频序列均来自UAV123视频基准库。

4.2 实验结果

为了定量比较本文算法与原有算法在性能上的不同，实验采用了精确度和成功率评价不同算法的跟踪结果。为了检验跟踪效果，采用的对比指标有：

(1)中心位置误差，实际跟踪结果的中心位置与真实结果中心位置的欧式距离；

(2)重合率，跟踪框和实际标注框的交并面积比，是准确度的衡量标准。

本文中根据成功率曲线(重合率大于给定阈值的视频作为成功跟踪的帧)描述算法在视频上的效果，当阈值从0到1变化时，记录成功跟踪的帧数占视频总帧数的比率。使用一次通过评估(one-pass evaluation，OPE)策略与其他先进的跟踪器进行实验对比。

4.2.1 定量实验对比

对比其他 7种算法的总体精确度曲线和总体成功率曲线，本文算法的总体精确度和成功率均好于其他几种算法，表明本文算法具有良好的整体性能。图给出了无人机视频序列中总体成功率曲线和总体精确率曲线。为了全面评估跟踪算法在 UAV123基准库不同难度属性的性能，图和图分别给出了各个跟踪器在前述 8个难点属性上的成功率和精确度曲线。通过对比可以看出，本文算法在快速运动、局部遮挡和尺度变化 3个方面表现优秀，但其他方面如复杂背景等仍有改进的空间。

4.2.2 定性实验结果及分析

为了将跟踪结果可视化，本文将部分视频的难点属性和部分跟踪结果进行了详细的分析，图5给出了部分跟踪结果的示例。

图5(a)从左至右依次为第13，52，108，213，243帧。该测试视频展示的是自行车行驶的场景。该视频的主要难点属性在于尺度变化、低分辨率、局部遮挡、光照变化和复杂背景。由图可知，随着光照、尺度等因素的变化，各种跟踪器在108帧分化严重，尤其是CT跟踪器从第52帧就出现偏差。本文算法在诸多干扰要素同时存在的情况下，依然可以很好地跟踪目标，体现了其鲁棒性。

图(b)从左至右依次为 1，2，159，313，498帧。该测试视频展示的是船在水面行驶的过程。影响该视频跟踪的主要因素有尺度变化、低分辨率和视点更改。目标距离由远及近，目标对象的尺度和视点也随之改变。另外，初始位置时船的距离较远，目标尺度较小，分辨率较低，导致很多跟踪器后续的帧依然跟不上。从测试结果中可以看出，本文算法在应对尺度变化、低分辨率和视点更改问题上具有较好的效果。

图2 UAV123总体成功率曲线和总体精确率曲线

图(c)从左至右依次为第 7，73，123，240，634帧。该测试视频展示的是汽车在不同弯度路面行驶的场景。该视频的跟踪难点有尺度变化、相似对象、低分辨率、快速运动、视点更改和局部遮挡。从图中可以看出，汽车在笔直的路面行驶时，不同的跟踪器均可以很好地跟踪目标，当汽车开始出现转弯等情况时，目标会出现尺度变化等问题，对跟踪器的跟踪过程产生干扰，本文的跟踪器则可以较好地应对尺度变化、局部遮挡等变化。

从整体的结果中可以看出，本文算法在像幅较小，分辨率较低的情况下，应对快速运动、局部遮挡和尺度变化等挑战具有良好的表现，而这也是无人机目标跟踪的难点所在。但是同时也可以看出，本文算法在光照变化、复杂背景和视点改变等方面还有改进的空间。

图3 UAV123不同难度属性上的成功率曲线

图4 UAV123不同难度属性上的精确率曲线

图5 部分跟踪结果示例

5 结论

本文针对无人机跟踪目标像幅小、表观不清晰、遮挡时易丢失等问题，提出了一种多特征重检测的无人机目标相关滤波跟踪方法，一方面通过多特征的融合提高了表观表达的判别性，另一方面在目标发生遮挡时，可以对搜索区域进行遍历搜索，找到置信度最高的目标，从而增强跟踪器的鲁棒性，提高了跟踪精度。需要指出的是，本文算法在光照变化、复杂背景和视点改变等方面的表现不太理想，还有待进一步提高。