自适应多尺度颜色特征目标跟踪算法研究

李晓云， 何秋生*， 张卫峰， 梁慧慧， 陈 伟

(1.太原科技大学 电子信息工程学院，山西 太原030024; 2.中国矿业大学 计算机科学与技术学院，江苏 徐州221116)

1 引 言

视觉目标跟踪是一项具有挑战性的任务，在光照和尺度变化、遮挡、背景杂乱以及快速运动、运动模糊的影响下，跟踪会变得非常困难。

跟踪算法由早期的均值偏移算法(Mean Shift)[1-3]、粒子滤波算法[4-6]、支持向量机(SVM)[7-9]到多示例学习[10-12]，之后相关滤波器算法在跟踪过程中的快速性被大家关注。Bolme 等[13]是最早提出将相关滤波用于目标跟踪，将设计的最小平方误差和输出(Minimum output sum of squared error, MOSSE)采用简单的灰度特征训练滤波器，然后根据响应的最大值确定跟踪目标位置，虽然跟踪速度很快，但是跟踪精度略有欠缺。之后大家开始致力于提高跟踪算法的精度，并取得了不错的效果。Henriques等[14]提出CSK算法，在相关滤波的基础上引入循环矩阵，解决脊回归问题，提高了算法的精确度，但是由于仍然采用灰度特征，对目标变形、尺度变化、背景杂乱以及快速运动等问题的鲁棒性较弱。文献[15]提出的KCF算法，将HOG特征应用到跟踪算法中，使得跟踪精度提高，但是当目标快速运动、尺度发生变化及运动模糊时，容易导致目标跟踪失败。 Bertinetto等[16]提出Staple算法，将颜色直方图特征和HOG特征以一定的融合因子进行融合，然后利用融合后的特征训练滤波器，跟踪精度提高，但是跟踪速度大幅度降低。Galoogahi等[17]提出BACF算法，在跟踪过程中考虑背景信息，解决了目标遮挡、快速运动等问题，且提高了跟踪精度，但对目标尺度变化的适应性不强，跟踪速度也有所下降。文献[18]和文献[19]将深度特征应用到跟踪算法中，虽然深度特征对跟踪精度有一定的提高，但是跟踪速度大幅降低。

上文列举的跟踪算法及现存的大多数跟踪算法都没有解决目标尺度变化的问题。如果目标缩小，滤波器就会学习到大量的背景信息，如果目标扩大，滤波器就会受到目标局部纹理的影响，这两种情况都有可能出现非预期的结果，导致跟踪漂移和失败[20]。Danelljan等[21]首次将CN(Color name)应用到目标跟踪中，通过将11 维特征用PCA 进行降维抽取，再采用CSK 跟踪算法实现跟踪，跟踪精度相对较高，但它在目标尺度变化、部分遮挡以及发生形变时，效果不太理想[22]。本文提出基于颜色属性的多尺度目标跟踪算法，解决尺度变化问题，实现自适应颜色特征的多尺度目标跟踪。

2 颜色视觉跟踪

颜色特征拥有丰富的表现力和较高的辨识度，CN算法将原始的RGB颜色空间映射到11维颜色属性空间[23]，对目标在跟踪过程中易受环境变化的问题具有一定鲁棒性。算法融合了灰度特征和颜色特征，对每一个特征通道，都经过Hann窗做预处理，最终得到灰度和颜色的综合特征表示[24]。

颜色特征提取完成后，然后对特征进行处理，实现跟踪[10]。CN算法是判别式跟踪方法，根据分类器响应最大值确定新一帧目标的位置。所以跟踪问题最主要的就是分类器设计[25]。

(1)

式(1)的解可表示为输入的线性组合，即

(2)

损失函数最小时应满足：

(3)

(4)

3 改进的CN跟踪算法

原始的CN算法是在CSK算法上进行的改进，但是没有解决尺度变化的问题。文献[26]提出一种基于 MOSSE滤波器的尺度估计方法，本文受其启发在CN跟踪算法的框架下，增加了尺度估计策略，以实现自适应尺度目标跟踪。

3.1 尺度估计策略

在跟踪过程中，目标因运动其尺度经常发生变化，如果算法不能适应目标的尺度变化，那么分类器的输出就会受到一定的影响，从而使得跟踪效果不佳。本文所采取的方法是，首先对目标位置进行估计，其次根据估计位置区域的信息进行尺度估计，最后根据尺度估计结果更新目标的跟踪结果。而尺度估计是通过相关滤波器去检测目标尺度的变化，从而能够依据目标尺度变化合理地限定搜索区域。尺度估计的特征提取过程如图1所示。

图1 尺度估计的特征提取过程Fig.1 Feature extraction process of scale estimation

3.2 快速尺度跟踪

考虑到特征提取过程中计算量大的问题，本文采用双线性插值的方法将3.1节中得到的33个特征矩阵的维数统一为初始目标区域特征的维数，然后对双线性插值后的33个特征矩阵进行整合，得到目标的尺度特征矩阵xscale。此外，采用正交三角分解对特征进行降维，减少计算量。

3.2.1 降维

(5)

3.2.2 降维尺度跟踪

(6)

(7)

在目标跟踪中，由于相邻两帧中目标的尺度变化很小，为此先利用位置核相关滤波器检测出目标位置，然后在周围采集样本，利用尺度核相关滤波器检测出目标尺度，这样就完成了目标位置和尺度的检测。

3.3 本文算法流程

本文跟踪算法中在进行位置滤波和尺度滤波时，均采用高斯函数输出，目标特征选用多通道的颜色特征和灰度值。首先对特征通道采用Hann窗进行预处理，然后提取目标特征，进行降维处理，计算响应值，最后更新目标位置和尺度。具体的算法流程如下所示：

Input:输入图像patch It ;上一帧的位置Pt-1和尺度St-1;位置模型APt-1、xPt-1和尺度模型ASt-1、xSt-1。Output:估计的目标位置Pt和尺度St;更新位置APt、xPt和尺度模型ASt、xSt。

其中：

位置评估:(1)根据视频前一帧的位置,在当前帧中按照前一帧目标尺度的2倍提取颜色特征Z;(2)利用Z和APt-1、xPt-1,计算y;(3)计算max(y),得到目标准确的位置Pt。尺度评估:(4)以目标当前位置为中心,提取33中不同尺度的颜色特征Z’;(5)降维到17维,再使用Z′和ASt-1、xSt-1计算出yS∧;(6)计算max(yS∧),得到目标准确的尺度St。模型更新:(7)提取样本fP和fS;(8)更新位置模型APt、xPt;(9)更新尺度模型ASt、xSt。

4 实验评估及结论

为了验证本文算法的跟踪效果，选取了OTB2015数据集中13个挑战性的视频进行测试，此数据集提供精准的Ground truth和初始框的位置和大小，以便计算跟踪精度。本文与近几年来跟踪性能优异的10个算法进行对比，包括CSK、KCF、SAMF 、SRDCF、DCF_CA、MOSSE_CA、STAPLE_CA和SAMF_CA以及CN。

本文主要从跟踪的准确性和尺度变化上对算法的跟踪效果进行评估，为了方便对比，选取的对比算法均采用默认参数。本次实验机器配置是：中央处理器为Intel Pentium CPU G3250 @3.20 GHz，运行内存4 GB，64位操作系统。软件环境为：Win7 + Matlab2014。

4.1 快速尺度估计

在3.2节中，对原始的尺度估计进行降维处理，下面将具体分析尺度相关滤波器的维数对跟踪性能的影响。

图2 尺度滤波器维数与跟踪精度的关系Fig.2 Relationship between dimension of scale filter and tracking accuracy

如图2所示，当维数从33维逐渐减小的过程中，一段范围内跟踪性能基本保持一致。Y轴的跟踪精度表示在跟踪过程中的成功率，即算法计算所得的目标区域与真实目标区域的比值。结果表明，当维数设置为17时，不仅能够保证跟踪性能，而且还可以显著降低特征的维数，提高计算速度。

4.2 性能分析

性能分析主要分为 3 个部分：中心位置误差、跟踪成功率和距离精度。

4.2.1 中心位置误差

4.2.2 距离精度

4.2.3 跟踪成功率

表1 中心位置误差结果汇总表(最优结果用粗体显示)Tab.1 Summary of central position error results (the optimal results are shown in bold)

表2 跟踪精度结果汇总表(最优结果用粗体显示)Tab. 2 Summary of tracking accuracy results (optimal results shown in bold)

表3 跟踪成功率结果汇总表(最优结果用粗体显示)Tab.3 Summary of track success rate results (best results shown in bold)

4.3 实验结果

从表1～3可以看出，在跟踪性能方面，本文提出的算法优于其他算法，在随后的图3～5中将给出本算法在跟踪过程中的部分视频帧截图，能更直观地体现跟踪效果。

4.3.1 尺度变化

在跟踪过程中，目标会发生尺度变化，影响跟踪精度。在图3所示的视频帧中，Dog1视频在跟踪过程中尺度变化明显，从图1的第一行可以看到，运行到第590帧，所有算法基本跟踪正确，但是到了第908帧，目标尺度变大，可以看到，只有本文的算法以及算法STAPLE_CA、SRDCF能够自适应尺度的变化，尤其在第1 039帧表现最为明显。在后续帧中，目标尺度变小，本文算法也能自适应其尺度的变化，成功跟踪目标。在第2行视频帧Doll中，第886帧目标变大，已有大部分算法不能自适应其尺度的变化。在第1 637帧及之后，算法CSK和MOSSE_CA就已经开始偏离目标，跟踪失败。在第3行Fleetface视频帧中，第614帧，目标不仅尺度发生变化，而且目标具有一定程度的旋转，本文算法表现出良好的跟踪效果。在第663帧和第693帧中，算法CN已跟丢目标。第四行视频帧Dudek中，大部分算法虽然成功跟踪，但未能很好的自适应目标尺度的变化，从而影响其跟踪成功率，而本文算法在该视频中仍能达到100%的跟踪成功率。

4.3.2 快速运动与运动模糊

在跟踪过程中，目标运动速度快，会使目标产生模糊的画面，对于跟踪是一个巨大的挑战。在图4所示的视频中，第1行是Jumping视频的跟踪结果截图，因目标范围小，运动速度快，运动过程中画面模糊，所以很多算法在此视频帧中跟踪失败。从图中可以看到，在第25帧、36帧、48帧、86帧以及186帧中，除了SRDCF和本文的算法之外，其他算法均不能准确跟踪目标。SRDCF在算法中对尺度做了相应的处理，并在算法中加入惩罚项，能够准确跟踪目标。第2行的Deer视频中，从第25帧可以看到，DCF_CA和SAMG已经偏离目标，在第28帧时，KCF算法也已跟踪失败，虽然之后又成功跟踪，但是跟踪成功率下降。第3行Boy1视频中，目标不仅具有快速运动的特点，而且在尺度方面也有一定程度的变化，第508帧中CSK开始偏离目标，第513帧已完全偏离。在第4行Fish视频中，大部分算法跟踪准确，但是CSK和CN算法偏离目标。本文算法在这组视频中，跟踪效果均优于其他算法，在Jumping视频中表现最为明显，取得了99.8%的跟踪成功率。

4.3.3 光照变化与背景杂乱

视频中经常会有光照变化明显以及杂乱的背景信息，在跟踪过程中处理这些干扰是一个很大的难题。图5所示的第一行是Shaking视频，该视频光照变化大，而且目标与背景颜色相似，背景也非常杂乱，仅在第5帧中，MOSSE_CA已经偏离目标，第22帧中，只有CSK、SAMF_CA和本文算法跟踪成功。第69帧、162帧和239帧中，DCF_CA也表现出良好的跟踪效果，除此之外，其他算法均跟踪失败。第2行的Skating1视频中，不仅光照变化明显，背景复杂，而且目标还有一定程度的尺度变化，对于不能自适应尺度变化的算法来说，跟踪成功率不高。第82帧时，SAMF_CA就已经开始偏离目标，第30帧已完全偏离目标。在第267帧、291帧和362帧中，本文算法能够自适应其尺度的变化，跟踪效果优于其他算法。在第3行的Trellis视频中，第128帧MOSSE_CA开始偏离目标，第430帧MOSSE_CA、CSK和CN都跟踪失败。第四行的CarDark视频中，大部分算法都成功跟踪。在这组视频中，本文算法均取得了很好的跟踪效果，尤其在Shaking和Skating1视频中表现最为明显，以96.4%和89.5%的跟踪成功率优于其他算法。

图3 部分尺度变化的跟踪结果截图Fig.3 Screenshots of partial scale changes tracking results

图5 部分光照变化与背景杂乱的跟踪结果截图Fig.5 Screenshots of light variations and background clutter tracking results

5 结 论

本文提出自适应颜色特征的多尺度目标跟踪算法，将原始RGB图像映射到11维的颜色属性特征空间，从而实现了颜色特征的鲁棒表示。利用基于颜色特征的核跟踪方法对目标进行快速准确地跟踪。在尺度估计上，通过在目标周围矩形区域计算颜色特征，设计尺度相关滤波器，解决跟踪过程中目标尺度变化的问题。本文提出的自适应颜色特征多尺度跟踪算法拥有以下几个优点：

(1)对于目标尺度变化具有较强的适应性(如Dog和Doll序列的结果)；

(2)对于快速运动与运动模糊的视频，本算法运算速度快，能够以高精度成功跟踪；

(3)对于光照变化和背景杂乱具有较好的抵抗能力，这是因为将原始的 RGB 颜色映射到 CN 特征空间，提高了颜色表示的鲁棒性。

实验结果表明，本文算法既保持了颜色特征跟踪快速准确的优点，又很好地实现了尺度变化、快速运动以及背景干扰下的鲁棒跟踪。