结合多尺度改进颜色特征应对遮挡的跟踪算法
2019-07-05李健宁曹文君刘晓利
李健宁，曹文君，刘晓利
(南京理工大学 瞬态物理重点实验室， 南京 210094)
一直以来，基于相关滤波的跟踪算法凭借其鲁棒性强、计算量小、跟踪速度快等特点，获得了广泛的关注及应用，在历年来的视觉目标跟踪挑战赛中有着非常好的表现。
MOSSE算法[2]是最早将相关滤波算法应用于目标跟踪中，提取图像的灰度特征进行相关滤波等一系列操作，实现目标跟踪，速度高达669 fps，在同期算法中遥遥领先，但是精度很低。CSK算法[3]是在MOSSE算法基础上引用循环矩阵假设和核函数的思想，在同样提取灰度特征的前提下，跟踪效果却有了显著提高。KCF[4]在CSK的特征提取方面做了调整，提取图像的HOG特征使得单通道的图像特征扩展为多通道图像特征，有利于跟踪效果的提升。而CN[5]算法则是采用颜色特征代替灰度特征，结果显示颜色特征可以为跟踪算法带来卓越的性能，但是应对目标遮挡时表现效果不佳。此外，以上算法均没有解决目标尺度变化的问题，而DSST算法[6]在解决目标尺度变化问题时，采用的是将位置估计和尺度估计分开进行，先求最佳的位置，再求最佳的尺度，需要分两步计算。
由于特征对于一个跟踪系统来说至关重要，好的特征可以提高跟踪系统的准确率，因此本文提出了融合图像的颜色、HOG及灰度等多特征信息得到更具表现力的特征，增强跟踪器的精度。其次，但目标出现部分遮挡，甚至完全遮挡时，CN算法的表现效果极为不佳，本文提出引入尺度金字塔的方法[7]，在目标被遮挡后再出现时可以多尺度搜索目标，同时做到尺度自适应。与DSST的区别在于，取得最大值的点对应的图像即是位置最佳也是尺度最佳，实现尺度自适应跟踪。通过多特征的融合和尺度池的引用来改进CN算法应对目标遮挡问题。通过在数据集OTB-13[8]上进行跟踪实验，实验结果表明与一些传统的跟踪算法相比较，本文提出的改进算法在目标出现遮挡情况时跟踪精度有明显的提升。
1 CN相关滤波算法简介
CN是基于颜色特征拓展的CSK分类器，结合光照信息和复杂的颜色特征可以提供非常好的表现。本文工作是基于CN基础上，下面首先简要介绍该算法。
1.1 CSK分类器
CN算法以CSK分类器为基础，CSK是在一个单独的图像碎片中从目标中得到核心的最小方形分类器。CN算法使用了一个结构风险最小化的函数：
(1)
从式(1)可以看出，函数分为两部分，第1部分是一个损失函数，损失函数里的f(x)就是最后要求的判别函数；而第2部分是一个结构化的惩罚因子。CN算法采用核函数的最小二乘法求解方程，公式如下：
(2)
1.2 低维度自适应颜色属性
CN算法提出一种自适应维度减少的方法，能够在存储有用信息的同时大大减少颜色维数，从而有效提升算法的运行速度。降维方法使用的是PCA(主成分分析)中降维的思想，将11维特征降为2维。通过最小化代价函数，为当前帧p找到一个合适的降维映射，计算公式如下：
(3)
(4)
(5)
为获得鲁棒性好的映射矩阵，在式(3)中添加了平滑项如下：
(6)
2 多特征融合及尺度自适应的相关滤波跟踪算法
以CN算法的不足和缺点做出以下改进。
2.1 多特征融合
CN跟踪器在CSK跟踪器基础上联合颜色特征(Color Name)[5]和灰度特征来描述目标，大量的实验结果表明在背景复杂、目标旋转、非刚性形变等情况下，颜色特征在视觉跟踪中有着卓越的性能，但是当出现光照变化、目标遮挡或快速运动时，单独的CN很难有效地判别出目标，跟踪效果表现不佳。而HOG特征[9-10]恰恰弥补了CN的这个缺点，两者互补，从不同方面对图像进行表达。本文的多特征融合采用了一种简单的矢量叠加方式，核相关公式如下：
(7)
(8)
式(7)中x是传统算法中提取的单独特征，而式(8)中xC是三种特征的融合，⊗表示卷积操作。
2.2 特征压缩
特征的质量是影响跟踪器效果的关键因素，而特征信息的大小对跟踪器的速度也有着重要的影响。CN颜色特征与HOG梯度直方图特征的融合虽在很大程度上改善了跟踪器的性能，但是由于CN特征和HOG特征的维度过大，影响跟踪算法的计算速度。因此需要对特征信息进行一定的压缩降维操作。
本文采用PCA降维技术，通过线性变换将原始数据变为各维度都线性无关的表示，用于提取数据的主要特征成分。具体计算公式如1.2节中式(3)～式(6)。
2.3 尺度自适应
此外，CN算法无法应对目标出现遮挡和发生尺度变化，本文在目标搜索策略中引入尺度金字塔方法，使用双线性插值扩展图像的表示空间。在目标(ST=(Sx,Sy))附近多个尺度下提取候选区域的图像特征，在比较的阶段对当前候选区域的目标采样了k个尺度(S={t1,t2,…,tk})的计算，与上一帧的目标进行比较，将响应图中的最大值作为当前帧中的目标，以适应目标的尺度变化，计算方式如下：
(9)
其中，zti是tist尺度下的样本。
滤波器更新方式如下：
(10)
2.4 算法流程
本文提出的算法流程具体描述如下：
1) 循环采样k个尺度下目标样本调整尺度以适应响应计算，根据公式(8)计算响应值；
2) 在7个尺度下选取最大响应值对应的目标最终位置和尺寸；
3) 根据最终的位置和尺寸得到最新的目标模板，计算滤波器模型；
4) 根据式(10)更新滤波器模型；
5) 使用更新后的滤波器模型进行下一帧的跟踪。
输出：目标的位置和尺度，滤波器模型。
3 实验验证与结果分析
本文提出的结合多尺度测量改进颜色特征应对目标遮挡的跟踪算法根据权威评价指标在OTB标准数据集上验证了算法的性能，OTB-13包含51个被标注的视频序列，这些视频序列又包含了11种不同挑战因素。本文参考文献中的OPE评价方法，对改进算法的各方面性能进行分析。
3.1 实验环境及算法参数设置
本文改进的算法是在Matlab&Mex混合编译环境下实现的，计算机的配置为Intel Core i5-4200U CPU@1.60 GHz。算法中融合了灰度特征，降维处理后的颜色特征和HOG特征，尺度池采用了7个尺度。改进算法中的主要参数设置如表1所示。
3.2 多特征融合及多尺度比较性能分析
为探究特征的融合及尺度的多样性对跟踪器性能的影响，实验分析结果如表1所示。
表1 主要参数设置
如图1所示，单独使用灰度特征、单独使用CN特征、结合CN特征和HOG特征、在多尺度下只结合灰度特征和CN特征以及本文提出方法的特征，结果表明本文提出的在多尺度下结合3种特征的方法，无论是综合结果还是遮挡、旋转、尺度变化和快速运动等情况，跟踪效果都是最佳。
3.3 与CN跟踪器的对比分析
选取7组视频序列分别用改进的算法和CN算法进行跟踪测试，影响因素及跟踪效果如图2所示。
通过下述7组视频序列对改进算法进行定性分析，如图2所示，Jogging-1_1序列受全部遮挡影响，发生完全遮挡时，两个算法均停留在目标消失的位置，当目标再次出现时，CN算法仍停留在原处，而改进算法可以准确检测到目标，继续跟踪。Trellis_1序列发生面外旋转时，CN算法同时受复杂背景的影响，跟踪漂移，而改进算法可以很好应对这些影响继续跟踪。Car4_1序列中，在跟踪汽车行驶过程中，汽车存在尺度的变化，CN算法无法做到尺度的自适应且跟踪偏离目标中心，改进算法能够轻松适应尺度变化跟踪目标。Woman_1序列存在部分超出视野，CN算法定位在视野边缘，跟踪失败，改进算法可以有效跟踪。Faceocc2_1序列中目标出现面内旋转和遮挡，CN算法均偏移目标中心，改进算法能够始终准确定位跟踪。Fish_1序列中由于出现光照变化，CN算法发生漂移，改进算法却很好的锁定目标。Girl_1序列中包含面外旋转和语义遮挡干扰，发生面外旋转时，CN算法逐渐偏移目标中心，当出现语义遮挡时，CN算法无法捕捉目标，跟随干扰目标偏移，而改进的算法自始至终能够很好的捕捉跟踪正确目标。
表2是分别对CN和改进算法的跟踪结果。从表2实验数据可以看出：无论是从中心距离精度、中心位置误差还是重叠率的结果来看，改进算法都有着更高的性能。
3.4 与各主流跟踪器的比较
本文使用统一的评价指标与其他5种主流的跟踪算法进行了对比评价，算法中都使用了传统的手工提取特征，这些算法包括CN、CSK、KCF、DSST、CT。
如图3所示，在上述所有6种算法中，本文改进的算法NEW在数据集OTB-13上具有最好的性能。对OTB-13数据集中出现的遮挡、超出视野、快速运动转等3种挑战因素进行分析，可以看出：改进的算法NEW均能较好的应对，相比CN算法跟踪效果有显著提升。
图1 OTB-13数据集跟踪结果和4种挑战环境下的结果
中心距离精度/%CN改进算法重叠率/%CN改进算法中心位置误差(像素)CN改进算法Jogging-1_124.497.422.596.7100.07.25Trellis_179.4100.066.899.324.25.06Car4_120.6100.022.898.835.67.73Woman_125.093.824.388.8266.012.30Faceocc2_161.175.462.283.425.512.00Fish_139.9100.039.9100.037.66.66Girl_186.2100.052.898.411.64.13
图3 OTB-13数据集跟踪结果和3种挑战环境下的结果比较
4 结论
本文在CN框架下，提出了一种结合尺度金字塔改进颜色特征应对目标遮挡的跟踪算法。融合CN颜色特征，灰度特征和HOG梯度直方图特征，结合尺度金字塔，探究特征和多尺度比较对跟踪器在目标遮挡情况下的性能影响。多特征的融合可以更好地描述目标图像信息，提高跟踪器的精度和鲁棒性，而多尺度比较可以实现在发生目标遮挡后在一定范围内搜索目标，保证跟踪效果。上述的实验结果也表明，本文提出的算法在目标遮挡，超出视野，语义遮挡，面内旋转，面外旋转，尺度变化以及形变等情况下，都保持较高的性能和良好的鲁棒性，具有重要的理论和应用研究价值。
