相关滤波跟踪算法的特征分析

0 概述

视觉目标跟踪广泛应用于视频监控、机器人实时定位及无人驾驶等领域。相关滤波跟踪算法将跟踪问题看作是目标与背景的分类问题,并根据相关滤波器对两者产生的不同响应进行分类。跟踪算法的性能与诸多因素有关,但文献[1]发现,特征提取是影响整个跟踪算法性能的关键步骤,也是跟踪算法研究中的热门方向之一。

迄今为止,相关滤波跟踪算法中使用的特征主要包括灰度特征[2]、形状特征[3-5]、颜色特征[6-7]和纹理特征[8]。文献[2]提出最小化平方误差(Minimum Output Sum of Squared Error,MOSSE)算法,以图像灰度为特征,使用最小化平方误差准则在线训练目标模板,从而将相关滤波器运用到在线跟踪中。文献[6]在颜色名跟踪(Color Name Tracker,CNT)算法中使用了颜色名(Color Name,CN)[9]特征,在判别式尺度空间跟踪(Discriminative Scale Space Tracker,DSST)算法[4]中使用了描述目标形状与轮廓的改进梯度方向直方图特征(Felzenszwalb’s Histogram of Oriented Gradient,FHOG)[10]与灰度特征。文献[5]提出的核化相关滤波(Kernalized Correlation Filtering,KCF)算法使用了完整的FHOG特征,并用核化岭回归(Kernel Ridge Regression)模型,进一步提高了相关滤波跟踪算法的实时性及鲁棒性。

尽管相关滤波跟踪算法中对特征提取方法的研究已经积累了丰富的成果,但多数是出于提升算法跟踪性能的目的,分散地进行特征优化或多特征融合,其实验分析也多是对改进前后算法性能的比较。而实际上各种特征因不同的特点,所适用的场景也各不相同,如:灰度特征适合低分辨率场景,而形状特征则在目标形变场景下表现更突出。目前系统分析这些不同类型特征各自优势和劣势的研究较少。本文通过理论推导分析各类特征的描述能力,比较其在不同场景下的性能表现,并给出各特征的适用条件和互补条件,从而为特征选择及特征融合提供理论和实验依据。

1 KCF算法与核函数

KCF算法[5]完善了相关滤波算法的基本框架,取得了很好的跟踪效果。近年来流行的相关滤波跟踪算法[7,11]均以KCF为基础,因此本文的实验使用带有尺度预测的改进KCF算法。KCF算法使用核化的岭回归方法学习一个用于分类的相关滤波器,通过循环矩阵的方式实现密集采样,并在频域加速计算，这使得KCF算法拥有良好准确性、鲁棒性和实时性。

核化的岭回归方法采用正则化最小平方误差(Regularized Least Square,RLS)的原则训练分类器,即通过样本训练出滤波器模板ω,使得滤波器响应与对应的样本标签y之间的平方误差最小:

(1)

其中,xi是样本特征向量x的第i维分量,f(ω,x)=ωΤx是x的线性映射,yi是理想高斯分布,λ为正则化参数。

为增加非线性分类能力,核函数的方法被引入到模型中。在核函数方法中,样本的特征向量x被φ(·)映射到高维Hilbert空间中,从而使目标函数式(1)中:

(2)

高斯核函数可以表示为:

(3)

由式(3)进行泰勒展开可以发现,高斯核函数能够将原特征映射到无限维特征空间,在此空间进行RLS分类能够很好地提升算法的非线性分类能力。而线性核函数则不进行高维映射,仅相当于原特征空间的内积运算:

k(x,z)=xTz

(4)

根据文献[12]求解线性核函数假设下的滤波器模板ω后,可以得到当前帧的相关滤波响应:

(5)

其中,x是模板的目标特征,z为从当前帧提取得到的特征,符号^表示变量的频域形式。计算得到相关响应的最大值所在位置即为当前帧目标位置。

从式(5)中可以看到,目标的位置预测完全由当前帧提取得到的特征z与滤波器的相关响应决定。即在模板更新策略不变时,线性核作用下的跟踪表现可以直观反映特征的描述能力并作为其评价标准。因此,本文实验采用线性核函数进行分析和特征比较。

2 跟踪算法中的特征

目前,在视觉目标跟踪算法中使用的特征主要有：灰度特征,形状特征,纹理特征和颜色特征。

灰度特征直接使用图像的灰度值对目标进行描述，因其提取简单且特征维度仅有一维,被广泛地用于早期的单通道相关滤波跟踪算法中。为进一步简化计算、提高算法实时性,在算法实现中使用归一化的灰度特征,其提取效果见图1(b)。

形状特征通过提取图像中的边缘信息,产生目标外部轮廓及内部边缘的形状描述子对目标进行描述,不仅可区分目标与背景,还可以区分相似目标。文献[13]提出梯度方向直方图特征(Histogram of Oriented Gradient,HOG),由于其对目标形状有较好的描述能力,被广泛地用于视觉目标跟踪算法中。为了提高HOG计算的速度,文献[10]使用主成分分析的方法对其进行了降维处理,提出了FHOG特征。FHOG特征的可视化结果见图1(c)。

纹理特征通过描述图像中颜色与光强的空间分布,产生目标纹理的描述子,从而区分具有不同纹理的目标。在诸多的纹理特征中,文献[14]提出的局部二值模式(Local Binary Pattern,LBP)有计算量小、对噪声不敏感、对灰度和旋转具有不变性等优点,被广泛用于图像纹理特征的提取。而LBP“等价模式”[15]的提出弥补了原始LBP特征维度较高的不足,大大减少了描述子种类,使得LBP特征的提取与计算实时性更强,能更好地应用于跟踪算法中,其特征提取结果见图1(d)。

颜色特征是一种直观、易提取的图像特征,符合人类视觉的直观感受。近年来,CN特征取得了很好的表现,因此被广泛地用于跟踪算法中。CN特征将图像中的颜色信息投影到11种基础颜色上,并将归一化的各颜色分量作为目标的颜色特征描述子。相比于其他颜色特征,CN特征维数低,计算快,符合人眼对颜色细节不敏感的特点,对细微的颜色变化有较好的鲁棒性,其特征提取结果如图1(e)所示。

图1 视觉目标跟踪中常用的4类特征提取结果

上述特征分别从不同角度提取图像信息、产生特征描述子,因此在复杂场景下的适用性也有所差异。例如:光照变化时,灰度特征和颜色特征所受到影响较大;目标边缘模糊时,形状特征的描述能力下降;非自然图像中,纹理信息不足,不宜使用纹理特征。为弥补单一特征描述能力的不足,文献[4,7]相关滤波算法中采用了融合特征,并取得较好的跟踪表现。综上，本文充分发挥各个特征的优势,对跟踪性能进行研究,但如何合理地选择特征,仍然缺少理论和实验依据。

3 特征的分析对比

本文通过实验,根据线性核作用下各类特征的跟踪表现,详细分析各类特征在不同场景下的目标描述能力及影响目标描述能力的原因,并进一步探讨灰度特征、形状特征、纹理特征、颜色特征间的互补性。

3.1 评价标准及评价指标

为准确而全面地评价跟踪表现,本文分别使用OTB(Object Tracking Benchmark)[16]和VOT(Visual Object Tracking)[17]2种评价标准进行量化评价,并在2种评价结果冲突时使用主观跟踪表现加以补充。

OTB标准使用位置精度(Distance Precision,DP)曲线和重叠精度(Overlap Precision,OP)曲线评价跟踪表现,两者分别刻画了DP、OP小于不同阈值时的跟踪成功率。此外,OTB标准将跟踪序列细致地划分为11种具有挑战性的场景,能充分反映不同场景中的跟踪表现。本文使用了OTB100[18]和TempleColor128[19]2个标准跟踪数据集中共计160个不同的彩色序列进行实验。OTB标准的场景划分及其在数据集中对应的序列数如表1所示。

表1 OTB标准的场景分类

VOT标准为减少评价过程中的偏差,在算法跟踪失败后,重置跟踪框,以避免当前失败对后续测试的影响。根据算法的平均OP与失败次数,VOT标准使用精度和鲁棒性分级(Accuracy-robustness rank,AR-rank)对所有参评算法给出相对性比较,并用平均期望重叠度(Expected Average Overlap,EAO)评价算法实际跟踪表现。但VOT标准的场景仅划分为遮挡、光照变化、运动变化、尺度变化和相机运动5类场景,无法多方面地对比各类特征的适用场景。

3.2 特征的描述能力分析

通过2种评价标准对灰度特征Gray、形状特征FHOG、纹理特征LBP以及颜色特征CN在不同场景中跟踪表现的评价,可以对这几类特征的描述能力做详细的分析。

表2给出了各类特征在OTB标准中不同类别场景下的跟踪表现,其中，DP值采用20像素误差下的成功率,OP值采用50%重叠度时的成功率。表2中加粗与下划线标注表现最优特征,单一下划线表示次优特征。

表2 4类特征在彩色序列集下的跟踪结果 %

由表2可知,灰度特征均表现较差,FHOG特征除运动模糊场景外,均有较好表现,LBP特征在复杂背景和运动模糊中表现较优,但平均表现略差于FHOG与CN特征,CN特征仅在光照变化时表现较差。

在VOT标准中，4类特征在不同类别场景下的跟踪表现如图2所示。

图2 4类特征在不同场景中的平均AR-rank及EAO

从图2(a)中可以看出,VOT标准中灰度特征的精度和鲁棒性较差,FHOG特征具有最佳的跟踪精度,CN特征则有最优的鲁棒性,LBP特征的鲁棒性与FHOG相近,但精度略差。而在图2(b)中,VOT标准在光照变化与遮挡场景中的评价与OTB标准互相矛盾,因此图3采用主观跟踪结果。

如图3(a)所示,CN特征与灰度特征对光照变化较为敏感,跟踪表现较差,而在图3(b)中,FHOG与CN特征在完全遮挡的场景中的跟踪表现优于LBP与灰度特征。

图3 4类特征在光照变化与遮挡场景中的跟踪表现

上述结果表明:

1)在具有挑战性的复杂序列中,灰度特征均表现不佳,描述能力较弱,不宜单独使用。

2)FHOG特征在大多数场景中均有较好的目标描述能力,并在外观形变、遮挡场景中表现突出,此时目标的轮廓特征变化较为平缓,且存在只有部分轮廓发生变化的情况,这使得FHOG特征能够很好地描述目标。但在运动模糊时,目标轮廓特征和内部边缘细节都被弱化,导致FHOG特征的目标描述能力不佳。

3)LBP特征平均表现略差于FHOG与CN特征,但在复杂背景和运动模糊场景中表现更具优势,虽然此时目标的纹理细节被破坏,但其整体的纹理结构变化不大,使得LBP在此类场景下具有更强的鲁棒性。但在平面外旋转和遮挡场景中,因其包含了目标内部所有的纹理变化,相比于形状和颜色特征,所受到的影响更大,所以表现略差于FHOG与CN特征。

4)CN特征在彩色序列的大多数场景中表现优秀,尤其在低分辨率时,基于直方图统计的FHOG和LBP特征不能很好地描述目标,但CN特征仍表现较好。此外由于目标遮挡前后颜色变化一般较小,因此CN特征在遮挡时仍有良好地描述目标能力。但CN特征对光照变化较为敏感,且在灰度序列中无法使用,一定程度上限制了其跟踪表现。

5)在超出视野场景中,由于KCF算法缺乏相应的模型更新及重检测机制,使得这4类特征都无法取得较好的跟踪表现。

3.3 特征的互补性分析

通过上述实验得出,形状特征FHOG、纹理特征LBP以及颜色特征CN分别从不同角度构建目标的特征描述子,在复杂的复合场景中能够互相补充,从而提升对目标的描述能力。为对各类特征在不同场景中的互补性进行分析,本文采用特征向量串联的方式进行特征融合,融合所得的复合特征在各类场景下的平均OP如图4所示。其中,OP值采用50%重叠度时的成功率。

图4 复合特征在不同场景中的平均OP分布

各复合特征在不同场景中的平均OP分布结果表明:

1)FHOG特征在外观形变和遮挡场景中表现突出,而LBP特征则在复杂背景、运动模糊场景中具有优势,两者在这4类场景中能够很好的互相补充。

2)LBP特征拥有较强的光照不变性,可以弥补CN特征对光照敏感的不足,两者融合亦可提高外观形变与遮挡场景中的鲁棒性,此外由于在运动模糊及相机运动场景中的出色表现,两者构成的融合特征在剧烈运动类场景中有很好适应性。

3)FHOG特征同样能够弥补颜色特征CN特征对光照敏感的不足,而CN特征的加入能够改善FHOG特征在运动模糊场景中的表现,两者融合能够在精度与鲁棒性上优势互补,且在遮挡和快速运动场景中具有很好的鲁棒性。

4)3类特征的组合从不同角度完善了对目标外观的描述,从而在目标旋转及目标超出视野的场景中均取得良好的表现。

虽然各类特征能够互相补充,但在不同场景中各类特征的互补性仍有所差异,因此融合特征的特征选择不能盲目选取不同种类的特征,亦要结合实际场景,选择互补性更佳的特征,如:文献[20-21]采用了各场景中互补性最佳的形状和颜色特征;文献[8,22]采用自适应融合了形状特征、纹理特征与颜色特征;文献[23]将FHOG、CN与灰度特征融合,均取得了良好的跟踪表现。

此外,由于灰度特征在这些具有挑战性的序列上均表现不佳,因此需要进一步的实验分析来对上述3类特征与灰度特征的互补性做出评价。本文实验使用串行融合方式,分别在FHOG、LBP和CN特征后串联一维归一化灰度特征,构成FHOG_Gray、LBP_Gray和CN_Gray 3种复合特征,以探讨各类特征与灰度特征间的互补性。

表3和图5给出了OTB标准下各特征与对应复合特征的跟踪表现对比。其中,表3加粗表示较优的特征,图5(a)中括号数据表示平均位置精度，图5(b)中括号数据表示平均重叠精度。实验结果表明:串联了灰度特征的FHOG_Gray特征在快速运动、运动模糊、光照变化与低分辨率场景中优于FHOG特征,而在复杂背景、外观形变及旋转场景中表现不佳;LBP_Gray特征在所有场景中都优于LBP特征,体现出良好的互补性;CN_Gray特征则只在快速运动、运动模糊与光照变化场景中优于CN特征,其余场景未能取得良好的表现。

表3 OTB标准中各特征与其对应复合特征的20像素误差成功率 %

图5 OTB标准中各特征及其复合特征的平均位置精度与平均重叠精度曲线

OTB标准下各特征与对应复合特征的跟踪表现对比表明,灰度变化趋势构成描述子的形状特征FHOG,灰度间关系构建描述子的纹理特征LBP与灰度特征具有较好的互补性,而通过图像RGB 3个子层的分量构建描述子的颜色特征CN则与灰度特征间互补性不佳。

4 结束语

本文描述相关滤波跟踪算法中的特征提取研究成果,并通过实验对灰度特征、形状特征、纹理特征和颜色特征的适用性和互补性进行评价。实验结果表明,形状特征在目标形变和遮挡场景中对目标描述能力较强,纹理特征更适用于运动模糊和复杂背景场景,颜色特征具有良好的鲁棒性,且在旋转、遮挡和低分辨率时表现优秀,在复合场景中,三者有较好的互补性。此外,灰度特征虽不适用于复杂场景,但与形状特征有很好的互补性。下一步将研究在复杂的复合场景中,综合考虑各类特征的适用性及互补性,选择互补性较优的特征组合进行特征融合,从而改善相关滤波跟踪算法的跟踪性能。