结合自适应特征选择和蕨类分类器的相关滤波跟踪算法

2019-06-13廖加文齐春曹剑中黄继江

西安交通大学学报 2019年6期

廖加文,齐春,曹剑中,黄继江

(1.西安交通大学电子与信息工程学院,710049,西安;2.中国科学院西安光学精密机械研究所,710119,西安;3.中国科学院大学,100049,北京)

无模型目标跟踪是指在给定初始位置和尺寸的情况下,跟踪算法能够持续定位序列中的任意跟踪目标。这类算法由于不需要预先采集大量训练样本以及对跟踪目标的普适性,近年来获得了很大的关注。跟踪的主要问题是目标外观的变化,例如遮挡、形变、出视场等,会对跟踪算法的性能有很大影响。

当目标出现严重遮挡或者显著形变时,算法的预测结果将会变得不太可靠,同时滤波器模型也将会被污染。因此,跟踪结果的可靠性需要进行验证,因为它会影响到后续的模型更新。一些算法通过分块来提高滤波器模型对于形变和遮挡的鲁棒性[1-2],有些算法着力解决跟踪过程中的特征鲁棒表达[3-4]或者是尺度变化[5],有些算法通过缓存以往模板解决其中的遮挡问题[6],当然也有一些算法通过充分利用背景信息以训练一个更加鲁棒的跟踪算法[7-8],但是由于模型更新所引入的问题仍然存在。

跟踪的另一个问题是当遮挡、剧烈形变甚至出视场出现时,如何有效的矫正不可靠的预测结果,这就需要一个有效的重新检测模型。然而,一些长时跟踪算法[9]仅仅避免了滤波器模型污染,而当目标丢失时这些算法却无法重新检测目标。有些算法引入检测模块,在判断跟踪丢失时通过撒粒子随机搜索的方式检测目标[10],然而,这种方式有较大的盲目性,可能无法得到较优的结果。

为解决上述问题,本文提出一种结合自适应特征选择和蕨类分类器的相关滤波跟踪(DRDCF)算法。为了抵御形变以及局部遮挡的影响,首先,对目标特征进行自适应选择;其次,采用保守更新和进取更新两种更新策略训练两个滤波器模型,进取型滤波器采用固定插值因子在每一帧对模型进行更新,能够适应跟踪目标的动态变化,保守型滤波器则只有满足一定准则才进行滤波器更新,能够较稳定的保持跟踪目标的特性;最后,引入随机蕨类分类器作为检测器,当需要启动检测器时,由检测器在固定的区域采用固定大小的矩形框以滑窗形式检测搜索区域。实验结果表明,本文DRDCF算法可以有效解决目标突变所造成的模型污染以及跟踪失败问题。

1 核相关滤波架构

(1)

(2)

对于下一帧目标位置的预测,首先截取预测位置周围的一个图像块,然后提取特征层St,最后对特征层在频域进行滤波得到频域的响应图谱

(3)

在不同位置的响应值可以通过以下离散傅里叶逆变换获得

yt=f-1(Yt)

(4)

然后,寻找最大响应值位置,即可以得到下一帧中目标的偏移量预测值。

(5)

通过寻找式(5)的傅里叶逆变换ys,t的最大值,可以得到预测尺度值。

2 目标动态特征表示

(a)标定的篮球运动员位置 (b)标定的男孩头部位置

(c)原始各特征层预测的篮球运动员位置 (d)原始各特征层预测的男孩头部位置

(e)自适应特征选择处理后各层预测的篮球运动员位置 (f)自适应特征选择处理后各层预测的男孩头部位置图1 自适应特征选择对跟踪目标位置预测的处理效果

不同的特征表达从不同视角反映了目标的特性,比如,方向梯度直方图(HOG)特征[12]能够比较好地刻画跟踪目标的纹理信息,而颜色名(CN)特征[13]则能够较好地反映跟踪目标的颜色信息。常规上,通过这些互补的特征进行组合表达,能够较鲁棒地表示跟踪目标,但是由于跟踪目标类型各不相同,即使同一个目标,随着跟踪的持续,目标会呈现出不同的特性。比如,图1a的跟踪目标——篮球运动员随着跟踪的持续,可能会出现被周边的其他白色服装的运动员所遮挡的情况,如果只是观察CN统计的颜色特征,有些层就会出现非常大的变化,而基于CN特征所预测的跟踪位置会严重偏离真实的跟踪目标,这样对于多特征组合表达的预测形式,此时的部分颜色特征对跟踪算法的性能没有提升作用,反而降低了性能。图1演示了自适应特征选择对于跟踪目标位置的预测效果,可以直观地发现经过自适应特征选择处理后,不同特征层对于跟踪目标的预测位置较为准确,那些预测误差较大的特征层被比较好的过滤掉。通过自适应特征选择模块保留预测精度较高的特征表达层,摈弃掉预测误差较大的特征层,能够更加精确地预测跟踪目标的位置,提高跟踪性能。

在信号处理中,通常认为信号具有较大的方差,而噪声具有较小的方差。对于跟踪来说,大部分特征层能够较准确地预测跟踪目标的位置,而少部分特征层会出现较大误差,可以认为原始特征表达中预测精度较高的特征层为信号,而预测误差较大的特征层为噪声。通过降维摈弃方差较小的特征层,最好的d维特征是将j维样本点转换为d维后,每一维上的样本方差都很大。考虑到目标特性的连续性,本文充分利用之前帧的信息,这里采用线性插值策略以得到比较稳定连续的原始特征表达Ot,即

Ot=(1-θ)Ot-1+θPt

(6)

式中:Pt为跟踪目标在第t帧中直接提取的原始特征表达;Ot-1表示在第t-1帧时的稳定原始特征表达;θ∈[0,1]为固定插值因子。利用特征表达Ot来生成投影矩阵Ωt,通过投影矩阵,可以把稳定原始特征表达从高维空间映射到相对低维子空间,排除掉部分预测误差较大的特征层。通过最小化目标特征表达Ot的重建误差ε,可以得到投影矩阵

(7)

式中:α表示对特征表达层每个空间位置进行遍历操作,此时每个空间位置Ot(α)∈Rj×1;I表示单位矩阵。对自相关矩阵Ct进行特征分解

(8)

通过选择最大d个特征值对应的特征向量即可得到该投影矩阵Ωt。然后,将稳定原始特征特征层Ot经过投影矩阵Ωt进行映射,得到的前d个最大的特征值对应的特征向量就是最佳的d维新特征,而且这d维新特征之间正交。由于在跟踪过程中,稳定原始特征表达以插值形式固定引入每一帧的新信息,这样随着跟踪目标的变化,投影矩阵也在动态变化,因而动态地提取不同的特征表达层可以更鲁棒地表示跟踪目标。

3 跟踪目标突变判别及检测

首先介绍保守更新的滤波器Γ∈RM×N×i,它通过对样本进行矢量化然后圆周移位得到循环矩阵,然后回归到一个高斯软标签,最终得到系数矩阵即为滤波器参数。该滤波器判断当前预测位置图像块的最大响应值γmax∈R,只有当响应值大于设定阈值η∈R时,才把当前图像块作为训练样本进行保守滤波器模型更新,否则滤波器模型保持不变更新后的滤波器表示如下

(9)

式中:Γnew为引入当前样本信息做出更新后的滤波器;Γold为没有引入当前样本信息的滤波器;Ht表示由当前帧学习到的滤波器参数。这样可以更加稳定的保持跟踪目标的信息,不受突变、遮挡等剧烈形变的影响。保守更新滤波器可以用来作为当前跟踪位置状态的衡量标准。

(10)

gt=(ζt-χt-1)/χt<ϑ

(11)

(a)进取型滤波器预测位置 (b)检测器启动搜索图2 目标丢失后检测器的搜索效果

式中:ϑ∈R为判断发生突变的阈值。如果发生突变,则启动目标检测器,对突变位置邻近区域进行跟踪目标的检测。目标(玩偶)丢失后检测器重新找回目标的效果如图2所示。由图2可见:经过一段时间的严重遮挡后,图2a中黑框为进取型滤波器对于跟踪目标位置的预测,玩偶为跟踪目标,由于模型更新,该滤波器已经学习到背景信息导致预测位置出现错误;图2b为检测器以滑窗形式搜索周围区域,覆盖了目标重新出现后的区域,丢失的目标能够重新被检测出来,从而实现稳定的跟踪。检测器采用的是随机蕨类分类器,该分类器在第一帧进行分类器初始化,为了保持该分类器对于跟踪目标平滑变化的适应性,分类器进行保守更新,只有当响应值大于设定阈值时才进行分类器的更新。检测器在预设检测区域进行滑窗扫描搜索,选择分值最大的图像位置为检测器预测位置。最终,跟踪目标位置的确定仍然需要保守型滤波器对预测位置图像块进行打分,通过对检测器预测位置与进取型滤波器预测位置所截取的图像块的分值大小进行跟踪位置确定,确定法则如下式

(12)

当突变发生后,需要进行多次检测,以解决遮挡以及剧烈形变带来的跟踪丢失问题。当候选目标区域打分值大于进取型滤波器最大响应值的δ倍时,认定该候选目标区域为最终目标,放弃后续的检测流程,否则就持续检测直到达到最大检测次数μ∈R。检测采用每隔5帧进行一次,用于提高跟踪算法的运算速率,因为对于常规视频,5帧之间的时间间隔比较小,因而目标的移动区域不会太大。

4 实验结果与分析

为了验证本文DRDCF算法的性能,在OTB-2015[14]以及Temple Color[15]数据集上进行了综合实验,从精度和覆盖率两个方面进行性能评估。运行环境为MATLAB2017,硬件配置为3.6-GHz Intel I7-7700 CPU和8 GB RAM的标准计算机。实验结果表明,本文算法实现了高于10帧/s的速率。

(1)特征表达。本文采用HOG特征、CN特征以及直方图特征组成组合特征,其中,HOG特征包括对灰度图像提取8维直方图信息以及对灰度图像进行非参秩变换[16]后提取8维直方图信息,这两个灰度直方图信息提取直接采用的是piotr工具箱中的函数,其中HOG特征为31层,CN为10层,区域直方图特征16层,彩色图像一共57层特征,黑白图像不提取CN特征,一共47层特征。

(2)参数设置。保守滤波器以及蕨类分类器的更新阈值设为η=0.4,蕨类分类器的搜索范围为相关滤波器搜索尺寸的1.2倍,相关滤波器的参数设置与文献[17]相同。经过自适应特征选择模块处理后的跟踪目标的特征层数选择,如果是彩色目标i=30,而如果是灰度跟踪目标i=27。判断跟踪目标发生突变的阈值设为ϑ=-0.13,检测到突变后的最大目标检测次数设为μ=9。本文所设的参数在整个实验过程中保持不变。

4.1 与前沿跟踪算法的效果对比

将本文提出的DRDCF算法与4种前沿跟踪算法CSR-DCF[18]、Staple[19]、LCT[20]及fDSST[17]算法进行了总体性能比较。图3为5种算法在数据集OTB-2015上的精度与覆盖率曲线,图例按照性能由好到差顺序排列。本文提出的算法取得了最好的效果,在跟踪精度以及覆盖率两项指标上分别达到了81.2%和61.1%。相较于CSR-DCF(CVPR-17)算法,在精度与覆盖两项指标上分别提升了2.78%和4.26%。

4.2 基于属性的性能对比

验证本文跟踪算法对不同类型挑战的适应性。实验结果表明,在覆盖率指标上,本文算法在OTB2015标注的11种属性里有9项取得了最好效果,这9项属性分别是遮挡、出视场、形变、出平面旋转、亮度变化、尺度变化、运动模糊、平面内旋转以及背景干扰;在精度指标上,有6项取得了最好效果,这6项属性分别是遮挡、出视场、形变、运动模糊、出平面旋转和尺度变化。采用5种算法对6种属性的跟踪性能进行对比,结果如表1所示。由表1和图3都可以看出,本文提出的DRDCF算法在精度以及覆盖率方面都取得了最好的效果,说明本文算法在应对目标挑战性变化方面具有出色的效果。

(a)5种算法的精度曲线

(b)5种算法的覆盖率曲线图3 OTB2015数据集上5种跟踪算法的跟踪效果

4.3 跟踪算法模型对比分析

该部分验证进取型滤波器对跟踪算法性能的影响。对本文提出的DRDCF算法进行了调整,排除了进取型滤波器,形成一种新的算法,命名为DRDCF-Cons。图4展示了本文DRDCF和DRDCF-Cons算法在OTB-2015数据集上的精度和覆盖率两项指标对比,可以发现,去除进取型滤波器后,DRDCF-Cons算法在精度和覆盖率两项指标上均有较大的下降。由于保守滤波器以及检测器均采用保守更新,倾向于保持目标特性的稳定,导致跟踪算法对于目标的动态变化适应性较差,DRDCF算法通过进取型滤波器积极适应目标的动态变化,保守型滤波器和检测器都能够保持目标特性的稳定。通过第3节介绍的融合准则可知,DRDCF算法既能够保持对目标的动态适应,又能保持目标的稳定特性,从而达到更好的跟踪效果。

表1 5种算法的跟踪性能对比

注：黑体数据为最高数值。

(a)精度曲线 (b)覆盖率曲线图4 OTB2015数据集上两种算法的精度与覆盖率曲线

4.4 Temple Color数据集性能

在Temple Color数据集上对本文算法进行验证,与4种前沿滤波器CSR-DCF[18]、RPT[19]、LCT[20]及fDSST[17]算法进行了总体性能比较,实验结果如图5所示。为了公平起见,所有算法均选择RGB颜色特征。由图5可见:具有检测模块的长时跟踪LCT算法在覆盖率和精度指标上分别达到了43.32%和60.68%,而本文提出的算法在两项指标上达到了48.65%和64.97%,相较于LCT算法在两项指标上分别提升了12.3%和7.0%;本文算法在Temple Color数据集上取得了接近CSR-DCF算法的效果;本文算法的跟踪效果显著优于其他跟踪算法。

(a)精度曲线

(b)覆盖率曲线图5 TempleColor数据集上不同算法的跟踪效果

4.5 跟踪算法定性分析

(a)Girl2遮挡前 (b)Girl2遮挡中 (c)Girl2遮挡后图6 3种算法在Girl2序列中的跟踪结果对比

(a)box遮挡前 (b)box出遮挡 (c)box尺度变化图7 3种算法在Box序列中的跟踪结果对比

(a)Dragonbaby (b)旋转 (c)出平面旋转图8 3种算法在DragonBaby序列中的跟踪结果对比

(a)Sylvester旋转(b)旋转+光照变化 (c)旋转图9 3种算法在Sylvester序列中的跟踪结果对比

将本文算法与其他2种跟踪算法CSR-DCF[18]以及LCT[20]进行性能对比,图6～图9显示了3种算法在4个有较大目标突变场景的跟踪效果,为了便于观察,本文算法用黑色矩形框,CSR-DCF用长短线白色虚框,LCT用点状白色虚框。由图6～图9可见:Girl2以及Box序列中,本文算法能够在目标重新出现后找到目标,说明检测器对于这些异常情况处理很有必要;在Dragonbaby序列中目标出现平面旋转、遮挡等情况,本文算法能够比较准确地跟踪目标;在Sylvester序列目标呈现出平面旋转、光照变化,在目标形变时,受益于检测模块;本文算法和LCT均能够跟踪目标,但是当目标出现大的旋转变化时,只有本文算法能够稳定地跟踪目标;相较于对比的前沿跟踪算法,本文算法在应对遮挡和形变等突变场景时,能够较好地保持对目标的跟踪。