上下文感知自适应的相关滤波跟踪算法

符 强，昌 涛，任风华，纪元法*

(1.桂林电子科技大学广西精密导航技术与应用重点实验室，广西 桂林 541004；2.卫星导航定位与位置服务国家地方联合工程研究中心，广西 桂林 541004；3.桂林电子科技大学电子工程与自动化学院，广西 桂林 541004)

1 引言

随着机器视觉的发展，视觉目标跟踪技术已经成为国内外机器视觉领域中一个重要而富有挑战性的研究问题，在诸如智能视频监控、无人驾驶、人机交互等领域被广泛应用。在视频序列中的第一帧中选定待跟踪目标，如何在后续帧中找到此目标是视觉目标跟踪的主要任务，经过近年的研究与发展，视觉目标跟踪技术取得了较大的突破与进展，但是由于在跟踪过程中容易出现目标遮挡、目标快速移动、背景复杂等问题的干扰，实现鲁棒的视觉目标跟踪仍然具有一定的难度。

近年来，由于基于相关滤波的目标跟踪方法具有跟踪速度快、精度高的优势，因此成为了当前视觉目标跟踪领域中的研究热点之一。Bolme等[1]首次将相关滤波器引入到目标跟踪领域，并提出了最小输出误差平方和滤波(Minimum Output Sum of Squared Error Filter，MOSSE)算法，通过将时域上的卷积运算转换为频域上的乘积运算来降低运算量，提升了目标的跟踪效率，达到了669帧每秒，但是此方法的跟踪精度过低。在此基础上，Henriques等[2]提出了循环结构核(Circulant Structure Kernel，CSK)算法，它利用循环移位的方式实现了样本的密集采样，一方面通过增加增加样本数量来提高跟踪精度，另一方面通过循环结构化核函数来提高跟踪速度。随后Henriques等[2]又提出了核相关滤波(Kernel Correlation Filter，KCF)算法，即在CSK算法的基础上将核函数引入到岭回归中，并利用多通道的方向梯度直方图(HOG)特征来替代单通道的灰度特征，从而提高了跟踪的精度。Danelljan等[3]利用颜色属性(CN)特征扩展CSK算法，采用主成分分析法(PCA)将11维颜色特征降至2维，使跟踪精度得到了一定的提升。Li等[4]提出了尺度自适应多特征(Scale Adaptive Multiple Feature，SAMF)跟踪算法，通过融合灰度特征、CN特征、HOG特征，并引入尺度估计来适应目标的尺度变化，展示出了较好的跟踪结果。以上跟踪算法虽然取得不错的跟踪效果，但缺乏对背景信息的感知，Mueller等[5]提出了一种上下文感知相关滤波(Context-Aware Correlation Filter，CACF)跟踪算法，该算法通过在目标位置的上下左右四个方向各取了一块背景区域，为跟踪模型合理地增加了更多的背景信息，在对跟踪速度影响较小的情况下提高了跟踪的准确率和鲁棒性。但是CACF算法并未对上下文背景信息进行细节上的处理，而是认为目标区域的上下文区域的重要性相同，从而影响了跟踪算法的效率和鲁棒性。针对这一问题，本文提出了一种基于粒子滤波的上下文感知自适应的目标跟踪算法。该算法利用粒子滤波来预测目标的运动方向，在训练滤波器时，将目标区域周围8个方向的背景区域作为负样本，并对目标运动方向上的背景样本给予较其它方向上更多的权重，从而提高了跟踪器对目标与样本的判别能力。同时为了解决目标遮挡问题，本文引入了一种新的模型更新判别依据APCE(Average Peak to Correlation Energy)，在当前帧的APCE值与相应最大值同时分别大于各自的历史平均值时，才对模型进行更新，从而有效防止模型被污染。

2 上下文感知相关滤波器

传统的相关滤波跟踪算法采用岭回归来训练分类器，设有训练样本集(xi，yi)，训练样本集中的xi为训练样本，yi为回归标签。训练的目标就是找到一个可以优化下述岭回归方程的函数f(z)=wTz

(1)

为了方便求解，将上述方程写成矩阵形式，如下

(2)

式中，f=X0w，f为分类器，X0为目标样本x0的循环移位矩阵，y为样本标签矩阵，w为相关滤波器的权重系数，λ为正则化参数，防止分类器发生过拟合。

与传统的相关滤波跟踪算法相比，上下文感知相关滤波跟踪算法将目标区域的上下左右4块背景区域作为负样本来训练分类器，以目标样本处具有较高的响应值与背景样本处响应值接近零为约束条件来训练分类器，从而使得跟踪器对目标与背景有了更高的判别能力。其目标函数的岭回归可以表示为

(3)

式中，β为正则化系数，Xi为目标区域上下左右4个方向的背景样本xi的循环移位矩阵，将式(3)中目标样本的循环移位矩阵X0和背景样本的循环移位矩阵Xi合并可得

(4)

对式(4)求导，并令其导数为0，解得

(5)

式中，H表示共轭转置，I为单位矩阵，C为分块循环矩阵

(6)

(7)

所有循环矩阵在频域具有可相似对角化的特性，故可以将循环矩阵C进行如下转换

(8)

(9)

(10)

3 本文算法

3.1 上下文感知自适应的相关滤波跟踪算法

本文提出的上下文感知自适应的相关滤波跟踪算法首先是通过粒子滤波对目标做运动状态估计。粒子滤波的主要思想是通过带权样本粒子集合S={sn|n=1，…，N}近似概率分布，粒子模型为

s={x，y，vx，vy，response，κ}

(11)

其中，x和y为粒子对应的坐标，vx为粒子对应x方向上的速度，vy为粒子对应y方向上的速度，response为该粒子经过相关滤波器后得到的最高响应值，κ为该粒子的权重值，通过状态变化方程对粒子样本集合进行更新

St=TSt-1+εt-1

(12)

式中，St代表粒子在t时刻的状态，T为状态转移矩阵，εt-1为高斯随机白噪声。

本文所用粒子滤波估计目标运动方向算法流程如下：

(13)

将N个服从[0，1]内均匀分布的随机变量组成一个数组a，对于数组a中的每个元素计算并归一化其累计概率数组。

4)更新粒子样本集合，并通过状态变化方程St=TSt-1+εt-1计算新的粒子集合St，然后通过相关滤波器对St中的每一个样本进行位置估计，然后更新估计从而获得新的权重概率。

5)对于集合St的每个粒子，针对前一帧的目标状态s0更新粒子速度。

(14)

(15)

由于只需要通过粒子滤波来估计目标的运动方向，得到目标的水平速度vx和垂直速度vy后，由于时空一致性，将目标在vx、vy以及两者夹角方向上的背景区域赋予较其它背景区域更高的权重，并加入到滤波器中进行训练，提高了跟踪器对目标与背景样本的判别能力。由此可将式(3)转换为

(16)

对其求解得

(17)

其中，Xj(j∈[1，m])为目标上下文信息运动方向上的背景区域样本。在对目标进行跟踪的过程中，是一个自适应项。其中m表示对目标周围选取背景区域的数量，本文在目标周围选取了目标周围8块背景区域作为背景样本，提高了跟踪器的鲁棒性。

3.2 模型更新策略

本文引入了LMCF[6]算法中提出的模型更新判别依据APCE

(18)

式中Fmax和Fmin分别表示响应图中的响应最大值和最小值，Fw，h表示响应图中位置(w，h)处的响应值。这个模型更新判别依据APCE可以很好的反映出响应图的振荡程度，当APCE的值足够大时，且响应图很平滑，此时认为跟踪目标出现在检测范围内；当APCE的值突然减小时，此时认为出现了目标被遮挡或者目标丢失的情况，停止对模型进行更新，避免模型发生漂移。而本文采用的模型更新策略是只有在当前帧的APCE值和响应最大值Fmax同时以一定的比例大于各自的历史平均值时，才认为跟踪置信度满足要求，此时对模型进行更新，当其中有一项低于其历史平均值或者两项都低于各自历史平均值时，则认为该帧的跟踪置信度不满足要求，此时不对模型进行更新。这样不仅有效地减少了模型的更新次数，而且有利于防止模型发生漂移。

4 实验结果与分析

4.1 实验环境及参数设置

本文所有的实验均在CPU为Intel Core i7-7700，3.60GHz主频和8GB内存的台式电脑上完成，开发平台为64位windows 7专业版系统上的Matlab R2017a。

为了便于本文算法与其它一些主流算法进行对比，实验选取的标准数据测试集为OTB100{7}，OTB100数据集包含100组视频序列，涵盖多种不同视觉跟踪挑战的属性，如遮挡(OCC)、快速运动(FM)、复杂背景(BC)等，每段视频序列可能有多个属性，非常具有跟踪挑战性。同时为了展现本文算法的跟踪性能，将本文算法与当前一些主流目标跟踪算法做了大量的实验进行对比。选取的主流算法为：CSK[2]、MIL[8]、OAB[9]、TLD[10]、KCF[11]、Struck[12]、Staple[13]等7个目标跟踪算法。本文算法的参数如下：正则化系数λ=10-4，β=20，γ=10，学习率η=0.015，μ1=0.6，μ2=0.4。

4.2 性能评估指标

4.3 实验对比

将本文算法与当前一些主流算法在基准数据集OTB100上进行实验对比，得到实验结果如图1、图2所示，图1为成功率图，图2为精准度图。

图1 成功率图

图2 精准度图

由图1可知，本文算法的得分为0.647，比排名第二的Staple算法(得分为0.600)高出了0.047，在成功率上排名第一。从图2可以看出本文算法在精准度上也排名第一，比第二名的Staple(得分为0.793)高出了0.073。

图3 其它属性下实验对比

图3为跟踪算法在其它属性视频的跟踪性能对比，从图中可以看出本文算法性能优于其它对比算法，且充分展现出了本文算法的鲁棒性。

5 结论

本文提出了一种上下文感知自适应的相关滤波跟踪算法。首先提取目标周围8个方向的背景样本学习到相关滤波器中，然后利用粒子滤波对目标的运动状态进行估计，预测目标的运动方向。在训练滤波器时，给予目标运动方向上的背景样本更多的权重。为了解决目标遮挡的问题，引入了一种新的模型更新判别依据APCE，只有当APCE值和响应最大值同时分别以一定比例大于各自的历史平均值时，才对模型进行更新；最后将本文算法与当前一些主流的跟踪算法在基准测试集OTB100上进行实验对比，实验结果表明，本文算法的成功率为0.647，精确度为0.866，均优于其它对比算法，充分展现出了本文算法的鲁棒性。