双约束上下文感知相关滤波跟踪算法

谭翠媚刘波



双约束上下文感知相关滤波跟踪算法

谭翠媚1,2刘波3

（1.广东省计量科学研究院 2.广东省现代几何与力学计量技术重点实验室 3.北京理工大学光电学院）

提出一种双约束上下文感知相关滤波跟踪算法。针对最小输出平方和误差滤波器的无偏估计容易引起过拟合的情况，结合线性岭回归训练的滤波器，提高算法的泛化能力；根据上下文感知相关滤波中的背景选择方向固定，进行基于卡尔曼滤波的自适应背景选择，提高滤波器对目标及背景的判别性；同时在目标模型更新策略中使用新的遮挡判据APCE。最后将本文算法与当前主流的跟踪算法做仿真对比，验证了本文算法的优越性和鲁棒性。

目标跟踪；相关滤波；上下文感知

0　引言

近年来，目标跟踪作为机器视觉领域的重要组成部分，受到学者们广泛关注，取得显著发展，在视频监控、智能交通等领域应用广泛[1]。目前，目标跟踪仍存在许多难点问题，如，目标遮挡、目标形变和尺度变换等。如何解决这些问题是目标跟踪领域的研究重点。其中相关滤波在目标跟踪领域的应用，极大促进了跟踪领域的发展，国内外研究人员进行了大量相关滤波改进算法的研究。Blome[2]等人于2010年第一次将相关滤波应用于目标跟踪，提出的最小输出平方和误差（minimum output sum of squared error，MOSSE）滤波跟踪算法，通过傅立叶变换，将目标与待测样本集间的相关性计算转换到频域，极大地提高了计算效率；但由于采样样本有限，影响算法的鲁棒性。Henriques[3]等人提出了基于核函数的循环结构（circulant structure of tracking-by-detection with kernels，CSK）跟踪算法，利用一次获取的待测样本，通过循环移位采样该样本形成循环矩阵，获得样本集。由于CSK算法使用的是视频图像的灰度特征，为进一步提高CSK算法的性能，Danelljan[4]等人针对颜色特征提出了CN算法；Henriques[5]等人使用多通道的HOG特征，并引入核方法提出核相关滤波跟踪算法（kernelized correlation filters，KCF)。但有关上下文感知的跟踪方法研究相对较少。2017年，Mueller[6]等人对相关滤波算法的框架进行改进，提出了上下文感知相关滤波跟踪算法（context-aware correlation filter tracking，CA-CF）。该算法联合全局上下文进行背景训练，既能合理增加背景信息，提高跟踪的鲁棒性和准确性，又不带来负面影响。

为进一步提高CA-CF跟踪性能，本文提出一种双约束上下文感知相关滤波跟踪算法。结合MOSSE滤波器与线性岭回归训练滤波器的优点，提出一种双约束滤波器。在背景训练过程中加入自适应选择步骤，提高跟踪器对目标与背景的区分能力。引入APCE判据的模型更新策略，有效解决目标遮挡问题。

1　相关滤波跟踪算法原理

1.1　岭回归

将样本分类看成是一个岭回归问题，定义如下：

对式(1)求解优化，可得

把式(2)变换至傅立叶域：

1.2　循环矩阵

相关滤波跟踪算法的样本为一个循环矩阵，根据其性质，可将算法转化到频域计算，以加快运算速度。

基于循环矩阵的性质，式(3)可化简为

1.3　核相关滤波

根据前文循环矩阵的性质，由式(8)可得

1.4　上下文感知相关滤波跟踪

CA-CF将目标周围的顶部、底部、左侧和右侧的背景信息引入到相关滤波器的训练过程中，增强了算法区分背景的能力，则式(1)变为

求解式(10)，可得

2　改进的上下文感知相关滤波跟踪

2.1　双约束相关滤波器

在MOSSE跟踪器中，采用最小输出平方和误差滤波器。在数学上，这是一种对数值的无偏估计，可能造成过拟合，影响算法的泛化能力。在KCF跟踪器中，采用线性岭回归训练滤波器，有效地解决了模型训练的过拟合问题。为优化模型，本文提出一种融合二者优点的双约束滤波器，可将式(10)优化为

对式(12)求解，可得

2.2　基于卡尔曼滤波的相关滤波跟踪

用列向量表示目标运动过程中需要估计的元素：

则下一帧的估计元素为

结合式(13)运用卡尔曼滤波做状态估计，目标预测即为响应峰值处坐标。

本文在选择背景训练补丁时，不再选择目标位置固定上下左右4个方向的补丁，而利用卡尔曼滤波器校正目标位置的4个方向补丁，即在背景训练增加了自适应选择，将背景选择的先验信息增加到滤波器训练中，有效增强了跟踪器对目标与背景的区分能力。

2.3　模型更新策略

在模型更新策略中，本文算法使用Wang[7]等人提出的遮挡判据APCE。

3　实验与结果分析

3.1　实验环境与参数设置

3.2　实验结果分析

本文利用精准率与成功率评价分析算法的性能。精准率给出了跟踪目标中心的预估位置，在给定准确位置的阈值距离内（本文取20）的帧数占视频序列总帧数的比例。成功率给出了重叠率大于给定阈值（本文取0.5）的帧数占总帧数的比例，用于评价跟踪算法在目标丢失后重新检测到目标的性能。

本文算法与9种对比算法在测试视频集上的整体精准率与成功率对比如表1所示。由表1可知：本文算法的精准率与成功率得分均排名第一；本文算法精准率得分是0.815，领先排名第二的DCF_CA（0.784）3.1个百分点；本文算法成功率为0.703，比第二名高出2.3个百分点。

本文算法与9种对比算法在遮挡、形变、尺度变换和快速运动等属性的精准率、成功率对比分别如表2和表3所示。通过定量分析验证了本文算法的优越性与鲁棒性。

表1　双约束上下文感知相关滤波跟踪算法的整体精准率与成功率对比

表2　双约束上下文感知相关滤波跟踪算法其他属性的精准率对比

表3　双约束上下文感知相关滤波跟踪算法其他属性的成功率对比

4　结论

本文提出了一种双约束上下文感知相关滤波跟踪算法。首先，将最小输出平方和误差滤波器与线性岭回归训练滤波器进行融合，有效解决传统最小输出平方和误差滤波器容易造成过拟合的问题；然后，进行基于卡尔曼滤波的自适应背景选择，将背景选择的先验信息引入到滤波器训练中，有效增强跟踪器判别目标与背景的能力；最后，在模型更新策略中引入新的遮挡判据APCE，仅在响应峰值与APCE皆以某个比例大于其历史均值的情况下，才执行模型更新。实验表明：本文算法的精准率与成功率得分分别为0.815，0.703，均优于其他对比算法，验证了本文所提算法的优越性与鲁棒性。

[1] Walia G S, Kapoor R . Recent advances on multicue object tracking: a survey[J]. Artificial Intelligence Review, 2016, 46(1):1-39.

[2] Bolme D S, Beveridge J R, Draper B A , et al. Visual object tracking using adaptive correlation filters[C]. Computer Vision and Pattern Recognition, IEEE, 2010: 2544-2550.

[3] Henriques J F, Caseiro R, Martins P, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]. European Conference on Computer Vision. Springer-Verlag, 2012:702-715.

[4] Danelljan M, Khan F S, Felsberg M, et al. Adaptive color attributes for real-time visual tracking[C]. IEEE Computer Vision and Pattern Recognition, 2014:1090-1097.

[5] Henriques J F, Caseiro R, Martins P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 37(3):583-596.

[6] Mueller M, Smith N, Ghanem B. Context-Aware correlation filter tracking [C]. IEEE Conference on Computer Vision and Pattern Recongnition,2017:1387-1395.

[7] Wang Mengmeng, Liu Yong, Huang Zeyi. Large margin object tracking with circulant feature maps[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2017:4800-4808.

[8] Wu Y, Lim J, Yang M H. Online object tracking: a benchmark [C]. IEEE Conference on Computer Vision and Pattern Recongnition, 2013:2411-2418.

[9] Hare S, Saffari A, Torr P H S, et al. Struck: Structured output tracking with kernels[C]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 38 (10):2096.

[10] Kalal Z, Mikolajczyk K, Matas J. Tracking-learning-detection[C]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2012, 34 (7) :1409-22.

[11] Kwon J, Lee K M. Visual tracking decomposition[C]. Computer Vision and Pattern Recognition, IEEE, 2010:1269-1276.

[12] Dinh T B, Vo N, Medioni G. Context tracker: Exploring supporters and distracters in unconstrained environments[C]. Computer Vision and Pattern Recognition, IEEE, 2011:1177-1184.

[13] Grabner H, Grabner M, Bischof H. Real-time tracking via on-line boosting[C]. British Machine Vision Conference,2006: 47-56.

Dual Constrained Context-Aware Correlation Filtering Tracking Algorithm

Tan Cuimei1,2Liu Bo3

(1.Guangdong Provincial Institute of Metrology 2.Guangdong Provincial Key Laboratory of Modern Geometric and Mechanical Metrology Technology 3.School of Optics and Photonics, Beijing Institute of Technology)

In this paper, a novel dual constrained context-aware filter tracking framework is proposed, aiming at the unbiased estimation of the minimum output square sum error filter, which is easy to cause over-fitting. The filter combined with the linear ridge regression training effectively integrates the two and improves the generalization ability of the algorithm. Aiming at the fixed direction of background selection in context-aware correlation filtering, an adaptive background selection based on Kalman filtering is proposed. The discrimination of the filter to the target and background is effectively improved. Then, A new occlusion indicator APCE was introduced when the model was updated. Finally, this paper compares the algorithm with some mainstream tracking algorithms to verify the superiority and robustness of the proposed algorithm.

Object Tracking; Correlation Filters; Context-Aware

谭翠媚，女，1993年生，硕士研究生，主要研究方向：图像处理。E-mail: scmtcm@163.com

刘波，男，1991年生，硕士研究生，主要研究方向：图像处理、目标跟踪、目标检测等。