基于核相关性滤波的长时间目标跟踪方法∗

2019-09-03陈均瑞盛守照李郴荣

舰船电子工程 2019年8期

陈均瑞盛守照李郴荣

（南京航空航天大学南京 210016）

1 引言

目标跟踪技术是计算机视觉领域中一个重要的研究课题，在视频监视，无人驾驶，视觉制导等多个领域广泛应用［1］。近年，视觉跟踪算法发展迅猛，涌现了很多高性能跟踪算法［2］。视觉跟踪算法可分为生成式与判别式两种类型［3］。生成式算法如孙巧等［4］的提出基于粒子滤波的目标跟踪，判别式算法相对较多，2012 年 Zdenek Kalal［5］提出了Tracking-learning-detection算法，该算法通过引入检测器以及学习器较好地解决了目标变化以及目标丢失重跟踪的问题。Bolme等［6］提出的MOSSE算法首次将相关性滤波应用到视觉目标跟踪领域。2014年，Henriques等［7］提出了KCF和DCF算法，具有较优的跟踪性能。Martin Danelljan等提出了DSST算法［8］，较好地解决了跟踪尺度估计问题。C-COT［9］算法利用神经网络实现特征的提取，跟踪准确度有较大提升，但是速度较慢。成悦等［10］提出了基于多特征得到核相关性滤波方法，解决特征单一的问题。工程应用上普遍需要对目标长时间跟踪，基于相关性滤波算法在目标快速运动，尺度变化，遮挡以及目标离开跟踪视频等情况下，容易出现跟踪失败或者无法重新跟踪，这是当前亟待解决的一个问题。本文在核相关性滤波的基础上引入多尺度检测，同时引入TLD算法框架。并在多组实验中验证本算法的有效性。

2 算法总体设计

基于核相关性滤波算法可基本满足短时间的目标跟踪，因此本文引入TLD长时跟踪算法的框架，用以纠正核相关性滤波跟踪器出现的跟踪失败。同时本文设计了基于多尺度变化的核相关性滤波算法，用以跟踪器在目标大尺度变化与高速运动时的跟踪准确性。

基于核相关性滤波的长时间目标跟踪算法实现如图1所示。

图1 长时间目标跟踪算法结构图

基本算法流程：

Step1：首先在视频流中框定目标所在的区域，并将此时的视频帧作为首帧，然后分别初始化检测器、跟踪器以及EKF预测器。

Step2：跟踪器采用尺度多核相关性滤波算法。计算峰值位置作为跟踪结果，同时跟踪峰值大小判断是否跟踪失败。

Step3：利用扩展卡尔曼滤波器对目标区域预测。以预测区域划定一个矩形范围。将该检测范围输入级联检测器检测。

Step4：综合模块判断跟踪器和检测器输出的结果。如果跟踪器检测器均无法在当前帧检测到目标，则返回Step3；如果成功检测目标，则显示目标位置，并且判断目标是否有效，如果有效进入Step5，否则返回Step2。

Step5：P-N学习算法通过有效帧数据更新检测器。

Step6：判断是否结束跟踪，若是则结束跟踪程序，否则返回Step2。

3 多尺度核相关性滤波目标跟踪

本节针对尺度快速变化与目标高速运动的情况，引入了多尺度检测对核相关性滤波算法改进，提高相关性滤波跟踪器的鲁棒性。

3.1 核化相关性滤波器

核相关性滤波跟踪算法是一种判别式跟踪方法。算法利用训练后的检测模板，对检测区域进行检测，计算检测峰值，将检测峰值的位置作为跟踪目标位置。训练目标检测器时选取目标区域为正样本，通过循环矩阵，循环位移得到负样本，越靠近正样本可能性越大。通过使用［0，1］范围的值作为样本的回归值，从而得到不同偏移下得到的样本的不同权重。

核相关性滤波算法中将分类器的训练过程是一个岭回归问题［6］。其目的是找到一个目标函数f(z)=wTz，在此函数下所有的样本xi以及回归目标yi下最小化均方差即：

式中，λ为正则化参数。

通过式（1）回归器预测到的样本标签与真实目标标签差距最小。得到最小化平方误差闭式解为

式（2）中，矩阵 X为样本矩阵，向量 y为回归目标向量，I表示单位矩阵。文献［7］中采用循环位移得到样本，根据循环矩阵的性质，可避免矩阵求逆。则样本矩阵X为

最后得到的核化的岭回归的求解为

通过岭回归求解，可以训练得到滤波器，然后在在下一帧数据进入后，我们可以对于所有检测区域计算回归函数：

式中 f(z)为一个向量，其包含所有检测区的循环移位以及所有检测的响应，进而检测响应图，计算响应图的最大值的位置，作为跟踪目标位置。

3.2 多尺度检测算法

根据3.1节对核相关性滤波跟踪器分析，可知该相关性滤波跟踪器是仅仅检测上一帧位置周围2.5倍范围，因此算法仅仅满足跟踪目标位置和尺度变化不大的情况，一旦出现较高速运动或者较大尺度变化时容易导致跟踪失败。

针对该问题本文引入多尺度特征检测的策略。先进行尺度较大得到图像进行检测，然后逐步缩小尺度，与上一尺度比较相关性滤波峰值，最后确定当前较优的目标尺度，其检测示意图如图3所示。

图2 多尺度检测示意图

为了快速地同时确定下一帧图像的尺度以及大致位置，设计了多尺度检测快速调整策略。输入下一帧图像后将检测范围扩大到图像输入的最大尺寸，然后对图像进行检测，确定峰值的大致范围；再将检测位置调整到上一帧位置(Clx，Cly)大尺度检测的峰值位置(Cmx，Cmy)的中间位置，调整方法如下：

式中，Cx、Cy分别是调整后的目标位置，Cmx、Cmy为大尺度检测的位置，Clx、Cly为上一次的检测位置，λ为调整参数。

位置调整后进行尺度调整，首先选择一个在最大尺度与上一帧尺度的中间尺度作为一个起始调整尺度，然后做第一次尺度更新。

式中，roix、roiy分别是调整后的目标尺度，roimx、roimy为大尺度，roilx、roily为上一次的检测尺度。

调整完成后进一步检测，根据检测结果进行调整尺度。最后峰值最高的输出为当前帧的检测尺度。然后尺度调整策略采用二分法的形式搜索最优检测尺度，尺度调整流程图如图3。

图3 多尺度调整流程图

图中缩小尺度的方法是：缩小至当前检测尺度与已检测尺度中比当前尺度小的最大尺度的一半。扩大尺度的方法与缩小方法类似。通过多尺度检测算法，可以得到不同尺度的检测响应图：以其中一帧检测的响应图为例如图4所示。

图4中第一个响应图是最大尺度的检测响应图，由于尺度较大其检测峰值不高，但是可以确定目标的大致位置，逐步收缩检测尺度检测峰值越来越高，最后可以得到较优检测尺度下的检测响应图。

图4 多尺度检测响应图

4 基于TLD算法框架的长时间目标跟踪算法

鉴于核相关性滤波跟踪算法始终存在跟踪失败后无法模板偏移的问题，因此本文引入TLD算法框架，实现基于核相关性滤波的长时间跟踪。

4.1 基于核相关性滤波的跟踪器

TLD算法中的跟踪器所采用的是金字塔光流法，该算法通过计算像素点运动方向与速度进而实现跟踪，因此其计算速度与准确性相对基于核相关性滤波的跟踪算法较低。将多尺度的核相关性滤波跟踪算法只作为跟踪器，同时通过检测判断峰值大小，如果峰值小于阈值则判断跟踪失败。

基于核相关性滤波改进的TLD算法结构如图5所示。

图5 核相关性滤波改进的TLD算法算法结构

4.2 检测扫描区域预测

由于在跟踪过程中跟踪目标的运动状态不断改变，针对跟踪目标的运动过程，建立目标运动模型，利用EKF滤波器预测检测模块扫描窗口，提高检测效率与准确性［11］。

根据跟踪目标的动力学模型，建立系统状态方程与系统观测方程为

式中，f为系统状态转移函数，xk为k时刻的状态向量，包括跟踪目标的二维速度向量[vxvy]T，以及二维位置向量三维速度向量[vxvy]T，h为系统测量方程，ωk-1为k-1时刻过程噪声和，vk为k时刻的量测噪声。

假设ωk-1和vk是相互独立且满足正态分布：ωk～N(0 ，Q ) ，vk～N(0 ，R )。可针对式（8）做泰勒级数展开，仅取一阶项，可将系统近似为一个线性系统，得到：

式中，Fk与 Hk分别为 f(xk)和 Hk的雅各比矩阵。则可得到EKF的预测方程为

式中，P为预测的协方差，K为增益矩阵。

完成跟踪位置预测后，则圈定检测范围并送入级联检测器中，步骤如下：

1）以当前帧检测器位置输出作为量测量，以上一帧中目标位置为系统状态量，运用EKF预测方程预测目标中心位置[11]。

2）在预测中心划定一个矩形区域，其大小为上一帧检测框的2.5倍。

3）对检测框进行扫描，得到的扫描图像作为级联分类器的输入，进而判断检测框内是否存在目标，并计算目标位置。

图6 EKF位置预测效果对比图

如图6所示，引入EKF位置预测后检测器的检测精度有所提升，尤其是在移动速度较快时，效果明显。

5 实验结果分析

本文使用OTB的long-term测试序列对跟踪算法进行实验验证，同时对比了长时跟踪算法TLD跟踪算法与Sturck[12]算法。比较结果见图8，表1由比较结果可以看出，本文算法表现最优。本文算法比长时间跟踪算法TLD速度较快，这是由于本文采用了检测区域预测以及改进了跟踪模块算法。在跟踪准确度方面，本文算法表现最优，由于本文算法同时集成了多尺度核相关性滤波的优势以及TLD算法的优势，因此跟踪准确率好。

表1 本文算法其他算法定量比较结果

图7 跟踪准确率和跟踪成功率

图8 算法性能对比图

跟踪目标快速运动，尺度快速变化以及遮挡、形变等情况均影响跟踪算法的性能。图6为本文对KCF，DSST、CSK[13]、TLD以及本文算法在遮挡、快速运动、尺度变化以及目标丢失的测试结果。由图7可以看出，本文算法鲁棒性最优，在跟踪目标快速尺度变化时，只有DSST与本文算法可以准确地跟踪目标，以及估计目标尺度。在出现部分遮挡，以及形变等情况，KCF，DSST以及本文算法表现良好，而TLD以及CSK均出现跟踪失败的情况。综上，分析本文算法解决了跟踪目标快速变化以及尺度快速变化的问题。实现了鲁棒性更强的长时间目标跟踪。