尺度方向自适应的相关滤波跟踪算法

单玉刚，郝 峰

(湖北文理学院教育学院，湖北襄阳 441053)

1 引言

视觉目标跟踪一直是计算机视觉方向研究的一个热点，它被广泛地应用在视频监控、无人驾驶、医学诊断以及人机交互等领域[1-2]。尽管研究人员已经提出了许多跟踪算法[3-4]，有些已在工程中应用。但是如何有效解决跟踪过程中的目标尺度和方向变化问题仍是一个难点。在VOT2015[5]时提出使用旋转矩形框来标识目标，可见尺度和方向自适应目标跟踪已成为今后目标跟踪研究趋势。

针对目标旋转变化问题，国内外学者提出了大量算法。董蓉[6]和赵钦君[7]等人通过配对SIFT角点进行仿射变换来计算被跟踪目标的尺度和旋转角度，Comaniciu[8]和马伟[9]利用多次Meanshift 迭代方法实现尺度方向自适应跟踪。Soamst[10]和Camshift[11]算法通过计算二阶中心矩并构成协方差矩阵来估计目标的尺度和方向。文献[12]应用贝叶斯理论实现基于粒子滤波的尺度和方向自适应运动目标跟踪。

基于相关滤波和深度学习的目标跟踪是当前视觉目标跟踪研究的两个热点[13]。深度学习跟踪更注重跟踪精度，通常无法满足实时性[14]；而相关滤波跟踪算法在跟踪精度和跟踪速度方面都表现良好[15]。自从2010年，Bolme[16]等提出相关滤波基本框架以后，相继出现了CSK、CN、KCF(kernelized correlation filter)、DSST (Discriminative Scale Space Tracking)、SRDCF、SAMF、LADCF等优秀相关滤波跟踪算法[17-20]。但这些算法都没有考虑目标方向变化，在目标旋转场景跟踪效果不佳。KCF算法使用核函数和循环移位等方法构造多通道的相关滤波器，具有划时代意义。尽管KCF算法有较好的跟踪性能，但没有考虑目标尺度和方向变化问题。DSST算法使用尺度池方法估计目标尺度，并没有解决在目标旋转时目标的表观特征变化导致跟踪失败问题。

为解决跟踪过程中目标方向变化问题，本文提出一种改进DSST算法，使跟踪器适应目标尺度和方向变化。算法首先用多特征描述目标，使用目标HOG特征[21]结合HSV颜色特征来构造二维定位滤波器以提高目标定位的准确性。然后，采用方向池提取多方向一维特征向量构造一维核相关滤波器，实现对目标方向的自适应跟踪。之后，改进尺度滤波器尺度池以减少尺度搜索时间。最后通过峰值旁瓣比(Peak to Sidelobe Ratio，PSR)值变化情况更新相关滤波模型。为验证本文算法的有效性，挑选出典型意义的8组视频测试本文算法的整体性能，并与KCF、CSK、CN、DSST等4种相关滤波算法进行对比。

2 相关滤波模型

设f表示从输入图像提取出的特征，g表示响应输出，需要找到一个相关滤波器模板h，使其在目标图像上响应最大，则有

g=f⊗h

(1)

其中，⊗表示卷积卷积运算，卷积运算会消耗大量时间。采用快速傅立叶变换FFT将(1)式变为点乘操作可极大地减少计算量

F(g)=F(f⊗h)=F(f)·F(h)*

(2)

可写成G=F·H*，因此跟踪任务就是寻找相关滤波器

(3)

正负训练样本可以通过将f沿垂直和水平方向上循环移位获得，m，n是f中每个元素的索引，根据误差最小平方和ε

(4)

可以求出滤波器

(5)

相关滤波算法的优越性表现在使用定制的置信图g进行训练，极大地减少了目标丢失的可能性。

3 自适应方向和尺度相关滤波跟踪算法

3.1 基于多通道相关滤波的目标定位

(6)

这里特征f∈RM×N×D采用色度信息(HSV 颜色空间的H分量)与HOG组合特征，信息量比仅使用HOG特征更大，在跟踪过程中可减小光照影响，有效提高定位精度。在第t+1帧中从目标候选区域提取多维特征图z与训练好的二维定位滤波器进行相乘运算，可以得到候选区域二维相关响应值：

(7)

E的最大值即可为当前跟踪目标的中心位置：

(8)

图1 特征提取过程图

3.2 基于方向滤波器的目标方向估计

选用方向池方法对目标方向进行估计，设视频序列第t帧当前目标方向为θ，目标图像为G。设定方向池为O={o1，o2，…，on}，通过仿射变换获取目标各方向图像特征。G上点x，y绕中心点逆时针旋转β=θ+on角度得到点x′，y′，即图像G(θ)旋转后的图像为G(β)。矩阵表示为

(9)

(10)

在第t+1帧中目标的多方向HOG特征Fo(t)与训练好的一维尺度滤波器相乘，可以得到其一维相关响应值

(11)

通过寻找Eo中的最大响应值，即可得到当前跟踪目标的最优方向估计为

(12)

方向变化采用等差变化的方法，可减少方向搜索范围，设定方向池为O={10，-9，-8，-7，-6，-5，-4，-3，-2，-1，0，1，2，3，4，5，6，7，8，9，10}，共21个方向。

3.3 基于尺度滤波器的目标尺度估计

(13)

在第t+1帧中候选区的多尺度HOG特征Fs(t)与训练好的一维尺度滤波器相乘，可以得到其一维相关响应值

(14)

通过获取Es中的最大响应值，就可得到跟踪目标的最优尺度估计

(15)

3.4 模型更新

模型更新是目标跟踪关键一环，可确保长时间跟踪稳定性。本文使用自适应更新方法以确定跟踪器的模型更新率。目标在不同因素影响下PSR值会有较大区别[22]，因此，PSR值大小可以反映目标受上面干扰影响的程度。响应图R的峰值强度可表示为

(16)

图2 MountainBike数据集的PSR值分布及分析

图2显示了MountainBike数据集的PSR分布情况，PSR值越高目标位置的置信度越高。MountainBike序列从第到190帧到第199帧目标形变较小，相应的PSR值上升到峰点，如图2中A点。随着目标形变变大，PSR值逐渐减小，当目标在第211帧时，相应的PSR值下降到谷点，如图2(a)中B点所示。目标模型更新权重wt根据每一帧的PSR值来确定。当PSR值很大，认为目标明显出现在检测范围；当PSR值减小时，认为目标受到干扰，模型更新减缓；当PSR值小于阈值时，认为目标受到遮挡或者丢失，停止模型更新，这样可避免模型发生漂移。三个滤波器模型更新机制为

其中，Rmin表示所有帧中PSR的最小值，Rmax表示所有帧中PSR的最大值，η表示学习率，阈值Rth=μ(R)-σ(R)。

4 跟踪算法

在第一帧目标初始位置训练三种相关滤波器，然后在下一帧执行三个滤波器，顺序是：定位滤波器，方向滤波器和尺度滤波器。由方向滤波器获取目标方向后，把当前帧绕目标中心点逆时针旋转目标的方向角度，这样做可确保接下来的尺度滤波在目标方向为0度角进行，使得尺度估计不会出现偏差。旋转后，目标在当前图位置也会相应变化，要及时更新目标位置。本文算法的流程如图3所示，算法主要跟踪步骤如表1所示。

图3 跟踪算法流程图

表1 跟踪步骤

5 实验结果与分析

硬件环境为Intel Celeron E3300 CPU，主频2.5GHz，内存2GB，采用MATLAB 2017a进行编程实现。算法参数设置如下：目标ROI区域大小为目标的2倍，即padding=1；正则化参数λp=10-4，λo=10-2，λs=10-2；高斯核宽σp=1/16，σo=0.25，σs=0.25；学习率ηp=0.01，ηo=0.025，ηs=0.025。本文在OTB2013[23]数据集中选取了7组视频，并选取了1组交通场景[24]进行实验，与其它4种相关跟踪算法进行比较。此外，为了表明算法在方向和尺度处理上的优越性，选取尺度和方向变化明显的6组视频进行中心误差精度、成功率和单帧处理时间方面的比较。选取的对比算法有KCF、DSST、CN和CSK等。

5.1 定性分析

尺度变换、目标旋转、光照变化、部分遮挡、目标形变和快速运动等因素严重影响跟踪性能，甚至导致跟踪丢失目标。本文选取具有8个视频图像序列，从下面6个方面对算法进行定性分析。图4给出了实验中5种算法的部分跟踪效果。其中，不同跟踪算法用不同的颜色表示，红色为本文算法，浅蓝色为KCF算法、深蓝色为DSST、绿色为CN算法和黄色为CSK算法，图片中左上角数字为当前图像序列的帧号。

1)尺度变化。在Vase、Boy、Dog1视频中的目标均出现较明显的尺度变化， 5种算法都能始终跟踪目标，但只有本文算法和DSST算法能够很好地适应目标的尺度变化。特别是在有1300多帧视频的Dog1中，目标尺度大小交替变化，本文算法能长时间适应目标尺度的变化。

图4 5种算法跟踪结果对比

2)旋转变化。在Vase、Skate2，Dog1、Motorolling、Boy、Traffic等6组视频中都存在目标方向变化。在Vase、Skate2，Dog1视频中，其它算法跟踪偏差较大，而本文算法都能够较好地跟踪目标。视频序列Traffic是交通监控录像，一辆大巴正左转弯通过某十字路口，期间方向逐渐发生变化。由图4(d) 可见，由于跟踪目标逐渐旋转，其它算法的跟踪渐渐偏离真实目标。在Motorolling视频中摩托车手旋转同时兼有尺度变化，无论是旋转角度还是尺度，本文算法都能准确适应，其它算法丢失了目标。

3)光照变化、目标形变。在Motorolling视频中，背景光照随时间进行发生剧烈变化，同时目标外观也发生了形变，CSK、KCF、CN、DSST 算法发生跟踪漂移直至丢失目标，而本文算法使用了HOG特征和HSV颜色信息作为目标特征，对光照和形变具有良好的稳健性。

4)快速运动。在Boy视频中，男孩的头部快速移动导致KCF、CSK等算法失效，而本文算法和DSST算法始终保持对目标跟踪，对于运动模糊的快速运动目标具有较好的鲁棒性。

5)部分遮挡。在视频Suv中目标发生了多次部分遮挡。到第678帧时，当目标再次被部分遮挡时，KCF、CSK和CN等算法丢失了目标。DSST算法和本文算法因为具有尺度处理和特征描述上的优势，能够适应部分遮挡，始终准确地跟踪目标。

5.2 定量分析

图5 中心位置误差图

表2 成功率(阈值0.5)对比

表2 给出了算法在测试视频中的成功率对比，覆盖率阈值设为0.5。由表可见本文算法较其它算法在各类视频中获得了较优性能，目标旋转角度变化越大性能越佳，平均跟踪成功率比DSST算法提高了20.1%。算法实时性也是目标跟踪的一项重要的评估指标，用每秒处理帧数来表示。表3列出了5种算法在不同视频序列上的单帧处理时间，并在最后一行给出了算法的平均跟踪速度。由于增加了一个方向滤波器，本文算法单帧耗时略高于DSST算法，这是因为算法采用多维特征构建定位滤波器模型，和构建方向空间进行了方向估计，并且模型更新引入了PSR判断，但在这个软硬件配置下10.9 frame/s的平均跟踪速度基本上满足实时性的要求。

表3 各算法单帧耗时和平均跟踪速度

图5给出了不同算法在Traffic、Dog1、MotorRolling、Skater2、Vase、MountainBike等6段视频中的中心位置误差对比，本文算法跟踪误差基本保持在15pixels以内。可见本文算法的定位准确度高于KCF、CSK、DSST、CN等算法。

图6 目标方向随时间变化图

图7 目标尺度随时间变化图

图6给出了本文算法在6段视频中的方位角随时间变化图，可以看出，跟踪过程中跟踪框的方位角随时间变化而发生较平滑变化，平缓变化符合目标运动规律，表明本文算法在全过程跟踪的准确性，同时表明本文算法对跟踪目标的方向变化处理的有效性。图7给出本文算法的尺度随时间变化图，可以看出，跟踪过程中尺度因子随时间变化而较平滑变化，说明了全过程跟踪的准确性，同时表明本文算法对跟踪目标的尺度变化处理的有效性。

6 结束语

本文提出一种改进的DSST算法。算法通过选择HOG与HSV颜色相结合特征构建二维定位滤波器来提高定位精度。接下来，使用方向池构建一维方向滤波器，并改进尺度滤波器尺度池实现目标的精确方向和尺度估计。最后，通过计算PSR值指导更新相关滤波器模型。实验结果验证了本文算法对跟踪目标的尺度和方向变化具有鲁棒性和有效性。

为了提高目标在长时间遮挡时的跟踪性能，遮挡处理方法将是下一步研究方向。另外，尝试着将相关滤波与深度学习方法结合起来以进一步提高算法跟踪精度。