基于多特征和尺度估计的核相关滤波跟踪算法

张 伟，温显斌

（天津理工大学计算机科学与工程学院，天津300384）

1 相关工作

一个理想的目标跟踪算法应该在目前的硬件条件下具备精确性、鲁棒性以及实时性[1].目前的目标跟踪方法一部分属于生成式，另一部分属于判别式[2].前者方法通过获取和学习目标的外观轮廓形成一个模板，在图像区域和预测的模型中进行选择匹配，以达到最佳效果.后者所采用的方法是在线学习一个二值分类器，以在每一帧中区分目标和背景[3].该方法用学习到的分类器在图像数据集上进行分类，把像素分类为目标或者是背景，最大的置信区域，获得目标所在位置，同时在此基础上更新分类器.

传统的相关滤波跟踪算法由于需要大量复杂的数据进行训练操作[4].所以，很大程度上无法满足操作者对实时性的要求，进而也就无法在运用在实际生活中.2010 年，Bolme 等[5]率先把相关滤波器带入到了传统算法中，并设计出了MOSSE 算法（Minimum Output Sum of Squared Error）.该方法充分利用了CF在频域上计算速度快的优点，同时算法还有着优良的定位性能，该方法一经提出，其速度胜过了主流算法，后续许多人在此基础上改进.

牛津大学的Henriques 指出，样本之间潜在的有关于结构组织的信息并没有被研究人员们完全利用.由于这些冷数据，他联系上了数学理论中经典的循环矩阵理论.如图1 所示，他提出了一种CSK（Circulant Structure Tracker）跟踪方法[6].该算法能够在相当短的时间内处理复杂的检测工作，这就使该算法跟踪指标在当时尤其突出.之后，该作者又在此基础上进行了改良，在原方法的基础上，提出新的滤波算法KCF（kernelized correlation filter）[7]核化相关滤波器.该算法结合了CSK 速度快的优点，并且在精度和成功率上有所提升.在分类器的训练和候选样本的检测上进行了创新，再利用HOG 特征达到了超越同期主流滤波算法的跟踪效果.

图1 循环矩阵示意图Fig.1 The cyclic matrix diagram

虽然上述方法因为使用了FFT，从而让跟踪算法的速度有了很明显的提高.但为了解决相关滤波算法在复杂场景下本身不具备的尺度估计能力而对形变或者尺寸改变的物体无法跟踪、丢失目标的问题，Danelljan 等[8]提出一种新的具有鲁棒性的尺度估计方法DSST 跟踪算法.DSST 算法仍旧使用了主流的HOG 特征，并在尺度金字塔理论体系上学习判别CF（MOSSE）.虽然该方法的跟踪精度对比原算法有相当大的提升，但与此同时由于模型的计算复杂度过大，使得在部分场景下该算法的实时性无法得到保证.为了解决这一问题，Li 等[9]在这一基础上提出一种基于自适应尺度的核化相关滤波跟踪算法SAMF.该作者认为仅仅只需要一个滤波器，不需要再进行储存性训练. 由此带来的结果是每个尺度检测就多了一次提特征的操作和FFT 操作，虽然精度有所上升，但是在图像块较大时计算量远远超了DSST，无法满足实时性的要求，跟踪速度较低.除此之外，还有利用局部信息来提高算法性能的一些算法：Zhang 等[10]把一种具有关联性的上下文信息融入了滤波算法中，设计出了STC 跟踪算法. Ma 等[11]提出了一种跟踪器，其包含两种记忆存储，分别是长短时，以配合处理图像目标跟踪，使得效率提升.C-COT[12]跟踪器也是在一种在连续空间域上，通过学习相当多的判别式卷积算子构造卷积算子组成的多个具有差异性空间上的分辨率卷基层，达到提升性能的目的.但计算量大，无法满足实时性要求. 综合以上分析，传统滤波跟踪算法对形变、被遮挡的问题的研究还不能完全解决实际问题.随着滤波跟踪算法的深入研究，采用更好的特征和融合尺度估计模块提高目标模型的判别力也将受到更多的关注.

2 本文方法

由于多特征融合可以提高算法的跟踪精度和成功率，并且利用尺度估计和尺度集合可以使跟踪框进行自适应改变尺寸. 所以，本文从两个方向入手，利用原KCF 算法的岭回归分类器进行训练，将HOG特征和CN 特征利用响应值进行加权融合.同时，通过PSR 技术判断判断目标的遮挡情况.在旁瓣比算法的作用下，该算法能够更为准确地更新滤波模板系数.再通过对关键点进行光流法跟踪获得小范围内的目标位移变化，判断被跟踪目标的尺寸，结合尺度集合对跟踪框的尺寸进行调节，使本算法的跟踪框能够更好的适应目标的尺寸.

2.1 基于多特征融合的核相关滤波目标跟踪算法

首先，通过最小二乘分类器来预估目标可能出现的位置，该分类器通过求解核正则最小二乘分类器达到训练效果.在整条视频序列中，上一帧图像的跟踪所得目标中心位置进行扩展，在大小一定范围内的窗口进行循环式地采集，以此来对图像进行训练.若采集得到的训练图像块为x，就可以设特征提取后对应的标签（回归）函数为y.所以得到线性分类器模型如式（1）所示.

在标准正则化的前提下，引入最小二乘法来操作核函数，如式（2）所示.

式中：w表示的是滤波器的分类器系数；〈·，·〉表示数学中的内积操作；φ（x）为内核.从原始空间到希尔伯特特征空间的映射函数. 在此前提下，得到如式（3）所示的高维空间中样本的线性组合.那么，核空间内积可表示为

这里的超参数λ≥0，可以起到防止过拟合的作用.再把循环矩阵在离散傅里叶空间内变换，求得最优解如式（4）所示.

其中，线性叠加系数αx可表示为式（5）

式中，F和F-1示离散傅里叶变换和离散傅里叶逆变换；[κ（x，x）][κ（x，x）]为核矩阵κ的第一行，保存κ（x，x）]和[κ（x，x）所有循环转移样本的核函数值.算法采用的核函数为高斯核函数，高斯核函数可表示为式（6）

式中，κ（x，x′）=kxx′；δ为高斯核函数带宽参数.对于所有的循环位移块，kxx′的计算可表示为式（7）

式中，·表示元素点积，x与x′可以看做是滤波算法的两种不同阶段的中间过程.在前期的薇乐大道训练效果，它们都被当做是训练的样本集合.在算法进行到检测下一阶段时，前者作为训练样本，而后者作为检测样本.*表示复数矩阵的共轭操作.

在特征融合方面，首先提取到HOG 和CN 特征.使用它们分别用于在滤波算法中进行训练，再通过上述的公式得到滤波算法最大响应值的位置，记作Pc和Ph.根据各自响应值的大小调节二者的权重.最后，通过加权融合得到跟踪结果.公式为式（8）：

式中，εc和εh分别为CN 特征和HOG 特征的权值，且εc+εh=1.

分别取t时刻CN 和HOG 特征的响应值gc和gh，求其平均值g~c和g~h.为便于操作，设

则εc和εh可表示为式（10）

在目标跟踪过程中，极易出现背景干扰和遮挡等问题.在算法对目标进行跟踪时，需要对更新模板的系数加入一定的限制措施，以防止过多次更新带来的速度衰减.通常会引入一个指标来界定当前的滤波器的跟踪结果是否准确.当跟踪不准确时，就需要停止更新，以免带来更多的误差.

大多数滤波跟踪算法使用的置信度就是这个对跟踪结果是否准确的评价[10].利用置信度响应峰值的比值（PSR），可以估计一个目标是否被遮挡和有效跟踪.PSR 在第t帧的计算公式为式（11）

式中，pt代表本算法第t帧的旁瓣比，gt表示的是本算法第t帧的主峰的峰值响应，μt和δt分别为本算法第t帧的峰值周围区域内的旁瓣区域的均值和标准差.基于此，可以认为pt的值的大和小分别对应着跟踪器在当前环境中对目标位置可信度大小.

本文算法设置参数et来控制是否在t这一时刻来更新滤波模板.算法通过检测视频序列中每一帧的置信度是否满足更新模板的要求.设置的阈值U是由被测数据集得到，近似设置为10 时跟踪效果最优.当其pt值小于阈值U时，可以判定滤波器的跟踪是不符合要求的，于是选择停止目标模型的更新.当物体重新视野中显示，pt值大于该阈值，算法再按照正常的更新模式更新.

利用设置的更新参数et乘以原学习率β来调节学习速率.当目标被遮挡时，停止对分类器模型的更新，当目标移出遮挡后，以学习率et β对目标模型逐帧进行更新，Z表示的训练样本是在目标新位置重采样得到的；K表示Z的自相关核；t表示当前视频进行到的帧数.为了达到鲁棒性的跟踪效果通过模型更新如式（13）所示.

2.2 基于尺度估计的核相关滤波目标跟踪算法

在滤波算法跟踪目标的过程中，训练分类器通常使用[0，1]范围内的数标记样本来表示本中心离目标的远近.当算法所设计的跟踪框中心离目标越近，这个值越接近于1.反之，该值越就越趋近于0.可以认为，目标响应值能够代表跟踪结果进行到当前的可靠性是否足够.因此本文算法通过关键点响应值的大小来设计分配各个指标权重.

式中，T为使用光流法跟踪到点个数；σi和σj为滤波器对于关键角点所产生的的响应值.

当处理过特征点的信息后，为了不对跟踪速度有过大的衰减.采取尺度集合进行缩放.通过设置一个尺度更新间隔L，算法将相邻两帧之间目标的尺度变化小的过滤掉，不浪费过多的计算资源.利用数学中经常用到的平均二分法来检测.本算法设置尺度池为N（N＝{0.85，0.9，0.95，1.00，1.05，1.10，1.15}），当 放 缩比例达到尺度池的刻度后，对滤波器跟踪框进行尺度估计后的放大或缩小，以满足复杂场景的需要.

经过测试，经二分法操作，此种尺度检测策略在各种复杂的尺度变化集合里，能够有效地减少不必要的尺度估计响应次数，从而加快了跟踪速度，节约了整个跟踪过程的耗时.既在复杂尺度变换场景下满足了解决尺度问题的需要，同时又提升了了算法的速度优势.在实时性和鲁棒性要求上能够满足实际生活的需要.

综上所述，结合前两步算法的本文算法的总体流程图如图2 所示.

图2 本文提出方法的总流程图Fig.2 The general flow chart of the method presented in this paper

3 实验验证与分析

在OTB-2013 数据集[13]的全部视频序列中，对比其他主流滤波跟踪算法，测试其综合性能的提升程度.其中该数据集的各种挑战类别如表1 所示.

实验硬件环境条件为：windows10 操作系统（64位版），配置Intel Corei7-6700 CPU，3.40 GHz 主频，16GB 内存，算法开发平台为Matlab R2018b.所提算法中参数设置：相关滤波器学习参数本算法设置为0.015，HOG 特征的正则化参数本算法设置为0.001，CN 特征的正则化参数本算法设置为0.01，HOG 特征和CN 特征的在初始帧的权值均为0.5，权值学习参数本算法设置为0.1，其余参数都和原KCF 跟踪算法保持一致.如图3（a）和图3（b）所示，从定量分析上，在保证速度在45 FPS 的情况下，对比原KCF 算法精度提升14.5%，成功率提升9.2%.同时优于主流滤波跟踪算法.

表1 OTB-2013 数据集的挑战类别及解释Tab.1 The challenge categories and explanations of OTB-2013

对比主流相关滤波跟踪算法，本文算法在各项挑战的跟踪精度和成功率具体成绩如表2 和表3 所示，其中加粗的为同场景下最优秀的算法成绩.可以看出，在绝大多数挑战环境中，本文算法均优于其他相关滤波算法.

从定性分析上，本算法对比其他算法在OTB-2013数据集上的跟踪效果更为优秀.当其他算法不能有效跟踪、卡死、跟丢等情况时，本文算法还能够良好跟踪住目标.其在产生遮挡和尺度变化的几组测试视频的跟踪效果如图4 和图5 所示.可以看出：对于遮挡的目标，本算法由于加入旁瓣比检测，在一定程度上能获取更加准确的特征，

图3 本文算法的精度和成功率图Fig.3 The accuracy and success rate of the algorithm in this paper

表2 各算法在OTB-2013 数据集的不同场景下的跟踪精度表Tab.2 Tracking accuracy table of each algorithm in different scenarios of the OTB-2013

表3 各算法在OTB-2013 数据集的不同场景下的跟踪成功率表Tab.3 Tracking success rate table of each algorithm in different scenarios of the OTB-2013

图4 遮挡场景上的各算法跟踪对比图Fig.4 Contrast map of each algorithm on the occlusion scene

图5 尺度变化场景上的各算法跟踪对比图Fig.5 Comparison of algorithms tracking on scale change scenarios

对于模糊的快速运动目标具有较好的稳健性.在更为复杂的场景下，由于加入的颜色信息对尺度估计有促进和互补作用，达到了更好地适应目标的尺度变化的效果.

对于视频目标尺寸不断发生变化或处在快速运动时，出现较大程度偏离后能够重新找到目标.反观KCF，SAMF 等跟踪算法，跟踪框始终是偏离目标，效果不佳.因此，经过测试，本文算法在复杂场景下的目标尺度发生变化时也能够稳定跟踪上目标.

4 结 论

本文提出了一种基于多特征和尺度估计的核相关跟踪算法.该算法通过融合了HOG 和CN 特征，改进了跟踪滤波器使用的特征，从而进一步提高跟踪精度.在抗遮挡方面，本文改进模型的更新方式，引入旁瓣比判断在跟踪不可靠时，暂停更新滤波模板以避免加入干扰信息，提高了在复杂环境中的跟踪鲁棒性.同时，为解决目标跟踪过程中尺度变化的问题，引入了尺度估计方法.通过对关键点使用光流法跟踪，计算关键点的疏密程度，结合对应点的跟踪响应值，来判断目标的尺寸，使算法的跟踪框能随着目标大小自适应变化.实验结果表明，对于OTB-2013绝大部分测试数据集，本文算法能够准确跟踪目标.本算法较好地解决了部分跟踪过程中目标发生遮挡和尺度变化的问题的同时，相比较于原KCF 算法提高跟踪的精度14.5%，成功率提高9.2%，对于短暂移出视野的目标有更高的鲁棒性.