STC目标跟踪算法及改进

代顺锋++秦晓飞

摘要：

针对传统的STC目标跟踪算法在刚性形变、多尺度自适应跟踪效果不稳定问题，提出了一种改进的STC目标跟踪算法。结合时空上下文信息特征，利用PCA自适应颜色降维特征建立外观模型，获得先验模型；在频域进行在线学习，建立上下文模型；计算置信图，找到响应分数最大值，预测下一帧位置。为验证算法有效性，在Benchmark库提供的数据集中进行算法测试和分析，结果证明，其在刚性形变、快速运动、遮挡、彩色图像跟踪中有较好的鲁棒性。

关键词：STC；目标跟踪；颜色特征；颜色融合；降维

DOIDOI：10.11907/rjdk.171542

中图分类号：TP312文献标识码：A文章编号：16727800（2017）010005103

0引言

目标跟踪主要是为了估计目标在图像中的序列位置，是计算机视觉中最具挑战性的问题之一。视觉目标跟踪在许多应用中起着至关重要的作用，特别是在人机交互、视频监控和机器人技术方面。影响目标跟踪成功的因素很多，主要有光照变化、局部遮挡、景物模糊、物体刚性形变等。本文研究基于STC算法的改进目标跟踪算法。虽然视觉跟踪技术取得了重大进展，但使用颜色信息通常仅限于简单的颜色空间变换。与视觉跟踪相反，复杂的颜色特征已经显示出能够为物体识别和检测提供有效信息[1]。在彩色成像方面已经对这些因素的鲁棒性进行了研究，并成功应用于图像分类和动作识别[24]。本文仅评估可视对象跟踪任务的颜色转换。

目前处理目标跟踪算法的主要方法有两种，即生成方法和判别方法[5]。生成方法基于模板或子空间模型解决问题搜索与目标模型最相似的区域；判别方法旨在将跟踪作为二进制分类问题来区分目标与背景。与生成方法不同，判别方法使用目标和背景信息找到用于区分目标对象与背景的决策边界，其样本补丁在线训练判别式分类器。文献[6]对线上跟踪算法进行了综合评估。

1时空上下文算法（STC）

跟踪问题是指通过计算估计的置信图表示对象的可能位置：

m（x）=P（xo）（1）

其中x∈R2是对象位置，o表示场景中存在的对象。使用先验概率P（o）简单表示目标位置P（o|x）为后验概率。使用空间上下文信息估计图显示其图形模型表征。图中目标位置x（即被跟踪对象中心的坐标）是可以跟踪的。上下文特征集定义为Xc={c（z）=（I（z），z）z∈Ωc（x）}，其中I（z）表示位置z处的图像强度Ωc（x）是位置x邻域目标对象大小的两倍。通过边缘联合概率P（x，c（z）o）可以计算公式（1）中的目标位置似然函数：

m（x）=P（xo）=∑c（z）∈XcP（x，c（z）o）=

∑c（z）∈XcP（xc（z），o）P（c（z）o）（2）

其中条件概率P（xc（z），o）模拟了空间关系对象位置，其上下文信息有助于解决歧义退化的图像测量问题，且P（c（z）o）是上下文先验概率，模拟局部上下文的外观模型，主要任务是学习P（xc（z），o），弥补了对象位置与空间上下文位置的差距。

1.1空间上下文模型

条件概率函数P（xc（z），o）定义为：

P（xc（z），o）=hsc（x-z）（3）

其中hsc（x-z）是对象位置x与其局部上下文位置z之间的距离函数，表示编码对象与其空间上下文之间的空间关系。需注意的是，hsc（x-z）不是径向对称的函数（即hsc（x-z）≠hsc（x-z），并需考虑到目标和局部上下文之间的不同关系，有助于解决相似物体在相近位置附近的歧义。然而，在所提出的方法中，双眼位置在与位置z相似的距离处，与z的相对位置是不同的，导致不同的空间关系，即hsc（xl-z）≠hsc（xr-z）。 也即是说，非径向对称函数有助于解决模糊度问题。

1.2上下文模型

式（2）中，上下文先验概率与简单模型上下文外观有关：

P（c（z）o）=I（z）ωσ（z-x）（4）

其中I（·）是表示上下文模型的图像强度，是高斯加权函数，定义为：

ωσ（z-x）=ae-z-x2σ2（5）

其中a为将式（4）中P（c（z）o）限制在0～1的归一化常数，满足概率的定义，σ是一个比例参数。它模拟了注意力集中在需要详细分析的某些图像区域的生物视觉系统的关注焦点。越接近上下文位置，z越接近当前跟踪目标位置x，更重要的是它在即将到来的帧中预测对象位置，需设置更大权重。与使用空间加权函数来表示不同位置上下文重要性的算法不同，该模型越靠近对象中心位置，上下文位置被抽样的越多。

1.3置信图

对象位置的置信度图被建模为：

m（x）=P（xo）=be-x-xαβ（6）

其中b是归一化常数，σ是一个缩放参数，β是一个形状参数。式（6）中的置信度图m（x）考虑了能够有效处理位置模糊问题目标位置的先验信息。目标位置模糊问题经常发生在视觉跟踪中，会影响跟踪效果。

1.4快速学习上下文模型

由式（3）、（4）、（6），可得：

m（x）=be-x-xαβ=

∑z∈Ωc（x）hsc（x-z）I（z）ωσ（z-x）=hsc（x）（I（x）ωσ（x-x））（7）

其中表示卷积运算。式（7）可以转换到快速傅里叶的频域变换（FFT）算法卷积：

F（be-x-xαβ）=F（hsc（x））⊙F（I（x）ωσ（x-x））（8）

其中F表示FFT函数，⊙是元素点积。

2改进的STC算法

STC目标跟踪算法使用目标局部信息和目标周围的上下文信息，使用灰度值特征进行目标表征。本文使用简单的空间上下文模型和时空上下文更新的策略。在目标快速运动、姿态变换和背景模糊等复杂情况下，目标表征外观发生较大变化，导致更新失败。STC算法不能及时更新目标尺度，在线学习方法容易产生误差，使得跟踪效果变差，甚至跟踪失败。针对该问题，本文提出了一种基于融合颜色信息时空上下文的实时目标跟踪算法。该算法首先使用灰度特征和自适应降维颜色特征建立目标模型，通过学习时空上下文模型，求得目标位置和實际位置的差值，预测出下一帧位置。endprint

为了能够更好地处理目标表征外观的变化，本文引用颜色特征进行目标表征，通过降维进行处理。采用Danelljian等提出的基于自适应颜色属性的实时视觉跟踪，将原本RGB 3通道的图形转化到11通道。每个单通道分别进行处理，将这些单通道的处理结果进行融合。由于多通道运算量较大，使用PCA降维方法进行处理。从11个通道中选取2个主要通道进行处理，提升跟踪精确度。使用自适应维数方式保存有用信息，与此同时减少颜色属性数量，从而显著提高运算速度。通过最小化损失函数的形式找到一个合适的维度降低图来满足当前帧，采用加权函数描绘最小损失函数：

ηpt=αpηpd+∑p-1j=1αjηjs（9）

ηpd表示当前帧的数据项，ηjn表示第j帧平滑数据项。每一项数据都有权重函数控制α1，…，αp。从目标周围上下文模型图像块中提取出降维颜色特征块xp，通过降维技术从11维降到10维，然后在10维的标准正交基找到颜色块xc。通过降维技术把D1×D2通过正交列向量映射位矩阵Bp。该矩阵通过公式p（m，n）=BTpx∧（m，n），m，n来计算新的D2维特征图p。数据项由当前外观的重构误差表示：

ηpd=1MN∑m，n‖p（m，n）-BpBTpx∧（m，n）‖2（10）

对上式最小化就是对当前帧执行主成分进行分析（PCA），然而仅仅通过上式不能更新映射矩阵，需要将时空上下文模型进行更新。

将公式（1）转换到频域，得到上下文模型。然后进行傅里叶变换，可以得到上下文模型的傅里叶变换：

Hstct=MFt-FtF-t=CtDt（11）

其中Ft-是Ft的共轭复数，M是置信图的傅里叶变换。

在跟踪过程中，目标容易受到外界环境和自身影响，因此需要及时更新模板。为提高鲁棒性，使用空间上下文模型进行更新。

Ct+1=（1-ρ）Ct+ρMFt+1-（12）

Dt+1=（1-ρ）Dt+ρFt+1Ft+1-（13）

使用t+1帧的上下文先验模型和t帧的时空上下文模型计算置信图：

mt+1（x）=F-1（CtFt+1Dt）（14）

取t+1帧中的最大置信图mt+1（x）即可得到t+1帧的目标位置。

3实验结果及分析

实验平台为MATLABR2016a，实验配置Intel Core i52450M CPU，主频2.3GHz ，4G内存，操作系统Microsoft Windows 10电脑。为了验证算法的有效性，选取OTB13上的视频序列进行测试。将本文提出的算法与其它29个算法进行比较，其中包括STC算法。实验测试序列选取Tiger1、David2、David3测试序列。这些测试序列具有刚性形变、快速运动和彩色图等特性。红色实框表示改进的STC算法即CSTC算法，黄色实框表示STC算法，黑色实框表示KCF算法。实验测试结果见图1-图3。

从soccer序列中可以看出，#95发生快速运动，由于STC和KCF只选取了灰度特征值进行判断，但是CSTC算法选取颜色特征融合降维算法，可以看出此时跟踪效果良好。在#129序列中可以看到，经历长时间跟踪，此时STC和KCF不能修正误差，导致长时跟踪失败。同时测试Tiger1和David3序列，实验结果验证了算法的有效性。

4结语

本文针对STC灰度特征改进算法，提出了一种融合颜色特征和降维算法的改进算法，在刚性形变、快速運动、遮挡、彩色图等测试序列中显示出良好的适应性。选取OTB13视频序列进行测试，结果表明，改进算法在处理上述问题时具有良好的跟踪效果，验证了算法的有效性。

参考文献参考文献：

[1]K ZHANG， L ZHANG， M YANG. Realtime compressive racking[C]. European Conference on Computer Vision，2012：864877.

[2]X JIA， H LU， MH YANG. Visual tracking via adaptive tructural local sparse appearance model[C]. IEEE Conference on Computer Vision & Pattern Recognition，2012：18221829.

[3]L SEVILLALARA， E G LEARNEDMILLER. Distribution fields for tracking[J]. Computer Vision & Pattern Recognition，2012，157（10）：19101917.

[4]ZHANG K， ZHANG L， YANG MH. Realtime compressive tracking[C]. European Conference on Computer Vision，2012：864877.

[5]AHUJA N. Robust visual tracking via multitask sparse learning[C]. In CVPR，2012：20422049.

[6]Y WU， J LIM， M H YANG.Online object tracking： benchmark[C]. In CVPR，2013.

责任编辑（责任编辑：黄健）endprint