压缩传感目标跟踪在多实例中的应用

陈 茜 狄 岚 梁久祯

（1.江南大学数字媒体学院，无锡，214122；2.江南大学物联网工程学院，无锡，214122）

引 言

近年来，目标跟踪在计算机视觉中越来越受关注，许多研究者倾注了大量时间在研究更加高效的算法上。在一般情况下，跟踪算法通常先提取目标对象的特征，然后在下一帧中搜索最小差值的图像区域[1]。这是最简单可行的方法，但当处理实时跟踪时，核心问题是如何在保证跟踪准确度的同时，降低计算复杂度。

将特征从高维空间向低维映射是一种成功的方法。压缩感知（Compressive sense,CS）理论[2]表明，如果该特征的维度空间足够高时，这些特征可以被投影到一个随机选择的低维空间，而同时它包含了足够的信息来重构原高维特征。以这种方式，无论是计算复杂性还是跟踪准确度都得到了保证[3]。目前该领域已经取得了很大的进展，但由于跟踪目标在姿势、外观和照明等发生改变[4]、运动过快及遮挡等情况下，都可能导致意外漂移或完全丢失[5]，因此其中仍存在着诸多挑战。为此，本文提出一种基于boosting框架的视频目标跟踪方法，该方法融合了多个正负样本，且使用了压缩感知特征。

在压缩感知跟踪（Compressive tracking,CT）中，Zhang等[6]提出了一种高效的跟踪算法，建立了基于压缩感知理论的特征提取模型。通过朴素贝叶斯分类器从背景中分离出目标,朱秋平等[7]提出了第二特征提取矩阵，与原来压缩特征随机测量矩阵形成互补。作为改进，本文结合了多样本学习方法来综合这两种提取出来的特征，而不是简单地通过朴素贝叶斯分类器将特征相加。

基于分类器跟踪的主要问题是如何将目标和背景区分，也就是正确区分正样本和负样本。Babenko等[8]提出了一种基于多样本的学习方法，用Haar-like特征进行目标检测。基于Adaboost框架的视频目标跟踪方法[9]，本文提出了一种基于压缩感知特征跟踪、结合多种正样本和负样本的目标跟踪方法。

1 压缩传感跟踪算法基本理论

压缩采样理论（也被广泛译为压缩传感或CS）是一种新型采样方法。和传统方法相比，CS可以在恢复一定量的信号和图像的同时，使用更少的样品或测量数据[3]。

和一般跟踪算法不同，压缩传感跟踪算法[6]在提取选择特征的基础上，使用压缩传感算法对所选择的特征进行压缩，而不是直接提取样本的特征，其算法公式为

式中：X∈Rn×1为原始特征；R为测量矩阵；V∈Rk×1为压缩后的数据。文献[6]中，X为一维原始特征，由二维目标候选区转换成一维所得，R为特征提取矩阵，V为最后所得特征。根据式（1）可知，若R为稀疏阵，则可以减少大量计算并减轻内存消耗，故文献[6]中的矩阵R设定为稀疏的随机测量矩阵，定义为

式中a值在{2,3}间随机选取。

图1 特征生成示意图Fig.1 Schematic diagram of Vifeature generation

2 基于压缩传感跟踪的多样本跟踪算法

针对在目标纹理快速变化时，传统压缩传感跟踪算法易发生目标丢失或漂移的问题，本文分析并提出了改进的跟踪算法。

2.1 基于压缩传感的多特征提取

文献[7]改进了特征提取矩阵R来加强跟踪的稳定性。首先使用特征生成图随机生成R，再结合灰度特征和纹理特征，基于R生成新的随机测量矩阵˜。新的特征提取矩阵为

通过概率计算可知[7]，的分布特性与Ri中的正好互补，使得R和提取的纹理特征和灰度均值特征形成互补，且比例为1∶1。在不同的条件下，这两种特征的稳定性不同且互补，从而使跟踪更稳定。特征提取公式为

式中：SSi,k为第k个图像块，为权值，为新的特征。

2.2 在线多样本的检测

采用多实例的样本包，并基于在线的boosting方法[8]，已贴标签的样本集合可定义为

式中：F(x)是分类器，与预测最大边界值有关；yF(x)表示样本x在分类器中的边界。因boosting中的梯度逐级下降，故弱分类器fm(x)可修改为

则包的多样本对数似然函数定义为[10]

且正样本概率的几何平均为正样本包的概率，即

结合式(7)，带有标签的样本被优化后可表示为

式中：aij为负梯度，属于正样本包中的每个样本，表达为。

2.3 在线多样本的加权跟踪

在多样本检测中，有需要加权的多个目标特征，由特征提取的式(3)可知，原跟踪算法候选目标的每个特征是被检目标的概率[6]为

通过式(10)能评估选取特征对训练样本分类的结果。设定q为判别正负样本的阈值，如果p(i)＞q，则判别样本为正，反之则判别样本为负，文中设定q初始为0。

wi为特征的权值，该值会在训练样本分类后重置，每个特征的wi计算公式为

式中：tpi是被正确分类的正样本个数；tni是被正确分类的负样本个数；fpi是被错误分类的正样本个数；fni是被错误分类的负样本个数。

通过多种特征的使用，提高了目标特征在各种情况下的稳定性，同时改善了跟踪效果。与此同时需要对式(10)中的条件分布p(vi|y=1)，p(vi|y=0)重新定义，即

式中：μt和σt分别为样本均值和标准差，当t为1表示正样本，t为0时表示负样本。

通过调整特征的权值wi可得到新的分类器Hn(v)。分类效果好的特征权值增加，同时根据加权过的特征推测出目标的下一帧位置。

结合式(12)，可得到推测目标下一帧位置的公式为

相关参数的更新公式为

3 实验结果

实验中的背景图像由前一帧图像中去掉跟踪区域所得。目标跟踪实例使用了david，box，biker，coke，surfer和face视频序列，所有视频都来自公共视频库，其中遮挡实例来源于surfer和face。本文跟踪算法与多示例学习算法(Multiple instance learning,MIL)[8]、加权多示例学习算法(Weighted multiple instance learning,WMIL)[11]以及快速压缩感知跟踪算法(Fast compressive tracking,FCT)[12]进行了比较。其中压缩传感跟踪算法选取了100个特征，设定了50个强分类器，包含100个弱分类器，4种算法都采用Haar-like特征，在主频为2.83 GHz，内存为4 GB，Windows7操作系统，Matlab2012b平台上进行了对比实验。

3.1 评价标准

在实时跟踪中，平均每秒帧数（Frames per second,FPS）是一种判断跟踪速度的重要指标。首先计算了每种跟踪算法的FPS，然后定义了位置误差这种衡量跟踪准确度的度量方法。位置误差为跟踪器在每一帧的估计位置与该帧人工标定的标准目标位置之间的欧氏距离，差值越接近0为准确度越佳。计算5个算法的平均误差，按照视频序列作为阈值，若某个跟踪算法的位置误差小于对映序列的阈值，就意味着跟踪成功。

3.2 实验结果及分析

图2—5分别给出了4种跟踪算法在不同视频序列中的跟踪结果，其跟踪误差曲线图如图6所示。

图2 david视频序列跟踪结果Fig.2 Tracking results of david sequence

图3 box视频序列跟踪结果Fig.3 Tracking results of box sequence

图4 biker视频序列跟踪结果Fig.4 Tracking results of biker sequence

图5 coke视频序列跟踪结果Fig.5 Tracking results of coke sequence

图6 视频序列的跟踪误差曲线图Fig.6 Tracking error curves of viedo sequence

由图2可知，所有算法在david视频序列中的跟踪效果良好，是因为目标纹理、光照等条件几乎没有发生变化，但在视频的第281，300和400帧中，部分算法的跟踪出现了漂移，这是因为目标出现了光照和姿势、位置的变化。MIL算法的特点是特征会因学习而更新，特别是当目标变化快速时，容易产生不理想的特征，从而出现目标漂移甚至丢失的情况。在跟踪误差曲线图6中，MIL算法在第250到350帧之间出现了目标丢失的情况。本文算法的跟踪稳定，与WMIL，FCT算法的跟踪效果基本相同。

由图3可知，MIL算法和FCT算法在box视频序列中都出现了目标漂移的情况。由于box视频中目标快速运动，造成纹理、光照的明显变化。在第340帧之后MIL算法丢失目标，这是由于该算法采用了单一特征，在目标快速运动或目标环境变化剧烈的情况下不能够稳定跟踪，从而跟踪效果起伏很大。FCT算法也在第340帧以后完全丢失目标，从图6中也可以看出MIL，WMIL和FCT跟踪误差波动很大，这是由于该算法的特征更新速率过快，错误累加导致。本文算法在目标快速运动或目标环境变化剧烈的情况下仍然跟踪稳定，是因为采取了纹理特征和灰度均值特征相结合的方法。且针对不同特征分别进行加权，使得对box视频序列的跟踪结果良好。

由图4可知，在biker视频序列中，目标发生了姿势的明显变化，其中MIL算法提取了颜色特征，所以跟踪最为稳定，而WMIL算法、FCT算法和本文算法在其中都出现了目标漂移的情况，证实压缩感知特征在目标出现瞬间移动过快的情况下容易产生漂移和不稳定的情况。从图6中也可以看出，FCT和本文算法的跟踪误差曲线在第85帧到第100帧之间波动最大，而WMIL算法从85帧开始甚至完全丢失目标，这是由于目标速率过快，导致了跟踪不稳定漂移的情况。

图5的coke视频序列中，光照和位置变化明显。结合图6可知，MIL算法从一开始就产生了较大的位置误差，WMIL，FCT算法和本文算法跟踪效果良好。

图7和图8显示了遮挡目标实验结果。从选取的视频序列可知，在目标被遮挡时，MIL算法、WMIL算法和FCT算法产生了漂移。由于上述几种算法都没有处理遮挡的情况，故当目标被大面积遮挡或持续遮挡时，会发生目标漂移甚至目标丢失。本文算法在图8第2行右图中，在男子的头部被帽子遮挡部分时没有出现太大的漂移。

图7 sufer视频序列跟踪结果Fig.7 Tracking results of sufer sequence

图8 face视频序列跟踪结果Fig.8 Tracking results of face sequence

表1给出了每种跟踪算法的FPS结果。由表1可知，在实时性方面，本文方法达到了在线跟踪的需求，帧速率因受到不同视频序列分辨率的变化或跟踪目标的变化，会略微有差异。本文方法与MIL算法、WMIL算法以及FCT算法的像素误差对比结果如表2所示。各种跟踪算法的成功率对比结果如表3所示。由表3可知，本文方法的跟踪成功率在四者中最优。需说明的是，表1，2，3中的最佳结果均由红色表示，次佳结果由蓝色表示。

表1 4种跟踪器的平均帧速率Tab.1 Average frames per second（FPS）of four trackers

表2 4种跟踪器平均位置的像素误差Tab.2 Pixel error of average position of four trackers

表3 4种跟踪器的成功率Tab.3 Success rate of four trackers

4 结束语

在压缩传感跟踪算法和多样本跟踪方法的基础上提出本文算法。经过目标跟踪检测实验可以得出，在跟踪速度上本文算法优于多样本跟踪方法，在跟踪效果上继承了压缩传感跟踪算法的优越性。通过针对两种算法的不足进行的改进，结合了两种算法的优势，在满足实时性的同时，有效提高了特征跟踪的稳定性，在跟踪目标被遮挡时，能有效抗干扰，寻回目标。实验结果表明，本文算法在目标快速运动，纹理或环境发生变化的情况下，能有效提高跟踪稳定性，并能遏制一定的漂移现象。以后的研究会着重于引入运动推测[10，13-14]改进目标发生严重遮挡时的情况，采用三角流等算法[15-17]解决目标大小发生变化的情况。但引入这些算法必然影响跟踪的帧速率，这些是后续研究的方向。