TLD视频目标跟踪算法浅析

杨海岩　薛擎天

【摘 要】目标跟踪在计算机视觉领域有着重要的应用，跟踪的结果常常会受到光照、遮挡物、相似物的影响，因此算法仍然具有很大的挑战。TLD（Tracking Learning and Detection）算法是目前复杂环境目标追踪的有效算法。本文从框架、追踪和性能等几个方面对TLD算法进行了研究与分析。

【关键词】跟踪；视频帧；检测；特征

0 引言

人类的视觉系统是感知和观察世界的最主要途径，运动目标的检测与跟踪一直都是视觉领域的难题之一。目标跟踪主要由三个部分组成：目标检测、识别和跟踪。对于一帧独立的图像帧，目标的位置、形状、大小信息标识出一个确定的物体。对于一段完整的视频，就是通过寻找目标的位置形状等信息来跟踪目标，如果目标跟丢或者受到障碍物的遮挡，系统能够指出错误。对于视频中未知物体的长期跟踪，Zdenek Kalal提出了一种新的跟踪算法—TLD（Tracking Learning and Detection），TLD可以通过整个的目标识别系统来追踪运动的物体目标。

1 算法框架

TLD视频目标跟踪算法，是由跟踪、学习和检测三个环节构成，跟踪和检测并行运行，其结果作为学习的样本，学习后的模型再反馈给检测和跟踪环节，对其进行實时更新，最终实现持续稳定的跟踪。

该算法需要手动选择被跟踪目标，或者采用其他运动目标检测算法实现自动目标识别。假定选定被跟踪的目标后，学习模块和检测模块中的参数同时也被初始化。在TLD算法中，I1代表着第一帧视频帧，BB1表示初始帧中的目标实体，也就是我们手动选择的目标，类似地，BBK代表在第k帧（IK）中边界框所包含的目标实体。初始化后，视频帧被逐帧送入到跟踪器和检测器，跟踪器和检测器分别计算出该实体在下一帧中的区域，分别用BBti和BBdi表示计算出的结果。该集成器结合了跟踪和检测器的结果来确定该目标实体的位置，学习器使用跟踪结果来更新检测器的参数。TLD的输出结果是一个包含目标的边界框，初始化模块的输出结果是更新后的学习器和检测器的参数。

2 目标跟踪

TLD跟踪模块采用重叠块跟踪策略，主要使用光流算法，如Lucas-Kanade光流法。TLD在跟踪前需要指定待跟踪的目标，由一个矩形框标出。最终整体目标的运动取所有局部块移动的中值，并结合正反向误差分析来选取在连续视频帧中的目标，这种局部跟踪策略可以解决跟踪过程中所出现的部分遮挡的问题。

TLD检测模块实际上是一个分类器，该分类器是在学习模块训练生成。在特征选取上，最初特征是从包含目标物体的训练集合中的图像块中收集的。所收集的特征点的统计数据用于训练分类器区分目标实体和背景，然后创建扫描窗口来详细地扫描图像或视频帧，从每个扫描窗口中收集的积分图像特征被用于在检测器中训练分类器。对于每一帧，分类器需要把扫描窗口判定为目标实体或背景。分类器在具体的设计上，采用级联形式，即分类器包括三个子分类器，分别为方差分类器、集成分类器、最近邻分类器。每个子分类器标签子窗口为真或假，即当子窗口被标记为真时，它被分类为包含目标实体。第一个分类器粗略快速地区分扫描窗口中的背景，如果目标候选区域没有通过第一个分类器，就不会进入后面的分类器。在后面的分类器中需要更加复杂的标准以避免模糊图像块的错误检测。级联分类器使得检测器可以快速消除背景子窗口和准确地检测出目标实体的区域。

基于视频的目标识别跟踪技术有其复杂的特性，主要体现在运动目标的外观会有一定的变化，如相机焦距的变化，目标自身运动轨迹的变化，拍摄角度的变化、外界光线的变化，运动中其他物品的遮挡等等，这些都会使目标的外观上与初始帧中所选取的目标有很大的差异。因此，要想使跟踪算法具有鲁棒的特性，适应不同环境变化，能够实现持续稳定的跟踪，这就要求跟踪算法具有一定的学习能力。TLD学习模块主要完成这一任务。

TLD学习模块是建立在在线模型的基础上。在线模型是一个大小为15×15的图像块的集合，这些图像块来自跟踪和检测所得的结果，初始的在线模型为起始跟踪时指定的待跟踪的目标图像。在线模型是一个动态模型，其发展是由两个事件来驱动，分别为增长事件和修剪事件。

在实际的跟踪场景中，由于受到环境和目标本身等多因素的影响，使目标的外观不断发生变化，这使得由跟踪器预测产生的目标图像会包含其他与目标无关的信息。通过对目标物体形变的研究来提高检测器对不同外形物体的识别能力。随着跟踪时间的增加，在线模型中图像块的数量会急剧增加，会导致目标的特征空间不断增大，这一过程就是所说的增长事件。在实际的目标跟踪过程中我们需要一定数量的新特征来适应目标不断变化的特点。然而，目标特征空间的增加会导致计算量的增大，同时也会增加一些虚假特征信息，最终影响跟踪效果。为了防止增长事件带来的其他非目标图像，采用了与之相对的（下转第17页）（上接第21页）修剪事件来平衡。也就是，对在线模型中的图像块进行筛选，去除增长事件所产生的干扰图像块。通过增长事件和修剪事件的动态平衡来促使在线模型一直保持与当前的跟踪目标相一致。

在线模型中的图像块集合为TLD的学习提供了一个样本空间，在TLD算法学习训练过程中采用了两种约束：P约束和N约束。P约束针对目标的运动路线收集更多的正样本（规定与跟踪轨迹上的目标图像距离近的图像块为正样本），同时把得到的轨迹进行筛选，选出最有可能的目标的运动轨迹，然后将这些筛选出来的轨迹作为正样本。而N约束主要是发现本应由检测器区分的背景信息。P约束和N约束降低了分类器的错误率，在一定的范围内，其错误率趋近于零。TLD跟踪算法主要的实现步骤如下：

（1）在第一帧中手动选择要跟踪的目标物体。

（2）初始化分类器和跟踪器中的参数。

（3）遍历扫描每一帧视频帧，并对扫描窗口内的图像进行分类器检测，检测出目标的位置和大小，同时，跟踪器通过上一帧的目标框进行预测。

（4）根据检测器判断出的目标框和跟踪器预测出的目标框，综合判断出最终的跟踪结果。

（5）通过P-N学习来更新分类器参数。

（6）用矩形框框出目标物体。

（7）判断视频帧是否结束。如果视频结束，就结束整个跟踪过程，否则跳转至步骤（3）继续执行。

3 性能分析

TLD跟踪算法的性能优势在于可以在在线的状态下同时进行在线的学习和对新的分类器进行训练，而且还能在训练分类器的基础上更新并矫正。因为算法结合了在线检测器的功能，所以即使目标在脱离监视范围之后再一次出现，该算法仍然能够很好的由于算对目标进行重新检测，以便对目标继续跟踪。算法存在的不足是该算法目前还不可以自动对跟踪目标进行锁定，也就是不具备自动目标检测功能，需要人工选定对目标。当目标物品被遮挡时该算法容易失去对目标的跟踪同时也有可能对错误的目标进行跟踪。在初期阶段，当目标发生大范围的旋转之后，会对算法造成丢失目标的影响。对弱小目标的跟踪效果较差。TLD算法受光照影响大，当光照条件发生突然的变化时，很容易就会丢失目标。行人流型物体的追踪也是该算法的短板，算法不能同时追踪多个目标。

【参考文献】

[1]Z.Kalal，K.Mikolajczyk，and J.Matas.Tracking-Learning-Detection[J].Pattern Analysis and Machine Intelligence，IEEE Transactions on，2011，34（7）：1409-1422.

[2]高帆，吴国平，邢晨，等.基于TLD目标跟踪算法研究[J].电视技术，2013，37：11-19.

[3] 张帅领.基于TLD的视频目标跟踪算法的研究[D].西安电子科技大学.2014.endprint