结合双模板融合与孪生网络的鲁棒视觉目标跟踪

陈志良，石繁槐

同济大学电子与信息工程学院，上海 201804

0 引 言

视觉目标跟踪(visual object tracking,VOT)在机器人(Held等，2016)、视觉监控(Xing等，2010)、医学影像分析(Liu等，2012)、人机交互(Zhang和Vela，2015)和自动驾驶(Lee和Hwang，2015)等许多计算机视觉领域都有广泛应用。给定一个视频序列，目标跟踪的核心任务是对每一帧图像鲁棒地估计目标的运动状态(位置、尺寸等)，但是对于计算机来说，实现准确的目标跟踪非常困难，主要挑战包括旋转、遮挡、形变、尺度变换和背景干扰等。

基于判别相关滤波器(discriminative correlation filter，DCF)的目标跟踪方法在精度和鲁棒性方面较传统的跟踪算法有了很大提高。Bolme等人(2010)通过最小化傅里叶域下的期望输出与实际输出之间的平方误差之和，提出了MOSSE(minimum output sum of squared error)跟踪算法，是最早利用相关滤波器研究跟踪的工作。基于MOSSE，Henriques等人(2012)提出核循环结构(circulant structure with kernal，CSK)跟踪算法，利用目标外观的循环结构构建大量样本，并且用核正则化最小二乘法训练相关滤波器，实现了更精确的目标定位。Danelljan等人(2015)提出空间正则化判别相关滤波器(spatially regularized discriminative correlation filters，SRDCF)算法，解决了训练样本周期性假设引起的边界效应，在学习阶段引入空间正则化分量，并且根据空间位置对相关滤波器系数进行惩罚。为了避免通过穷举尺度空间搜索估计目标大小，DSST(discriminative scale space tracking)跟踪算法(Danelljan等，2017b)通过学习相关滤波器分别估计平移和尺度，提出了一种新的尺度自适应跟踪方法。ECO(efficient convolution operators)算法(Danelljan等，2017a)重新优化了DCF框架的核心公式，引入因式分解的卷积操作和生成样本空间模型，大幅减少了参数量，解决了DCF框架过拟合和计算复杂性过高的问题，提高了ECO算法的速度和精度。

近年来，基于深度学习技术,特别是基于孪生网络的目标跟踪算法(Zhu等，2018；Li等，2019a)引起了广泛关注。基于孪生网络的目标跟踪算法将视觉目标跟踪问题转化为学习模板图像与候选搜索区域图像之间的通用相似度得分图，在主流的目标跟踪公开数据集中取得了不错的性能，运行速度也满足实时性要求。然而，绝大多数基于孪生网络的跟踪算法都有一个很大的局限性，即当跟踪目标被遮挡或出现较大外观变化时，跟踪性能通常会显著下降。针对现有基于孪生网络的跟踪算法存在的问题，本文提出一种高效、鲁棒的基于孪生网络的双模板融合目标跟踪算法(siamese tracker with double template fusion，Siam-DTF)，改善当前孪生网络跟踪算法在目标遮挡和较大外观变化情况下跟踪性能下降问题，在OTB2015(object tracking benchmark 2015)(Wu等，2015)、VOT2016(visual object tracking 2016)(Kristan等，2016)和VOT2018(Kristan等，2018)3个大型目标跟踪数据集上均获得了最先进的跟踪结果，运行速度超过实时，可达47 帧/s。本文工作的主要贡献有：1)对当前基于孪生网络的跟踪算法在目标遮挡和较大外观变化情况下跟踪效果下降的原因进行分析，发现其核心原因是单一固定的初始模板。2)为了克服单一模板的不足，提出一种新颖有效的双模板机制，提高了基于孪生网络的跟踪算法的性能。3)提出一个外观模板搜索模块(appearance template search module，ATSM),在跟踪过程中为目标对象获取合适、高质量的外观模板，同时设计了有效的融合策略，从而获得更加鲁棒的跟踪结果。

1 相关工作

近年来，视觉目标跟踪得到了广泛研究，提出了许多提高跟踪性能的方法(Smeulders等，2014；Henriques等，2015；Li等，2018a；Bhat等，2019；Wang等，2018，2019;Danelljan等，2016)。

1.1 基于孪生网络的视觉目标跟踪

基于孪生网络的跟踪算法在精确性和效率上取得了不错的平衡。与传统的基于相关滤波的跟踪算法不同，基于孪生网络的目标跟踪算法将视觉跟踪描述为一个互相关问题，可以更好地利用深度网络支持端到端学习的优点。典型的孪生网络由两个具有共享参数的分支组成，即学习目标特征表示的模板分支和代表当前搜索区域的搜索分支。模板通常是从视频帧序列中的第1帧的标注框中得到，记为z，后续每一帧的搜索区域记为x。孪生网络以z和x两个分支作为输入，用一个离线训练好的共享权值的主干网络φ提取两个分支的特征，主干网络的参数为θ。对模板分支和搜索分支的特征进行卷积运算，可以得到当前帧的跟踪响应图，响应图上的数值代表了目标出现在每个位置的得分大小。响应图计算为

fθ(z,x)=φθ(z)*φθ(x)+b

(1)

式中，b表示模拟相似度偏移的偏差项。式(1)相当于模板z在图像x上的执行穷尽搜索，得到每个位置的相似度得分。

一般来说，孪生网络通过从训练视频中搜集大量的图像对(z，x)和相应的真实标签y进行离线训练。训练过程中，主干网络的参数θ得到不断优化。为了使响应图fθ(z,x)中的最大值与目标位置相匹配，通常在训练集中最小化逻辑损失l，即

(2)

在上述理论基础上，为了提高跟踪性能，对基于孪生网络的跟踪算法提出了许多改进，通常使用经典的相对较浅的AlexNet(Krizhevsky等，2017)作为框架的主干网络。SiameseFC(fully-convolutional siamese networks)跟踪算法(Bertinetto等，2016)以图像对作为输入，一个图像对包括一幅模板图像和一幅候选搜索区域图像，然而，SiameseFC算法无法准确估计目标尺度，只能通过多尺度搜索处理尺度变化。SiamRPN(siamese region proposal network)跟踪算法(Li等，2018a)通过在孪生网络之后引入区域候选网络(region proposal network，RPN)解决这一问题。RPN网络最初用于目标检测(Ren等，2017；Liu等，2016)，可以进行联合分类和回归，并且支持端到端离线训练。DaSiamRPN(distractor-aware siamese region proposal network)跟踪算法(Zhu等，2018)增加了一个干扰物感知模块，并在在线跟踪过程中显式地抑制干扰物的得分。此外，Li等人(2019a)提出SiamRPN++ 跟踪算法，采用一种有效的采样策略打破了空间不变性的限制，将最初放置在中心的目标移动不同的像素，使训练样本中目标的空间分布更加均衡，消除了中心偏差的影响，充分利用深层网络的表征能力，首次在更深层的ResNet50(deep residual networks)(He等，2016)主干网络上成功训练出高效的孪生网络。HASiam(hierarchical attention siamese network)算法(Shen等，2020)构造了一个层次化的注意力孪生网络，提高了跟踪性能。上述基于孪生网络的跟踪算法在速度和精度方面都取得了优异的性能。

1.2 特征融合

深层神经网络中不同层次的特征具有不同的代表能力，浅层特征包含更多细节的空间信息，高层特征包含更多抽象的语义线索。许多跟踪算法已经证明，使用特征融合可以提高视觉跟踪算法的鲁棒性。C-RPN(siamese cascaded region proposal networks)算法(Fan和Ling，2019)使用一种多阶段的跟踪框架，通过级联一系列RPN，将高层特征融合到低级RPN中。SiamRPN++算法(Li等，2019a)从ResNet50最后3个残差块中提取多级特征，然后对RPN输出采用加权求和，这种特征的分层聚合获得了可观的收益。

2 基于孪生网络的双模板融合目标跟踪方法

2.1 孪生网络跟踪算法性能下降的原因分析

随着深度学习和大规模视觉目标跟踪数据集的发展，跟踪性能有了很大提高。虽然当前基于孪生网络的跟踪算法已经可以应付许多复杂的挑战，但仍有一些困难的情况会导致跟踪失败。

为了进一步提高基于孪生网络的跟踪算法的鲁棒性，本文分析了当前孪生网络跟踪框架的内在机制，发现性能下降的原因在于使用了单一固定的初始模板。在当前的孪生网络跟踪框架下，算法通常有初始模板z和搜索区域x两个输入分支。式(1)表明，孪生网络跟踪相当于在给定模板z的前提下在当前帧x中找到与模板z最相似的位置。图1展示了当前孪生网络跟踪框架下单一固定模板的限制，图1各子图中左上角数字表示图像处于序列的第几帧，绿框为真实标注。在整个跟踪过程中，飞行的鸟先后经历了云层遮挡和较大的外观变化。而现有的基于孪生网络的跟踪算法只使用第1帧的标注框作为模板，在面对上述复杂情况时的跟踪性能自然会不可避免地下降。单一固定的初始模板无法很好地应对目标出现的各种复杂变化，同时也限制了模型对于跟踪历史帧的深层特征的充分利用。

图1 单一固定模板的局限性Fig.1 Limitation of the single fixed template

2.2 本文算法框架

为了克服上述限制，提高基于孪生网络的跟踪算法的鲁棒性，本文提出了一种新的双模板机制。除了使用第1帧的标注框作为初始模板外，增加1个外观模板分支，通过外观模板搜索模块，在跟踪过程中为目标获取合适、高质量的外观模板。与现有基于孪生网络的跟踪算法一样，初始模板从第1帧的标注框获取并且在整个跟踪过程中固定不变。而外观模板则是根据历史帧的跟踪结果得到的，可以灵活调整，能适应目标物体的复杂外观变化。在双模板机制下，初始模板与外观模板相结合，二者起到互补的作用。最后，通过精心设计的融合模块可以充分利用双模板，提高了跟踪算法的鲁棒性。

如图2所示，本文提出的Siam-DTF算法框架由初始模板z、外观模板za和搜索区域x共3个分支组成，φ(x)表示特征提取。虚线区域是当前主流的基于孪生网络的跟踪算法框架，只使用单一固定的初始模板。响应图由式(1)计算得到。图2底部是本文添加的外观模板分支，通过外观模板搜索模块可以获得与当前搜索区域x最对应的外观模板za，然后通过计算得到更精确的响应图，具体计算为

图2 本文提出的Siam-DTF算法框架Fig.2 Illustration of our proposed Siam-DTF framework

fθ(za,x)=φθ(za)*φθ(x)+b

(3)

式中，φθ和b的含义与式(1)相同。

值得注意的是，本文提出的双模板机制同时利用了长期和短期记忆信息。初始模板z作为目标对象的真实标注，包含了对目标的长期记忆，而根据历史帧获得的外观模板za则包含更多的短期记忆。在整个在线跟踪过程中，本文算法融合了初始模板z和外观模板za的输出，优化了最终的跟踪结果，大幅提高了基于孪生网络的跟踪算法的鲁棒性。

2.3 外观模板搜索模块

模板的选择是基于孪生网络的跟踪算法中的一个关键部分。好的模板可以产生准确稳定的结果，而不合适的模板则会严重降低跟踪算法的性能。本文提出的外观模板搜索模块的目的在于从历史帧中获得与当前搜索区域x最对应的外观模板za。

跟踪响应图的置信度得分表示模板与搜索区域在各位置的相似程度。考虑到相邻帧之间的图像内容差异很小，本文提出的外观模板搜索模块从具有最高置信度得分的历史帧中裁剪出一个新的最近模板z′，表示为

(4)

图3 外观模板搜索模块Fig.3 Illustration of the proposed appearance template search module

在大部分的遮挡、模糊或相似物干扰场景下，本文都能找到这样合适的z′作为外观模板。但是在少部分场景下，利用置信度得分裁剪出的图像块z′本身可能与当前目标图像外观不太一致，或者有模糊、位置误差等，此时低质量的z′会对跟踪结果造成较大偏差，导致后续帧出现跟踪漂移。为了过滤掉这些低质量的模板，本文在外观模板上添加了置信度得分和回归框交并比(intersection-of-union，IoU)两个约束项，大幅提高了外观模板的质量。对于低质量的模板本文直接丢弃，采用稳妥可靠的初始模板，从而防止对跟踪结果造成负面影响。最终的外观模板za表示为

(5)

理论上可以在每一帧都获取新的外观模板，但实验分析和常识表明没有必要每一帧都激活双模板机制。图4显示了SiamRPN++跟踪算法在OTB2015数据集basketball序列上的置信度得分变化。可以看到，在序列前面部分的绝大多数帧中，跟踪算法的置信度得分非常高(大多高于0.97)。通过分析每一帧图像的内容，可以发现跟踪置信度得分的急剧下降通常意味着严峻的挑战。例如,图4中的点A和点B分别出现了遮挡、较大外观变化和干扰物。总之，跟踪算法的置信度得分变化很大程度上反映了当前帧的跟踪质量。

图4 SiamRPN++跟踪算法在OTB2015数据集basketball序列上的置信度得分变化Fig.4 The confidence change of SiamRPN++ tracker on sequence basketball in OTB2015 dataset

在上述分析启发下，本文引入一种自适应策略确定是否执行外观模板搜索模块获得外观模板。具体地说，在当前帧的最大置信度得分以一定阈值m低于历史N帧的平均置信度得分时，本文算法开始启动外观模板搜索模块并通过式(5)获取外观模板。换句话说，这个稀疏更新机制保证本文算法在初始模板与当前帧不匹配时获取适当的外观模板。

2.4 融合模块

为了充分发挥双模板机制的优势，在这两个分支后面设计了一个融合模块，分别使用响应图融合和特征融合两种不同的融合方法组合初始模板和外观模板分支。

1)响应图融合。最直接、简单和有效的方法是融合初始模板分支和外观模板分支的输出响应图。具体方法为根据式(1)和式(3)分别获得两个分支对应的响应图，然后直接在响应图上采用加权和，即

s=α·fθ(z,x)+(1-α)·fθ(za,x)

(6)

式中，s是最终融合后的响应图，α∈[0,1]表示响应图融合时的权重系数。通常，参数α表示初始模板与当前搜索区域的相似程度。α越小，初始模板与当前搜索区域的相似程度越低。如果α=1，则式(6)退化为原来的式(1)，意味着只使用初始模板。

响应图融合策略兼顾了初始模板和外观模板各自的优点，有效提高了视觉跟踪算法的鲁棒性。

2)特征融合。已经有许多研究表明(Li等，2019a；Fan和Ling，2019)，使用特征融合可以提高视觉跟踪算法的鲁棒性。浅层特征包含更多细节的空间信息，而高层特征包含更多抽象的语义线索。由于这两个分支具有相同的空间分辨率，可以先融合初始模板和外观模板的特征，然后利用融合后的模板特征和搜索区域特征计算最终的响应图。具体为

(7)

式中，s是最终的响应图，β∈[0,1]表示特征融合时的权重系数。β越大，则特征融合时初始模板所占的权重越大，反之外观模板占的权重越大。

对以上两种融合方法均进行了测试，实验结果表明，直接使用响应图融合即可获得明显的性能提升，在响应图融合的基础上添加特征融合后性能可以进一步得到提升。提出的Siam-DTF跟踪算法的整体流程如下：

输入：视频序列f1,f2,…,fL;初始目标状态s1。

输出：目标在后续第i帧中的状态si。

1)根据前一帧的跟踪结果si-1获取当前帧的搜索区域xi。

2)开始跟踪：使用式(1)计算由初始模板z生成的响应图fθ(z,x)。

4)使用融合模块，通过式(6)和式(7)计算当前帧的跟踪结果si。

3 实验与分析

3.1 模型训练与评估

本文提出的Siam-DTF算法使用共享权值的主干网络提取各分支的特征，可以省去额外的离线训练阶段，直接使用已有的孪生网络模型。因此，本文提出的Siam-DTF方法可以很容易地应用在任何基于孪生网络的跟踪算法上。在后续实验中，本文将该方法应用到SiamRPN++跟踪算法上。

为了验证Siam-DTF跟踪方法的性能，本文在OTB2015(Wu等，2015)、VOT2016(Kristan等，2016)和VOT2018(Kristan等，2018)3个大型跟踪数据集上进行实验。跟踪算法遵循与SiamRPN++(Li等，2019a)相同的配置过程，并且在所有实验中使用统一、公开的评估标准。

3.2 实验细节

本文提出的Siam-DTF方法基于Python3.7和PyTorch 0.4.1实现，硬件GPU为单张GeForce GTX 2080 Ti 显卡。初始模板的输入尺寸为127 × 127像素，搜索区域尺寸为255 × 255像素。外观模板搜索模块(ATSM)和融合模块的参数N、m、u、v和α根据经验分别设置为7、0.15、0.6、0.15和0.75。值得注意的是，对于同一数据集中的所有视频序列，所有的超参数设置都固定不变。

本文提出的Siam-DTF方法高效，主要有两个原因。首先，只有在当前帧响应图的置信度得分满足一定条件时，外观模板搜索模块(ATSM)才会激活，在大部分简单场景下不会启动。因此这种稀疏触发的策略只带来很小的计算量，很好地在速度和精度之间保持了平衡。其次，大部分额外增加的计算量来自于外观模板特征φθ(za)的计算。由于za是从历史帧xk中裁剪出来的，历史帧xk的特征φθ(xk)已经计算过，因此可以隐式地对φθ(xk)进行线性变换获得外观模板的特征φθ(za)。基于以上两点原因，Siam-DTF跟踪方法的性能在有效提升的同时，能够保持以47帧/s的速度高效运行。

3.3 与最新方法的比较

为了进一步验证Siam-DTF跟踪方法的性能，与当前主流、先进的跟踪算法进行了对比。本文选取了一些最新的基于孪生网络的跟踪算法，以及其他主流的基于判别相关滤波器(DCF)的跟踪算法进行比较。对比实验在OTB2015(Wu等，2015)、VOT2016(Kristan等，2016)和VOT2018(Kristan等，2018)3个大型公开跟踪数据集上完成。

3.3.1 在OTB2015数据集上的对比实验

表1 不同方法在OTB2015数据集上的性能比较Table 1 Comparison of performance among different methods on OTB2015 dataset

图5 不同方法在OTB2015数据集上的成功率曲线Fig.5 Curves of rate of success by different methods on OTB2015 dataset

图6 不同方法在OTB2015数据集上的精准度曲线Fig.6 Curves of precision by different methods on OTB2015 dataset

3.3.2 在VOT2016数据集上的对比实验

VOT2016数据集由60个具有挑战性的视频序列组成，是近年来流行的目标跟踪数据集之一。VOT2016数据集根据精确度和鲁棒性对算法的性能进行评估。精确度(accuracy)指成功跟踪时的平均重叠，鲁棒性使用失败(failure)次数表示。整体性能评估通过期望平均重叠(expected average overlap，EAO)衡量，该指标同时考虑了精确度和鲁棒性。实验中，将本文方法与SiamRPN++(Li等，2019a)、SiamDW(Zhang和Peng，2019)、C-RPN(Fan和Ling，2019)、SiamMask_E(Chen和Tsotsos，2019)、ASRCF(adaptive spatially-regularized correlation filters)(Dai等，2019)、DaSiamRPN(Zhu等，2018)、SiamRPN(Li等，2018a)、ECO(Danelljan等，2017a)和ECO-HC(Danelljan等，2017a)等VOT挑战赛排名靠前的跟踪算法进行比较，结果如表2所示。可以看出，Siam-DTF方法的EAO得分最高，达到了0.477，失败次数最少，仅为0.172。在EAO得分上，本文方法比基础算法SiamRPN++提高了1.6%，比得分第2高的SiamMask_E算法提高了1.1%。虽然相比于SiamMask_E，本文方法的精确度得分相对较低，但是值得注意的是，SiamMask_E算法是额外利用了分割标注信息预测旋转矩形框，对非刚体目标会得到相对更精确的预测框。与SiamRPN++算法相比，本文方法的失败次数从0.200降低到0.172，充分表明了Siam-DTF方法在面临复杂环境挑战时具有更高的鲁棒性。

表2 不同方法在VOT2016数据集上的性能比较Table 2 Comparison of performance among different methods on VOT2016 dataset

3.3.3 在VOT2018数据集上的对比实验

VOT2018数据集由60个具有挑战性的视频序列组成，数据集标注和评估标准与VOT2016数据集相同。实验中，将本文方法与SiamRPN++(Li等，2019a)、SiamDW(Zhang和Peng，2019)、C-RPN(Fan和Ling，2019)、ATOM(Danelljan等，2019)、LADCF(learning adaptive discriminative correlation filters)(Xu等，2019)、DaSiamRPN(Zhu等，2018)、SiamRPN(Li等，2018a)和ECO(Danelljan等，2017a)等 8种最先进的跟踪算法进行比较，具体指标的比较结果如表3所示。

表3 不同方法在VOT2018数据集上的性能比较Table 3 Comparisons of performance among different methods on VOT2018 dataset

从表3可以看出，与SiamRPN++和ATOM相比，本文方法Siam-DTF表现出了具有竞争力的跟踪性能。此外，在所有跟踪算法中，Siam-DTF方法在精确度得分上获得了最好的结果，达到0.608。精确度得分的显著提升进一步表明本文方法能有效辅助对跟踪目标的定位。

图7进一步展示了本文算法与SiamRPN++、ECO和Siam-DTF等跟踪算法在3个挑战性的视频序列bird1、jumping和ironman上的定性对比结果。

从图7(a)可以看出，在跟踪目标遮挡时，SiamRPN++和ECO算法均出现了目标丢失，当遮挡物消失后也无法恢复，而本文方法则在遮挡刚开始发生以及遮挡消失后均可以跟踪目标。从图7(b)可以看出，本文方法在面对目标出现运动模糊和较大外观变化时依然具有良好的跟踪效果，SiamRPN++算法则出现了跟踪漂移。从图7(c)可以看出，本文方法在光线差、目标快速运动以及遮挡等复杂环境下的跟踪结果依然良好，鲁棒性相比于SiamRPN++和ECO算法更佳。通过在具有挑战性的视频序列上的定性对比表明，本文提出的Siam-DTF方法在遮挡、模糊和目标出现较大外观变化的情况下仍然可以准确定位目标，而SiamRPN++和ECO算法均出现了跟踪目标丢失的情况。本文提出的双模板机制可以大幅提高孪生网络跟踪算法的鲁棒性，除了定位更准确以外，本文方法比其他跟踪算法预测的边界框也更加精确(如图6(c))。

图7 在3个挑战性的视频序列上的跟踪结果比较Fig.7 Qualitative results of trackers on 3 challenging video sequences((a)bird1;(b)jumping;(c)ironman)

3.4 消融实验

为验证外观模板搜索模块及置信度约束和IoU约束的作用，使用SiamRPN++和本文方法进行消融实验，结果如表4所示。可以看出，SiamRPN++方法直接将z′作为外观模板，没有取得预期的收益，反而因为低质量的模板略微降低了算法的综合性能。而本文方法对外观模板添加了置信度约束和IoU约束后，过滤掉了低质量的外观模板，因此Siam-DTFb和Siam-DTFc分别取得了一定的性能提升。值得注意的是，IoU约束相比于置信度约束带来的性能提升更明显，AUC提升分别为+0.4%和+0.2%，精确度提升分别为+1.0%和+0.4%，这是因为IoU对回归框的位置和尺度约束更强。本文方法最终采用式(5)方案，同时对外观模板添加了置信度约束和IoU约束，可以有效提取出与当前帧目标外观一致的外观模板，剔除低质量的模板，因此获得了更大的性能提升。

表4 外观模板搜索模块消融实验Table 4 Ablation experiment on appearance template search module /%

3.5 超参数设置

本文通过理论分析和实验验证，总结出超参数的建议取值区间如表5所示。参照表5进行超参数设置时，本文双模板机制可以得到更好的发挥，算法可以取得稳定、明显的性能提升。

表5 超参数建议取值区间Table 5 Recommended value range for hyper-parameters

4 结 论

本文分析了当前基于孪生网络的跟踪算法在面对目标出现遮挡及较大外观变化时的不足，提出了一个高效、鲁棒的双模板融合孪生网络跟踪算法Siam-DTF，可以充分利用历史帧的信息，获得灵活的、能适应目标外观变化的外观模板。这种新颖的双模板机制打破了传统基于孪生网络的跟踪算法中单一固定模板的局限性，提高了算法在面对遮挡、外观变化和相似干扰物时的跟踪性能。本文提出的外观模板搜索模块能在初始模板与当前帧不匹配时有效地获得合适、高质量的外观模板，最后使用的融合模块也充分结合了这两种模板的优点。在3个主流的目标跟踪公开数据集上的实验证明了本文方法的有效性，在3个数据集上Siam-DTF均取得了优秀的跟踪结果。

本文提出的外观模板搜索模块取得了有效的性能提升，但是从历史帧中裁剪出一个外观模板的做法相对简单，双模板机制可以进一步扩充为多模板机制。后续工作将通过聚类的方式建立一个外观模板库，每个外观模板即为对目标在不同状态下的典型表达，通过融合多个外观模板和初始模板的结果，进一步提升算法的鲁棒性。