一种多分辨率在线选择分支的单目标跟踪方法*

杨大为，张宇堃，尉晨阳

（沈阳理工大学信息科学与工程学院，沈阳 110159）

1 引言

视觉目标跟踪是指对图像序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的运动参数，如位置、速度、加速度和运动轨迹等，从而进行下一步的处理与分析，实现对运动目标的行为理解，供更高一级的检测任务使用。这其中要运用到孪生网络，其结构具有两个输入，一个是作为基准的模板，另一个是要选择的候选样本。在单目标跟踪任务中，作为基准的模板作为要跟踪的对象，通常选取的是视频序列第一帧中的目标对象；而候选样本则是之后每一帧中的图像搜索区域。孪生网络要做的就是找到之后每一帧中与第一帧中的范本最相似的候选区域，即为这一帧中的目标，实现目标的跟踪。

SiamFC算法[1]的网络结构就是孪生网络，其骨干网络主要使用的是浅层的Alexnet网络[2]，但跟踪效果并不是很理想。在此做出改进设计，以SiamFc算法为基础，以深层网络Resnet-50作为骨干网络，并采用具有在线分支选择机制的多个网络分支架构。这种改进有如下特点：首先，在Siamese网络的基础上，以深层网络Resnet-50作为骨干网络实现对目标图像更深层次的特征提取，增加了其外观表示的鲁棒性；其次，为了充分利用不同的分支，提出一种有效的通用分支选择机制，根据分支的区分能力动态选择分支；第三，在多分支和分支选择机制的基础上，提出了一种新的深度学习跟踪方法，实现了实时跟踪，提高了跟踪性能。

2 相关工作

2.1 基于Siamese孪生网络的跟踪器

在跟踪任务中，需要跟踪的目标是通过起始帧的选择框给出的。由于被跟踪目标的不确定性，无法做到提前准备好数据，并且训练出一个具体的detector。过去几年出现的TLD[3]、Struck[4]和KCF[5]等优秀算法，由于上述原因，用于跟踪的模型往往是一个简单模型，通过在线训练，来进行下一帧的更新。Siamese网络提出使用相似性学习来解决跟踪问题，通过学习深度嵌入函数，评估样本图像patch与搜索区域内候选patch之间的相似性，最终选择相似性分数最高的patch作为跟踪结果。SiamFC开创性地提出一个全卷积的Siamese网络，使用Siamese架构解决了与深度CNNs的相似性学习。全卷积网络的优点是待搜索图像不需要与样本图像具有相同尺寸，可以为网络提供更大的搜索图像作为输入，在密集网格上计算所有平移窗口的相似度。由于该方法不需要在线训练，实时跟踪更加方便。

2.2 Resnet深度神经网络

Resnet网络又称为深度残差网络，是由何明凯博士提出的。从经验来看，网络的深度对模型的性能至关重要，当增加网络层数后，网络可以进行对更加复杂的特征模式的提取，所以当模型更深时理论上可以取得更好的结果。目标可能出现在搜索区域的任何位置，因此目标模板的学习特征表示应保持空间不变，然而ResNet网络中都会有Padding操作，会影响算法的平移不变性，使得网络更加关注图像中心。在现代深层体系结构中，只有AlexNet的零填充变体满足此空间不变性的限制。因此在此通过均匀分布的采样策略让目标在中心点进行偏移，以缓解ResNet网络因为破坏了严格平移不变性带来的影响，即消除了位置偏见，让有padding的更深层网络可以应用到跟踪算法中。

2.3 多分支跟踪框架

在目标跟踪过程中，固定的图像特征表示是比较单一的，深度网络中每层卷积获取的特征是有区别的，因此在此使用多分辨率方法来获取多个不同的特征图，并通过在线选择分支，选择特征图得分最高的分支。多分辨率方法即为上下文相关，许多跟踪算法中使用过类似的方法。TRACA[6]即是一个多分支跟踪器，它利用多个专家自动编码器（expert auto-encoders）对原始深度卷积特征进行鲁棒压缩。由于每个编码器是根据不同的上下文训练的，所以它执行上下文相关的压缩。其他的还包括：MDNet[7]，它由共享层和特定层的多个分支组成；BranchOut[8]，它使用一个CNN作为目标表示，有一个通用的卷积层和多个完全连接层的分支，允许在每个分支中使用不同数量的层来维护目标外观的可变抽象级别。上述这些多分支跟踪器的一个共同点是：利用不同的特征表示构建一个鲁棒性强的跟踪器。此处改进设计的网络架构由多个分支组成，这些分支分别进行离线训练，专注于不同类型的CNN功能，其所实现的框架中还使用了Resnet-50分支来实现图像的分类。在这样的多分支框架中，在不同场景中训练的分支的组合可以确保更好地使用不同的多分辨率特征表示。

2.4 在线分支选择

不同的模型对不同的跟踪目标在不同的尺度、旋转、光照等条件下产生不同的特征图。将所有可用的特征图都用于单个对象跟踪既没有效率也没有效果。BranchOut随机选择一个分支进行模型更新，使学习到的目标外观模型多样化。MDNet从预训练中学习领域无关的表示，并通过在线学习识别分支。在此改进设计的在线分支选择机制，则是分析了每个分支的特征表示，从而在每帧中选择最健壮的分支。不同的特征表示，能够更有效地处理对象跟踪问题中的各种挑战。

3 多分辨率在线选择分支跟踪器方法

考虑到不同神经网络模型产生不同的特征表示，在此使用不同的CNNs分支来获取不同的多分辨率特征表示，并使用在线分支选择机制来选择最具鲁棒性的分支，以此获取最佳的特征图，提高跟踪准确率。为达到符合设计预期的效果，需要对跟踪方法所采用的网络架构作全面考虑。

使用多个特征表示，这一做法被证明对目标跟踪是有益的，不同的CNNs可以提供不同的特征表示，鉴于此，在此改进设计的方法中，集成了Siamese网络Se，它包括Ns个上下文相关的分支以及一个Resnet-50分支，可简单记为：Se＝Ns+1。上下文相关的分支具有与SiamFC完全相同的结构；除此之外的另外一个分支则是Resnet-50网络。该跟踪器方法的网络架构如图1所示。

图1 本跟踪方法的网络架构图

输入包括从第一个视频帧裁剪的目标patch和当前帧中包含搜索区域的另一个patch。目标patch z的大小为Wz×Hz×3，对应于图像patch的宽度、高度和颜色通道数。搜索区域x的大小为Wx×Hx×3（Wz

本方法使用上下文相关的Nc分支和一个通用分支即Ns＝Nc+1。所有这些分支都具有与SiamFC网络相同的结构。

上下文相关的分支通过以下三个步骤进行训练：首先，在视频数据集上训练基本的孪生网络，保留基本的孪生网络作为总分支；然后，在视频数据集的低层的特征图上执行上下文聚类，以发现Nc上下文相关的聚类；最后，使用Nc集群来训练由基本Siamese网络初始化的Nc上下文相关的分支，这些分支以(z,X)作为输入并提取它们的特征映射，至此，使用一个互相关层，结合它们的特征映射得到一个响应映射。

用Resnet[9]分支对映像分类任务进行预训练，将其作为一个分支，并对网络进行不同任务的训练，此处对步长进行了小的修改，以确保输出响应映射具有与其他分支相同的维度。

4 实验与分析

为验证本改进方法的效果，进行相应实验。实验选用硬件环境为：Intel Core i7-9700k，CPU@3.60 GHz，GeForce GTX 2080 GPU；软件环境为：python3.6，CUDA9.0，CuDNN v7.6，tensorflow_gpu-1.10.0。

Resnet分支网络为ResNet-50。现代化网络一般都选用步长为32，但跟踪为了定位的准确性，一般步长都比较小（Siamese系列一般都为8），所以把ResNet最后两个block的步长去掉了，同时增加了膨胀卷积，此举一是为了增加感受野，二是为了能利用上预训练参数。

在跟踪领域中，对于实验结果的测试一般都是使用公开数据集，这样有利于在同一数据集评价条件下对比不同方法的性能优劣程度。本实验的主要目的是研究将多个特征表示与在线分支选择机制相结合的效果。为此，在此使用OTB-2013、OTB-50和OTB-100三种数据集，对跟踪框架进行消融实验分析，结果如下表1。

表1 消融分析实验结果

实验结果表明，相对于基本的SiamFC跟踪器，本改进方法跟踪稳定性（AUC）有显著提升。由此可见，Resnet-50网络结构在对目标图像的特征提取方面更加的稳定，精度更高，也说明深度神经网络对于图像的特征挖掘更加明显，跟踪结果更加准确。

本方法使用ImageNet数据集[10]进行训练，包括4000个视频序列和大约130万帧，包含大约200万个跟踪对象，并且只考虑彩色图像。为简单起见，随机挑选一对图像，在一张图像的中心裁掉z，在另一张图像的中心裁掉X，图像被缩放，使边框加上上下文的附加边界具有一个固定的区域。基本的Siamese分支以0.01的初始学习率训练50个epoch。学习率在每个epoch后衰减，衰减系数为0.869。上下文相关的分支是基于10个epoch的学习率0.00001的一般分支参数进行微调的。图2给展示出本方法在部分数据集上的跟踪情况。表2为本方法跟踪结果与SiamFC的对比。

图2 ImageNet数据集部分跟踪结果

表2 本算法跟踪结果与SiamFC算法对比

从表2数据可直观对比出本方法与SiamFC算法在指定评价参数上的跟踪效果，从表中可以看出，在跟踪精度上，本算法比SiamFC算法提高了4个百分点，失败率下降了6个百分点，在EAO和EFO指标方面，本算法均优于SiamFC算法。

5 结束语

在线选择多分支的目标跟踪方法，集成多个Siamese网络实现了目标特征代表的多样化。使用Resnet-50深度网络挖掘图像更深层次的有利信息，利用在线分支选择机制，针对目标外观变化选择最具区别性的分支。本方法是在SiamFC算法的基础上，根据目标特征的多样性所提出的，并通过对比实验验证了其跟踪效果。实验结果显示改进的性能与标准的孪生网络跟踪器相比，鲁棒性和准确性更加突出。