一种基于孪生网络的目标跟踪方法

秦琪 韩旭明 长春工业大学计算机科学与技术学院

一、引言

计算机视觉是当今人工智能研究的主要方向之一，其中的目标跟踪任务也由于其广泛的应用前景备受人们关注，在机器人视觉、超市防损、各种体育竞技等领域有广泛的应用。该任务需要在视频的第一帧中确定目标对象，在后续帧中使用跟踪框描述目标的位置。目标跟踪方法有最初的传统光流法，相关滤波方法，和深度学习方法。其中，基于孪生网络的目标跟踪方法一经推出，便取得了远远优于传统方法的效果。

孪生网络是用来衡量两个输入之间的相似程度，两个输入经过完全相同的神经网络，得到两个新空间的表示。计算两个特征的相似性，判断跟踪的正确性。

Bertinetto等提出的全卷积孪生网络（Fully-Convolutional Siamese Networks for Object Tracking，SiamFC）,把跟踪问题转化成一个匹配问题，离线训练了一个全卷积网络，使深度学习方法真正达到了实时效果。Li等提出的区域提议孪生网络（High Performance Visual Tracking with Siamese Region Proposal Network，SiamRPN），在全卷积孪生网络的基础上，融合了检测领域的区域推荐网络，在网络的后面添加的RPN结构可以回归目标的位置。Wang等提出的快速在线目标跟踪与分割（Fast Online Object Tracking and Segmentation： A Unifying Approach，SiamMask）方法,在原有的网络基础上添加了一个掩膜分支，进一步提升了跟踪的准确性。

综上所述，基于孪生网络架构的跟踪方法能够在离线训练的前提下，达到实时跟踪的效果。但现有的方法还是需要在第一帧图片里人工选取目标，这样的操作不可避免得会将部分背景信息包含进来，而这些背景信息又不能被神经网络充分利用，反而会对后续的跟踪产生干扰。

针对基于孪生网络架构的跟踪方法出现的上述问题，本文对快速在线目标跟踪与分割方法进行了改进：在目标模板图像产生的过程中，添加一个图像分割网络，将目标对象分割出来，通过填充操作，生成新的目标模板图像用于跟踪。为验证方法的有效性，在多个数据集上进行了实验。实验结果显示，背景消除对于跟踪效果有很好的提升。

二、相关工作

SiamFC网络架构共有两个输入分支：一个是模板图像z，另一个是搜索图像x。是用于提取图像特征的卷积网络。提取的特征经过一次互相关操作，得到两个输入的相似度响应图，如公式1所示。

SiamRPN在SiamFC的基础上，将模板图像和搜索图像的特征进行升维操作，使网络能够从多个尺度对目标图像与搜索图像进行细粒度的匹配。并添加了一个回归分支，通过对边界框的回归计算，得到更加精确的位置估计。

SiamMask方法重新定义了目标跟踪任务，认为跟踪过程中的旋转矩形框本质上是目标掩膜的一种近似，通过添加分割掩膜分支，相比于SiamFC和SiamRPN，SiamMask能够更好的应对物体旋转等形变问题。

三、本文改进

孪生网络架构中，模板图片与搜索图片分别产生各自对应的特征，然后进行互相关操作，生成目标特征与搜索图片特征的响应图，图中最高值的位置即为目标的位置。

SiamMask将跟踪与分割任务统一，使用互相关操作后的响应图，做分类与分割两个任务。针对目标模板图像包含背景信息的问题，在孪生网络的框架基础之上，添加了目标模板的分割操作。通过一个分割网络，将目标模板中的目标与背景区分开来，使用单一颜色进行填充背景，生成新的目标模板参与孪生网络的特征提取。

四、实验与结果分析

为了验证提前分割目标模板图像方法的有效性，在原有的SiamMask实验代码基础上，添加了分割网络。网络参数使用预训练好的模型参数，数据集使用的是VOT2016和VOT2018标准数据集，并分别针对准确度（Accuracy）和速度(speed)两个指标做了比较。实验结果如表1所示：

表1 添加分割操作前后测试结果对比

实验结果的对比显示，加入分割模块后，跟踪的效果得到了较小的提升，这是因为分割网络也占据了部分计算过程。但是验证了方法的可行性，模板背景的消除确实起到了一定的积极作用。后续可以采用更快的分割网络，进一步加快跟踪的速度。

五、结语

本文介绍了目标跟踪任务以及孪生网络的跟踪方法，针对背景干扰问题，采用图像分割的方法，消除目标图像中的背景信息，加强在孪生网络跟踪过程中的效果。实验验证了方法的有效性和可行性。