APP下载

一种基于孪生网络的目标跟踪方法

2021-01-20秦琪韩旭明长春工业大学计算机科学与技术学院

数码世界 2020年12期
关键词:掩膜卷积模板

秦琪 韩旭明 长春工业大学计算机科学与技术学院

一、引言

计算机视觉是当今人工智能研究的主要方向之一,其中的目标跟踪任务也由于其广泛的应用前景备受人们关注,在机器人视觉、超市防损、各种体育竞技等领域有广泛的应用。该任务需要在视频的第一帧中确定目标对象,在后续帧中使用跟踪框描述目标的位置。目标跟踪方法有最初的传统光流法,相关滤波方法,和深度学习方法。其中,基于孪生网络的目标跟踪方法一经推出,便取得了远远优于传统方法的效果。

孪生网络是用来衡量两个输入之间的相似程度,两个输入经过完全相同的神经网络,得到两个新空间的表示。计算两个特征的相似性,判断跟踪的正确性。

Bertinetto等提出的全卷积孪生网络(Fully-Convolutional Siamese Networks for Object Tracking,SiamFC),把跟踪问题转化成一个匹配问题,离线训练了一个全卷积网络,使深度学习方法真正达到了实时效果。Li等提出的区域提议孪生网络(High Performance Visual Tracking with Siamese Region Proposal Network,SiamRPN),在全卷积孪生网络的基础上,融合了检测领域的区域推荐网络,在网络的后面添加的RPN结构可以回归目标的位置。Wang等提出的快速在线目标跟踪与分割(Fast Online Object Tracking and Segmentation: A Unifying Approach,SiamMask)方法,在原有的网络基础上添加了一个掩膜分支,进一步提升了跟踪的准确性。

综上所述,基于孪生网络架构的跟踪方法能够在离线训练的前提下,达到实时跟踪的效果。但现有的方法还是需要在第一帧图片里人工选取目标,这样的操作不可避免得会将部分背景信息包含进来,而这些背景信息又不能被神经网络充分利用,反而会对后续的跟踪产生干扰。

针对基于孪生网络架构的跟踪方法出现的上述问题,本文对快速在线目标跟踪与分割方法进行了改进:在目标模板图像产生的过程中,添加一个图像分割网络,将目标对象分割出来,通过填充操作,生成新的目标模板图像用于跟踪。为验证方法的有效性,在多个数据集上进行了实验。实验结果显示,背景消除对于跟踪效果有很好的提升。

二、相关工作

SiamFC网络架构共有两个输入分支:一个是模板图像z,另一个是搜索图像x。是用于提取图像特征的卷积网络。提取的特征经过一次互相关操作,得到两个输入的相似度响应图,如公式1所示。

SiamRPN在SiamFC的基础上,将模板图像和搜索图像的特征进行升维操作,使网络能够从多个尺度对目标图像与搜索图像进行细粒度的匹配。并添加了一个回归分支,通过对边界框的回归计算,得到更加精确的位置估计。

SiamMask方法重新定义了目标跟踪任务,认为跟踪过程中的旋转矩形框本质上是目标掩膜的一种近似,通过添加分割掩膜分支,相比于SiamFC和SiamRPN,SiamMask能够更好的应对物体旋转等形变问题。

三、本文改进

孪生网络架构中,模板图片与搜索图片分别产生各自对应的特征,然后进行互相关操作,生成目标特征与搜索图片特征的响应图,图中最高值的位置即为目标的位置。

SiamMask将跟踪与分割任务统一,使用互相关操作后的响应图,做分类与分割两个任务。针对目标模板图像包含背景信息的问题,在孪生网络的框架基础之上,添加了目标模板的分割操作。通过一个分割网络,将目标模板中的目标与背景区分开来,使用单一颜色进行填充背景,生成新的目标模板参与孪生网络的特征提取。

四、实验与结果分析

为了验证提前分割目标模板图像方法的有效性,在原有的SiamMask实验代码基础上,添加了分割网络。网络参数使用预训练好的模型参数,数据集使用的是VOT2016和VOT2018标准数据集,并分别针对准确度(Accuracy)和速度(speed)两个指标做了比较。实验结果如表1所示:

表1 添加分割操作前后测试结果对比

实验结果的对比显示,加入分割模块后,跟踪的效果得到了较小的提升,这是因为分割网络也占据了部分计算过程。但是验证了方法的可行性,模板背景的消除确实起到了一定的积极作用。后续可以采用更快的分割网络,进一步加快跟踪的速度。

五、结语

本文介绍了目标跟踪任务以及孪生网络的跟踪方法,针对背景干扰问题,采用图像分割的方法,消除目标图像中的背景信息,加强在孪生网络跟踪过程中的效果。实验验证了方法的有效性和可行性。

猜你喜欢

掩膜卷积模板
高层建筑中铝模板系统组成与应用
利用掩膜和单应矩阵提高LK光流追踪效果
铝模板在高层建筑施工中的应用
特高大模板支撑方案的优选研究
基于3D-Winograd的快速卷积算法设计及FPGA实现
一种并行不对称空洞卷积模块①
基于Mask R-CNN的回环检测算法
Inventors and Inventions
清溢光电:掩膜版产业国产化的领军者
从滤波器理解卷积