基于Wasserstein度量的目标数据关联算法

2019-12-04刘洋郭春生

软件导刊 2019年10期

刘洋郭春生

摘要：针对目前多目标跟踪中目标数据关联度量方式的不足，以及Wasserstein度量值衡量概率测度间差异程度的性质，提出基于Wasserstein度量的目标数据关联算法，即利用Wasserstein距离衡量目标外观特征向量之间的相似度，将目标外观特征向量看成一个分布，计算分布之间的Wasserstein距离，再用Wasserstein距离判断目标是否相似。但是Wasserstein距离表达式比较复杂，难以直接计算，因此通过训练一个深度网络计算Wasserstein距离，并使相同目标特征向量之间Wasserstein距离缩小、不同目标特征向量之间的Wasserstein距离增大;然后，利用目标运动匹配度进一步筛选满足外观匹配度的目标，最终得到最佳目标关联。实验结果表明，该算法能较好地解决多目标跟踪中的漏报问题，与原算法相比，MT提高了6.7%，ML减少了4.9%，FN减少了6627个。

关键词：多目标跟踪;深度网络;Wasserstein距离;数据关联

DOI：10.11907/rjdk.191176開放科学（资源服务）标识码（OSID）：

中图分类号：TP312文献标识码：A 文章编号：1672-7800（2019）010-0074-04

0引言

多目标跟踪是计算机视觉和图像处理中的基本问题，也是智能交通、智能安防领域的热门话题，近年来受到越来越多的关注。目标检测和目标数据关联是目标跟踪的重要组成部分，深度网络模型（Faster-Rcnn、SSD和YOLO）等常被用于实现目标准确检测。目标数据关联指随着时间的移动，选择和聚类相应的检测，这是实现目标跟踪的前提。

Bewley等在目标关联问题中仅使用了目标运动信息，造成多个跟踪目标丢失;Wojke等在文献[5]的基础上，增加了目标表观信息，综合使用马氏距离和余弦距离计算目标间的相似度，但是目标误报个数较多;Shen等把目标轨迹分成若干小段，把目标数据关联问题转换成从小轨迹段集合中选择最优小段的问题，思路比较新颖，有效解决了目标遮挡问题，但是过程较复杂;王熠把Wasser-stein距离应用于图像识别，提出基于Wasserstein距离的图像聚类算法;张洁琳等”提出基于Gromov-Wasserstein距离的3D图形匹配方法，在保证精确率的前提下得到了较好的匹配率，但是利用传统方法求解Wasserstein距离，过程较复杂。

综上所述，本文基于Wasserstein度量的目标数据关联算法，不仅将Wasserstein度量与深度神经网络结合，通过神经网络求解Wasserstein度量，还将Wasserstein度量应用于多目标跟踪中的目标数据关联问题，利用Wasserstein度量值衡量目标特征向量之间的相似度，实验结果表明该方法可行，并且能有效解决多目标跟踪中的漏检问题。

1 算法原理

余弦距离是一种常用的计算向量相似度的度量方式。假设X₁真和X₂是两个模为1的m维列向量，其计算公式为：

可以看出Wasserstein距离不但能衡量两个分布之间的差异，更能反映分布的空间几何性质。本文对于检测到的每个目标，均可提取目标表观特征，表观特征是一个特征向量，可将该特征向量视为一个高维空间中的分布。如果视频前后帧中的目标匹配，则该分布相似;反之，分布不同。Wasserstein距离可以定量给巾两个分布的相似度。但是特征向量的每一维均可正可负可为零，当某一维的值为负数时，则Wasserstein距离失去物理意义，无法直接利用公式计算Wasserstein距离，所以本文训练一个深度网络，利用该网络计算Wasserstein距离。同时Wasserstein距离还可反映目标外观匹配度，对于满足外观匹配度的目标再利用目标运动信息进一步筛选，最后利用迪杰斯特拉算法得到最佳目标数据关联。

2 Wasserstein距离求解

通常考虑式（2）的等价形式进行Wasserstein距离求解。

以上证明过程说明式（6）的对偶形式与其本身具有相同的解，求原始问题的最小值转化为求其对偶形式最大值问题，式（6）的对偶形式为：

从式（15）可以看出，当函数f（x）的梯度小于1时，梯度惩罚项为0;当函数f（x）梯度大于1时，存在梯度惩罚项。但是无法穷举所有满足条件的x求积分，仅保证从P_penalty分布中取得的x、输㈩值的梯度小于等于1即可，式（15）可转化为式（16）。

3 模型训练

3.1数据集制作

本文以文献[13]在MOT16数据集上的目标检测结果为基础，利用文献[6]对目标进行特征提取，使每个目标外观特征向量维数均为128;然后，基于这些特征向量制作训练深度网络数据集。本文制作的训练集数据共有110000个，其中正样本有70000个，负样本对共有40000个;正样本label为0，负样本label为1。正样本代表两个特征向量取自视频前后帧中的同一个目标，负样本代表两个特征向量取自视频前后帧中的不同目标。

3.2网络结构

网络训练的目的是让相同目标特征向量之间的Was-serstein距离尽可能小，不同目标特征向量之间的Wasser-stein距离尽可能大。网络总体结构如图1所示。

虚线框为网络整体结构，称之为f（x）网络。从图1可以看出f（x）由4个全连接层和3个ReLu层组成。输人数据的维度为128，由于ReLu层不改变特征维度，经过前3个全连接层（FC-1、FC-2、FC-3）之后特征向量维度相同，均为512维，经过最后一个全连接层（FC-4）之后，输出为一个值。x_i为某个目标在当前视频帧特征向量的输入，经过f（x）网络后，得到f（x_i）。

3.3损失函数

網络损失函数为：

3.4网络训练

本文使用Pytorch作为训练深度网络的平台，在Intel酷睿i7-4790八核处理器、24GB内存的NVIDIA GeForceGTX TITAN X的计算机上进行训练，每个epoch为128，初始学习率为1×e^-6，训练该深度网络总共耗吋约48 h。

网络模型训练损失值的变化趋势如图2所示，从图中可以看出随着迭代次数的变化，模型损失值呈现不断下降的趋势，模型很快达到收敛，说明网络具备学习能力。

4实验结果与分析

前文已求出Wasserstein距离，该值代表目标表观匹配度，为满足表观匹配度的目标，计算当前检测与轨迹在卡尔曼滤波器预测位置之间的马氏距离，并作进一步筛选。马氏距离计算公式为：

其中d_j代表当前帧中的第j个检测目标，y_i代表第i条轨迹在当前时刻的预测值，S_i是轨迹由卡尔曼滤波器预测得到的在当前时刻观测量的协方差矩阵。

本文使用MOT Benchmark文献提供的指标评价多目标跟踪性能，包括：实际不存在而预测为轨迹上的目标（FP）;实际存在于轨迹上但是没有被预测出来的目标（FN）;跟踪目标从一个轨迹转换到另一个轨迹的次数（IDs）;正确跟踪轨迹占80%上的目标比率（MT）;正确跟踪轨迹占20%以下的比率（ML）;多目标跟踪准确度（MO-TA）;多目标跟踪的精确度（MOTP）。将3种跟踪算法进行对比，结果如表1所示。

这3种算法在M0716数据集上进行跟踪，文献[5]和本文算法是使用文献[13]的目标检测结果，文献[17]使用与本文不同的目标检测结果，目标检测置信度阈值是0.3。其中M07A、MOTP和MT 3项指标的值越大，表示跟踪效果越好;ML、IDs、FN、FP的值越小，表示跟踪性能越好。从表1可以看出，本文方法的MT、ML和FN 3项指标均优于原始结果，MOTA和IDs两项指标与原始结果相比有微小提升。

图4为摄像机移动场景下的跟踪结果，第1列（a）为文献[5]的跟踪结果，第2列（b）为本文算法的跟踪结果。从检测目标个数来看，本文算法检测的目标个数多于文献[5]的结果：在第19帧、第24帧中，文献[5]检测的目标个数分别为8个、6个;本文算法检测的目标个数分别为11个、11个。图4显示，文献[5]无法检测出小目标，而本文数据关联算法可检测并关联小目标，例如图4（b）的17号、18号目标在图4（a）中均无法检测也无法关联起来。

5结语

本文提出基于Wasserstein度量的目标数据关联算法，利用Wasserstein距离的值衡量目标外观特征向量匹配度，并把Wasserstein度量与深度网络结合起来;对于满足外观匹配的目标，再利用目标运动匹配度进一步筛选。从目标跟踪结果可以看出，本文把Wasserstein度量应用于多目标跟踪中的目标数据关联问题可行，并且能有效减少多目标跟踪中漏检目标个数。