基于图算法的跨摄像头多目标追踪技术模型

梁贵　滕广华　罗传　文进　戴维

关键词：跨摄像头多目标跟踪;加权图;最小费用最大流算法;深度学习

中图分类号：TP311 文献标识码：A

文章编号：1009-3044（2023）14-0029-04

0 引言

基于摄像头的目标追踪技术得到了广泛的应用[1-4]。如应用于逃逸犯罪分子追踪、突发自然灾害记录、交通违章记录留存等提供影视信息和资料具有重大意义[5-6]。随着人工智能和深度学习研究成果的发展与更新，基于摄像头的目标追踪技术研究得到了进一步发展，尤其在跨摄像头多目标监测跟踪的研究和应用方面。

跨摄像头多目标跟踪（Multi-Target Multi-Cam?era Tracking，又称MTMCT）问题致力于从多个摄像头的视频流中提取所有人的行动轨迹。因此，结合人工智能和深度学习的方法，解决跨摄像头多目标跟踪问题具有极大研究价值和研究意义。

跨摄像头多目标跟踪存在不足。如存在光线等环境条件不同以及目标的姿态变换。同时，无法事先得知目标区域同一时间内经过的目标的数量[7] 。因此，跨摄像头的多目标跟踪问题相当复杂。

跨摄像头多目标跟踪问题的解决方案是先提取每个摄像头的目标轨迹，即单摄像头多目标跟踪任务（single-camera Multi-Object Tracking，简称MOT），然后再用多个摄像头的行为轨迹匹配出对应目标的完整轨迹。主要完成目标检测和再识别（re-identifica?tion，简称re-ID）的工作，两种工作不共享特征，且模型不同。在传统的跨摄像头多目标跟踪研究[8-9]中，这两个工作独立进行。然而，检测追踪过程中，目标区域存在连续多人行走和行走速度快因素，会造成系统难以负荷存储的数据量而出现数据丢失。

因此为了解决上述问题，本文采用一种基于图算法的多摄像机追踪的方法，该方法首先利用DeepSort 算法和OsNet行人重识别模型得到各个单一摄像头的轨迹后，将这些轨迹根据特定的方式组合成为图，并为图边赋予一定的权重，然后通过迭代最小费用最大流算法进行解决，将各个摄像机的轨迹连接起来得到最终轨迹，该方法能够在非重叠多摄像头视觉目标跟踪中取得较好的成果。

本文的贡献如下：

1）给出行人重识别算法。利用OsNet轻量级网络进行行人重识别，提升了行人重识别的能力。

2）建立行人追踪模型。结合DeepSort算法，构建全局图追踪模型，利用最小费用最大流算法提高跨摄像头追踪的能力。

1 相关工作

迄今为止，大多数的跨摄像头多目标追踪（MT?MCT）都是由两个阶段组成，一是单摄像头内的多目标追踪，并生成其轨迹，二是所有摄像头内的目标轨迹进行匹配，生成目标的完整轨迹。在过去几十年内，已经有无数的学者进行研究，所以本文将分两个部分介绍MTMCT的相关工作，分别是单摄像头多目标追踪以及跨摄像头多目标追踪。

1.1单摄像头多目标追踪

文献[10] 提出使用双线性LSTM 的神经门控多目标跟踪，能有效地训练在外观和运动上对对象轨迹进行评分的循环模型，并在MOT 2016和MOT 2017基准测试中实现了近在线多目标跟踪的最先进性能。文献[11]提出一种简单在线和实时跟踪（SORT）方案，对图像进行卡尔曼滤波和逐帧数据关联，在高帧速率下实现了良好的性能。在MOT 挑战数据集[12] 上，使用最先进的人员检测器[13] 的SORT在标准检测上的平均排名高于MHT。文献[14]利用对象检测器的边界框回归来预测下一帧中对象的位置，复杂的跟踪场景，实现对检测目标实施跟踪。文献[15]将多目标跟踪的流行任务扩展到多目标跟踪和分割（MOTS）。

1.2跨摄像头多目标追踪

文献[16]利用行人重识别（Re-ID）特征技术，提出跨摄像头多目标追踪模型。文献[18]提出TRACkletto-Target Assignment（TRACTA）方案解决了跨相机的轨迹匹配问题，方案具有一定的实用性。文献[19] 提出了一种基于时空提升多切割公式的数学上优雅的多相机多目标跟踪方法，该方法利用单相机跟踪器产生的最先进的轨迹。

2 多目标追踪技术模型

2.1模型架构

依据跨摄像头视频中所形成的完整轨迹，对输入的视频进行逐帧处理，实现行人检测和追踪。所提出的跨摄像头多目标追踪技术模型包括两个模块：单摄像头目标跟踪模块和跨摄像头目标跟踪聚合模块。在单镜头追踪阶段利用DeepSort算法[20] 和Osnet[21] 行人重识别网络模型来实现对行人的追踪，形成单镜头的追踪轨迹；而在多镜头追踪阶段，则是通过参考文献[22]中提出的最小成本流网络图进行对全局轨迹数据的关联，以形成多个摄像机之间的轨迹。下面将对本方案的各个部分进行详细介绍。

2.2行人检测和行人重识别特征提取

本节主要完成行人检测和行人重识别特征提取模型构建。在模型构建过程中，本节主要采用OSNe网络来实现对行人的重新识别。OSNet 全称为Omni-ScaleNetwork（全方位网络）。其引入了一种新颖的统一汇聚门，以动态融合多尺度特征和与输入有关的通道权重，有效地实现学习空间通道相关性并避免过度拟合，在构件块同时使用了点向和深度卷积。

2.3单摄像头多目標追踪

本节中，在单摄像头目标追踪算法设计需要考虑数据滤波和图像帧的关联性，结合DeepSort算法实现单一摄像头多目标追踪算法。具体算法实现如下所示：

2.4多摄像头多目标追踪

本节算法的目标是将各个摄像头中行人的运动轨迹结果中出现的同一个人的轨迹进行拼接连接，设计成为一个相似度量的全局图模型，然后通过迭代最小费用最大流算法进行求解，得到了包含单镜头追踪阶段和多镜头追踪阶段的全局轨迹。具体算法如下所示。

3 实验结果及分析

3.1数据集

本次实验采用的数据集是NLPR_MCT 数据集，NLPR_MCT数据集由四个子数据集组成，每个子数据集包括3～5个不重叠场景的摄像机，根据人数（从14 到255）和照明变化和遮挡程度有不同的情况。采集的视频既有真实场景，也有模拟环境。所有视频（数据集3除外）都在20分钟左右，速率为25fps，并且是在日常时间的非重叠视图下录制的，这使得数据集很好地代表了日常生活中的不同情况。NLPR_MCT数据集的子数据集1的部分情况的展示图像如图2所示：

3.3实验结果及分析

本次实验采用的数据集为NLPR_MCT中的三个子数据集，分别是第一、第二以及第四个子数据集，第三个子数据集由于和现实情况相差较远，参考意义较低，因此在本文中不使用，其中训练的硬件环境如表1 所示：

通过对NLPR_MCT数据集的三个子数据集进行训练后结果如表2所示：

由表2的结果可知，本文提出的非重叠区域跨摄像机多目标追踪在NLPR_MCT数据集中的子数据集一和子数据集三中得到的MTCA值分别为87.12%以及85.11%，均超过了文献[22]的表现结果，即85.25% 以及73.7%；并且本文提出的方法在三个子数据集上的平均MTCA 值为67.41%，同样超过了文献[22]的65.58%。因此可以表明本方案在解决非重叠区域的跨摄像头多目标追踪的问题时是有效的。

4 总结

本文针对利用图算法解决跨摄像多目标追踪领域目前存在的问题，提出基于图算法的跨摄像头多目标追踪技术模型，实现了跨摄像头多目标追踪功能。