基于改进型多粒度超图的行人序列重识别

林敏强 赵曈 蒋浩

摘 要：近年来，跨摄像头行人识别成为研究的一个热点，利用深度学习可以快速地识别行人，并以此为基础进一步研究跨摄像头行人重识别。多粒度超图同时利用视频序列中的空间和时间线索，大大提升行人重识别的识别率，但是多粒度超图算法计算量比较大，识别速度较慢。因此，本文提出了一种改进型多粒度超图算法，通过与多粒度超图模型试验对比，结果表明，改进型多粒度超图算法在保证识别率不降低的情况下，识别速度明显提升。

关键词：行人序列重识别;多粒度超图;主成分分析

0 引言

随着深度学习和图像处理技术的不断发展，人脸识别在特定条件下准确率已经非常高了，很难有重大突破。但是在城市视频监控中经常遇到跨摄像头行人识别问题，即给定目标人物跨摄像头追踪该行人，这类识别方法称为行人重识别。为了解决单张图片特征受限和识别率低的问题，用图片序列作为跨摄像头识别行人的方法称为行人序列重识别。

行人序列重识别分为行人检测和行人识别两个步骤，行人序列重识别系统如图 1 所示。

将视频监控摄像头拍摄的图片输入到行人序列重识别系统，提取行人的时间和空间特征;然后提取待检索行人序列的特征，进行相似性度量;最后根据度量结果识别行人。

传统方法主要集中在图像的行人重识别上，忽略了行人序列的时间和空间特征;随着基于视频的大规模数据集的出现，主流方法主要集中在挖掘视频序列的全局特征和时序信息。多粒度超图就是典型的利用行人序列的时间和空间特征进行行人重识别的，识别率较好，但是计算量太大。于是本文提出一种基于主成分分析（PCA）和多粒度超图（MGH）结合的行人序列重识别算法，该算法在保证识别率不降低的情况下，识别速度明显提升。其主要工作如下：提取行人序列时间和空间特征;对特征降维;计算相似度。

1 算法

1.1 架构

1）MGH 特征提取，用 MGH 架构提取行人序列的时间和空间特征。

2）PCA 降维，用 PCA 对候选集和查询集行人序列特征降维，得到更有价值的特征，去除噪声，降低算法的计算开销，加快处理速度。

3）相似度测量，将查询集序列分别输入到候选集和查询集 GMM 模型，生成概率分布数据，然后用 KL对两种概率分布进行相似性度量并排序，计算出行人序列重识别的精度。本系统架构如图 2 所示。

1.2 MGH特征提取

MGH 通过对行人序列的时间和空间建模来表示全局和局部特征，以及行人序列直接的关联特征。具体来说就是用不同空间粒度的超图提取行人序列不同级别的特征;每个超图中，不同的时间粒度用超边特征连接，此方法解决了图片没有对齐和遮挡两个关键性问题。

空间线索的多粒度与固定分区相比明显提高了人体划分粒度的性能。在行人序列重识别中，多粒度空间之间的联系非常重要，因为不同空间的粒度捕获不同分区之间的差异，从而解决了由于视频序列中检测对齐不准确导致的空间错位问题，利用多个空间粒度可以更好地解决空间错位问题。时间线索的多粒度在行人重识别中应用非常广泛，经常用短动态和长动态表示。短期动态可以通过提取额外的光流特征来表示，而长期时间特征可以通过利用 3D CNN 或时间特征聚合器來获得。然而，短期和长期的时间线索在判别特征学习中具有不同的功能。长动态可以减少短动态因遮挡带来的影响。MGH很好地利用了行人序列中时间和空间特性提取特征。

1.3 PCA降维

PCA 的作用就是进一步提取多粒度超图的特征，降低特征维度，具体做法是从原始空间中找一个新的正交坐标系，第一个坐标轴选择原始数据方差最大的方向，第二个坐标轴选择和第一个坐标轴正交且方差最大的方向，以此类推，建立新的正交坐标系。通过此方法，大部分方差就包含在前面几个坐标系中，后面坐标系方差几乎为零，从而达到降维的目的，这样可以有效地降低行人重识别的计算量。本方案保证行人序列特征在 97%的基础上，数据维度从 2048 维降低到 300 维，大大的降低了计算量。

1.4 KL散度

KL 散度适用于两个模型之间的度量，因此本文采用 KL 散度度量两个模型之间的距离，实验证明，效果很好。

2 数据集

实验数据集使用 MARS 和 iLIDS-VID 数据集。MARS 数据库是目前已公开的最大视频行人重识别数据集，包含 1 261 个行人，采集于 6 个不同的摄像头，每个人被 2～3 个摄像头捕捉到，每个行人平均含有 13.2个视频序列。iLIDS-VID 数据库包含从两个无交叠摄像头采集的 300 个行人的 600 个视频段，每个行人视频段含有 23 到 192 帧图像不止，平均含有 73 帧。

3 结语

本文提出的改进型多粒度超图的行人序列重识别算法，首先用 MGH 架构提取行人序列特征，然后通过PCA 降维减少计算量，最后用 KL 散度计算相似度。实验结果表明，改进型多粒度超图算法在保证识别率不降低的情况下，识别速度明显提升。

参考文献：

[1] YE M， SHEN J B， LIN G J， et al. Deep learning for person re-identification： a survey and outlook[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021.

[2] 董亚超，刘宏哲，徐成.基于显著性多尺度特征协作融合的行人重识别方法[J].计算机工程， 2021（06）.

[3] 袁韶祖，王雷全，吴春雷.基于多粒度视频信息和注意力机制的视频场景识别[J].计算机系统应用，2020（05）.

[4] ZHAO Y L， LI Y L， WANG S J. Person re-identification with effectively designed parts[J]. Tsinghua Science and Technology， 2020（03）.

[5] 郭若沛.基于图像的行人再识别重排序算法研究[D].北京：北京邮电大学，2020.

[6] 郑伟诗，吴岸聪.非对称行人重识别：跨摄像机持续行人追踪[J].信息科学，2018（05）.

[7] 吴文灏.基于深度学习的视频识别研究[D].深圳：中国科学院大学（中国科学院深圳先进技术研究院） ，2020.

[8] 张新峰，宋博.一种基于改进三元组损失和特征融合的行人重识别方法[J].计算机科学，2021（09）.

[9] 冯霞，杜佳浩，段仪浓，等.基于深度学习的行人重识别研究综述[J].计算机应用研究，2020（11）.

[10] 罗浩，姜伟，范星，等.基于深度学习的行人重识别研究进展[J].自动化学报，2019（11）.