公安视频监控中行人重识别数据集的构建方法研究

杨天奥 李心果 邹佳琦 杨皓然 谢心远 王胜

摘 要

针对跨摄像机视频监控下的行人重识别技术在公安业务中落地的问题，本研究通过分析现有数据集的特点以及公安监控的特点，探索用于公安业务的行人重识别数据集的构建方法，研究成果有助于促进行人重识别技术在公安实战中的深度运用。

关键词

数据集;视频监控;行人重识别;公安

中图分类号： TP391.41                 文献标识码： A

DOI：10.19694/j.cnki.issn2095-2457.2020.19.054

Abstract

For the application of person re-identification technology across non-overlapping video monitoring cameras in public security area，by analyzing the characteristics of existing datasets and the characteristic of the public security monitoring systems，this study explores the datasets construction methods for public security use，research results aim to promote the depth use of person re-identification technology in public security practice.

Key Words

Datasets;Video surveillance;Person re-identification;Public security

近幾年，随着监控部署数量的飞速增长，公安实战中利用摄像头所采集的视频数据，通过提取嫌疑人特征、轨迹，确定嫌疑人身份，从而破获了大量的案件。行人重识别技术是计算机视觉领域通过跨摄像头下的行人匹配，从而识别出现对象是否为同一人的技术。随着深度学习技术的普及，行人重识别技术在实际业务领域得到了广泛的应用，特别是在公安机关的刑侦工作中，使用行人重识别技术可以有效提取单个行人在多个摄像头下出现的时间、地点、状态等信息，从而极大地缩短了通过海量视频锁定嫌疑人的时间。有关数据集的研究也不断地发展，近几年在规模上呈现了较大增长。由于目前现有的数据集均为各研究机构自建，主要用于非商业用途的模型训练与评估，因此在公安业务中，需要探索适应各地业务需求发展，并具有显著规模和代表性的自有数据集。

1 现有数据集的发展情况

目前按照深度学习的训练任务，数据集主要有多种类型，较为常见的主要有：

（1）常规的基于图片的数据集，以VIPeR，PRID2011，Market-1501为代表，如表1所示。

其中Market-1501[1]是在清华大学的开放校园环境下由6个摄像头采集的数据集，共有1501个人物身份。其中，通常751人的图片被用于深度模型训练，750人的数据用于测试，共包含3368个查询图像，测试集中有19732幅图像，训练集中有12936幅图像，分辨率均为128*64。

（2）基于视频的行人重识别数据集：iLids-Vid[2]。iLids-VID数据集采集自飞机场的到达大厅，由两个不重叠的摄像机构建了该数据集。每个行人有2个摄像头分别采集的视频序列，序列长度由23至192不等的视频帧构成，平均长度为73帧。视频序列由于服装的相似性，光照条件和视角影响，并且存在复杂的背景和遮挡因素，因此具有挑战性。

（3）基于跨模态特性的数据集：SYSU-MM01。SYSU-M M01[3]数据集包括2个IR（红外场景）摄像机和4个RGB摄像机，分别描述夜间和白天的行人特性，用于训练具有两种模态间特征提取能力的模型。

2 现有公安监控的特点

通过对现有学界数据集的分析，目前公有数据集从分类上，已经覆盖了公安工作所能出现的绝大多数场景，但存在的不足主要有：{1}单个数据集的采集地点主要为校园、街道等，场景上相对比较单一;{2}单个人员的变化较少，不能反映实际公安业务中人员衣着、服饰、发型、年龄、步态等变化的特点;{3}单个人员图片的数量较少，通常只有10张左右，对于人物特征的反映不够全面;{4}不具备常态化的数据集扩充能力。

通过对现有公安监控的分析，目前监控设置的种类较多，主要有辖区治安监控、道路交通监控等，这些监控安装的方式存在差异，采集到图像的形态也呈现不同。以某一个小区的治安监控为例，通常需要覆盖辖区的主要出入口，并能够采集到行人进出的正面和反面姿态;道路监控则更面向车辆，道路通行情况，人员占比相对较小，因此人物的识别更为困难。此外由于监控安装部署的厂商、型号不同，监控普遍存在分辨率、画面差异等现象。在公安实际中，出现的人员主体的形态、交通方式也存在差异;人员出现的衣着、装饰受季节、天气因素影响，光照条件存在显著变化。以时间维度考量，在目前办理的案件中，诸多盗窃案发生于夜间，人物多由红外摄像头采集，由于目前的算法很难在RGB和红外图像间进行模态转换和关联，因此通过夜间进行大数据库的比较颇为不便，因此需要构建既包含嫌疑人夜间影像和日间影像的跨模态数据集。

3 符合公安业务的构建方法的探索研究

基于对公安监控特性的分析，本研究以江苏警官学院校园监控为研究载体，开展了一系列数据集构建的采集、标注、分类和处理工作，并总结归纳了主要的构建目标和构建方法。

在构建目标方面，主要针对目前公有数据集种类、数量上的不足，以及公安监控所具备的特点，探索更适宜现实场景的数据集构建目标，主要有：{1}能够反映人物的主要的活动状态，原始数据的采集需全面;{2}数据集的人数数量、单个行人的图片数量应尽可能多;{3}数据集采集的图片能够准确标注，标注能够反映人员的位置，时间信息;{4}构建的数据集具备长效的更新能力。

在构建方法方面：通过获取原始的视频数据，为面向图片和视频的数据集提供有效素材;利用以传统的DPM方法或其他自动方法检测行人位置;对检测结果进行自动为主，人工确认的准确标注;将数据集进行有效的分类和管理，应用于以图片、视频、跨模态、步态识别等的工作任务。

本研究中，针对采集的数据集，进行了简单的实验验证。实验环境以Pytorch深度学习框架，搭建了基于Resnet的深度学习框架，通过图片截取，行人标注生成的数据集进行测试，获得了在Rank-1指标下超过80%的准确率。

4 结论

本研究中通过对目前行人重识别数据集的分析和公安监控的特点研究，探索并总结了符合公安业务需要的数据集构建方法。通过对方法的有效运用，有助于促进行人重识别技术在公安视频侦查领域的深度应用，提升民警的办案效率。

参考文献

[1]宋婉茹，赵晴晴，陈昌红，干宗良，刘峰.行人重识别研究综述[J].智能系统学报，2017，12（06）.

[2]冯霞，杜佳浩，段仪浓，刘才华.基于深度学习的行人重识别研究综述[J/OL].计算机应用研究：1-9[2020-04-14].

[3]叶钰，王正，梁超，韩镇，陈军，胡瑞敏.多源数据行人重识别研究综述[J/OL].自动化学报：1-16[2020-04-14].