基于行人再识别的轨迹重现

闫秋芳

（四川大学计算机学院，成都 610065）

0 引言

基于行人再识别的轨迹重现是根据目标人物在各相机间的行人再识别结果，利用已知出现目标人物的相机编号的位置信息（本文中使用经纬度），将出现目标人物的相机坐标与地图道路信息相结合，并得到目标人物的运动轨迹。

行人再识别（Re-id）是智能化图像、视频处理的一种方法。行人再识别使得行人识别在视频、图像清晰度不够的情况下仍能准确得到结果，也适用于场景较大的情况。它应用在图像上时，需要将图像中的人像进行分割，得到切好的图像块与目标图像块进行所需特征的提取并通过距离度量计算得到相似度；应用在视频中时，由于每类行人都至少存在两端视频序列，存在大量的训练数据，方便机器学习方法的训练，提高识别准确率，视频中一般采用底层特征，然后利用平均化/最大池化方法将其聚合为一个全局特征向量。行人再识别的关键在于特征提取以及距离度量两个部分：本文提出使用身高特征、步态以及衣物颜色三个特征融合后作为Re-id的特征；度量学习方法采用基于马氏距离的KISSME算法计算，并在得到度量结果后新增使用马氏距离验证结果的模块，提高数据的准确性。

轨迹重现部分采用百度地图提供的轨迹上传API。百度地图提供了可供开发者使用的基于百度地图的各种API，并提供了Web、iOS及Android平台的源代码等，可将结果应用于上述三个平台。本文中将出现目标人物的相机坐标作为轨迹上传API的输入，则该API将复现目标人物的运动轨迹。

1 行人再识别

行人再识别是给定一张已经切好块的行人图像，从一大堆切好块的图像中找到与给定图像中身份相似的，常用于多设备拍摄的图像或视频的不连续帧之间。因此行人再识别需要对图像进行预处理，进行运动人物检测，划定可能存在人物的候选区域；然后针对候选区域中的人物进行特征匹配及距离度量，得到相似度结果。目前行人再识别在图像及视频数据库上的效果如表1和表2所示。

表1 行人再识别图像数据集上的方法对比

表2行人再识别在视频数据集上的方法对比

行人再识别为三个步骤分别是特征提取、距离度量和相似度排序。其中特征提取与距离度量是行人再识别效果好坏的关键。由于行人再识别的效果依赖于提取特征，所以提出更好的特征是目前的研究热点。目前提取的特征有以下几类：（1）外观底层特征，如颜色、纹理、SIFT 特征等；（2）深度视觉特征，根据输入（2）图像改进网络、在网络加入处理模块、更改网络的卷积过滤器、在网络结构中增加处理函数；（3）多种特征组合，如外表特征+姿态特征、视觉特征+标记信息、条块加权直方图+颜色名描述特征等。但由于光照强度、角度以及遮挡对行人再识别的直接影响，需要采用能够克服以上因素的特征能够有效保证行人再识别的有效性及准确性。身高作为人体的生理特征，不会在行走过程中变化，在有轻微遮挡时也能够得到，故可以作为身份识别的特征；步态也是人们重要的生物特征，由于人们步伐的频率以及幅度各不相同，可以作为身份识别的特征；结合新提出的身高特征、步态特征以及衣服颜色特征作为融合特征。对提取到的特征进行距离度量，得到给定图像中与序列图像中行人的相似程度，最后根据相似度排序得到最佳匹配结果。

1.1 行人检测

行人检测得到图像中运动的行人候选区域，目前行人检测方法分为两类：基于背景建模和基于统计学习的方法。基于背景建模的方法是通过对背景建立模型，得到前景运动的目标并将其作为候选区域，背景建模实现简单，但也存在一些问题：画面抖动问题、无法适应光照变化等问题和静止目标突然运动等问题；基于统计学习的方法是目前较为常用的方法，根据大量的样本构建行人检测分类器，提取的特征为灰度、边缘、纹理等，分类器主要包括SVM、AdaBoost及深度学习。本文采用基于方向梯度直方图HOG的SVM分类器实现行人检测。

1.2 提取身高特征

目前常用的身高测量方式主要是主动式测量，例如使用尺度工具、超声波、激光、红外等方式测量。主动式测量准确度很高，但是过程中必须按顺序逐个测量，非常耗费时间，而且需要现场人员测量。但是在一些公共场所，并不需要很精确的身高，只需要得到估算的身高数据即可，由于人流量较大，无法通过传统的测量方法完成测量。随着计算机视觉的发展，基于视频图像的身高测量方法应运而生。利用计算机视觉可以实现随时随地的测量，具有无接触性，而且不需要专门人员现场测量[1]。

基于计算机视觉的身高测量有双目测量和单目测量。双目测量不需要参照物，利用双目相机计算得到的相机内、外参数计算得到目标的深度，再利用三角定理计算得到目标身高。

文献[2]是单目测量的经典算法，通过参考平面上两对点来确定参考平面的消失线，根据不平行于参考平面参考方向的消失点和参考高度，得到透视矩阵，结合交比测量指定方向上的高度、平行于参考平面的平面上的目标面积或长度的比率以及推算摄像机位置。本文采用了单目测量方式得到目标人物的身高特征。

1.3 步态识别算法

步态识别是生物特征识别的一个新兴领域，它通过人们走路的知识进行身份识别。目前的步态识别算法分为：（1）将大腿建模并连接为钟摆，判断其倾斜角度的信号频率分量进行识别；（2）从光流图像得到相位和频率特征；（3）时空相匹配的步态识别方法等。步态识别的效果取决于人体形状准确检测的结果，可将其过程看作一系列静态姿势在时间轴上的序列，然后识别出序列上的姿势变化规律便可以得到结果[3]。

本文利用视频中的多帧图像生成步态能量图，比较步态能量图并进行分析得到是否为同一目标的结果。

1.4 KISSME距离度量算法

对象与目标间的相似度计算采用度量方法，目前使用的度量方法分为以下两类：（1）基于马氏距离的方法，如KISSME、LMNN等；（2）基于分类技术和集成技术：，如集成多个SVM（按权值或按表述方式）、跨视图字典学习（CDL）、跨视图语义投影等。

KISSME距离度量方法是基于马氏距离的一种方法。马氏距离是由印度统计学家马哈拉诺比斯（P.C.Mahalanobis）提出的，表示数据的协方差距离，它是一种有效的计算两个未知样本集的相似度的方法，与欧氏距离不同的是它考虑到各种特性之间的联系[4]；当协方差cov（x，y）>0时，表示x样本集与y样本集正相关，当协方差cov（x，y）<0时，表示x样本集与y样本集负相关，当协方差 cov（x，y）=0时，表示x样本集与 y样本集不相关。计算马氏距离的核心在于计算相关矩阵M的值，但矩阵M的值需要不断迭代优化，造成的计算量很大，所以出现了许多基于马氏距离的优化方案。KISSME用简单的协方差计算替代了复杂迭代的优化过程，实现了马氏距离计算复杂的改进。

2 轨迹重现

轨迹重现时根据目标人物出现的位置重现复现其运动轨迹，在本文中将多个位置的经纬度坐标与地图中的道路数据相结合，得到目标人物的运动轨迹。

本文的轨迹重现基于百度地图API实现，百度地图提供了Web、iOS以及Andriod平台的各种API及源代码，本文使用Web端的轨迹上传API，通过上传轨迹上的经度和维度数据点，可以在地图上显示重现后的轨迹。本文在道路不同位置上架设相机捕捉画面，当目标任务出现在不同相机上时，可得到不同相机对应的经纬度，上传至百度地图轨迹上传API上，即可得到重现的轨迹。

3 结语

本文实现了基于行人再识别的轨迹重现。其中，使用行人再识别技术弥补了行人识别需要依赖于人脸等清晰特征的局限性，也增加了可靠性；融合身高、步态及衣物颜色作为提取特征具有不易变性质，在不同光照、及轻微遮挡条件下仍能提取目标人物的以上特征并进行距离度量得到相似度；在使用KISSME距离度量后再用简单的马氏距离验证度量结果是否准确；将相机编号并与经纬度建立连接并作为输入至百度地图轨迹上传API，此API将多个位置的坐标进行整合后得到运动轨迹。另外，行人再识别的特征提取中还可继续发掘，找到更加鲁棒和距离较远的特征。