视频中遮挡行人再识别的局部特征度量方法

2020-06-08魏英姿杨继兰

沈阳理工大学学报 2020年1期

魏英姿，杨继兰

(沈阳理工大学信息科学与工程学院，沈阳 110159)

行人再识别(pedestrian Re-Identification，ReID)的目标是识别不同摄像机视图中的同一个人。给定包含目标人物(作为查询)和大量图像(图库集)，期望ReID系统根据与查询图像的视觉相似性对来自图库的图像进行排名，ReID在视频监控中具有许多重要的应用。

ReID问题由于复杂的视图变化和捕获的行人图像上大的姿势变化等原因，使ReID问题的求解较为困难。目前，解决ReID问题的方法主要有两类：特征表示法和距离度量学习。第一类方法致力于从行人外观出发，提取鲁棒性强且具有较强区分性的特征表示向量，有效表达行人图像的特性。第二类方法主要计算特征向量之间的相似性来判断行人图像的相似性。早期的行人再识别集中在全局特征上，即是提取整个行人图像得到一个全局特征进行图像检索[1]，但全局特征包含大量的背景信息，于是开始研究局部特征。常用提取局部特征的方法包括贴片和条纹。Farenzena等[2]提取行人的前景图像，把图像分成头部、躯干和腿部三部分，再对后两部分计算垂直对称轴，对提取的特征根据与垂直对称轴的距离进行加权，但分割过程过于复杂，不易实现。Zheng等[3]把图像分成六个水平条，然后提取水平条内的ELF(Ensemble of localized features)特征，但水平条内存在大量的背景噪声。Zhao等[4]提出了一个简单的注意模块来提取模型强调的区域特征，之后对局部特征进行池化和降维，将这些特征连接成一个完整的行人特征。Ahmed等[5]通过将人物边界框划分为单元格来计算局部特征。这些方法没有考虑到身体区域的精确对准。

本文针对局部特征包含大量噪声问题，提出一种基于人体姿态估计算法提取局部特征的方法；根据人体关键点定位方法，找到人体特征区域；利用局部颜色直方图检测指标进行检索，期望能够在复杂视频中迅速找到目标行人。

1 局部颜色特征提取

1.1 刚体、非刚体分区

由于遮挡、姿态变化、视角不同等原因，行人局部特征描述对行人再识别问题研究往往会更有意义。局部特征通常从生成的局部分块中获取，根据Xu等[6]对身体部分的划分，把身体分为刚体部分与非刚体部分。把可能有姿态剧烈变化的上臂、下臂和下腿等人体部位称为非刚体部分，非刚体部分通常也会遭受到严重的遮挡和自我遮挡，分块形状变化比较大。刚体部分包括头肩、上躯干和下躯干，这几部分被认为是不会变形的、僵硬的。

本文用AlphaPose算法[7]来定位人体的18个关节点位置，18个关节点位置{鼻子，左眼，右眼，左耳，右耳，左肩，右肩，左肘，右肘，左腕，右腕，左髋，右髋，左膝，右膝，左踝，右踝，脖子}用数字0～17表示。根据关节点位置，把18个已知的身体关节分配到九个矩形。定义刚体部分为R，非刚体部分为N。刚体部分包括头部R1={0，1，2，3，4，17}，上躯干R2={5，6，11，12}，下躯干R3={11，12，13，14}。非刚体部分包括左上臂N1={5，7}，右上臂N2={6，8}，左下臂N3={7，9}，右下臂N4={8，10}，左下腿N5={13，15}，右下腿N6={14，16}。

对于刚体部分Ri{R1,R2,R3}，根据关节点位置获得刚体部分的子边界框H，Hi{H1,H2,H3}。

(1)

对于非刚体部分Nj{N1,N2,N3,N4,N5,N6}，根据关节点位置获得非刚体部分的子边界框G，Gj{G1,G2,G3,G4,G5,G6}。

(2)

式中：xmin、ymin是所在子区域关节点的最小位置；xmax、ymax是所在子区域关节点的最大位置。

1.2 区域HSV颜色特征

与其他视觉特征相比，颜色特征对图像自身的尺寸、方向、视角的依赖性较小，具有较高的鲁棒性。文献[8]最先提出使用颜色直方图来描述图像颜色特征。颜色直方图反映的是图像中颜色的组成分布，即出现在图像中各种颜色出现的概率，并不关心每种颜色所处的位置[9]。本文用颜色直方图来描述颜色特征。

通过观察行人图像可以看出，行人的颜色信息主要表现在刚体部分，并且这部分很少受到背景的干扰，提取刚体部分颜色特征，可以充分代表这个人的颜色特征。为减少光照对图片造成的影响，颜色直方图在HSV(hue，saturation，value)坐标系下提取。图片包括H、S、V三个通道颜色信息，分别对H、S、V通道进行量化，量化后每个通道的取值范围分别是[0,1…nh-1]，[0,1…ns-1]及[0,1…nv-1]，按照H、S、V的顺序把三个分量排列为一个一维矢量[0,1…nh-1…nh+ns-1…nh+ns+nv-1]，因此行人图像量化为nh+ns+nv个颜色等级，令颜色量化值k的像素点为mk，则像素点的总个数为

(3)

像素点mk出现的概率pk为

(4)

2 目标行人的检测

2.1 行人候选区域选取

在图像区域分块中，刚体的分块形状一般是确定的，因此，颜色相似的刚体分块内的局部颜色直方图具有相似的形状。

将行人的刚体部分裁剪后，对每个人刚体部分的颜色特征进行统计，得到各自的刚体部分HSV颜色直方图，计算出现的行人刚体各部分与目标行人刚体各部分的颜色直方图的相似性得分P，采用公式(5)来计算。

(5)

式中：p、p′为目标人物与候选所有人物的颜色直方图。

计算同一张图片中所有行人的综合相似性得分，升序排列，找到相似性得分排在前两位的行人为候选行人。

2.2 马式距离度量

由于所有行人并非全部正面对着摄像头，有的可能侧着身子，导致有些关节点的位置并不可靠，提取的刚体不太准确，并且当行人之间的颜色很相似，综合相似性得分排在最前的不一定是目标行人，还需对候选行人进行距离度量。

与传统度量方法(欧式距离)直接利用特征表达阶段获得的特征向量进行相似性度量不同，马氏距离考虑到各种特性之间的联系并且与尺度无关。通过VGG16卷积神经网络[10]提取候选行人边界框中行人的特征向量。由于VGG16模型是主要用于图像分类，本文舍弃了用于分类的全连接层，只保留卷积层和池化层。把提取到的候选行人边界框图像与目标行人图像固定为224×224大小的图片，通过VGG16网络后得到7×7×512=25088维特征向量，对于候选行人特征向量a(x11,x12,…，x125088)，目标行人特征向量b(x21,x22,…，x225088)，计算a、b的协方差矩阵Y，马氏距离的计算见公式(6)所示。

(6)

3 实验结果与分析

3.1 行人数据集

本文采用拍摄于清华的PRW数据集[11]，由六台摄像机拍摄，行人图像包括多个行人，行人分布在图像中各处且大小不一。由于主要针对的是视频中遮挡后的行人再识别，选取40组视频帧，包括212张图片，共包括1450个行人，其中10组颜色相似，30组颜色各异。目标行人共60人，其中颜色相似的18人，颜色各异的42人。

3.2 实验设置

本次实验的软硬件设置在Anaconda的pytorch平台，由于没有过于复杂的运算，不需要使用高性能的图形处理器，在CPU为Intel(R)Core(TM)i5-3230M的计算机下运行。

3.3 实验过程

首先，采用人体姿态估计算法定位人体关节，获取行人身体的刚体部分。对行人进行分区，结果如图1所示。

由图1可以看出，图1a、图1b、图1c虽然可以有效的提取颜色信息，但会包含大量的背景颜色；图1d中刚体部分能够较好的反映出行人的颜色信息同时不易受背景颜色的干扰。图2、图3是实验的一部分图片；图2中行人的颜色相似，图3中行人颜色各异。图2中左起第三个行人为目标行人，图3中右起第三个行人为目标行人，由式(5)分别计算出头部、上躯干、下躯干的相似性得分P1、P2、P3。表1、表2显示图2、图3中所有行人各个刚体部分的相似性得分和综合相似性得分。图2、图3中出现的所有行人从左到右依次排序。

图1 行人分区结果

图2 颜色相似的行人

图3 颜色各异的行人

结合图2和表1，Z1～Z5上躯干颜色相似，P2相近；Z2、Z3、Z5、Z6、Z7下躯干颜色相似，P3相近；头部相似性得分P1有些很相近，有些相差很大。结合图3和表2，当颜色各不相同时，刚体部件的相似性得分各有不同，单一部分的相似性得分不能有效的区分行人，而融合所有刚体部分的综合得分更能表现行人颜色特征。所以，本文用综合相似性得分表示行人颜色特征。图4为候选行人识别的结果图。