基于风格迁移及度量融合的行人再识别研究

孙志琳，张丽红

(山西大学 物理电子工程学院，山西 太原 030006)

0 引 言

行人再识别是指解决跨场景的行人图像匹配问题，行人再识别作为智能视频分析的一个新课题，在计算机视觉领域受到了广泛关注，但目前该问题所遇到的挑战主要来自光照、背景、行人姿态等变化造成的影响和训练好的模型在实际应用中性能急剧下降等问题. 因此，行人再识别仍是一个具有挑战性的课题.

目前行人再识别的主要研究方法有3类：特征提取、度量学习及迁移学习. 基于特征提取的方法是手动设计并提取更加具有鲁棒性的鉴别特征对行人进行表示，常用特征有线特征、颜色特征、纹理特征等，其计算简单、针对性强，却容易受光照、视角变化等因素影响[1]. 步态等动态特征及发型、衣服颜色等高级属性特征也可用于行人再识别，且有较好鲁棒性，但获取复杂且需人工标注[2]. 基于度量学习的方法通过学习一个有判别力的距离度量函数，使得同一个人的图像间距离小于不同行人图像间的距离. 度量学习方法中有通过学习半正定矩阵参数化的马氏距离函数来分辨行人图像对的[3]，也有通过学习低位投影将行人再识别问题重新定义为子空间学习问题的[4]. 基于迁移学习的方法是将带标签的行人图像风格迁移到无标签的测试数据域上并用其训练模型. Isola提出由条件对抗网络学习从输入图像到输出图像的映射函数，但这一方法需要很难获得的成对训练数据[5]. 为了解决无配对数据的图像-图像转换问题，Zhu等人提出用循环一致损失来训练无配对的图像数据[6].

由于数据集之间的领域差距普遍存在，从本质上导致在不同的数据集上进行训练和测试时性能严重下降，使得现有训练数据不能有效用于新的测试域. 当前行人再识别的度量算法在计算相似性时主要依据两幅图像自身的判别信息，较少依据与两幅图像相关的其它图像的判别信息(间接度量). 为了减少标注新训练样本的昂贵成本且增强相似判别的准确性，本文采用迁移学习和度量融合的方法.

1 风格迁移

1.1 循环对抗生成网络

行人重识别的不同数据集中没有同一个人的图像. 因此，风格迁移可以被看做是一个无配对的图像到图像的迁移任务. 因为循环对抗生成网络(Cycle Generative Adversarial Networks, CycleGAN)在无配对的图像到图像的迁移任务中有很好的性能，我们应用CycleGAN去学习数据集A和数据集B之间的映射函数[7,8]. 一个普通的GAN只有一个生成器和一个判别器，结构分别如图 1，图 2 所示，而CycleGAN分别有两个生成器和判别器[9,10]. 一个生成器将A域的图片转换成B域风格的图片，用G表示，而另一个生成器做相反的事情，用F表示； 两个判别器DA和DB分别判断各自域中图片的真假.

图 1 生成器结构图Fig.1 Generator network structure

图 2 判别器结构图Fig.2 Discriminator network structure

假设G为数据集A到数据集B的风格映射函数，F为数据集B到数据集A的风格映射函数.A中图像风格迁移到B后应与B中图像风格一致，逆向也如此，如图 3 所示.A中图像经G风格迁移到B后再经F回到A时应与最初尽量保持一致，反向相同，如图 4 所示.

图 3 CycleGAN结构图Fig.3 Architecture of CycleGAN mode

图 4 循环一致损失示意图Fig.4 Cycle-consistency loss

风格迁移学习的目标函数为

Lstyle=LGAN(G,DB,A,B)+

LGAN(F,DA,B,A)+λLcyc(G,F),(1)

式中：LGAN为标准的对抗损失；Lcyc为循环一致损失；

LGAN(G,DB,A,B)=Eb～B[(DB(b)-1)2]+

Ea～A[DA(G(a))2]；(2)

LGAN(F,DA,B,A)=Ea～A[(DA(a)-1)2]+

Eb～B[DB(F(b))2]；(3)

Lcyc(G,F)=Ea～A[‖F(G(a))-a‖1]+

Eb～B[‖G(F(b))-b‖1],(4)

式(2)～式(4)中：a,b分别为数据集A,B中的图像；Ea～A[·],Eb～B[·]分别表示[·]在数据集A，B分布下的期望.

1.2 身份信息约束

不但要保证来自源域的图像风格迁移到目标域之后风格要和目标域的图像风格一致，还要确保图像迁移前后它本身的身份信息不变. 因此除对抗损失和循环一致损失外，还需加入身份信息约束条件来确保图像风格迁移前后行人身份信息保持不变，身份损失的目标函数为

LID(G,F,A,B)=Ea～A‖F(a)-a‖1+

Eb～B‖G(b)-b‖1.(5)

2 度量融合

直接度量是利用图像自身特征信息来度量查询图像与候选图像的相似性，间接度量则是利用与图像对相关的其它判别信息度量相似性，可减少发生在表观特征较相似的不同行人身上的误匹配情况. 为吸取两者优势，将直接度量和间接度量结合使用.

2.1 直接度量

直接用图像特征之间的欧式距离计算图像a与图像b之间的相似度，公式为

d(a,b)=‖a-b‖2,(6)

Ld=d(a,b)2.(7)

2.2 间接度量

图像最近邻判别信息可作为图像相似性间接度量的重要依据[11,12]. 近邻集中具有重合样本的两幅图像相似，且重合样本数越多两幅图像越相似[13,14]. 因此,可通过近邻集合的相似性间接计算两幅图像相似性，并利用Jaccard系数来描述两个集合的相似性，如式(8)所示.

(8)

式中：H(a,k),H(b,k)分别为图像a,b的k近邻集合； |·|为集合中元素的数量.

图 5 k最近邻 Fig.5 k-nearest neighbor

图 6 k相互近邻Fig.6 k-close neighbors

在图像的k最近邻集中仍存在少数与查询图像相似性极高的负样本，为了进一步提高间接度量的准确性，采用k相互近邻[15]间接度量图像对的相似性. 若图像a和图像b同时在对方的k最近邻中，则称其互为对方的k相互近邻. 图像a的k相互近邻如式(9)所示.

I(a,k)={b∈H(a,k),a∈H(b,k)}.(9)

正样本与查询样本互为k相互近邻的概率应大于负样本与查询样本互为k相互近邻的概率，用k相互近邻的信息度量图像的相似性，可减少负样本匹配度高的情况. 基于图像对k相互近邻的相似性为

(10)

度量融合的相似度损失函数为

Lsim=Ld+μLi=d(a,b)2-μs*(a,b).(11)

式中：Ld为直接度量；Li为间接度量.

3 整体框架结构

图 7 为基于风格迁移和度量融合的行人再识别结构. 整个框架的工作流程包括：

1) 将源域的行人图像输入到CycleGAN中，结合行人身份约束信息，训练得到最优的生成器和判别器，并输出风格迁移到目标域上的行人图像.

2) 在风格迁移后的图像数据集上进行特征学习，并使用度量融合的方式评估图像对的相似性，最后得到合适的Re-ID模型.

3) 将未标签的目标域内的图像输入已得到的Re-ID模型中，并将候选库中的相关图像按相似度由高到低排列输出.

图 7 基于风格迁移和度量融合的Re-ID整体结构Fig.7 Framework of Re-ID based on style transfer and metric fusion

4 实验及结果分析

4.1 数据集

实验共用了3个数据集：Market1501，CUHK03及DukeMTMC-reID. Market-1501数据集包含1 501位行人和32 668张行人图像. 其中751位行人的12 936张图像被用于训练，其余750位行人的19 732张图像被包括在测试集中； CUHK03数据集由1 467位行人的28 192张图像组成，选取1 367位行人对应的26 264张图像用于训练，其余100位行人1 928张图像用于测试； DukeMTMC-reID数据集包含1 812位行人的36 411张行人图像. 其中702位行人的16 522张图像被用于训练，其余的都包含在测试集中. 在Market1501和DukeMTMC-reID数据集上测试时k均取值为20.

4.2 评价指标

实验结果用累积匹配特性(Cumulative Match Characteristic,CMC)曲线进行度量，rank-r识别率就是表示按照某种相似度匹配规则匹配并排序后，正确的目标行人排名在前r的比例. 由于行人再识别可看成一个图像检索问题，故引入mAP(mean Average Precision)对结果进行评价. mAP对所有类别的AP取均值，能够更好地反映全局性能.

4.3 实验结果

行人图像的风格迁移效果如图 8、图 9 所示. 图8中第一行为Market数据集中的原始行人图像，第二行为风格迁移到Duke数据集后的行人图像. 图9中第一行为来自CUHK03数据集的图像，第二行为风格迁移到Market数据集后的图像.

图 8 Market数据集原始图像与风格迁移到Duke数据集后图像Fig.8 Market-Duke

图 9 CUHK03数据集原始图像与风格迁移到Market数据集后图像Fig.9 CUHK03-Market

表 1 给出了在不同数据集上训练，在Market1501数据集上测试的行人再识别性能比较. CUHK03Mar指将CUHK03数据集风格迁移到Market上，对比前两行可知：跨数据集进行测试时，行人再识别精确度严重下降. 当采用CycleGAN进行风格迁移后，再识别准确率有显著提高，rank-1匹配率由43.1上升到48.1，mAP由17.0上升到19.6. 再引入身份约束条件后，rank-1匹配率又提高了0.5，mAP提高了0.3.

表 1 在Market上测试的re-ID性能对比

表 2 给出了采用不同的度量方法得到的行人再识别的匹配率对比. 明显可见：直接度量与间接度量相融合的方式比单一度量方式有更准确的匹配率. rank-1匹配率分别上升了2.2，4.6,mAP分别提高了2.0，1.1.

表 2 在Market上测试不同度量方式的性能对比

表 3 给出了在不同数据集上训练，在DukeMTMC-reID数据集上测试的行人再识别性能比较. 对比第一行和第二行可知：跨数据集进行测试时，行人再识别精确度严重下降. 当采用CycleGAN进行风格迁移后，再识别准确率有显著提高，rank-1匹配率由33.1上升到38.1，mAP由16.7上升到19.6. 再引入身份约束条件后，rank-1匹配率又提高了0.4，mAP提高了0.3.

表 3 在Duke上测试的re-ID性能对比

5 结 论

本文利用CycleGAN将源数据集中带标签的图像风格迁移到目标数据集上，然后在风格迁移后的数据图像集上采用直接与间接相融合的度量方式进行训练，最后，使用目标数据集上未带标签的行人图像作为查询图像，找出候选库中与其相似的行人图像. 实验结果表明：在Market1501和DukeMTMC-reID数据集上测试，采用CycleGAN风格迁移均可明显提高跨数据集的行人再识别准确率； 相似度度量时度量融合的方式比单一的直接度量有更好的精确度，且可以有效避免误匹配的概率.