面向身份相互关系一致性的人脸去识别化方法

步一凡,王晓玲,贺珂珂,卢兴见,王文萱

（1.华东师范大学 计算机科学与技术学院,上海 200062;2.复旦大学 计算机科学技术学院,上海 200438）

0 引 言

随着深度学习技术的飞速发展,人脸识别模型已经取得了超越人类识别水平的高性能.由于人脸信息的独特性,其已在人们的日常生活中得到了极高的重视,为人们的生活带来了方便,如支付账单、登录帐户、刷脸门禁等等.然而,人脸信息很容易被广泛安装的摄像头捕捉到,而无需个人同意,更甚者,人脸信息的使用方式也不得而知,这引起了人们对隐私信息泄露的极大担忧.

在此背景下,人脸去识别化技术应运而生,该技术通过去除人的身份特征信息来保护个人的面部隐私.Newton 等[1]首次提出人脸去识别化任务,其定义是,去识别化后人脸图像与原始人脸图像不同属于一个人.人脸去识别化技术在隐私保护方面具有重大意义,尤其是在公共场景下,例如,被摄像头意外捕捉到或分享到社交媒体中的照片或视频,保护被有意或无意拍摄到的人脸图像中的敏感身份信息.目前的研究工作可以分为3 类: 传统方法、人脸交换方法和基于生成对抗网络的去识别化方法.像素化、模糊化和遮挡化[2]是人脸去识别化中具有代表性的传统方法,这些传统方法虽然可以简单地去除给定图像的身份信息,但也使这些图像几乎无法继续使用,破坏了人脸图像的结构特性.人脸交换方法[3-5]似乎是一种有效的方法来实现去识别身份的目标,但填充的身份可能会造成他人个人隐私信息的泄露.而使用生成对抗网络[6]的方法[7-12]通过采用多样化的损失函数,使得去识别化后的图像在尽可能保持了原始图像的属性的同时,也达到了维持去识别化人脸图像可用性的目标,因此该类去识别化人脸图像依旧可以被应用于多种计算机视觉任务上.

现有的人脸去识别化方法的目标主要集中在实现隐私保护上,只支持去识别化后的人脸图像应用于一些与身份无关的任务,如将人脸去识别化方法部署于摄像头端,去识别化后的人脸图像可用于检测、跟踪和动作分类的应用中.而在实际场景中,去识别化后的人脸图像更需要应用于一些与身份相关的人脸验证与检索任务上,例如,公安系统不仅能继续使用去识别化摄像头拍摄下的图像寻找嫌疑人,而被无意拍摄到的公民的人脸隐私也不会遭到侵犯;研究者不仅能继续使用人脸数据集进行检索模型的训练评测,而被采集者也不必担心自己人脸隐私信息的泄露.考虑到去识别化后的人脸图像在身份相关任务上的重要应用,本文首次提出了面向身份相互关系一致性(identity inter-relationship consistency,IIRC)的人脸去识别化任务.简单来说,如图1 所示,该任务可表述为生成的去识别化人脸图像的身份与原始图像的身份信息保持身份相互关系的一致性,即去识别化后人脸图像的身份的相互关系与去识别化前相同.该任务中有两个主要的挑战: ①去识别化后的身份特征满足身份相互关系一致性,即对于来自相同身份的人脸图像,它们的身份应该在去识别转换后也同属于一个人,对于来自不同身份的人脸图像,在去识别化后,它们也应该被视为不同的人;② 生成人脸身份的可控性,由于该任务对去识别化图像的身份要求很高,因此生成的图像的身份信息不能通过扰动的方式而不可知,需要进行准确的控制.

图1 面向身份相互关系一致的去识别化任务Fig.1 Identity inter-relationship-consistent de-identification task

针对现有算法在该任务上的不足,本文提出了一种任务驱动的身份相互关系一致(IIRC)的生成对抗网络(generative adversarial networks,GAN)算法,即IIRC-GAN 算法.该算法由去识别化生成器、基于特征向量旋转的去识别化器和身份控制损失函数组成.去识别化生成器以原始遮挡人脸为输入,以目标身份特征为条件,生成去识别化后的人脸图像.为了解决任务中的第一个挑战,本文引入了一种全新的基于特征向量旋转的去识别化器,通过旋转矩阵将一组原始身份特征修改为一组具有相互关系一致性的去识别化表示.为了解决生成可控身份的人脸图像问题,本文设计了一种身份控制损失函数,通过循环生成的方式保证合成人脸的精确身份.同时,为了保护隐私和拓宽方法的适用性,本文不使用任何标记的人脸数据,整个框架以无监督的方式进行训练.与典型的人脸去识别化方法从真实性、隐私性和可用性这3 个层面进行了详细的对比,定性和定量化的实验结果均表明本文方法有着更为优异的表现.

1 相关工作

1.1 传统去识别化方法

遮挡、模糊化和像素化是人脸去识别化的最早方法,它们几乎可以完全去除图像中的身份,但图像中的所有属性通常也都被删除或模糊.Newton 等[1]首次正式定义了人脸去识别化任务的工作,并通过聚合k个最近的人脸来生成去识别化图像;他们将任务定义为生成逼真的人脸图像,并隐藏原始人脸图像的身份.文献[13]的工作改进了聚合策略,使得生成的人脸图像更为逼真,然而,图像未对齐或表情有差异,导致去识别化图像中含有“鬼影”.为了提高去识别化人脸图像的可用性,本文提出了身份相互关系一致的人脸去识别化任务,该任务考虑到了去识别化图像的隐私性和真实性,以及去识别化图像在人脸验证和检索任务中的应用.

1.2 基于人脸交换的方法

人脸交换任务是指将图像中的人脸替换成目标人脸.Deepfake[14]方法是该方法的成功应用,它对电影制作和视频合成产生了积极的影响,但其滥用也对隐私安全构成了威胁.SimSwap[3]方法利用AdaIN,将身份信息注入到目标特征图中.FaceController[4]方法是一种基于3DMM(3D morphable model)系数的人脸表示,以及样式和身份嵌入,它可以实现比人脸交换更多的属性编辑.HifiFace[5]方法利用3DMM 系数来保留源图像的人脸形状.基于人脸交换的方法虽然可以消除图像中的原始身份,但也将隐私泄露的风险转移到了其他人身上.相比于将人脸交换方法作为去识别化方法,这些方法更适合用于娱乐目的.

1.3 基于生成对抗网络的去识别化方法

得益于生成对抗网络(GAN)[6]具有较强的生成能力,该技术已成功应用于许多图像生成任务.PPGAN(privacy-protective-GAN)[7]是第一个在人脸去识别化任务中引入GAN 的算法,该算法在保持生成人脸图像与原始图像相似性的同时,增大了给定的人脸图像的身份与生成图像身份的差距.Gafni 等[8]提出了一种感知损失的变体,即多图像感知损失,以改变身份高维特征,同时保持姿势、表情和肤色等低维特征的近似.以上这些方法都不能保证合成人脸的精确身份,因此很难确保身份被抹除.CIAGAN(conditional identity anonymization GAN)[9]方法利用条件生成对抗网络,生成以他人身份为条件的各种去识别化结果.Gong 等[10]使用循环一致性损失解耦身份特征,并使用图像修补网络将去识别化人脸图像填充回原始图像.Gu 等[11]首次提出了还原性问题,即希望在去识别化人脸图像中加入密钥的信息,并能通过该密钥反向生成原始的图像;该方法在训练的时候,定义了密钥集合,将密钥参数作为生成器输入的一部分,在做反向生成的时候,只有与输入相同的密钥作为监督信息时才能正确的还原.UU-Net(two sequential U-shaped models)[12]方法考虑到还原性问题,通过2 个生成器分别作为去识别化人脸图像的生成器和还原器,达到还原的目的.上述方法虽然提高了去识别化人脸图像在各种身份无关任务上的可用性,但由于缺乏对生成去识别化人脸身份的控制或依赖于标注信息而无法应用于与身份相关的任务中,如人脸验证、人脸检索.

2 身份相互关系一致性人脸去识别化任务形式化定义

身份相互关系一致性人脸去识别化任务可以定义为学习一个具有去识别化、身份相互关系一致性、真实性等性质的转换函数.该转换函数以原始人脸图像XOri作为输入,其输出为去识别化人脸图像XdeID.

2.1 去识别化

生成的去识别化人脸图像XdeID与原始的XOri应该有不同的身份,可以表示为

式(1)中:fR(·)表示人脸识别器 R 的身份特征提取操作;t表示判断2 幅人脸图像是否属于同一个人的阈值.

2.2 身份相互关系一致性

其中,∀i,1,···,n},a,1,···,m}.

2.3 真实性

真实性的含义是生成的人脸要保持逼真,能够被常见的人脸检测器(如MTCNN(multitask cascaded convolutional networks)[15])自动检测到.

3 模型方法

本文提出了一种统一框架下的、任务驱动的身份一致性人脸去识别化(IIRC-GAN)方法,以解决面向身份相互关系一致性的人脸去识别化任务.IIRC-GAN 框架如图2 所示,该框架包含3 个部分:①去识别化生成器,以原始遮挡人脸为输入,以目标身份特征为条件,生成去识别化后的人脸图像;② 基于特征向量旋转的去识别化器来修改身份表示,以解决任务中生成人脸的身份需满足相互关系一致的特性;③身份控制损失函数来保证更精确的去生成人脸图像的身份.

图2 身份相互关系一致性生成对抗网络(IIRC-GAN)模型的总体框架图Fig.2 Overview of proposed identity inter-relationship-consistent GAN(IIRC-GAN)

3.1 去识别化生成器

去识别化生成器的目标是,给定去识别化身份特征信息和包含原始人脸属性特性的遮挡图像Xmask,生成准确身份信息的去识别化人脸.

去识别生成器基于Cycle-GAN[16]、UNet-128[17]结构,编码器和解码器的相应层之间有跳跃连接.考虑到使用原始人脸图像可能会泄露隐私信息,本文采用遮挡人脸图像代替原始人脸图像作为输入,以鼓励编码器关注与身份无关的特征.跳跃连接可以帮助解码器获得更多与身份无关的特征,从而生成更真实的图像,并根据嵌入的身份特征生成目标人脸.如图2 所示,本文的去识别化生成器由2 个分支组成,即人脸去识别化分支和人脸重构分支.人脸去识别化分支通过将遮挡图像Xmask编码后的隐变量与通过基于特征向量旋转的去识别化器生成的去识别化身份特征相结合,生成去识别化人脸图像XdeID.在无监督条件下,受Cycle-GAN 的启发,人脸重构分支将遮挡图像Xmask中的隐变量与原始身份特征相结合,重新生成伪原始人脸Xfake.这2 个生成分支共享去识别化生成器的编码器参数和解码器参数.

为了生成自然逼真的人脸,本文还使用了判别器D 来监督合成图像的质量.定义对抗损失为

式(3)中:λdeID是关于去识别化图像的加权参数;fD(·)表示判别器D 对图像的评分.

设置伪图像Xfake和原始图像XOri像素级的L2距离作为重建损失LRec,即

为了使生成的图像保留姿态、光照、皮肤颜色等与身份无关的信息,在伪图像Xfake和去识别化图像XdeID上使用SSIM(structure similarity)损失[18],分别记为fSSIM(XOri,Xfake)和fSSIM(XOri,XdeID).SSIM 损失,本文用LSSIM表示,可描述为

IIRC-GAN 的整体优化函数Loverall可以表示为

式(6)中:LID是为了更好地约束生成的图像的身份信息而提出的身份控制损失;λID、λAdv和λSSIM是平衡权重的参数.通过应用这种损失函数Loverall,可以用基于特征向量旋转的去识别化器生成的相互关系一致性身份训练一个用于生成去识别化人脸的去识别化生成器.

3.2 基于特征向量旋转的去识别化器

基于特征向量旋转的去识别化器的目标是将原有的身份特征修改为具有身份相互关系一致性的去识别化身份特征,即去识别化前后,身份特征是否同属于一人,该相互关系保持不变.为了更好地实现隐私保护的目的,在训练时,该模块也无需敏感的身份特征信息作为标签,可以以无监督的方式进行训练.

利用预先训练好的人脸识别器 R,可以从原始人脸图像中得到原始身份特征.本文使用InsightFace[19]作为人脸识别器 R 来提取身份特征.为了实现将身份信息映射到超球空间中,利用余弦相似度度量来度量相似度.与缩放和平移相比,旋转是一种更适合的操作身份特征向量的方法.利用正交矩阵的性质,即两个向量v1和v2之间的相对距离在用正交矩阵旋转后不会改变.给定2 个向量v1,v2和一个正交矩阵A,旋转后的向量Av1,Av2有向量间的距离相等的特征,即

在该模块中,通过采用上式,可以利用正交矩阵对原有的身份特征进行旋转,得到身份相互关系一致的去识别化身份特征,实现创建具有身份相互关系一致的虚拟身份.该模块的原理图如图3 所示.通过相同RD(rotation-based de-identifier)模块的操作,无论原始图片是否同属于一个人,任意2 张去识别化图片的身份向量距离和原始图片之间的身份特征向量距离相等.在实践中,为了保证旋转矩阵尽可能满秩,且去识别化特征与原特征保持足够的距离,选择哈达玛矩阵H作为基旋转矩阵.由于哈达玛矩阵的特点是使用H进行偶数次旋转会产生与原始相同的特征,因此,在H中加入噪声矩阵N,组成旋转矩阵M,以构造各种身份特征.在RD 模块中,最终的旋转矩阵由M经过史密斯正交化得到.因此,通过用正交矩阵M旋转身份特征不同次数,可以得到不同版本的相互关系一致的去识别化身份特征.通过训练以目标身份特征为条件的去识别生成器,可以生成具有身份相互关系一致目标的去识别化人脸.

图3 基于特征旋转的去识别化器(RD)原理图Fig.3 Schematic of rotation-based de-identifier(RD)

3.3 身份控制损失函数

身份控制损失函数LID的目标是保证由去识别化生成器生成的合成图像的身份的准确性,以便更好地使去识别化生成器根据给定的身份特征进行可控的生成.该损失函数不仅仅关注单张人脸图像身份信息的准确性,为更好地支持所提出的任务,同时对人脸图像对之间的身份关系也进行了限制.

对于去识别化生成器的人脸重构分支,生成的伪图像Xfake应该与原始输入人脸XOri的身份接近.因此,可将LID_fake定义为

对于人脸去识别化分支,生成的去识别化图像XdeID的身份应该与通过RD 模块得到的去识别化身份相似.LID_deID损失的定义是

为了促进达到身份相互关系一致的目标,关键是要限制不同人之间的身份特征差距,使其在去识别化前后保持一致.利用Xfake和XdeID之间的身份差异来模拟去识别化后不同人的身份特征差距,利用fR(XOri)和fRD(XOri)来模拟去识别化前不同人的身份特征差距.因此,身份相互关系一致性损失被设置为

则总的身份控制损失为

4 实 验

本文从真实性、去识别化、和身份相互关系一致性这3 个方面对本文所提出的任务及方法进行了广泛的实验与评估.具体而言,真实性任务旨在评估生成的人脸是否足够逼真,使得其能被人脸检测器检测到;去识别化任务试图证明所提出方法是否能去除原始图像的身份;身份相互关系一致性任务旨在衡量生成的去识别化人脸是否能应用于身份相关任务,如人脸验证、人脸检索.

4.1 数据集、对比方法和实验设置

4.1.1 数据集

本文在3 个公共数据集上进行了实验: ①数据集CelebA[20]包含10 177 个个体的202 599 张人脸图像;② 数据集MORPH[21]包含超过13 000 个人的55 000 张唯一的图像;③数据集LFW(labeled faces in the wild)[22]包含5 749 个人的13 233 张图片,由6 000 张人脸图像对组成,并拆分成10 份,在每份中,一半的人脸图像对共享相同的身份,其余的由具有不同身份的人脸图像对组成.在所有的数据集中,每张图像已经对齐和裁剪到(128 × 128)像素,将原始图像的中心遮挡约78 像素.对于所有数据集,随机选取90%的数据进行训练,剩下的数据用于测试.

4.1.2 对比方法

对比的方法包括传统的去识别化方法和基于生成对抗网络的去识别化方法.

1)传统的去识别化方法,如像素化和模糊化.

2)基于生成对抗网络的人脸去识别化方法有以下3 种.

(1)PPGAN[7]: 使用SSIM 损失和验证损失同时保证人脸属性的相似和身份的区别.

(2)Gafni[8]: 提出多图像感知损失,以达到高阶特征的区别,即身份,同时低维特征的近似,即属性.

(3)CIAGAN[9]: 利用条件生成对抗网络,生成与给定身份相近的去识别化人脸图像.

4.1.3 实验设置

本文使用InsightFace[19]的LResNet100E-IR 模型作为提取身份特征的人脸识别器,在数据集MS1M-Arcface[23]上预训练,所提取的身份特征向量大小为512 维.采用来自Cycle-GAN 的生成器和判别器架构,使用RMSprop 优化器训练它们,学习率设置为2 × 10–4,α0.99 . R D 模块中的噪声矩阵N被设为512 维对角矩阵,为了生成不同的身份相互关系一致的去识别化图像,通过旋转不同的次数t来构建不同的去识别化特征,t3k+4,其中k[1,10].根据现有工作[8,19]的经验,设置超参λID1,λAdv1,λSSIM1,λdeID1,λRec5和λCons0.2 .

4.2 真实性效果对比分析

为了证明该方法的去识别化图像的真实性,使用Dlib 和MTCNN 进行人脸检测,并使用检测到的人脸的百分比(检测率)来评估人脸的表现,结果如表1 所示,其中最好的结果使用黑体标出,下同.在数据集CelebA 上,Dlib 和MTCNN 对IIRC-GAN 生成去识别化图像的检测率分别为98.7%和97.9%,优于传统方法和基于GAN 的方法.这证明了本文方法在与身份无关的人脸相关的研究和应用中保持了它的可用性.

表1 使用预训练人脸检测器在去识别化图像上的检测率Tab.1 Detection rates of de-identified images using pretrained face detectors

4.3 去识别化效果对比分析

为了测量隐私保护的效果,遵循之前的工作,本文在数据集LFW 上去识别化正例对的第二张人脸图像.主要的评估指标是tpr@0.001: 假阳性最大为0.001 下的真阳性的比例.tpr@0.001 结果越低,说明隐私保护效果越好.本文采用2 个FaceNet[24]识别模型作为人脸识别器,分别在数据集VGGFace2 和数据集CASIA 上进行预训练,以评估去识别化的效果,结果如表2 所示.最新的去识别化方法Gafni 和CIAGAN 显示出了极大的能力来去除身份.对于在VGGFace2 上预训练的识别模型,本文方法改善了结果,与Gafni 和CIAGAN 相比,识别率下降了1.1%和0.7%.当在数据集CASIA 上采用预训练模型进行识别时,本文方法较好于Gafni 的识别结果,将评估指标降低到了0.027;由于CIAGAN 额外使用了图像的身份标签,其去识别化率比本文方法高0.008%.总体而言,本文方法可以实现人脸隐私保护的SOTA(state of the art)去识别化性能.此外,在本文方法中训练和使用不需要额外的身份信息,进一步保护了训练人脸数据的隐私安全.

表2 在数据集LFW 上的去识别化率Tab.2 De-identification rates on LFW datasets

4.4 身份相互关系一致性效果对比分析

该实验主要评估去识别化图像对原始图像身份相互关系一致性的影响,即去识别化人脸图像在身份相关任务上的可用性.本文使用人脸验证和人脸检索任务来进行验证.

4.4.1 人脸验证

本实验遵循LFW 协议,从数据集CelebA 和MORPH 中随机抽取3 000 对正例对和3 000 对负例对,使用去识别化方法去识别化所有正/负例对;构建验证数据集,用验证精度(accuracy)作为评估指标.表3 所示定量地显示了本文方法在人脸验证任务上的结果.人脸识别器对原始人脸具有较高的识别精度.在数据集CelebA 上: ①传统的去识别化方法大大降低了验证的准确度,接近于随机猜测;② PPGAN 在2 个识别器上分别下降了19.49%和16.76%的验证精度,这可能由于该方法缺乏对精确身份生成的考虑;③与原始图像相比,采用2 种人脸识别器计算得到的CIAGAN 图像的验证精度分别下降了17.10%和14.24%,然而,CIAGAN 通过为带有标签的数据的相同身份选择相同的去识别化身份来保持正例对的身份相互关系的一致性,对于负例对,它可能会选择一个相似的身份,使人脸识别器难以判断;④ 本文方法(IIRC-GAN)的优势在于不需要身份标签,并且获得了优异的身份相互关系一致性结果,对人脸识别器的性能影响最小,以InsightFace 和FaceNet 人脸识别器的验证准确率分别为94.28%和 84.85%,验证精度性能平均下降了5.73%,这对于用于人脸验证的识别器来说是一个可以接受的范围,同样的趋势也可以在数据集Morph 中看到.

表3 去识别化后人脸图像验证精度Tab.3 Verification accuracy with de-identified images

4.4.2 人脸检索

人脸检索结果如表4 所示.在测试集CelebA 中随机选取50 人进行检索,从每个人中选择一张图片来构建图库集,其余的图片用于构建查询集.通过对查询图像和图库中的图像之间的身份相似性进行排序,以top-1、top-5、top-10 指标进行评估.原始图像上的top-k(k=1,5,10)指标展示了识别器较强的检索能力.与基线相比,本文方法的top-k指标显著高于基线,并接近原始图像,进一步证明了本文所提方法对去识别化图像具有显著的身份相互关系一致性.

表4 在CelebA 上,去识别化后人脸检索top-k 的准确率Tab.4 Top-k value with de-identified images on CelebA

4.4.3 可视化结果

本文还通过可视化实验证明了本文方法在身份相互关系一致性方面的有效性.

(1)图4 比较了生成的去识别化人脸的质量,原始图像拥有同一个身份.很明显,本文生成的各种去识别化图像更真实,而来自同一身份的去识别化图像仍然拥有相同的去识别化身份.

图4 去识别化图像的定性比较Fig.4 Qualitative comparison results of our method and competitors

(2)在图5 中,利用t-SNE(t-distributed stochastic neighourhood embedding)[25]降维可视化方法,展示了去识别化后的图像身份特征分布与基线的对比,其中不同颜色的结点代表不同的原始身份.可以看出,使用本文方法生成的人脸,来自同一个人的去识别化身份特征更加集中,而不同的人则相隔很远.因此,证明了本文方法的优越性,可以进一步应用于身份相关的任务.

图5 t-SNE 降维可视化身份特征Fig.5 T-SNE results of identity feature distribution of de-identified images

4.5 消融实验

本文从LID_fake、LID_deID和LID_Cons这3 个方面进行消融实验,以证明本文方法中身份控制损失函数的有效性;采用验证任务中的验证准确度来评估各部分的有效性,定量结果显示在表5 中.本文的基准模型只包含用于优化的LAdv、LRec和LSSIM.由表5 可以有以下观察: ①与基准模型相比,采用LID_fake或LID_deID,对生成的图像的身份有控制能力,可提高去识别化图像的验证精度;② 使用LID_fake和LID_deID同时进行优化显著提高了结果,因此,可以认为这两种损失在身份控制方面中互为补充;③通过身份相互关系一致性损失LID_Cons来模拟不同人的身份特征差距,具有更精确的身份生成,可提高去识别化图像的身份相互关系一致性的结果,这证明了本文所提出的身份控制损失的有效性.

表5 关于身份控制损失的消融实验Tab.5 Ablation study of identity control loss in our model

5 结 语

本文提出了身份相互关系一致的人脸去识别化任务,该任务要求去识别化后的人脸图像可以用于人脸验证和检索.为了保护人脸隐私信息,本文方法只关注人脸验证和检索任务,而不关注去识别化人脸图像的原始身份.因此,本文的任务和所提出的方法对人脸隐私无害,并进一步提高了去识别化图像的实用性.

为了解决这一任务,本文提出了一种任务驱动的身份相互关系一致性生成对抗网络(IIRC-GAN)算法,实现了去识别化人脸图像的生成的同时,满足了生成图像的身份相互关系一致性;此外,本文方法在训练和测试阶段不需要人脸图像的身份信息.因此,本文方法使用的人脸图像的身份信息是安全的.在实验中,定量地表明,本文方法在去识别化方面和身份相互关系一致性方面显著优于其他方法.在未来的工作中,将探索去识别化方法在人体中的应用.此外,去识别化人脸图像的恢复也是一个值得研究的问题.