基于对抗生成网络的身份保持人脸老化

汤 旭

（1.中国科学院上海微系统与信息技术研究所上海200050；2.上海科技大学上海201210；3.中国科学院大学北京100049）

人脸老化，又称为人脸的年龄生成，该课题正在吸引越来越多研究者的注意。如何在审美角度将自然而然的老化渲染到人脸图像上，并且保留它关于身份的信息是我们需要关注的。人脸老化过程的建模对于人脸识别和验证都是至关重要的。人脸识别在计算机视觉领域是最活跃的领域之一。许多论文[1-6]专注于通用人脸识别。然而，据我们了解，很少有工作专注于研究人脸的老化生成和跨年龄人脸识别。人脸老化可以有广阔的应用，比如，一旦有了某人幼年时候的照片，它可以用来帮助寻找迷失儿童。同时，做一个手机应用程式来预测某人若干年后的长相也是一件很有趣的事情。除此之外，跨年龄人脸识别可以为多年前发生的犯罪提供关键线索。目前人脸老化的论文较少的可能的原因是因为，缺乏合适的人脸老龄化数据库，尤其是当我们需要训练一个深度卷积神经网络的时候。大部分已有的数据库[7-9]里面，相同的人拥有大量的图片，但是这些人的年龄跨度往往很小。对于同一个人的人脸图片来说，往往仅仅覆盖很窄的年龄范围（通常是0～10岁）。因此，我们需要提出一个引入目标领域里面的其他人脸图片来帮助源领域指定人老化生成的模型。

1 相关研究

大量的人脸老化的模型[10-11]对动态老化模板进行建模，模型大体可以分为两种类型：原型方法[12]和物理建模方法[13-14]。原型方法用源领域（更年轻的年纪）的重构的平均脸作为原型，然后移动原型之间的差异性到测试图片上。物理建模方法以参数化模型的方式模拟人脸老化的过程，在参数化模型中皮肤、肌肉、或者头颅的老化过程可以被建模。

我们的方法与生成模型息息相关，比如变分自动编码器[15]和对抗生成网络（Generative Adversarial Networks，GAN）[16-17]都在生成模型领域占据主要地位。像素点重建的目标函数往往用来训练变分自动编码器，但是其生成的图像看上去很模糊。基于对抗生成网络生成的图像往往看上去很自然。深度卷积对抗生成网络（Deep Convolutional Generative Adversarial Networks，DCGAN）的思想[18]可以帮助引入更深的网络生成图像。

我们的工作属于一种条件对抗生成网络（conditional Generative Adversarial Networks， cGAN）[19]。cGAN通过引入先验信息来生成需要的结果，是GAN的延伸。诸如图像年龄标签等的条件通过全连接层的形式引入到对抗生成网络中。文献[20]证明了可以通过文本描述的形式生成对应的真实的图片。

目前最好的老化建模方法IcGAN目前是达到艺术水准的。首先，它将先验条件转换为独热的（onehot）年龄标签来训练年龄有关的cGAN。为了生成没有丢失身份信息的人脸，他提出使用L-BFGS-B进行优化的隐变量优化方法。

2 基于对抗生成网络的身份保持人脸老化

给定输入-目标对（xi,m，xj,n），其中xi,m是第i个人的第m个年龄组的人脸照片，xj,n表示第j个人的第n个年龄组的人脸照片。在本论文中，人脸的年龄被划分成5个年龄段区间：0-20，21-30，31-40，41-50，51+，并且m,n∈ [0，1，2，3，4]，且m≤n。因此，年龄有关的条件以5维热编码向量（one-hot vector）的形式结合到特征空间。本文中，输入-目标对（xi,m，xj,n）给定后，我们的目标是生成第i个人的第n个年龄段的老化人脸xi,n′。同时，我们的模型可以保持住原始图片的身份相关的信息。

2.1 目标函数

我们提出IPGAN的方法，如图1所示。我们的IPGAN的方法提出多个损失函数结合的目标项：对抗损失函数LGAN，特征空间损失函数Lfeat以及图像空间损失函数Limage。具体公式如下：

此多任务学习过程有诸多优点。联合优化对于身份保持的年龄生成有益。联合的目标函数由以下部分组成：最小化源图片xi,m和重构图片xi,m′之间像素级别的欧氏距离（给定年龄编码y0），最小化真实隐向量z和估计隐向量z′之间的欧式距离（给定年龄编码y1），实现对抗生成网络双玩家的最小化最大化目标[16]。

2.1.1 身份保持的隐空间

特征空间的损失函数旨在重构出输入图片，同时，在生成的图像中可以保持住原始人脸图像跟身份有关的信息。编码器E不仅可以将源领域的人脸图片映射到身份保持的特征空间，同时，E能够把生成的老化图像映射到相同的特征空间。我们定义：

其中G表示生成器，y1是和老化有关的年龄先验，xi,n′是生成的位于第n个年龄段的人脸图像。通过实现这部分，随着年龄的变化，身份有关的信息将保持完整。我们使用文献[21]的AlexNet模型作为我们的编码器，其他卷积神经网络的模型亦可[22-24]。

2.1.2 条件对抗生成网络

对抗生成网络用于生成最可信，并且最真实的图片。条件对抗生成网络用于根据特定的条件先验有关的属性来生成图片。我们需要将源图片以及其错误的年龄条件的类型作为cGAN的第3种输入。因此，差分器可以学会对假造图片进行排名。损失函数如下：

其中，θG和θD分别是生成器G和差分器D的参数。其中生成的标签y′对应生成的图像xi,n′。

2.1.3 图像空间的损失函数

IPGAN模型引入图像空间的损失函数，具体的定义如下：

其中y0是和重建有关的年龄先验，引入图像空间的损失函数可以帮助重建源图片。值得注意的是，Limage的引入可以帮助解决GAN训练过程中不稳定以及对超参数敏感的问题。

图1 生成器G的输入端改变年龄条件来展示年龄老化的生成

2.2 模型框架

编码器部分使用经过预训练的AlexNet[21]，它由5个卷积层和两个全连接层组成。激活函数使用ReLU。生成器和差分器的具体结构参考图2。

图2 生成器和差分器的具体结构

3 实验

3.1 实验细节

所提出的IPGAN的模型基于tensorflow的深度学习框架。模型优化使用的是带冲量的ADAM算法，其中冲量项设置为0.5，网络的初始学习率为0.000 2，批处理的大小为64，权重衰减设置为0.000 01。为了防止差分器在训练的过程中出现过拟合的情况，当生成器的损失是差分器的损失的10倍的时候，我们停止更新差分器D的部分。

3.2 数据库

跨年龄名人数据集（CACD）[9]包括了2 000个名人的超过160，000张照片，数据库的整体年龄跨度为16～62岁。所有的人脸图片数据都有年龄相关的标签。在实验设置中，我们将CACD数据集划分为两部分：训练集和测试集。我们随机选取每个人的80%的照片划分到训练集部分，剩下的作为测试集。

3.3 身份保持的人脸老化

实验优先考虑将生成样本的视觉质量作为评价标准。实验结果如表3所示，展示了我们的IPGAN模型在不同年龄的老化生成图片。第一列对应的是五个不同的人的原始图片，每一行表示的是同一个人的不同年龄。第二列到第五列分别表示21-30岁，31-40岁，41-50岁，51岁以上的老化生成效果展示图。通过图示，我们可以分析得到，随着年龄先验信息的增大，生成图像的发际线往后移动、脸部皱纹增多、脸部轮廓出现些许变化。但是，在生成老化图片的过程中，局部的信息会保持不变，比如鼻子形状，眼睛的大小等等。显然，身份保持的隐变量z编码人的身份信息，年龄条件y编码特定的年龄信息。

图3 生成老化图片效果展示

实际上，使用IPGAN模型，我们的生成器可以根据未知样本生成老化的图片。如图4是IPGAN模型生成的图片，可以看出它具有很强的泛化能力，并且没有受到过拟合的影响。

3.4 数据扩充和人脸识别

IPGAN模型的实验结果可以保持住源图片和生成图片的身份有关的信息。所以，我们用人脸识别的方法来验证身份保持性。在表格1中，我们比较了两种训练集的结果，训练集1是生成老化样本和原始训练数据的混合，训练集2仅仅含有原始的训练数据集。分别用训练集1和训练集2训练我们的人脸分类模型，然后比较模型在测试集上的分类效果（识别率）。实验结果表明，对于跨年龄人脸识别，我们的模型可以在该测试集上获得识别率2.64%的增益。

表1 实验结果

仅仅是保持身份有关的信息是不够的，年龄相关的老化过程也应该被渲染到源图片上。为了定量描述生成图片的老化程度，我们训练了一个在训练集2上面年龄分类准确率到达94%的年龄分类器（年龄分类为五组）。如预期，生成图片的平均年龄估计仅仅比原始自然图片的年龄估计准确率低11.8%。这有效的证明了我们的老化生成图像有很强的年龄相关性。

4 结论

文中提出了基于对抗生成网络的身份保持的人脸老化（IPGAN），模型利用了加权重的3个损失函数：对抗损失函数LGAN，特征空间损失函数Lfeat以及图像空间损失函数Limage。它解决了生成图像中缺乏保持原始图像身份信息的能力的问题。对抗生成网络能够充分利用特征的统计信息，使得生成图片更显真实。同时，我们的IPGAN允许通过简单的改变输入到生成器G中的年龄条件，来控制生成人脸图像的年龄老化属性。通过引入特征空间损失函数Lfeat以及图像空间损失函数Limage，模型可以解决训练过程收敛不稳定和对超参数敏感的问题。大量的实验证明，我们的结果对于跨年龄人脸识别有很好的帮助，并且能够在识别率上面获得2.64%的增益，同时生成图片的平均年龄估计与原始图片的平均年龄估计仅仅相差11.8%。

图4 IPGAN的泛化能力展示

参考文献：

[1]Sandford A，Burton A M.Tolerance for distorted faces:Challenges to a configural processing account of familiar face recognition[J].Cognition，2014，132（3）:262-268.

[2]Yang M，Zhang L，Shiu S C K，et al.Gabor feature based robust representation and classification for face recognition with Gabor occlusion dictionary[J].Pattern Recognition，2013，46（7）:1865-1878.

[3]Han H，Shan S，Chen X，et al.A comparative study on illumination preprocessing in face recognition[J].Pattern Recognition，2013，46（6）:1691-1699.

[4]Mike Burton A.Why has research in face recognition progressed so slowly?The importance of variability[J].The Quarterly Journal of Experimental Psychology，2013，66（8）:1467-1485.

[5]Xu Y，Zhu Q，Fan Z，et al.Using the idea of the sparse representation to perform coarse-to-fine face recognition[J].Information Sciences，2013（238）:138-148.

[6]Yang M，Feng Z，Shiu S C K，et al.Fast and robust face recognition via coding residual map learning based adaptive masking[J].Pattern Recognition，2014，47（2）:535-543.

[7]Panis G，Lanitis A.An overview of research activities in facial age estimation using the FG-NET aging database[C]//European Conference on Computer Vision.Springer International Publishing，2014:737-750.

[8]Ricanek K，Tesafaye T.Morph:A longitudinal image database of normal adult age-progression[C]//Automatic Face and Gesture Recognition，2006.FGR 2006.7th International Conference on.IEEE，2006:341-345.

[9]Chen B C，Chen C S，Hsu W H.Cross-age reference coding for age-invariant face recognition and retrieval[C]//European Conference on Computer Vision.Springer International Publishing，2014:768-783.

[10]Wang W，Cui Z，Yan Y，et al.Recurrent face aging[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2016:2378-2386.

[11]Fu Y，Guo G，Huang T S.Age synthesis and estimation via faces:A survey[J].IEEE transactions on pattern analysis and machine intelligence，2010，32（11）:1955-1976.

[12]Kemelmacher-Shlizerman I， Suwajanakorn S，Seitz S M.Illumination-aware age progression[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2014:3334-3341.

[13]Suo J，Zhu S C，Shan S，et al.A compositional and dynamic model for face aging[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（3）:385-401.

[14]Tazoe Y，Gohara H，Maejima A，et al.Facial aging simulator considering geometry and patch-tiled texture[C]//ACM SIGGRAPH 2012 Posters.ACM，2012:90.

[15]Angelino E，Johnson M J，Adams R P.Patterns of scalable Bayesian inference[J].Foundations and Trends® in Machine Learning，2016，9（2-3）:119-247.

[16]Goodfellow I，Pouget-Abadie J，Mirza M，et al.Generative adversarial nets[C]//Advances in neural information processing systems.2014:2672-2680.

[17]Chen J L，Summers J E.Deep neural networks for learning classification featuresand generative models from synthetic aperture sonar big data[J].The Journal of the Acoustical Society of America，2016，140（4）:3423-3423.

[18]Kataoka Y，Matsubara T，Uehara K.Image generation using generative adversarial networks and attention mechanism[C]//Computer and Information Science（ICIS），2016 IEEE/ACIS 15th International Conference on.IEEE，2016:1-6.

[19]Denton E L，Chintala S，Fergus R.Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks[C]//Advances in neural information processing systems.2015:1486-1494.

[20]Reed S，Akata Z，Yan X，et al.Generative adver-sarial text to image synthesis[C]//Proceedings of The 33rd International Conference on Machine Learning.2016：1-3.

[21]Krizhevsky A，Sutskever I，Hinton G E.Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems.2012:1097-1105.

[22]Zbontar J，LeCun Y.Stereo matching by training a convolutional neural network to compare image patches[J].Journal of Machine Learning Research，2016，17（1-32）:2.

[23]Wang H，Cruz-Roa A，Basavanhally A，et al.Mitosis detection in breast cancer pathology images by combining handcrafted and convolutional neural network features[J].Journal of Medical Imaging，2014，1（3）:34003.

[24]Silver D，Huang A，Maddison C J，et al.Mastering the game of Go with deep neural networks and tree search[J].Nature，2016，529（7587）:484-489.