基于老化模型的跨年龄人脸识别研究进展
2021-12-21李俊瑶黎智辉谢兰迟侯欣雨
李俊瑶,黎智辉,谢兰迟,侯欣雨,叶 东
1.江苏警官学院 刑事科学技术系,南京210000
2.公安部物证鉴定中心,北京100032
随着深度学习、神经网络的快速发展,人脸识别已经广泛应用于电子消费、安防、打击犯罪等领域,ResNet[1]、DenseNet[2]等算法的识别准确率甚至高于人类。但是,对于失踪儿童长大后身份验证、逃犯长期追踪与识别、积案累案侦办等需要使用跨年龄人脸识别技术的问题,目前还没有很好的解决方法。
目前,跨年龄识别问题较难解决是因为随着年龄的增长,面部老化会引起面部特征的改变。对于儿童和青少年,身体未发育完全,颅面的生长导致面部轮廓发生变化;对于成年人和老年人,衰老导致皮肤老化,使得五官形状改变、面部皱纹增多等[3]。当前,对于跨年龄人脸识别的研究主要分为两大类:一类是研究人脸老化规律,利用不同时期的老化模型,合成老化人脸,基于合成的老化人脸进行人脸识别与匹配;另一类是探寻人脸的年龄不变量,强化跨年龄人脸识别中与受年龄影响较小的个体特征,提高跨年龄人脸识别相似度和准确性。
近几年,部分学者对随年龄进程的人脸老化模型进行过系统地梳理。其中,Fu等人[4]总结了人脸老化合成和年龄估计相关算法,针对人脸老化合成,在深入剖析年龄进程中人脸特征变化的基础上,将人脸模型分为几何模型、图像模型、外观模型等,并从数据驱动合成、力学合成和统计学合成三个方面对现有的老化合成算法进行详细描述。Shu等人[5]将人脸老化方法分为基于原型、基于PCA、基于重建、基于模型和基于学习五大类,并详细介绍了和年龄进程有关的包括跨年人脸识别、年龄估计等应用场景的解决方法和常用的三个跨年龄人脸数据库(FG-NET、MORPH和CACD)。随着深度学习算法的不断发展,基于老化模型的跨年龄识别方法也不断出新。本文详细研究基于老化模型的跨年龄识别问题,对各类老化模型、评价方法、跨年龄数据库重新进行总结归纳。
1 基于老化模型的跨年龄人脸识别
1.1 基于原型的人脸老化
基于原型的人脸老化是利用不同年龄段、不同性别、不同种族的原型人脸图像合成老化后的人脸图像,这些原型人脸通常是利用大规模数据库计算得到的平均人脸图像。这一类研究主要是将原始年龄和目标年龄对应原型之间的差异转换到输入的人脸中,从而得到老化后的人脸图像,其研究重点在于确定不同年龄组的原型。
Burt等人[6]提出在输入图像中加入原型之间的差值,将原始年龄的输入人脸图像转换为目标年龄的老化人脸图像,如公式(1)所示:
其中,In(t1)是输入的原始人脸图像,AgingFace(t2)是输出的老化后的人脸图像,t1为原始年龄,t2为老化后的目标年龄,AverageFace(t1)和AverageFace(t2)为t1、t2对应年龄的原型人脸图像。如图1所示,左侧一列为原始年龄的输入图像,第二列为目标年龄对应的原型人脸(平均人脸),第三列为原始年龄对应的原型人脸(平均人脸),右侧一列为老化后的人脸图像,可实现人脸老化,但是面部老化纹理真实性较差。
图1 基于原型的人脸老化方法Fig.1 Prototype-based face aging method
为解决纹理真实性问题,Tiddeman等人[7]在纹理增强中加入小波变换,突出老化过程中的纹理特征变化,效果更加明显。王章野等人[8]基于黄种人不同脸型老化模式存在差异的情况,建立黄种人人脸原型库,提出了一种基于人脸轮廓特征的老化方法,通过计算输入人脸脸型特征点的局部曲率标准差,匹配人脸数据库中的多个原型人脸图像,利用原型人脸图像进行人脸纹理合成以及脸部形状、肤色调整,得到比较真实的老化人脸。Kemelmacher等人[9]提出了一种光照感知年龄(IAAP)方法,考虑场景光照和阴影,利用光流场对原型人脸进行光照调整,使得老化后的人脸纹理真实、清晰。
为解决原型人脸中缺乏个性特征的问题,Shu等人[10]利用亲属关系信息改善年龄老化特征,提出了亲属关系引导的人脸老化方法(KinGAP)。该方法增强了人脸老化中的个性特征,但老化后图像容易受亲属原型图像中光照、表情等影响,原型图像中的重影问题也会弱化面部特征。因此,为了消除原型人脸中的重影问题,Wang等人[11]利用相邻年龄组之间的演化状态,提出了基于递归神经网络的递归人脸老化(RFA)方法,得到更加真实的老化人脸。
基于原型的人脸老化方法综合考虑了人脸外观特征随年龄增长的变化,包括面部皱纹增多、头发变白等,可以反映面部衰老的真实情况,有较好的视觉效果,而且算法简单、易于实现。但是,该方法对姿态、表情要求较高,待老化人脸与模型人脸之间的姿态和表情差异会影响老化效果。另一方面,该类方法的年龄特征信息主要来源于原型人脸,而通过人脸平均方法计算得到的原型人脸通常缺少个体特征,使得老化模型同化,导致老化后的人脸具有一定的相似性,降低跨年龄人脸识别的准确率。
1.2 基于传统模型的老化方法
基于传统模型的老化方法是建立人脸的参数模型,利用人体测量学等理论,仿真模拟出人脸的骨骼轮廓生长、皮肤纹理变化等,从而对输入人脸进行老化渲染,老化后的人脸可以保存部分个体特征。
用于模拟人脸结构和皮肤的物理模型有很多,如参数模型[12]、几何模型[13]、肌肉动作模型[14]、张力网模型[15]、人脸凹凸和纹理映射模型[16]、表情和皱纹的几何混合模型[17]、主动外观模型AAM[18]等,早期的模型主要研究人脸的静态模型,对于老化特征细节研究较少。
人脸老化过程中,五官形状和皱纹的变化是由面部肌肉、皮肤纹理等生理结构决定的。因此,可以通过表征面部生理结构的参数模型模拟人脸老化过程,实现老化特征细节增强。
Wu等人[19]基于静态人脸模型和人体测量学提出了用三层结构(肌肉层、结缔组织层、皮肤层)模拟人脸老化的方法,采用B样条插值、线性范性模型等表现层结构的不同特征。虽然对人脸老化过程有较好的表示,但是该模型为动画模型,无法直接应用于真实人脸的跨年龄识别。基于生物结构可以根据受力的大小和方向进行重构的原理,Todd等人[20]利用几何变换模拟面部结构的老化过程,提出了流体静力模型模拟人脸生长变化。该模型对面部轮廓随着年龄变化产生的细微变化具有较高的灵敏度,但模型过于依赖不同类型几何变换的使用,对于未知的个体,界定合适的变换组合模式需要大量对比实验,模型泛化能力有待提高。
Ramanathan等人[21]利用面部标志参数的平均变化来表示年轻人脸的轮廓变化,但是无法模拟复杂的老化纹理,而且实验过程对样本要求高,计算量大。在此基础上,他们设计了基于物理的参数化肌肉模型和基于图像梯度的纹理变换函数两种新模型[22],分别表示面部肌肉和皮肤皱纹在老化过程中的变化,用以模拟成年人的人脸老化过程,另外,在老化过程中还考虑了体重变化对人脸老化的影响,如图2所示。此外,还有学者提出通过数据训练得到脸部肌肉的生长参数,构建肌肉模型[23],利用年龄子空间中的肌肉几何和纹理变化信息合成老化后的人脸。
图2 基于肌肉模型和皮肤纹理的老化模型Fig.2 Face aging model based on muscle model and skin texture
基于生理结构的方法,虽从生物学角度对老化问题进行了建模,但是对解剖学知识要求较高,且参数较多,模型复杂,计算量较大。因此,部分学者从AAM模型出发,建立人脸老化模型。
AAM模型是通过参数化的采样形状来构建面部形状模型[24],利用PCA方法描述形状和纹理特征。Lanitis等人[25]针对儿童的面部成长规律,建立全局老化函数描述面部年龄和AAM模型参数之间的关系,基于已知老化进程的人脸图像建立老化模型参数数据集,模拟儿童的人脸老化过程,但是该方法是利用待老化人脸与数据库中人脸图像的相似性计算衰老参数,真实性与准确性受数据集影响较大。Patterson等人[26]在主动外观模型(AAM)中加入人脸老化过程中产生的五官形状、轮廓变化等参数,使用SVR对AAM模型中年龄相关的参数进行训练[27],得到年龄参数表,合成老化后的人脸,但是该方法未考虑老化过程中的外观纹理变化。
Wang等人[28]将超分辨率方法[29]与AAM模型相结合,合成人脸老化过程中的面部纹理,并通过构造张量基空间中的单位参数向量[30]提高算法效率,可以实现人脸老化和逆向合成。但是,受到数据集规模的影响,老化后的人脸图像会出现特征模糊、纹理重叠等情况,合成质量有待进一步提高。Du等人[31]结合NMF算法,提出了一种基于稀疏约束的人脸老化模拟方法,从面部形状和纹理分别进行老化模拟。为加快运算速度,该方法将图像转为灰度图像进行处理,有一定的数据损失。基于AAM模型的老化方法可以相对简化模型,且不需要研究者掌握人类解剖学相关专业知识,扩展了应用范围。
此外,Suo等人[32-33]根据图模型原理,提出了一种多层表示的高分辨率语法人脸模型,将人脸分为整体外观变化、人脸五官特征和各区域的皱纹等细节特征三个层次,用“与-或”图谱表示,并在时间轴上用动态马尔科夫模拟老化过程,如图3所示,有效地表现了衰老过程中面部外观的变化,有较好的视觉效果,但是采用面部组件拼接实现的人脸老化,缺少个体特征,且分辨率较低,面部细节表征较差。
图3 “与-或”图谱表示的人脸老化过程Fig.3 Face aging process represented by“and-or”map
基于传统模型的老化方法通过提取人脸老化的轮廓、形状和纹理特征,建立老化模型,将人脸图像像素映射到高维空间,较好地解决了人脸老化合成问题。通过微调不同的模型参数,可以保留部分个体特征。但是,模型类型、参数设置、老化模式等都会对结果有很大的影响,有时甚至会出现较大的偏差,因此,大部分方法要求研究人员有一定的解剖学知识,了解面部衰老的生物学原理,先验知识要求较高。另外,该类方法对实验数据依懒性强、要求高,通常需要个体多个阶段、在时间轴上较为连续的脸部图像,算法模型通常较为复杂、实验仿真时间消耗长。
1.3 基于深度学习的老化方法
随着深度学习、神经网络方法的不断推陈出新,人脸识别准确率大大提升,很多研究人员也将深度学习方法应用于人脸老化研究,取得了不错的效果。
人脸老化的模拟本质上属于对人脸的合成,目前在图像合成方面表现最为突出、广泛的是生成式对抗神经网络(GAN),因此,现有的基于深度学习的老化方法都是基于GAN模型展开的[34]。
GAN同时训练两个模型:一个是生成模型G,用来捕捉训练样本的数据分布,学习生成新的样本加入训练;一个是判别模型D,对生成样本的真实性进行判别。模型G和D利用公式(2)所示的最大最小目标函数进行动态博弈,交替训练,从而得到“以假乱真”的合成图像。
其中,pdata(x)为训练数据,z为服从分布p(z)随机采样的向量。
为了解决直接将GAN应用于人脸老化合成带来的网络不稳定、结果不收敛等问题,Antipov等人[35]首先提出将生成模型G用于在要求年龄类别内生成合成图像。将GAN改进为基于年龄条件的生成式对抗模型(Age-cGAN),保留原始人脸的身份信息,该模型需要解决每个图像的L-BFGS算法优化问题,因此,该方法效率较低。Liu等人[36]提出了一种条件生成式对抗神经网络(C-GANs),将判别模型扩展为年龄判别网络Da和过渡模式判别网络Dt,其中,年龄判别网络与每个个体年龄组分布相关过渡模式判别网络与相邻两个年龄组的过渡模式相关,进而增强生成图像的真实性。
Wang等人[37]设计了一种保留身份的条件生成式对抗神经网络(IPCGANs)框架,包括条件生成式对抗神经网络模型(CGAN)、身份保留模块、年龄分类器三个模块,在IPCGANs的目标中引入了感知损失,可以有效保存身份信息。Yang等人[38]将CNN[39]用于生成模型的训练,并提出了一种金字塔结构判别模型模拟高龄人脸特征,按照公式(3)和公式(4)对G模型和D模型交替训练。该方法对年龄跨度较大的人脸老化效果较好,年龄差低于30岁的老化效果较差。在此基础上,他们加入条件年龄信息,将模型更新为包含中间老化状态的渐进式老化模式[40],进一步细化面部年龄进阶和逆向合成过程。
Zeng等人[41]设计了一个基于单个生成式对抗神经网络的FaceGAN训练架构,可以实现无监督学习,在判别模型中加入辅助多类分类器,引入了预先训练的深度人脸识别模型[42]和预先训练的深度年龄估计模型,更好地保留了人脸的身份信息和年龄相似性。Shi等人[43]将注意力模型引入人脸老化过程,构建了CAN-GAN网络,并设计了有“贡献”意识的年龄分类器(CAAC),为人脸向量分配不同的权重,提高分类器的能力,增强老化合成的效果,但是老化后人脸的年龄估计与真实年龄相差较大,年龄属性的准确性有待进一步提高。
Palsson等人[44]提出了基于CycleGAN的模型来进一步细化老化效应,利用周期一致性损失来保存身份信息。在此基础上,Yang等人[45]针对不同性别老化模式存在差异的问题,提出基于性别差异性的约束模型,用WGAN-GP替换了损失函数,得到更真实的老化人脸。
Liu等人[46]针对儿童人脸生长的特殊性,提出了儿童的人脸老化框架,将老化分为轮廓变化和纹理变化,分别设计几何形变GAN(GD-GAN)和纹理变化GAN(TV-GAN)模拟儿童及青少年在成长过程中的脸部变化。Fang等人[47]提出了三重生成式对抗神经网络(Triple-GAN),引入三重变换损失和增强型对抗损失,如图4所示。使得不同年龄域之间的渐进映射可以完全相关,从而模拟年龄间的复杂相关性,改进老化效果,该方法利用年龄估计值作为收敛条件,年龄表征准确性高,但是面部个体信息损失较多,年龄识别准确率较低。针对未成年的人脸老化问题,Chandaliya等人[48]提出用自注意模块(SAB)[49]学习儿童面部特征,建立多尺度GAN模型(SAMSP-GAN)。
图4 Triple-GAN结构图Fig.4 Framework of Triple-GAN
由于GAN的生成模型是由随机噪声产生的,缺乏语义信息,另外有时会产生训练不稳定、梯度消失、模式崩溃等问题。因此有研究学者提出自编码器(AE)[50]、对抗性自编码器(AAE)[51]实现图像合成,如图5所示。编码器学习将数据分布转换为先验分布,解码器学习得到深度生成模型。
图5 AAE网络结构图Fig.5 Structure of AAE network
Zhang等人[52]假设人脸建模于与年龄相关的高维流体上,提出了一种条件对抗性的自编码器(CAAE),通过隐空间对人脸流形进行学习,从而实现平滑的年龄增长和回归,如图6所示。但是由于训练鉴别器的表达能力不足,仅呈现老化过程中的粗糙皱纹,细节特征表现较差。Xiao等人[53]在CAAE结构中加入性别分类器,并利用VGG[54]架构最大化原始人脸和老化人脸的面部特征相似性,从而保留身份特征。
图6 CAAE网络结构图Fig.6 Structure of CAAE network
由于深度学习对人脸隐性特征有较强的理解能力,对衰老过程有优秀的拟合能力,基于深度学习的老化方法视觉效果明显优于其他方法,真实感得到有效提高。另外,不同层次的网络设计也可以保留个体特征,用于跨年龄人脸识别。与基于传统模型的老化方法相比,通过各类网络结构、合成方法,可以有效减少先验知识对构建模型的影响,极大地扩大了人脸老化的应用场景。另外,受神经网络强大学习能力的影响,基于深度学习的人脸老化方法不仅可以拟合低龄到高龄的衰老过程,也可以实现高龄到低龄的人脸逆生长[55]。但是,当前的老化合成方法对五官细节特征、面部边缘融合效果较差,图像分辨率也可以进一步提高。由于人脸的属性特征是相互纠缠的,改变局部特征会对其他面部特征产生影响,导致年龄估计与人脸识别的准确率仍未同时达到高准确率。
表1 总结梳理了当前人脸老化方法的研究概况。可以看出:(1)基于原型的老化方法老化效果由原型决定,模型同化,缺少个体特征,但是算法相对简单,对面部的纹理变化表征较好,易于实现;(2)基于传统模型的老化方法按照不同的算法机制可以分为基于面部生理结构、基于AAM模型和基于图模型,该类方法在老化过程中可以保留一定的个体特征,除增加面部纹理外,实现面部轮廓、五官形状的变化。但是模型复杂,跨年龄小的人脸老化效果较差;(3)基于深度学习的老化方法可以较好地保留个体特征,老化效果真实,可以分为基于GAN和基于AEE两类,对于儿童和成年人的人脸老化都有较好的效果,但是现有方法所生成的老化后人脸图像用于人脸识别准确率较低,基于人脸老化的跨年龄人脸识别方法有待进一步改进。
表1 人脸老化方法总结Table 1 Summary of face aging methods
2 人脸老化模型的评价方法
人脸老化模型的准确性评价、性能评价等是衡量老化算法优劣的关键环节。不同的文献中,评价方法不尽相同,暂未形成统一的评价体系。目前,常用的评价方法有外观评价、年龄估计、身份保持评价等。
2.1 外观评价
通过对合成图像的直接展示,对老化后的人脸图像整体及细节部分进行视觉效果分析,如面部的皱纹变化、未成年的颅面生长变化、五官的衰老特征及头发颜色的变化等(如图7所示),主要用于评价老化模式的真实性,包括本算法视觉效果分析和与其他算法的对比实验等。外观评价直观、清晰,是人脸老化模型的基础评价方法,属于定性评价。
图7 外观评价Fig.7 Appearance evaluation
另外,也可以利用数据集中的真实老化图像,基于真实年轻图像对合成老化图像和真实老化图像进行比较评分[27]或判断哪一张更可能是真实年轻图像的老化图像[9],从而对合成老化图像进行定量的外观评价。
2.2 年龄估计
年龄估计是对合成后的图像进行年龄评估,从而分析合成的图像是否能正确表现老化后的年龄,具体的估计方法主要包括两大类:
第一类是通过志愿者对合成后人脸的年龄进行估计[7,36-37,44],与老化后的实际年龄进行比较,评价老化模型对年龄表现的准确性。这种估计方法主观性强,受志愿者人数、年龄评估能力、人脸分辨能力影响较大,对非志愿者本种族的年龄估计误差较大。
第二类是利用已有的人脸识别方法。在深度学习方法快速发展后,年龄估计算法也日渐成熟和稳定,使用成熟的年龄估计算法(软件)如Face++[37-38,43,46,52,55-56]、百度人脸识别平台[46]等对老化后的人脸进行年龄估计,并与老化模型中设置的老化年龄参数进行比较,评价老化算法表现年龄的准确性和鲁棒性。
如表2所示,以使用MORPH数据集的老化方法为例,将老化后的年龄分为31~40、41~50、51~60三个年龄区间,利用Face++对老化合成后的人脸进行年龄估计,计算合成老化后的年龄估计值与实际老化年龄的差值的平均值(表中“平均年龄差”),可以直观地表现出不同算法对不同年龄段的老化效果。
表2 人脸老化方法的年龄估计误差Table 2 Age estimation error of face aging methods
2.3 身份保持评价
通过对比老化合成图像与原始图像、不同年龄的老化合成图像、老化合成图像与真实老化图像,评估老化方法对人脸图像中身份信息的保持情况。可以通过主观评价[45]和成熟的人脸比对算法(软件)如Face++[38,43,46-47,55]、Open AI[37]、Open Face[35]等对人脸图像进行相似度评价。
如表3所示,以使用MORPH数据集的老化方法为例,将老化后的年龄分为31~40、41~50、51~60三个年龄区间,利用Face++对老化合成后的人脸和原始图像进行验证,其中Face++的阈值为76.5,FAR为10-5。
表3 人脸老化方法的身份保持评价结果Table 3 Face verification results of face aging methods
由于大部分数据库中缺少真实老龄人脸图像,当前的绝大部分文献只对身份保持评价中的前两项或其中一项进行相似度比较,对于老化合成图像和真实老化图像的评价方法使用得较少。
由于无法有效评价人脸老化模型身份保持的准确性,现有方法虽然可以得到较好的视觉效果,但是仍停留在理论研究阶段,很难直接应用于犯罪长期在逃人员、长期失踪儿童的人脸识别中。
3 跨年龄人脸识别数据库
3.1 MORPH数据集
MORPH数据集是2003年至2007年之间收录的67 600个个体在不同年龄段的402 055张人脸图像[58],如图8所示,主要为标准条件下拍摄的正面免冠人脸图像,无遮挡、光照条件和面部表情相似,广泛应用于年龄估计[59-60]、人脸老化等领域。
图8 MORPH数据集示例Fig.8 Example of MORPH dataset
该数据集包含年龄、性别、种族等标签信息,如表4、表5所示。数据集的年龄从16岁至77岁,范围较大,但是多集中于中青年阶段,未成年和老年的人脸图像较少。另外,受收集时间的限制,个体的年龄变化最多为4.6年,年龄跨度较小,老化特征变化不明显。在种族属性方面,主要是非洲人和欧洲人,亚洲人的人脸图像较少。
表4 MORPH数据集的图像数据统计Table 4 Image data statistics in MORPH dataset
表5 MORPH数据集的个体数据统计Table 5 Individual data statistics in MORPH dataset
3.2 CACD数据集
跨年龄名人数据集(Cross-Age Celebrity Dataset,CACD)是从互联网上收集的2 000位明星的163 446张图像[61],数据集中每张图像提供了16个人脸关键点的标注信息,年龄范围从16岁至62岁,如图9所示,包含个体不同年龄、光照环境、表情和角度的人脸图像,主要用于年龄估计[62]、跨年龄的人脸识别和检索。
图9 CACD数据集示例Fig.9 Example of CACD dataset
该数据集中大部分图像都是化妆后的人脸图像,对年龄估计、老化特征提取与分析等造成一定影响。数据集中的个体年龄跨度较大,同一个体不同年龄的人脸图像相对较多,但是个体的年龄是通过网络检索得到的拍摄日期减去出生日期估算得到的,年龄标签存在误差。
3.3 FG-Net数据集
FG-Net数据集[4]包含82个个体在不同年龄段的1 002张图像,且每幅图像中包含68个人脸关键点信息,年龄范围从0岁到69岁,如图10所示,为同一个体在不同年龄阶段的拍摄的人脸图像,常用于年龄估计[63]、跨年龄人脸识别、年龄变化推演[64]等。
图10 FG-Net数据集示例Fig.10 Example of FG-Net dataset
数据集来源于旧照片扫描,图像分辨率和清晰度不稳定,存在黑白图像,且图像背景、色调、光照强度上都存在较大差异。该数据集中,87.13%的图像为30岁以下的人脸图像,70%以上的个体包含低龄照片,适用于低龄的跨年龄人脸识别和年龄估计研究。另外,数据集中的个体绝大部分为白种人,缺少其他种族的跨年龄人脸图像。
3.4 IMDB-WIKI数据集
IMDB-WIKI数据集[65]是目前规模最大的跨年龄数据集之一,分为IMDN数据集和Wikipedia数据集两部分,分别从互联网电影资料库(Internet Movie Database,IMDB)网站和维基百科网站上获取得到,其中,IMDB数据集包含20 284位明星的460 723张图像,Wikipedia数据集包含这些名人的62 328张图像,一共523 051张人脸图像。年龄范围从0至119岁,如图11所示,人脸图像标注有性别、年龄等标签信息,包括不同人数、遮挡、姿态、光照、背景、表情等情形,可以用于年龄估计[66]、性别识别[67]、人脸老化等研究。
图11 IMDB-WIKI数据集示例Fig.11 Example of IMDB-WIKI dataset
该数据集中的人脸图像大部分是化妆后图像,会影响年龄估计、人脸老化的准确性。人脸图像中的年龄信息通过图像拍摄时间戳和出生日期估算得到,由于数据集标注过程是自动处理的,因此标注一般质量不高,且年龄信息存在错误内容,训练前需要过滤错误信息。
3.5 UTKFace数据集
UTKFace数据集是从互联网获取的23 708张人脸图像,年龄范围从0岁至116岁,如图12所示。每张图像有68个标注点,标注有年龄、性别、种族等信息。包括不同的姿势、面部表情、光照、遮挡等,可以用于年龄估计[68]、人脸老化、种族识别[69]等研究。
图12 UTKFace数据集示例Fig.12 Example of UTKFace dataset
该数据集中包含已经剪裁、对齐的人脸图像,年龄、种族、性别等信息是通过DEX算法估计得出,存在一定误差。另外,该数据集主要按照年龄属性进行分类,缺少个人信息,无法获取个体的年龄跨度信息。
对上述跨年龄数据集及其在基于人脸老化的跨年龄人脸识别算法中的使用情况进行比较和分析,如表6、表7所示。MORPH数据集和IMDB-WIKI数据集在个体数和人脸图像数量上有一定的优势,IMDB-WIKI数据集和UTKFace数据集的年龄范围较大,而FG-Net数据集中个体的年龄跨度较大,且包含未成年人的脸部图像,对于研究儿童的人脸老化有较好的作用。
表6 跨年龄人脸图像数据集的对比Table 6 Comparison of cross-age face image datasets
表7 数据集在文献中的使用情况Table 7 Use of datasets in literature
其中,CACD数据集和IMDB-WIKI数据集是网络获取的图像,个体年龄通过网络信息估算得到,误差较大,另一方面,这两个数据集都是以明星为主,照片大部分为剧照、采访照、写真照等,图像质量参差不齐,且化妆效果、表情都会对普通人脸老化的模拟产生影响。MORPH数据集虽在数量上有一定的优势,但是年龄跨度太小,对于人脸老化的进程研究作用较小。FG-Net数据集的个体数和图像数较少,用于神经网络训练容易产生较大的偏移。UTKFace数据集中的个体虽然年龄范围较大,但是由于缺乏个体信息,无法得到个体随年龄变化的脸部特征。另外,这些数据库绝大多数的个体都是欧洲裔和非洲裔,缺少亚洲跨年龄人脸图像。
4 结语
作为跨年龄人脸识别中的重要部分之一,人脸老化研究取得了相当的进展,但是另一方面,对于实际应用,尤其是犯罪长期在逃人员、长期失踪儿童的人脸识别等问题,仍然存在现有数据不充分、评价体系不完整、实际应用难实现、方法待改进等问题。因此,未来研究可以考虑以下几个方面:
(1)建立人脸老化数据集
数据集的数量和质量对于深度学习模型训练有着非常重要的作用,人脸老化研究的关键在于分析个体在不同年龄段的脸部特征变化。当前的数据集都不能完全满足这一条件。其次,当前的可以用于人脸老化研究的数据集中亚洲人(尤其是中国人)的数据较少。未来,建立随年龄(年龄段)连续变化的人脸图像数据集将是跨年龄人脸识别研究的首要任务。
(2)降低老化模型数据依赖
当前,跨年龄数据集的不完备性大大影响了基于人脸老化的跨年龄人脸识别技术发展,在随年龄连续性变化人脸样本图像较少的情况下,改进现有基于深度学习的人脸老化方法,减少老化模型对数据依赖,将弱监督[70-71]、自监督[72-73]学习方法融入深度学习网络中,利用现有的小样本数据得到更为真实、准确的人脸老化模型,从而达到智能学习的目的。
(3)考虑群体特征与个体特征差异
现有研究在实际中应用较少,是因为依赖生成模型的人脸老化实质上是对低龄人脸的重新生成[74],当前的人脸老化模型大都是研究人类衰老过程的一般规律(即群体特征),个体老化特征考虑较少,会导致老化后的人脸损失个人身份信息,降低跨年龄人脸识别准确率。为解决这一问题,可以引入注意力机制[75],利用群体特征和个体特征的权重设置和定向属性修改,实现对老化属性特征的进一步细化控制,提高老化模型真实性的同时,保留个体特征,提高跨年龄识别的准确率。
(4)三维人脸老化研究
老化后的人脸三维模型比二维更加直观,特征也更加丰富,融合二维图像和三维数据的人脸识别结果明显优于仅使用单模态数据的识别结果[76],对于多姿态的跨年龄人脸识别有着更重要的作用。虽然,三维人脸合成技术已经有了一定的研究成果[77-78],但是三维人脸老化过程中涉及的面部轮廓变化、不同角度的皮肤纹理、为表现立体感而引入的渲染与重光照步骤以及维度增加导致的数据量增长,都会提高模型的复杂度和数据训练的难度,是未来待解决的重要问题之一。