基于深度学习的人脸属性联合估计

程建峰 孙瑜

摘要：人脸属性识别在娱乐、安防和社交媒体领域应用广泛。虽然目前已经提出了很多关于人脸属性预测的方案，但其中大多数仅针对人脸属性中的某一单一属性，并没有考虑到多种属性之间的内在相关性。本文针对不同属性的特点采用不同的损失函数，并将这些损失函数嵌入到同一网络中，采用端到端的训练方式训练一个通用人脸属性识别框架。通过实验分析，多属性识别模型取得了较好效果。

关键词：人脸属性识别；多属性识别；损失函数；多任务学习

中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2018）12-0176-02

1引言

人的面部属性展示了重要的信息，如人的年龄，性别，健康状况等等。近些年来，随着计算机视觉技术的快速发展，出现了许多脸部属性估计的应用。这些应用包括：视频监控，如检测行人是否佩戴墨镜口罩；人脸检索，通过数据库来查找给定的人；社交媒体，例如自动发型或化妆品的推荐。尽管近期在人脸属性预测方面取得巨大的进展，但是大多数先前的研究仅限于估计单个人脸属性（例如年龄）或学习每个面部属性都有一个单独的模型。

2人脸属性联合估计的CNN框架设计

步骤1：从人脸数据库中读入人脸图像。

步骤2：人脸检测。同样使用深度卷积神经网络学习到人脸5个特征点的位置，然后用训练好的模型预测数据库中所有人脸表情图像上的特征点的位置。

步骤3：在预测的5个特征点中选取其中的眼睛、鼻子和嘴角五个点作为特征点进行校准。

步骤4：数据增强。对校准后的图像进行光照处理、水平镜像。光照处理为当前图像放射变换30倍不同的光照条件。

步骤5：人脸模型建模。深度卷积神经网络采用Resnet18卷积神经网络，如图1，并在此模型上进行调优（finetuning）。调优的学习率初始化为0.001，网络结合第四层卷积和第四层池化层两层的特征送入到第五层卷积层，保留了更多的池化前的深度卷积神经网络学习到的信息。

步骤6：人脸属性估计。在测试集上同样需要将数据进行步骤1-3的预处理，然后送入深度卷积神经网络测试。

测试的网络与训练的网络相比，测试的网络不需要将误差回传，而是直接输出样本的属性。

使用深度期望的方法针对人脸属性中的年龄问题。将年龄识别问题离散的定量化为范围|Y|。每个年龄涵盖一个年龄域从[Ymin]到[Ymax]的年龄并且为年龄的期望产生权重。通过这种方式，训练CNN进行分类，并且在测试时间，计算|Y|的softmax归一化输出概率的期望值。

3实验结果与分析

本实验的数据集由MORPH，CelebA，JAFFE数据集组成，测试集占比10%。

人脸的年龄和性别数据集使用的是MORPH和CelebA数据集，这两个数据集都同时含有年龄标签和性别标签。年龄的评价指标我们使用的是MAE，由公式得：

人脸的性别属性由于较为简单，在网絡结构第4个Resnet Block计算交叉熵损失并计算误差更新参数，性别问题是简单的二分类问题，使用底层的语义信息即可完成分类任务，采用的是分类的经典算法—交叉熵损失。通过实验发现，模型的性别分类性能效果较好。

人脸表情测试主要是在JAFFE数据库上与Gabor小波和SIFT方法做对比，试验结果如表1所示。表情主要已经微笑二分类，即在微笑的时候，能否检测出微笑的识别率，在人脸做出其他表情，即非微笑时，仍然能够识别出。

4结论

本文所构建的深度卷积网络对人脸属性识别的方法与其他方法方法相比，1）端到端的训练方法，提高识别的准确率2）免去人工提取特征，将样本空间经过仿射变换映射到特征空间中，最后计算损失函数，3）采用多属性的联合估计提高单属性预测的准确率，4）针对人脸不同的属性，采用不同的损失函数以更好地拟合数据分布，并将其嵌入到网络中，提高网络性能。

参考文献：

[1] D.Gabor， Theory of communication[J]J. inst Electr Eng， 93（111）：429-457， Nov，1946

[2] H. Han， C. Otto， X. Liu， and A. K. Jain.Demographic estimation from face images： Human vs. machine performance[J]. IEEE Trans. Pattern Anal. Mach. Intell.， 2015，37（6）：1148–1161.

[3] G. Guo and G. Mu.A framework for joint estimation of age， gender and ethnicity on a large database[J].Image Vision Comput.， 2017， 32（10）：761–770.

[4] D. Yi， Z. Lei， and S. Z. Li.Age estimation by multi-scale convolutional network[C].in Proc. ACCV， 2014：144–158.