基于深度模型的属性学习在人脸验证中的应用研究

刘程 谭晓阳

摘 要：人脸属性，如性别，年龄等对于特征人脸的构成具有唯一性。针对传统人脸验证方法的研究，提出了一种基于深度模型的属性预测方法。该方法是基于深度卷积神经网络模型提取的人脸特征表示，通过标记属性信息的数据训练分类器进行属性预测，并将其用于人脸验证环节以提高验证准确率。该方法提供了一种从深度模型提取的人脸特征表示中分析人脸属性的思路，实验证明，该方法在实际应用中能够有效提高人脸验证的准确率。

关键词：人脸验证；属性预测；深度学习；卷积神经网络

中图分类号：TP391 文献标识码：A

Abstract： Face attributes，such as gender and age，are unique to feature faces.Aiming at the research of traditional face verification ，we proposed a depth model based on attribute prediction method.The method is based on the deep convolution neural network model to extract the facial feature representation，and the classifier is trained by the data of labeled attribute information to predict the attributes.And we use it in face verification.This method provides a method for analyzing face attributes from facial features extracted from depth model.Experiments show that this method can effectively improve the accuracy of face verification in practical applications.

Keywords： face verification；face attributes；deep learning；convolutional neural network

1 引 言

人脸面部属性[1]信息，如皱纹，发型，瞳孔颜色等，对于表征一个人的唯一性具有显而易见的有效性。对原始人脸图像的属性特征预测对于人脸图像的分析，识别具有重要的研究意义。由于复杂的脸部姿态变化，预测原始人脸图像的属性具有很强的挑战性。人脸属性在多种人脸应用，如人脸验证，识别和检索中扮演了非常重要的角色。然而对于复杂的人脸变化，如光照，遮挡和姿态，从原始人脸图像直接进行人脸的属性预测往往效果很差。人脸属性识别方法一般分为两类：全局和局部方法。全局方法是从整个人脸对象中提取特征，由于全局方法中人脸的特征点定位不是必需的，对于全局的特征提取表示会受限于采集人脸图像的姿态，角度等因素。局部模型方法通常首先對人脸进行对象检测定位并且从每一部分提取特征，并将这些局部特征连接起来训练分类器。例如Kumer等人通过对细分为十个部分的人脸面部提取特征来预测面部特

征[2]，Zhang等人通过使用数百个poselets来识别人体属性[3]。由于依赖于标记的定位[4]，在具有复杂变化的无约束人脸图像中，这些方法的效果好坏受特征划分定位的影响很大，同时也要花费大量的标记代价。

在以深度学习模型为基础的人脸识别应用中，人脸的特征信息表示为一个固定维数的向量形

式[5，6，7]。对于传统的人脸验证，一般是通过计算两张人脸图像的特征向量的相似度来进行人脸验证工作[8]，比较常用的有欧式距离，加权卡方距离，或者内积等。通过对于人脸特征向量的分析，我们提出了一种基于深度模型的人脸属性预测模型，并且将其用于小样本人脸验证的后验证阶段，该框架在使用现有的深度学习模型提取人脸特征向量基础上，使用支持向量机（support vector machine，SVM）[9]训练分类器进行人脸属性的分类预测，并以此来验证人脸验证的准确性。实验表明，该方法可以在一定程度上提高人脸验证的准确性，特别是对于前期误检的数据具有很强的召回率，同时也说明了在深度模型表征的人脸表示中已经隐性的包含了人脸属性的信息，对于深度学习算法学习人脸的特征表示具有很强的指导意义。

2 卷积神经网络和属性预测

本节主要介绍了本文提出的属性预测方法的主要两个技术点，分别是如何采用卷积神经网络提取人脸的特征表示和从人脸特征表示进行人脸属性的预测。

2.1 基于深度卷积神经网络的人脸特征提取算法

卷积神经网络[10]作为神经网络模型的一种，能够自动从海量的数据中学习并提取特征，相比于传统的机器学习算法具有显著的泛化能力，在图像分类，物体检测等领域都取得了良好的效果。深度卷积神经网络是指具有多层结构的卷积神经网络模型，通常包含有输入层，隐含层（包括若干个卷积层和全连接层）和输出层。

典型的卷积神经网络主要分为输入层，卷积层，下采样层，全连接层和输出层。一个典型的卷积神经网络模型如图1所示。

其中Wi表示第i层卷积核的权值向量。其中“°”是指卷积核与图像的卷积操作，卷积结果与偏移量bi的和最后通过非线性的激励函数f（x）得到该层的特征图像Hi。对于下采样层，根据一定的下采样规则对特征图像进行下采样操作。下采样的功能主要包括三点，一是对特征图像进行绛维，二是保证特征的尺度不变性，三是减少神经网络的参数同时防止过拟合。一般在卷积层之后会跟随一个下采样层，然后卷积层交替出现传递参数，最后通过全连接层输出一个分类结果或者特征表示。总的来说，卷积神经网络本质是使原始图像矩阵H0经过多个层次的数据变换或者绛维，将其映射到一个新的特征表达Y上。

3 实 验

为了验证该方法能否确实有效的提高人脸验证的准确率，在FERET[11]数据库上进行了实验验证。FERET数据库包括了共3880张人脸图像，包含了1029个人的不同姿态表情的正面无遮挡人脸图像，是目前最具权威的人脸数据库之一。

首先通过之前训练好的深度卷积神经网络模型对于每张人脸图像进行特征提取得到人脸的特征表示向量作为实验数据，共3880组2048维向量。然后对其进行人脸属性的标记，这里选取了人脸区分度较为明显的三种属性，分别是性别（男女），年龄段（老，中，幼），肤色（黑，白）。其中用1，0标注来代表性别分别为男女。对于年龄段的标注，由于没有一种标准的老幼定义，简单的通过年龄来进行分类，定义年龄大于50岁的为老人，20至50岁的为中年，20岁以下的为幼年，分别标记为0，1，2。对于肤色，通过肉眼的直观判断进行标记，将数据库中的黑人标记为1，剩下的由于白种人和黄种人肤色差异不大，统统标记为0。采用交叉验证[12]的方法进行分类器的训练和预测，在实际操作中，对于所有数据，我们将其分为5组，分别用其中的一组训练SVM分类器，用其它4组作为测试数据验证分类器的性能。得到效果最好的一组分类器用作接下来的实验。

然后对于人脸验证，首先直接采用提取的3880组特征向量进行两两验证，得到未采用属性预测方法的人脸验证实验结果。然后先是标记了一张人脸的属性，对于另外一张采用训练好的分类器进行属性预测并与标记的人脸进行对比，对于属性存在不同的数据，判定其验证失败，对于属性都为相同的数据，维持原有的判定。由此得到两组验证结果，分别代表着未采用属性预测的验证结果和采用属性预测的实验结果。对于实验数据，采用交叉验证方法重复进行了5次实验并取分类器效果最好的一组数据。具体实验结果如表1。

表中RR代表相同人脸判定为同一个人[13]，RF代表相同人脸判定为不同人，FR代表不同人脸判断为不同人，FF代表不同人脸判定为不同人。

从实验结果分析，在采用了属性标记之后，大部分的人脸验证结果准确率都有一定的上升，其中肤色的效果最好，相比于原本的效果RR值上升了1.69%，而年龄段的RR值却下降了0.08%。通过对数据库数据的分析，这是因为数据库中存在一定的同一人不同年龄段的人脸数据，对于不同年龄段的同一人脸，原始方法给出的是正确判决，而由于年龄标记没有符合而判决没有通过。在实际的应用中，人脸验证的标准人脸对比应该是近一段时间收集的数据，所以不会存在这个问题。

可以看到，对于RR，原始方法效果已经较好，属性预测对其效果有一定的提高但是不是很明显。对于FR，原始方法效果较差，通过添加属性预测步骤可以一定程度上提高人脸验证的准确率。 总的来说，对于人脸特征向量的属性预测能够在一定程度上提高人脸验证的准确率，但是这也需要一定的标记代价。

4 结束语

基于深度卷积神经网络在人脸特征表示上的工作，提出了一种基于人脸特征向量的属性预测方法，并将其用于人脸验证阶段。该方法有两个意义，一是提供了一种人脸属性预测的方法并确实的提高了人脸验证的准确率，二是说明了卷积神经网络特征表示中已经隐性的包含了人脸的属性信息，对于分析深度卷积神经网络模型具有重要的研究意义。

参考文献

[1] BERG T，BELHUMEUR P N.POOF：part-based one-vs.-one features for fine-grained categorization，face verification，and attribute estimation[C]// Computer Vision and Pattern Recognition.IEEE，2013：955—962.

[2] KUMAR N，BERG A C，BELHUMEUR P N，et al.Attribute and simile classifiers for face verification[C]// IEEE，International Conference on Computer Vision.IEEE，2010：365—372.

[3] ZHANG N，PALURI M，RANZATO M，et al. PANDA：pose aligned networks for deep attribute modeling[J].Computer Vision and Pattern Recognition，2016：1637—1644.

[4] BOURDEV L，MAJI S，MALIK J.Describing people：a poselet-based approach to attribute classification[C]// IEEE International Conference on Computer Vision.IEEE，2011：1543—1550.

[5] BERG T，BELHUMEUR P N.Tom-vs-Pete classifiers and identity-preserving alignment for face verification [C] //BMVC.2012，2：7.

[6] CAO X，WIPF D，WEN F，et al.A practical transfer learning algorithm for face verification [C] //Proceedings of the IEEE International Conference on Computer Vision，2013：3208—3215.

[7] LI H，LIN Z，SHEN X，et al.A convolutional neural network cascade for face detection [C] //Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：5325—5334.

[8] 段向軍.基于粒子群算法和神经网络的人脸识别分类器研究[J].计算技术与自动化，2011，30（2）：115—117.

[9] JOACHIMS T.Making large-scale SVM learning practical[C]// Technische Universit-t Dortmund，Sonderforschungsbereich 475：Komplexit？tsreduktion in multivariaten Datenstrukturen，1998：499—526.

[10] 李彦冬，郝宗波，雷航.卷积神经网络研究综述[J].计算机应用，2016，36（9）：2508—2515.

[11] PHILLIPS P J，MOON H，RAUSS P，et al.The FERET september 1996 database and evaluation procedure[J].Lecture Notes in Computer Science，1997，1206：395—402.

[12] 韩萌，丁剑.基于交叉验证的BP算法的改进与实现[J].计算机工程与设计，2008，29（14）：3738—3739.

[13] 邵蔚元，郭跃飞.多任务学习及卷积神经网络在人脸识别中的应用[J].计算机工程与应用，2016，52（13）：32—37.