结合加权子空间和相似度度量学习的人脸验证方法研究

汤红忠 张小刚 陈华 李骁 王翔

摘 要：在无约束条件下，人脸表情、姿态、光照以及背景等复杂因素可能导致人脸图像的类内变化大于类间变化.针对如何降低较大的类内变化对人脸验证研究的影响，本文结合加权子空间，提出了一种带先验相似性和先验距离约束的相似度度量学习方法.首先，利用类内人脸对样本，学习带权重的类内协方差矩阵，通过加权子空间的投影，从人脸图像中获得鲁棒性的人脸特征表达；其次，利用样本对的相似性与差异性，建立了带先验相似性和先验距离约束的相似度度量学习模型，优化后的度量矩阵可以有效提高特征向量的类内鲁棒性和类间判别性；最后，利用优化的度量矩阵计算人脸对的相似度.在LFW（Labeled Faces in the Wild）数据集的实验验证了所提模型的有效性，与其它同类相似度度量学习方法相比，优化的度量矩阵更能准确地评估人脸间的相似性，并在受限训练集上取得了91.2%的识别率.

关键词：类内变化；加权子空间；相似度度量学习；人脸验证

中图分类号：TP391.4文献标志码：A

Abstract：Under the unconstrained conditions， intra-personal variation is much larger than the inter-personal variation in face images due to the affecting factors such as expression， posture， illumination and background etc. To reduce the influence of larger intra-personal on face verification， we proposed a similarity metric learning method with priori similarity and priori distance constraint by combining weighted subspace.First， the weighted intra-personal covariance matrix is learned by employing intra-personal face samples. By projecting into the intra-subspace， robust face feature representations can be obtained from face images.Second， we set up the similarity metric learning model with priori similarity and priori distance constraint， which effectively employs the similarity and discrimination information of samples that are in pairs， and the learned metric matrix can improve the robustness to intra-personal and discrimination to inter-personal.Finally， the updated metric matrix is used to compute the similarity scores of face-pairs. The experiments have been conducted on the Labeled Faces in the Wild （LFW） dataset， which shows the effectiveness of our proposed model. Compared with other metric learning methods， our learned metric matrix has higher accuracy rate for evaluating the face-pair similarity， and achieves a verification rate of 91.2% on the restricted setting.

Key words：intra-personal variations； weighted subspace； similarity metric learning； face verification

人臉验证是指预测一对人脸图像是否表示同一个人，是一个典型的二分类问题，可广泛应用于视频监控、公共安全、电子商务等生物特征识别、智能视频分析及计算机视觉系统.与传统的约束条件下的人脸验证问题相比，无约束条件下的人脸图像因受表情、姿态、光照以及背景等复杂因素的干扰，造成同一个人的不同人脸图像差异性较大，如何克服上述因素引起的人脸图像较大的类内变化，是当前人脸验证中亟需解决的重要问题之一，近几年来也引起了国内外广大学者的关注[1-5].

相似度度量指利用给定的人脸样本对，计算人脸对特征向量间的距离来判断人脸的身份，因其实现简单，计算代价小、可分性好等特点成为一种主要的人脸验证方法[6-7].因此，“特征提取+相似度度量”是解决人脸验证的有效方法，如Liu等[8]利用欧氏距离或余弦距离计算一对人脸的Gabor特征向量间的相似度；然而，直接距离的度量没有考虑人脸表情、姿态、光照以及背景等影响，因此并不能准确地反映一对人脸之间的相似性.为了减少复杂干扰对相似度度量的影响，有较多研究者围绕相似度度量学习（Similarity Metric Learning，SML）方法开展工作并取得一定的效果[9-20]，主要分为以下三类.

1）基于概率的相似度度量学习：如Guillaumin等[9]提出一种逻辑判别度量学习（Logistic discriminant metric learning，LDML）方法，该方法利用概率估计样本对的相似度，建立最大似然估计模型，采用梯度上升方法优化求解.Mignon等[10]提出了一种成对约束成分分析（Pairwise constrained component analysis， PCCA）的相似度度量学习方法，该方法采用逻辑损失函数优化相似样本对的距离小于某个阈值，并保持非相似样本对的距离大于某个阈值.Kstinger等[11]基于高斯分布的假设， 提出了保持简单直接的度量 （Keep it simple and straight，KISS） 方法，该方法利用似然比检验直接进行较大规模的距离度量，取得了较好的效果.2）基于变体的代价函数：如Ying等[12]提出一种基于特征值优化框架的度量学习方法，通过迭代计算最大特征值来优化度量矩阵，最后采用最近邻实现分类.3）基于正则项的相似度度量学习 ：Cao等[13]结合余弦相似度度量（Cosine similarity metric learning，CSML） [14]和马氏距离，提出一种子空间相似度度量（Subspace similarity metric learning，Sub-SML）学习模型，但该模型中仅将度量矩阵与单位矩阵的差值作为目标函数的正则项，并不能准确表达样本对的先验信息，因此不能有效地抑制复杂干扰给分类带来的影响.随着稀疏性与低秩性在图像表示中的广泛应用，Fang等[15]引入群稀疏性作为正则项，提出一种稀疏相似度度量模型.文献[16]与[17]利用低秩性作为相似度度量模型的正则项.稀疏性与低秩性的约束能有效地解决噪声干扰问题.Hassner等[18]提出一种不同姿态下的人脸图像摆正方法，并结合Sub-SML方法实现人脸验证；Hu等[19]提出一种深度相似度度量学习（Discriminative deep metric learning，DDML）方法，该方法采用深度神经网络模型优化相似度度量矩阵，但由于神经网络中参数调整缺乏理论指导，较难寻优，鲁棒性也有待提高.Zhu等[20]利用3D形变模型提出一种姿态与表情标准化方法，同时结合DDML方法进行人脸验证，这两种方法人脸验证性能的提高主要依赖于前期对人脸图像姿态矫正的工作.

近年来，深度学习因具有主动的特征提取与较强分类能力在人脸验证领域中得到了广泛的应用，在深度模型中，通常将特征提取、编码与池化等嵌入到网络训练过程中.如DeepFace[21]，DeepID[22]，DeepID2[23]，DeepID3[24]都大大提高了人脸验证的分类性能，但大都采用了大规模的带类标户外数据集来训练深度模型，训练时间长.DeepID因LFW数据集太小而引入了外部CelebFaces和CelebFaces+数据集，DeepFace分类性能也大大依赖了前期图像预处理的人脸姿态矫正与对齐.而且，这些实验参数设置方法皆与本文不同，较多的参数设置调整都需经验指导.

子空间方法可将样本投影到某个最优子空间，实现降低输入特征维数和寻找分类特征的目的，因此被广泛应用于人脸识别[13，25-27].文献[13]利用主成分分析（Principal component analysis， PCA），将人脸样本对投影到类内子空间，以期望降低图像类内变化产生的干扰.文献[25]采用线性判别分析（Linear Discriminant Analysis，LDA）的方法用于人脸识别，结合类内散度矩阵与类间散度矩阵，使得人脸特征在类间散度矩阵和类内散度矩阵上的比值达到最大从而实现分类.文献[26]在PCA的基础上进一步提出贝叶斯人脸识别，其目的也是通过子空间投影来降低特征维度与噪声干扰.文献[27]提出一种加权线性判别分析方法，该方法利用了加权成对Fisher准则约束，并在较小的人脸数据集取得了较好的效果.文献[13，25-27]的研究结果表明，类内子空间的投影可以有效降低类内变化的干扰，使得投影后的特征更利于后续的分类研究.

综上所述，为降低相似人脸对之间的类内差异的影响，同时提取较强的判别信息.本文围绕正则项相似度度量学习问题，提出一种结合加权子空间和相似度度量学习的人脸验证方法.一方面，基于PCA预处理后人脸对的类内样本，学习具有权重的类内协方差矩阵，通过加权子空间的投影，從人脸图像中学习更具有鲁棒性的人脸特征表达.与文献[13]相比，本文提出的“PCA+加权子空间”的特征投影方法能够有效地降低因人脸表情、姿态、光照以及背景产生的较大类内变化，获得判别性更强的分类特征（如表2、表3、表4的实验结果所示）；另一方面，本文利用了样本对的相似性与差异性信息，结合先验相似性矩阵G0与先验距离矩阵M0，建立了带先验相似性和先验距离约束的相似度度量学习模型，该模型更能准确衡量样本对的相似性和差异性先验信息，并利用对偶函数求解，优化后的度量矩阵能有效提高特征向量的类内鲁棒性和类间辨别性.最后，利用优化的度量矩阵计算人脸对的相似度得分.实验结果表明，本文方法提出的相似度度量学习模型，更能准确地评估人脸间的相似性.

1 加权子空间

2 相似度度量学习

2.1 相似度度量函数

通过最小化式（10）的经验误差可以得到学习的G和M.但这种方法很容易造成函数的过拟合.因此增加相应的正则项约束，式（10）可转化为：

2.4 本文方法的具体操作步骤

本文采用PCA对人脸特征进行预处理，学习具有权重的类内协方差矩阵，利用加权子空间的投影进一步降低人脸特征对类内差异的影响.并建立带先验相似性和先验距离约束的相似度度量学习模型，将优化后的度量矩阵解决人脸验证问题.其方法流程如表1所示.

3 实验内容与结果分析

3.1 实验数据

LFW（Labeled faces in the wild）数据集是目前人脸验证领域中最具有挑战性的数据集之一[30]，包括了来自5 749个人的13 233张人脸图像，其中有1 680个人具有至少2张以上的人脸图像.所有图像均采集于Yahoo网站，如图1所示，这些人脸图像在表情、姿态、光照、年龄以及背景存在较大的类内变化.

本文实验主要针对受限训练集，划分成10个子集，每个子集由300个匹配（matched）图像对和300个不匹配（mismatched）图像对组成，并且每个子集中的人都不重合.并且，具有两种人脸对齐方法：“funneled”数据集[30]与“aligned”数据集[31].本文在“funneled”数据集上提取的是SIFT特征[9]，在“aligned” 数据集上提取的是LBP 特征[28]和TPLBP特征[29].这一特征选择方案设计主要参考了文献[9，13，19]的工作，文献[9]已证明在“funneled”数据集上，SIFT特征的分类效果最优；基于文献[9]，文献[13] 进一步验证了在“funneled”数据集上提取SIFT特征[9]，在“aligned” 数据集上提取的是LBP 特征[28]和TPLBP特征[29]进行分类的有效性.测试采用10折交叉验证方法，进行10次独立的实验，轮流选定1个子集作为测试集，而其余9个子集作为训练集.

3.2 本文提出方法的性能分析

为了有效地说明本文提出方法具有较好的特征投影与相似度度量的能力，本文利用SIFT[9]与LBP[28]特征，投影方法分别对比了PCA[32]、PCA+子空间[13]与本文提出的“PCA+加权子空间”，其中PCA的维数取300，采用L2范数对投影后的数据进行归一化处理，相似度度量分别对比了马氏距离度量、先验距离度量与本文优化的度量矩阵，从而证明本文提出的相似度度量学习模型的有效性，实验结果如表2、表3、表4所示.其中，马氏距离度量、先验距离度量与本文优化的度量矩阵的定义如下.

当人脸特征为SIFT时，不同投影方法下不同度量矩阵的人脸验证结果如表2所示.由表2可知，若特征投影方式相同（如“PCA+加权子空间”），本文优化的度量矩阵人脸验证率最高，原始特征与平方根特征分别为87.12%与87.62%.传统的马氏距离度量人脸验证率最低， 原始特征与平方根特征分别为83.43%与84.22%.这一实验结果表明：带先验相似性与先验距离约束的相似度度量学习模型（式（16））能有效提高人脸验证性能.

采用相同的度量学习方法，进一步对比分析不同的投影方法，由表2可知，结合本文提出的“加权子空间”的分类性能最好，优于文献[13]提出的“未加权子空间”.而且，表3与表4也给出了相同的实验结果.由此可知，本文提出的“PCA+加权子空间”的特征投影方法能够获得具有鲁棒性的类内子空间.提取的人脸特征经过类内子空间投影后，可有效地降低因人脸表情、姿态、光照以及背景产生的较大类内变化，获得判别性更强的分类特征.

如表3所示，当人脸特征为LBP时，结合不同投影方法与不同度量矩阵的人脸验证结果.为了进一步验证本文提出方法的普适性，利用已训练好深度学习模型VGG-face [33]提取的人脸特征，结合不同投影方法与不同度量矩阵进行人脸验证，实验结果如表4所示.表4的数据结果与表3、表2大致相符，进一步说明本文提出的结合加权子空间和相似度度量学习的人脸验证方法的有效性，不仅适合于传统的手工特征，也适用于学习型特征.

3.3 参数分析

参数γ平衡了经验误差与正则项两者的性能.γ设置过小会导致模型的鲁棒性和判别性不强，泛化能力较弱；γ设置过大会导致模型不易收敛.本文中γ的设置参考了文献[13]的设置方法，并结合多组数据对比结果将其设置为0.5.

为了分析参数u，a 对本文方法性能的影响， 图2、图3分别给出在两种不同数据集上，不同u，a对本文方法性能的对比实验.通过对比实验可知，本文方法性能在u=2，a=0.8附近达到最优.

3.4 与其他的人脸验证方法的实验对比

根据实验3.3的结果，利用SIFT[9]、LBP[28]以及TPLBP[29]的原始特征与平方根特征，采用“PCA+加权子空间”的投影方法，基于2.4的步骤，根据式（25）计算得到的六种特征的相似度得分，将其进行融合并采用SVM预测得到最终实验结果.分类准确率和标准差如表5所示，ROC（Receiver Operating Characteristic）曲线如图4所示.

由表5和图4可知，与LDML[9]相比，本文提出的方法准确率提升了12%，值得注意的是，本文提出基于“PCA+加权子空间”的特征投影，且利用帶先验相似性与先验距离约束的相似度度量学习方法得到的度量矩阵，与Sub-SM[13]方法相比，本文方法分类准确率提升了1.6%.与DDML[19]相比，本文方法分类准确率也有所提升.特别在[0-0.12]的ROC曲线区间，本文方法的ROC曲线明显高于其他方法.实验结果进一步说明了本文提出加权子空间的特征投影能有效降低样本对的类内变化，建立的带先验相似性与先验距离约束的相似度度量学习模型能有效提高特征向量的类内鲁棒性和类间判别性.

4 结 论

针对无约束条件下的人脸验证问题，本文提出了一种结合加权子空间和相似度度量学习的人脸验证方法，其主要思想在于抑制人脸样本对的类内变化及噪声的干扰，同时增加类间距离.首先，引入人脸对类内样本的相似度信息作为权重，提出一种加权子空间投影方法，该方法可以获得具有鲁棒性的加权子空间，利用“PCA+加权子空间”的特征投影方法能够有效降低因人脸表情、姿态、光照以及背景产生的较大类内变化对于后续分类的影响.然后，建立了带先验相似性和先验距离约束的相似度度量学习模型，该模型将先验相似性矩阵G0和先验距离矩阵M0作为相似度度量学习的目标函数中的正则项约束，更能准确衡量样本对的相似性和差异性先验信息，优化后的度量矩阵更能有效提高特征向量的类内鲁棒性和类间辨别性.最后，利用优化的度量矩阵获得人脸样本对的相似度得分.从实验结果可知，与其他同类的人脸验证方法相比，本文方法具有更好的特征提取效果和分类性能，在LFW的受限训练数据集上取得了91.2%的识别率，取得了具有竞争性的效果.

參考文献

[1] XIANG Y， SU G. Multi-parts and multi-feature fusion in face verification[C]// Computer Vision and Pattern Recognition Workshops（CVPRW）， IEEE Computer Society Conference on. Anchorage AK US： IEEE Computer Society， 2008： 1-6.

[2] HUANG G B， LEE H， LEARNED-MILLER E. Learning hierarchical representations for face verification with convolutional deep belief networks[C]// Computer Vision and Pattern Recognition （CVPR）， IEEE Conference on. Rhode Island， USA： IEEE Computer Society， 2012： 2518-2525.

[3] LI H， HUA G， LIN Z， et al. Probabilistic elastic matching for pose variant face verification[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Portland Maine， USA： IEEE Computer Society， 2013： 3499-3506.

[4] HUANG R， LI T， YE M， et al. Unconstrained face verification by optimally organizing multiple classifiers[J]. International Journal of Control， Automation and Systems， 2014， 12（4）： 833-842.

[5] 沈媛媛， 严严， 王菡子. 有监督的距离度量学习算法研究进展[J]. 自动化学报， 2014， 40（12）： 2673-2686.

SHEN Y Y， YAN Y，WANG H Z. Recent advances on supervised distance metric learning algorithms[J].Acta Automatic Sinica， 2014， 40（12）： 2673-2686. （In Chinese）

[6] WOLF L， HASSNER T， TAIGMAN Y. Similarity scores based on background samples[C]// Asian Conference on Computer Vision. Springer Berlin Heidelberg， 2009： 88-97.

[7] CHOPRA S， HADSELL R， LECUN Y. Learning a similarity metric discriminatively， with application to face verification[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR）. San Diego， CA， USA： IEEE Computer Society， 2005：539-546.

[8] LIU C， WECHSLER H. Gabor feature based classification using the enhanced fisher linear discriminant model for face recognition[J]. IEEE Transactions on Image Processing， 2002， 11（4）： 467-476.

[9] GUILLAUMIN M， VERBEEK J， SCHMID C. Is that you？ metric learning approaches for face identification[C]// IEEE 12th International Conference on Computer Vision. San Francisco， CA， USA： IEEE Computer Society， 2009： 498-505.

[10]MIGNON A， JURIE F. Pcca： A new approach for distance learning from sparse pairwise constraints[C]// IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Rhode Island， USA： IEEE Computer Society， 2012： 2666-2672.

[11]KSTINGER M， HIRZER M， WOHLHART P， et al. Large scale metric learning from equivalence constraints[C]// Computer Vision and Pattern Recognition （CVPR）， IEEE Conference on. Rhode Island， USA： IEEE Computer Society， 2012： 2288-2295.

[12]YING Y， LI P. Distance metric learning with eigenvalue optimization [J]. Journal of Machine Learning Research， 2012， 13（1）： 1-26.

[13]CAO Q， YING Y， LI P. Similarity metric learning for face recognition[C]// Proceedings of the IEEE International Conference on Computer Vision. Portland， Maine， USA： IEEE Computer Society， 2013： 2408-2415.

[14]NGUYEN H V， BAI L. Cosine similarity metric learning for face verification[C]// Asian Conference on Computer Vision. Springer Berlin Heidelberg， 2010： 709-720.

[15]FANG Y， CHEN Y Y S， WANG H， et al. Sparse similarity metric learning for kinship verification[C]//Visual Communications and Image Processing （VCIP）. Chengdu， China： IEEE Computer Society， 2016： 1-4.

[16]FANG Y， YAN Y， WANG H， et al. Adaptive metric learning with the low rank constraint[C]//Proceedings of the International Conference on Internet Multimedia Computing and Service. Xi'an， Chian： ACM， 2016： 61-65.

[17]DING Z， SUH S， HAN J J， et al. Discriminative low-rank metric learningfor face recognition[C]//Automatic Face and Gesture Recognition （FG）， 11th IEEE International Conference and Workshops on. Ljubljana， Slovenia： IEEE Computer Society，2015：1-6.

[18]HASSNER T， HAREL S， PAZ E，et al. Effective face frontalization in unconstrained images[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston， MA， USA： IEEE Computer Society，2015： 4295-4304.

[19]HU J， LU J， TAN Y P. Discriminative deep metric learning for face verification in the wild[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus， OH， USA： IEEE Computer Society， 2014： 1875-1882.

[20]ZHU X， LEI Z， YAN J， et al. High-fidelity pose and expression normalization for face recognition in the wild[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston， MA， USA： IEEE Computer Society， 2015： 787-796.

[21]TAIGMAN Y， YANG M， RANZATO M A， et al. Deepface： Closing the gap to human-level performance in face verification[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus， OH， USA： IEEE Computer Society， 2014： 1701-1708.

[22]SUN Y， WANG X， TANG X. Deep learning face representation from predicting 10，000 classes[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus， OH， USA： IEEE Computer Society， 2014： 1891-1898.

[23]SUN Y， CHEN Y， WANG X， et al. Deep learning face representation by joint identification-verification[C]//Advances in Neural Information Processing Systems. Palais des Congrès de Montréal，2014： 1988-1996.

[24]SUN Y， LIANG D， WANG X， et al. Deepid3： Face recognition with very deep neural networks[J]. arXiv preprint arXiv：1502.00873， 2015.

[25]LU J， PLATANIOTIS K N， VENETSANOPOULOS A N. Face recognition using LDA-based algorithms[J]. IEEE Transactions on Neural Networks， 2003， 14（1）： 195-200.

[26]MOGHADDAM B， JEBARA T， PENTLAND A. Bayesian face recognition[J]. Pattern Recognition， 2000， 33（11）： 1771-1782.

[27]PRICE J R， GEE T F. Face recognition using direct， weighted linear discriminant analysis and modular subspaces[J]. Pattern Recognition， 2005， 38（2）：209-219.

[28]OJALA T， PIETIKAINEN M， MAENPAA T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24（7）： 971-987.

[29]WOLF L， HASSNER T， TAIGMAN Y. Descriptor based methods in the wild[C]// Workshop on Faces in 'Real-life' Images： Detection， Alignment， and Recognition. Palais des Congrès Parc Chanot，2008.

[30]HUANG G B， MATTAR M， BERG T， et al. Labeled faces in the wild： A database for studying face recognition in unconstrained environments[C]// Workshop on Faces in'Real-Life'Images： Detection， Alignment， and Recognition. Palais des Congrès Parc Chanot， 2008.

[31]TAIGMAN Y， WOLF L， HASSNER T. Multiple one-shots for utilizing class label information[C]// BMVC. London：2009： 1-12.

[32]BELHUMEUR P N， HESPANHA J P， KRIEGMAN D J. Eigenfaces vs. fisherfaces： Recognition using class specific linear projection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1997， 19（7）： 711-720.

[33]http：//www.robots.ox.ac.uk/～vgg/software/vgg_face/

[34]COX D， PINTO N. Beyond simple features： A large-scale feature search approach to unconstrained face recognition[C]// IEEE International Conference on Automatic Face & Gesture Recognition and Workshops （FG）. Santa Barbara， CA， USA： IEEE Computer Society， 2011： 8-15.