基于有监督降维的人脸识别方法

姚明海，王 娜，易玉根，栾敬钊

(1. 渤海大学信息科学与技术学院，辽宁 锦州 121013；2. 锦州师范高等专科学校计算机系，辽宁 锦州 1210 13；3. 东北师范大学数学与统计学院，长春 1301 17；4. 国家电网大连供电公司，辽宁 大连 1 16001)

基于有监督降维的人脸识别方法

姚明海1,3，王 娜2，易玉根3，栾敬钊4

(1. 渤海大学信息科学与技术学院，辽宁 锦州 121013；2. 锦州师范高等专科学校计算机系，辽宁 锦州 1210 13；3. 东北师范大学数学与统计学院，长春 1301 17；4. 国家电网大连供电公司，辽宁 大连 1 16001)

局部降维方法中存在仅考虑图像的相似信息，不能较好地保持图像的差异信息和像素间的空间结构等问题。为此，提出一种新的有监督降维方法，通过构建局部邻域相似图和局部差异图来刻画图像的局部结构。考虑到像素的空间结构，引入二维离散拉普拉斯图的光滑正则化来约束变换矩阵的平滑性。在Yale和ORL人脸数据库上进行实验验证，结果表明，该降维方法既能保持图像之间的局部结构信息，又能较好地保持图像间的差异信息及像素间的空间结构，并针对人脸图像可以有效提取出具有区分能力的低维特征，具有较高的识别精度。

降维；人脸识别；差异性；局部结构；空间结构；正则化

1 概述

降维方法一直是计算机视觉和模式识别领域极具吸引力和挑战性的研究课题，降维方法不仅可以有效地避免维数灾难，而且还可以提高后续算法计算效率。经过十几年的研究，人们提出了许多基于降维方法的特征提取方法，如主成分分析(Principal Component Analysis, PCA)[1]和线性判别分析(Linear Discriminant Analysis, LDA)[2]等。PCA是一种无监督降维方法，其目的是寻找一组最优的投影方向使得低维特征具有最大方差。而LDA是一种有监督降维方法，其目的是寻找一组最优的投影方向使得类内散度最小，类间散度最大。但是LDA不能直接应用于小样本问题[3]，因此，人们提出了PCA+LDA[4]、正则化判别分析[5]、最大间距准则[6]等方法来克服小样本问题。但是这些方法往往忽略了高维数据的局部结构。最近的研究表明，人脸图像可能位于高维图像空间的低维流形之上。基于这种假设大量研究学者相继提出了多种流形学习方法。如等距映射[7]、局部线性嵌[8]、拉普拉斯特征映射[9]、局部保持投影[10]、判别局部保持投影[11]、零空间判别局部保持投影[12]、局部保持判别投影[13]、二维局部多样性保持投影[14]、边缘费舍尔判别分析[15]等。

以上方法仅关注数据的局部相似信息，而忽视了数据的差异性信息，从而导致算法性能较差。同时，邻域样本的差异性丢失容易导致过学习问题。文献[16]从信息统计角度引入差异信息，提出有监督的局部结构和差异信息投影方法(Supervised-local St ructure a nd Di versity In formation Projection, S-LSDP)。S-LSDP通过最大化差异离散度和最小化局部离散度准则寻找投影方向，使得投影后的特征既能够很好地保持图像之间的局部结构属性，又能较好地保持图像之间的差异信息，有效地避免了过学习问题。然而，S-LSDP仍然存在一些不足。首先，S-LSDP在构建差异图和邻域图中忽略了数据的类别信息，并且S-LSDP中的相似邻域图和差异邻域图依赖于邻域k和k1的取值。其次，S-LSDP是一种基于向量学习的降维算法，在降维过程中往往忽视了像素的空间分布信息。最后，在实际的应用中，尤其是在人脸识别过程中S-LSDP很难解决一些小样本问题。

针对S-LSDP存在以上的问题，本文提出一种新的有监督降维方法。该方法首先根据样本自动选择样本邻域，并利用局部判别相似图和局部判别差异图来刻画数据的流形局部结构。其次为了更好地保持原始图像的像素的空间结构，二维离散拉谱拉斯图的光滑正则化[17]被引入到降维算法中。该正则化项包含了图像像素关系信息，可以用来衡量映射特征向量的空间光滑性。

2 有监督的局部结构和差异信息投影

给定N个训练样本矩阵X=[x1,x2,…,xN]，其中，xi∈RD代表第i=1,2,…,N 个训练图像向量。Gs=(V, E, S) 和Gd=(V, E, B)分别记作加权邻域相似图和加权邻域差异图，其中，V表示图中顶点集合；E是连接顶点的边集合，S是权值矩阵，其元素表示两点之间的相似度；B也是权值矩阵，其元素表示两点之间的差异性。矩阵S和矩阵B分别定义如下：

其中，τi表示样本xi的类别标签；Nk(xj)和Nk(xj)分别表示样本xi的k近邻和k1近邻；参数t∈(0,+∞)和b∈(0,+∞)。

S-LSDP的目的是寻找一组判别投影同时，可以有效地保持样本的局部相似属性，而且最大限度地保持样本的局部差异信息。其目标函数如下：

3 本文方法

基于上述分析，针对S-LSDP存在的问题，本文方法根据样本的平均相似性自适应的选择样本邻域，避免了邻域k 和k1的取值对算法性能的影响，并利用样本类别信息来构建局部判别相似图和局部判别差异图来刻画数据的流形局部结构，解决了人脸识别中经常遇到的小样本问题。同时，为了更好地保持原始图像的空间结构，在降维算法中引入了二维离散拉谱拉斯图的光滑正则化方法。该正则化项包含了图像像素关系信息，可以用来衡量映射特征向量的空间光滑性。

3.1 图的构建

在本文方法中分别构建了局部邻域相似判别图(Gs)和局部差异判别图(GD)。

首先计算每个样本xi的平均相似性，如式(4)所示：

然后分别计算每个样本xi的类内近邻样本集合Nw(xi)和类间近邻样本集合Nb(xi)，如式(5)、式(6)所示：

其中，τi表示样本xi的类别标签示样本。从式(5)、式(6)可以看出，每个样本的邻域大小依赖样本原始空间的局部密度分布和样本的相似性。因此，每个样本的邻域是自适应的选择。

最后分别计算图GS和GD的权重，如式(7)、式(8)所示：

其中，参数t∈(0,+∞),b∈(0,+∞)。从式(7)中可以看出：

(1)当欧式距离相等时，同类的之间权值要大于不同类之间样本的权值，即同类样本之间的相似性要大于不同类样本之间的；

(2)判别相似性具有邻域保持能力，数据集的流形结构很大程度上得以保持；

(3)随着欧式距离增加，判别相似值趋近零。因此，判别相似性具有防止噪声的能力。

同样，从式(8)中可以看出：

(1)当欧式距离相等时，局部邻域类间差异性大于局部类内差异性；

(2)局部判别差异结合了数据局部结构和类别信息，更好地保持样本局部邻域关系，数据的几何结构在很大程度上的得以保持；

(3)随着欧式距离增大，局部类间判别差异权值也随着增大，这样可以使不同类的样本点投影到低维空间中彼此相互远离，局部类内差异性可以防止同类样本投影到低维空间后彼此远离。

3.2 目标函数

令yi=WTxi是图像样本xi的低维表示，其中，W是 变换矩阵。首先为了在低维特征空间中保持数据的局部结构信息。定义目标函数如下：

将y=WTxi代入式(9)中，式(9)可做如下转化：

其次，为了更好地在低维特征空间中保持数据的差异性。定义如下目标函数：

最后，为考虑图像像素空间位置和投影矩阵的平滑性，本文采用基于二维离散拉谱拉斯图的光滑正则化项来测量图像在行和列2个方向上的光滑性。更为具体的说, 假设图像的大小为n1×n2，相应的二维拉谱拉斯算子的离散近似构造过程如下：

令Ii表示ni×ni单位矩阵(i=1,2)，⊗表示克罗内克积。可用ni×ni的矩阵Di(i=1,2)来生成拉谱拉斯算子的离散近似。而Di可以写成如下形式：

对于大小为n1×n2图像向量x，文献[17]的结论表明，||∆||2正比于x中近邻点之间的均方误差之和。因此，它是度量图像光滑性的有效工具。

结合式(10)、式(12)、式(14)，本文算法目标函数如下：

其中，α为平衡参数；β为正规化参数。

3.3 目标函数求解

首先对式(15)进行简单的调整得式(16)：

然后构造拉格朗日函数：

接着对式(17)求导，并令其导数等于0，整理得：

最后对式(18)进行广义特征值分解，得到前d个最大特征值对应的特征向量w1, w2,…,wd，则：

4 实验结果及分析

为了验证本文方法的有效性，将其与目前流行的方法进行对比，主要包括：PCA，MMC，LPP，LPDP，MFA，S-LSDP。

4.1 数据集

本文采用Yale人脸图像库和ORL人脸图像库进行实验。Yale标准人脸数据集[18]包括15个人的165张人脸图像，每人11张，这11幅图像分别在如下不同的光照、面部表情等条件下获取，如戴眼镜、高兴、左光照、无眼镜、正常、右光照、悲哀、倦怠、惊喜和眨眼。所有人脸图像均裁剪32×32像素并且按照眼部位置对齐。ORL标准人脸库[19]有40人，每人10幅，其中，人脸表情、人脸姿态和人脸尺度均有一定变化。图1和图2所示分别为Yale和ORL人脸库中的若干幅人脸图像。

图1 Y ale人脸库中的若干幅人脸图像

图2 O RL人脸库中的若干幅人脸图像

4.2 人脸识别实验结果分析

从上述数据集中每类中随机选择T–1个图像进行训练，剩余部分用于测试。具体地，对Yale和ORL来说分别从每人的图像中选取5，6张用于训练，其余用于测试。PCA的贡献率设置为99%，LPP和LPDP的近邻k设置为T–1，MFA和S-LSDP中的k1和k2分别设置为T–1和20。本文实验中对于参数α和β均设置为0.01，将实验重复进行10次，取平均结果作为最终识别结果。

测试所有方法在2个数据库上的性能。表1和表2分别给出不同方法平均识别结果和标准差以及对应的特征维度。

表1 不同方法在Yale标准人脸数据库上的平均识别率

表2 不同方法在ORL标准人脸数据库上的平均识别率

图3和图4分别给出当训练样本为5的情况下，本文方法与其他方法平均识别率随着特征子空间的维数变化曲线。

图3 不同方法在Yale人脸数据库上平均识别率与特征维数曲线

图4 不同方法在ORL人脸数据库上平均识别率与特征维数曲线

通过对表1和表2、图3和图4的观察、比较和分析，可以得到如下结论：

(1)PCA和LPP都是无监督学习算法，未利用样本的类别信息。因此，它们性能次于有监督方法。然而，LPP的性能要优于PCA是因为LPP考虑样本局部结构，该结果也验证了数据的局部结构有利于判别特征提取。

(2)MMC是一种基于全局的有监督方法，它的识别结果要次于其他基于局部的有监督的方法。S-LSDP的性能要优于其他基于局部的有监督的方法，是因为S-LSDP在特征提取过程中考虑了到数据的局部差异。

(3)由于本文的方法考虑了数据局部差异性和空间结构信息，因此在所有情况下都能获得较高的识别正确率。这也表明本文方法能提取更有具有区分能力的特征，获得更好的人脸识别性能。另外，各种方法的正确识别率是都随着特征维数的变化而变化，本文方法识别正确率随着特征维数的变化较为平稳，性能比较稳定。

4.3 参数分析

本文实验为了测试不同参数对本文方法的性能影响。对于Yale和ORL数据库中，分别从每人的图像中选取5张用于训练，其余用于测试。实验中将参数α和β取值变化范围均设置为{0.01,0.1,0,1,10}，同样将实验重复进行10次，取平均结果作为最终识别结果。表3和表4给出本文方法在Yale和ORL两个标准数据库上对应不同参数下的识别结果。从实验结果可以看出，当参数α=0和β=0时，本文方法的识别率很低，但随着它们的取值增大，识别率也相应的提高，其结果说明了在特征提取过程中考虑数据的局部结构信息和类内差异性是有利提取具有判别能力的特征。然而当它们的取值增大到一定时，识别率开始降低了。其原因在于，如果α取值过小，造成类内差异性丢失，从而导致识别率低，相反，如果α取值过大，放大了类内差异性在整个目标函数中作用，而忽视了类内局部结构作用，从而也相应地导致本文方法的识别率降低。同样，如果β取值过小，图像的空间结构信息被忽略，从而导致识别率降低，相反，如果β取值过大，可能导致图像过于平滑，造成图像失去判别信息，从而导致识别率降低。

表3 不同参数值在Yale标准人脸数据库上最大的平均识别率

表4 不同参数值在ORL标准人脸数据库上最大的平均识别率

5 结束语

本文通过考虑局部差异结构信息，并利用二维离散拉谱拉斯图的光滑正则化的思想，提出一种有监督的特征提取算法。该算法在最小化局部判别离散度和最大化局部差异判别离散度的同时提取判别投影方向。与经典的基于流形学习的算法相比，本文方法不仅有效地保持了局部结构属性，而且较好低保持图像的空间结构。在Yale和ORL标准人脸库上的实验结果表明了本文算法的有效性。

[1] Jolliffe I T. Principal Component Analysis[M]. Berlin, Germany: Springer-Verlag, 2002.

[2] Duda R O. Pattern Classification[M]. New York, USA: [s. n.], 2001.

[3] Raudys S J, Jain A K. Small Sample Size Effects in Statistical Pattern Recognit ion: Recommend ations for Practitioners[J]. IEEE Transa ctions on Pattern An alysis and Machine Intelligence, 1991, 13(3): 252-264.

[4] Belhumeur P N, Hesp anha J P, Kriegman D J. Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection[J]. IE EE Transa ctions on Pattern An alysis and Machine Intelligence, 1997, 19(7): 713-720.

[5] Friedman J H. Regularized Discriminant Analysis[J]. Journal of the American Statistical Association, 1989, 84(405): 165-175.

[6] Li Haifeng, Jiang Tao, Z hang Keshu. Efficient and Rob ust Feature Extraction by Ma ximum Margin C riterion[J]. IEEE Transactions on Neural Networks, 2006, 17(1): 157-165.

[7] Tenenbaum J B, de Silva V, Langford J C. A Global Geometric Framework for Nonlinear Dimensionality Reduction[J]. Science, 2000, 290(5500): 2319-2323.

[8] Roweis S T, Saul L K. Nonlinear Dimensionality Reduction by Locally Linear Embedding[J]. Science, 2000, 290(5500): 2323-2326.

[9] Belkin M, Niyogi P. Laplacian Eigenmaps for Dimensionality Reduction and Data Represe ntation[J]. Neural Computation, 2003, 15(6): 1373-1396.

[10] He X F. Loc ality Preserving Projections[C]// Proceedings of the 16th Con ference on Neural Information P rocessing Systems. Cambridge, USA: MIT Press, 2003: 153- 160.

[11] Zhao Haita o, Su n Sha oyuan, Jing Zhongliang, et al. Lo cal Structure Based on Supervised Feature Extraction[J]. Pattern Recognition, 2006, 39(8): 1546-1550.

[12] Yang Liping, Gon g Weiguo, Gu Xiaohua, et al. Null Space Discriminat Locality Preserving Projections[J]. Neurocomputing, 2008, 71(16): 16-18.

[13] Gui Jie, Jia Wei, Zhu Liang. Locality Preserving Discriminant Projection for F ace and Palmprint Recog nition[J]. Neurocomputing, 2010, 73(13-15): 2696-2707.

[14] 高全学, 高菲菲, 郝秀娟, 等. 基于图像欧氏距离的二维局部多样性保持投影[J]. 自动化学报, 2013, 39(7): 1062-1070.

[15] Yan Sh uicheng, X u Do ng, Z hang Benyu, et a l. Grap h Embedding and Extension: A General Framework for Dimensionality R eduction[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(1): 40-51.

[16] 高全学, 谢德艳, 徐 辉, 等. 融合局部结构和差异信息的监督特征提取算法[J]. 自动化学报, 2010, 36(8): 1107-1114.

[17] Cai Den g, He Xi aofei. Lear ning a Spatiall y Smooth Subspace for Face Recognition[C]//Proc. of IEEE Conference on Computer Vision and Pattern. Recognition, USA: IEEE Press, 2007: 777-787.

[18] Yale University. Face Database[EB/OL]. (2002-06-21). http:// cvc.yale.edu/projects/yalefaces/yalefaces.html.

[19] Samaria F S, Harter A C. Parameterisation of a Stochastic Model for Hum an Face Identification[C]//Proc. of IEEE Workshop on Applications of Computer Vision. [S. 1.]: IEEE Press, 1994: 138-142.

编辑 索书志

Face Recognition Method Based on Supervised Dimensionality Reduction

YAO Ming-hai1,3, WANG Na2, YI Yu-gen3, LUAN Jing-zhao4

(1. College of Information Science and Technology, Bohai University, Jinzhou 121013, China; 2. Department of Computer, Jinzhou Teacher’s Training College, Jinzhou 121013, China; 3. School of Mathematics and Statistics, Northeast Normal University, Changchun 130117, China; 4. State Grid Dalian Electric Power Supply Company, Dalian 116001, China)

Traditional dimensionality reduction methods only pay attention to the local similarity information of images. They neglect the diversity information of images and spatial structure of the pixels in the images. Therefore, a new supervised dimensionality r eduction method is proposed, which constructs the local si milarity graph an d local diversity graph to characte rize the local str ucture of images. Furthermore, a 2D Discretized Laplacian Smooth regularization by exploiting the spatial structure of the pixels in the images is introduced into the objective function. The method effectively maintains the loc al structure info rmation between images and maintains the diversity information between images and spatial structure of the pixels in the images. It can effectively extract out the low dimensional feature from the face image. The method is verified on the Yale and ORL database, and experimental results show that the method has high recognition accuracy.

dimensionality reduction; face recognition; diversity; local structure; spatial structure; regularization

10.3969/j.issn.1000-3428.2014.05.047

吉林省科技发展计划青年科研基金资助项目(201201070)；辽宁省社会科学规划基金资助项目(L13BXW006)。

姚明海(1980－)，男，讲师、博士研究生，主研方向：模式识别，智能计算；王 娜，硕士；易玉根，博士研究生；栾敬钊，硕士。

2013-11-25

2014-01-14E-mail：yao_ming_hai@163.com

1000-3428(2014)05-0228-06

A

TP18