基于分块加权的局部保持投影的人脸识别

陈 羽,陈银辉,徐小红

(华南农业大学 应用数学系,广州 510642)

基于分块加权的局部保持投影的人脸识别

陈 羽,陈银辉,徐小红

(华南农业大学 应用数学系,广州 510642)

为增强对姿势、表情、光照等变化的鲁棒性,提出了一种加权的分块局部保持投影人脸识别算法.算法先对样本图像分块,对分块得到的子图像利用局部保持投影算法分别提取局部特征信息,并利用k近邻点的类标信息和样本影响力函数计算各分块子图像的权重.该算法能够有效地抽取图像的局部特征,对人脸表情和光照条件变化较大的图像表现尤为突出,在AT&T和Yale人脸库上的比较实验说明了该算法的有效性.

人脸识别; 局部保持投影; 模式识别; 特征提取; 类标信息

引言

人脸识别技术是近年来得到广泛关注的研究热点,其相关技术的应用范围在不断扩大.从技术分类的角度来看,人脸识别的方法可以分为子空间法和非子空间法[1].子空间法就是将高维的人脸图像特征通过空间变换投影到低维子空间中去,其中主成分分析(PCA)[2,3]和线性判别分析(LDA)[4,5]是两种经典的子空间分析方法.局部保持投影算法(LPP)[6～9]是一种较新的子空间方法,它考虑了样本空间的流形结构,在降维过程中能保持样本空间的局部结构和本质几何特性.在人脸识别中,传统的子空间识别算法将整幅人脸图像作为输入模式.但是,当人脸的表情和光照变化较大时,如果仅仅考虑图像的全局特征,识别效果往往不够理想.为此,不少研究者提出了基于分块特征的算法.Chen和Zhu等[10]提出了分块PCA算法(SpPCA),先将人脸图像集分割成一系列大小相等且不重叠的子图像,对划分后的各子图像集利用PCA算法分别提取局部特征信息.Tan和Chen等[11]提出了一种加权分块PCA算法(Aw-SpPCA),认为各子图像的权重由相应部分的探测集和原型集的相似度决定.而Geng和Zhou[12]采用与[11]类似的方法筛选出一些恰当的特征区域进行识别.Vijaya kumar和Negi等[13]提出了subXPCA算法,平衡了人脸图像的全局特征和分块特征,并考虑了各分块特征之间的相关性.文献[14,15]也分别提出了基于分块思想的算法.

Wang和zhang等[16]提出一种加权的分块LPP算法(Aw-SpLPP),认为各子图像的权重由相应的训练子图像集中各点的k近邻点的类标信息决定.但是,该方法仅考虑了样本类标信息对分类的影响,忽略了k近邻点中相同类标的样本(类内样本)和不同类标的样本(类间样本)的分布对分类效果的影响.为此,本文提出了一种改进的加权分块LPP算法,该算法基于k近邻点(k-neighbor)和样本影响力函数(sample influence function)相结合的加权分块局部保持投影(SpLPP)算法,简称KSI-SpLPP算法.算法既考虑了k近邻点的类标信息对子图像的权重的影响,同时也考虑了k近邻中的类内样本和类间样本的分布对分类效果的影响.在AT&T和Yale人脸库中的实验说明了该加权方法的有效性,并且该算法可以推广到其它算法如PCA,可以得到类似的加权的分块PCA算法.

1　局部保持投影(LPP)

设在高维欧氏空间RD中有样本集X=[x1,x2,…,xN],LPP寻求一个投影矩阵W,希望将这些样本映射到一个相对低维的特征空间Rd(d<

式(3)的d个最小的非零特征值所对应的特征向量构成投影矩阵W=[w1,w2,…,wd].

2　分块加权的局部保持投影

在人脸识别中,当人脸表情和光照变化时,仅是人脸图像局部发生了变化,其他部分变化不够明显或者没有变化,所以可以对人脸图像进行划分提取分块局部特征[10～16],本文对分块后的子图像利用LPP分别提取人脸的局部信息特征,并利用训练子图像集中各点的k近邻点的类标信息和样本影响力函数刻画其空间几何特征,引进了有利影响和负面影响的概念,构造各分块特征的权重函数从而增强分类效果.

2.1人脸图像的分割

设人脸数据库的训练样本中有P个人的N张人脸图像,每个人分别有N1,N2,…,NP张图像,每幅图像大小为B×H.我们先将每幅图像分割成K份大小相等且不重叠的子图像,即每幅图像被划分为p行、q列(p和p满足p×q=K),进一步将所有分割后的训练样本第i行,第j列的子图像集中在一起构成一个子图像集,得到K个分离的子图像集,图像的分割过程可以如图1所示.

图1　分割图像的过程

2.2对子图像集进行降维算法

设SPl(l=1,2,…,K)表示第l个子图像集,Xl=[xl1,xl2,…,xlN]表示子图像集SPl里面的N个列向量,其中xli表示第i样本的第l个子块,则子图像集SPl经降维算法得到的投影矩阵lW可以通过式(4)得到:

式(4)的d个最小的非零特征值所对应的特征向量构成投影矩阵Wl=[wl1,wl2,…,wld].

2.3各子图像集权重的计算

设XiK={xi1,xi2,…,xik}为样本xi的k近邻样本集合,若xij(j=1,2,…,k )和样本xi有相同的类标,称xij为xi的k近邻本地样本,否则称xij为xi的k近邻入侵样本.k近邻入侵样本是影响区分不同类的重要因素,它们是使用最近邻分类器时导致分类错误的主要原因.所以考虑所有k近邻本地样本数占所有的k近邻样本数比例大的子图像集赋予大的权重,因为该子图像集在分类过程中不易犯错误[16].

显然,除了考虑子图像集SPl中样本xlj的k近邻本地样本数和k近邻入侵样本数之外,还应考虑它们的分布信息,即考虑与样本xlj的距离.如图2(a),2(b),虽然xlj的五个k近邻点中入侵样本和本地样本的数目相同,但其“距离”不同,所以它们在计算权重中应该存在差异.事实上,如果某个k近邻入侵样本离xlj越近,那么它越容易导致实际上和xlj类别相同的待识别样本分类发生错误.所以,图2(b)的2个入侵样本对xlj的影响较图2(a)小,因为它们导致分类错误的概率较小.

图2　不同分布的k近邻样本

根据以上的分析,我们提出基于k近邻点(KNN)和样本影响力函数(sample influence function)的权函数(KSI).首先定义样本影响力函数:

Slij用来度量第l个子图像集中第i个样本对第j个样本的影响力或者第j个样本对第i个样本的影响力,距离越近,影响力越大. T为控制系数,用于调节影响力和距离的关系,||xli-xlj||′为极差标准化处理后的距离.与样本xlj距离越近的k近邻样本xli,对实际上和xlj类别相同的待识别样本的识别结果的影响越大,所以Slij越大.令HNl表示第l个子图像集中所有的k近邻本地样本对识别结果产生的影响总和,称为有利影响.HNl越大,表明第l个子图像集中k近邻本地样本的分布越好.令Hλl表示第l个子图像集中所有的k近邻入侵样本对识别结果产生的的影响总和,称为负面影响.Hλl越大,表明第l个子图像集中k近邻入侵样本对本地样本的入侵程度越大.很明显,lHN越大,lHλ越小的子图像集赋予的权重应该越大.为此,我们定义第l个子图像集的权重为:

式(6)表示所有k近邻本地样本产生的有利影响lHN占所有k近邻样本的产生的总影响力比例大的子图像赋予大的权重.lHN和lHλ的求解见图3.

图3　HNl和Hλl求解的伪代码

2.4分类

本文利用欧几里德距离作为判定规则,采用3-近邻分类器,其判断规则如下:1) 如果未知样本的三个近邻样本有两个或者两个以上属于同一个类,未知样本归为相应的那一类; 2) 如果三个近邻样本都属于不同的一类,就把未知样本归为最近邻样本所属的类别.分类时,先将人脸分割成K张子图象,然后用3-近邻分类器对未知的子图像分类,令表示人脸图像属于第c类样本的概率.其中,如果第i个子图像属于第c类,,否则.最终的分类结果为:

3　实验结果及分析

本文比较了SpPCA[10]、Aw-SpPCA[11]、Aw-SpLPP[16]、SpLPP、KSI-SpLPP、KSI-SpPCA等算法在AT&T和Yale人脸库的识别性能.其中,KSI-SpLPP、KSI-SpCA是本文提出的分块加权方法(KSI)分别与PCA和LPP相结合的算法,SpLPP是平均加权的分块LPP算法.

3.1AT&T (ORL)人脸库实验结果

AT&T (ORL)人脸库包含40个人的正面图像,每人10幅图像,大小为112×92,图像倾斜变化和旋转变化在20%左右,尺度变化在10%左右,实验中图像裁剪成大小为48×48.图4为AT&T部分人脸图像.

图 4 AT&T (ORL) 数据库上部分人脸图像

首先,我们在AT&T(ORL)人脸库中随机选取每个人5幅图像用于训练,其余的用来测试.本文进行重复实验10次,每次实验结果相互独立,取多次实验的平均值作为算法最终的识别率.实验中,人脸图像分割成6×6大小子块,参数设置为最近邻样本5k=,调节系数800t=,控制系数1T=,并采用PCA算法对分块后的子图像进行预处理,不同算法的实验结果见表1.从表1中看出,与SpLPP、Aw-SpLPP算法相比,KSI-SpLPP算法的识别率都有一定程度的提高,说明了本文提出的权函数的有效性.特别地,KSI-SpPCA算法的识别率分别比SpPCA、Aw-SpPCA提高约1.05%、0.35%,说明该加权方法对分块PCA也是有效的.

表1　不同算法在AT&T人脸数据库上的识别率(%)

表2给出了不同训练样本下不同算法的识别率.从表2中可以看出随着训练样本数的增加,各算法的识别率均有相应的提高.而本文提出的KSI-SpLPP、KSI-SpPCA算法的识别率在不同训练样本下均高于其它算法的识别率.

表2　在AT&T人脸数据库上不同训练样本数下不同算法的识别率(%)

3.2Yale人脸库实验结果

Yale人脸库包括15个人,每人11幅大小为320×243的图像.图像中面部表情、细节、尺度、以及光照都有不同程度的变化,实验中图像裁剪成100×100.图5为Yale上部分人脸图像.

图5　Yale 数据库上部分人脸图像

实验中在Yale人脸库中随机选取每个人的8幅图像训练,其余用来测试.本文进行重复实验10次,每次实验结果相互独立,取多次实验的平均值作为算法最终的识别率.图像分割成20×20大小子块,参数设置为最近邻样本5k=,调节系数800t=,控制系数0.01T=,并采用PCA算法对分块后的子图像进行预处理,不同算法的实验结果见表3.实验表明,我们提出的KSI-SpLPP算法的识别率比SpPCA、Aw-SpPCA、SpLPP、Aw-SpLPP分别提高12%、11.11%、1.33%、0.44%.而KSI-SpPCA的识别率分别比SpPCA、Aw-SpPCA提高约1.56%、0.67%.这说明了本文提出的权函数对姿势、光照和表情等因素变化具有较好的好鲁棒性.Yale数据库不同算法的局部最佳识别率见图6.

表3　Yale 数据库上不同算法识别率(%)

图6　Yale 数据库下不同算法局部最佳识别率(%)

最后,讨论不同算法在不同子图像大小下的识别率,结果见表4.从表4中可见,当分块从25×25变到20×20,大部分算法的识别率有所提高.但是当子图像大小为10×10时,基于特征分块的子空间算法的识别反而降低.其原因主要是太小的子图像不能包含充分有用的信息,分块后的子图像集的流形结构可能受到了破坏.当然子图像的合适大小也跟具体的数据库有关.从表4可以看到,不管分块大小如何,本文提出的KSI-SpLPP算法均具有较高的识别率.特别地,当子图像大小为20×20时,KSI-SpLPP算法达到最高识别率90.22%,优于其他算法.

表4　Yale数据库中不同大小的子图像下不同算法的识别率(%)

4　结论

本文提出了一种加权的分块特征局部保持投影算法,该算法能够有效抽取人脸图像的局部特征,从而加强这些局部特征对识别效果的作用.同时该算法对姿势、光照和表情等变化有较好的好鲁棒性.在实验中我们发现,对同一个数据库,原始图像采取不同的分块方法,获得的最高识别率一般不同,如何寻求最佳的分块方法是我们将来研究的方向.同时,本文提出的算法中涉及到一些参数的选取,如何针对具体的人脸数据,选取最有效的参数,也有待进一步研究.

[1] 章毓晋,等.基于子空间的人脸识别[M].北京:清华大学出版社,2009:14～15

[2] Zhang Daoqiang,Zhou Zhi-Hua,Chen Songcan.Diagonal principal component analysis for face recognition [J].Pattern Recognition,2006,39(1):140～142

[3] Kong Hui,Wang Lei,Teoh Eam Khwang ,et al.Generalized 2D principal component analysis for face image representation and recognition [J].Neural Networks,2005,18(5):585～594

[4] Li Ming,Yuan Baozong.2D-LDA:A statistical linear discriminant analysis for image matrix [J].Pattern Recognition Letters,2005,26(5):527～532

[5] Xiong Huilin,Swamy M.N.S.,Ahmad M.O..Two-dimensional FLD for face recognition [J].Pattern Recognition,2005,38(7):1121～1124

[6] He Xiaofei,Yang Shuicheng,Hu Yuxiao,et al.Face recognition using laplacianfaces[J].IEEE Transactions on Pattern Analysis and Machine Intelligence.2005,27(3):331～332

[7] Yu Weiwei,Teng Xiaolong,Liu Chongqing.Face Recognition Using Discriminant Locality Preserving Projections [J].Image and Vision Computing,2006,24(3):239～248

[8] Yu Xuelian,Wang Xuegang.Uncorrelated Discriminant Locality Preserving Projections [J].IEEE Signal Process.Lett.,2008.15(5):361～364

[9] Hu Haifeng.Orthogonal neighborhood preserving discriminant analysis for face recognition [J].Pattern Recogn,2008,41(6):2045～2054

[10] Chen Songcan,Zhu Yulian.Subpattern-based principle component analysis [J].Pattern Recognition 2004,37(5):1081～1083

[11] Tan Keren,Chen Songcan.Adaptively weighted sub-pattern PCA for face recognition [J].Neurocomputing,2005,64(3):505～511

[12] Geng Xin,Zhou Zhi-Hua.Image region selection and ensemble for face recognition[J].Journal of Computer Science and Technology 2006,21(1):116～125

[13] Vijaya Kumar Kadappagari,Negi Atul.SubXPCA and a generalized feature partitioning approach to principal component analysis[J].Pattern Recognition 2008,41(4):1398～1409

[14] Nanni Loris,Maio Dario.Weighted sub-gabor for face recognition [J].Pattern Recognition Letters,2007,28 (4):487～492

[15] Xue Hui,Zhu Yulian,Chen songcan.Local ridge regression for face recognition [J].Neurocomputing,2009,7(4-6):1342～1346

[16] Wang Jianzhong,Zhang Baoxue,Wang Shuyan,et al.An adaptively weighted sub-pattern locality preserving projection for face recognition [J].Journal of Network computer Applications,2010,33(3):323～332

Locality Preserving Projection for Face Recognition Based on Weighted Sub-patterns

CHEN Yu,CHEN Yin-hui,XU Xiao-hong
(Department of Applied Mathematics,South China Agricultural University,Guangzhou 510642,China)

To enhance the robustness of facial pose,expression and illumination variation,a weighted sub-pattern locality preserving projection algorithm is proposed for face recognition.First,the original whole face images are divided into non-overlapped modular images,which are also called sub-patterns.Then,the locality preserving projection algorithm is directly used to the sub-images obtained from the previous step.And the contribution of each sub-pattern can be computed through the label information of k-neighbor and sample influence function.In face recognition,it is really true of the images that have large variations in facial expression and lighting,by this way,the local feature of the images can be extracted efficiently.To test weighed modular LPP and to evaluate its performance,a series of experiments are performed on two human image databases:Yale and AT&T human databases.The experimental results indicate the effectiveness of weighed modular LPP.

face recognition; locality preserving projection; pattern recognition; feature extraction; label information

TP391.4

A

1672-5298(2015)01-0016-06

2014-12-04

陈 羽(1974- ),男,湖南临湘人,博士,华南农业大学应用数学系讲师.主要研究方向:模式识别,图像处理

徐小红(1975- ),女,湖南宁乡人,博士,华南农业大学应用数学系讲师.主要研究方向:图像处理,模式识别