局部加权平均虚拟样本的多姿态人脸识别算法

张尤赛, 杨 姝

(江苏科技大学 电子信息学院, 江苏 镇江 212003)

目前,人脸识别研究主要集中在正面人脸识别,随着人脸识别技术和应用的发展,多姿态人脸识别开始受到关注．多姿态人脸是由人脸与摄相机之间的角度不确定性所造成的,由于不同姿态下人脸成像出现变形,使得同一人脸图像在不同姿态下的相关性迅速下降,从而给不同姿态下的人脸图像匹配造成困难．多姿态人脸识别主要有两条技术途径:一条途径是由几幅多姿态人脸图像合成一幅正面人脸图像,然后利用一般的人脸识别方法,配合正面人脸图像库进行人脸识别;另一条途径是由图像库中的正面人脸或正面、侧面人脸小样本图像生成若干典型姿态的人脸图像,形成一个多姿态的人脸图像库,再利用一般的人脸识别方法直接进行多姿态人脸识别．前者由于在实际应用中很难一次得到多幅不同姿态的人脸图像,其实用性受到限制,且一幅姿态人脸图像所包含的人脸特征信息不完全,所以仅用一幅姿态人脸图像来生成正面人脸图像,会造成图像的较大失真,从而使得人脸的识别性能降低;后者由于正面人脸图像全面反映了人脸的特征信息,因此在生成多姿态人脸图像时可以较好地保留人脸特征信息,不足的是图像库的多姿态人脸图像生成量较大．文献[1]采用第一条技术途径,利用独立成分和主成分分析法提取不同姿态人脸的特征子空间,然后利用通过训练得到的姿态转换矩阵来合成其相对应的正面人脸图像,该算法可以达到较高的人脸识别率,但需要大量的多姿态人脸,计算复杂度高,可扩展性和实用性受到限制．文献[2-3]采用了第二条技术途径，其中文献[2]提出了一种二元高次多项式函数最小二乘拟合方法,通过变形由正面人脸单视图生成多姿态人脸图像,然后基于该单视图和生成的多姿态图像进行多姿态人脸识别,该方法算法简单,但是人脸的局部信息表达不全面,影响了识别效果；文献[3]以人脸图像的中心垂线为界,两边采用不同的尺度变换,通过压缩一边和扩展另一边的方法来生成多姿态人脸图像,该方法算法简单,但是生成的人脸失真度较大．总体来看,人脸生成算法已成为多姿态人脸识别的技术瓶颈,现有的算法存在的问题主要有:人脸生成精确度不高、人脸合成的计算复杂度高、可扩展性和实用性不强．

文中提出了一种局部加权平均多姿态人脸生成算法,采用局部加权平均算法,用人脸正面单视图生成多姿态人脸图像,构成多姿态人脸样本库;然后利用主成分分析提取人脸特征矢量；最后由经过训练的支持向量机(support vector machine, SVM)来完成多姿态的人脸识别．局部加权平均算法利用人脸局部特征点的映射函数集的加权平均来生成人脸像素的形变函数,每个人脸像素的形变函数都不相同,充分考虑了人脸的局部信息特征,所生成的多姿态人脸精确度高,并具有计算复杂度低和扩展性好的优点．为了验证该算法的性能,将局部加权平均算法生成的多姿态人脸与ORL人脸库的多姿态人脸进行了相似度实验对比分析,证明了该算法比参考文献[2]的算法具有更高的精确度．最后,通过多姿态人脸识别的实验,证明了本文方法要比基于正面单视图的人脸识别方法具有更高的人脸识别率．

1 局部加权平均多姿态人脸生成算法

1.1 基本原理

多姿态人脸生成可以看成正面人脸图像的非线性几何形变问题．由于人脸的器官分布的相似性以及明显的结构特征和丰富的局部特征点,所以完全可以利用这种相似性和结构特征来建立不同姿态下人脸的几何形变函数,以生成多姿态的人脸图像．

据此,提出了一种基于多项式拟合的局部加权平均多姿态人脸生成算法．其基本原理是针对所选取的一组人脸局部特征点集,分别对每一个特征点利用多项式拟合的方法,得到人脸不同姿态下相对应的特征点之间的映射函数,从而构造出一组特征点的映射函数集．人脸图像每个像素的形变函数则采用对函数集中映射函数加权平均的方法来确定,即依据像素与各个特征点距离的归一化函数得到一组权值,并用这组权值对相应的特征点映射函数进行加权平均,形成该像素的形变函数．在利用多项式拟合不同姿态下特征点的映射函数时,利用该特征点及其相邻的多个特征点,通过最小二乘法求得相应的多项式．

1.2 数学描述

1.2.1 映射函数集

设正面人脸图像上的像素点坐标为(x,y),调整姿态后的虚拟图像相对应像素点的坐标为(X,Y);正面人脸上的特征点集为{(xi,yi),i=0,2,…,N-1},其所对应的映射函数集为{Xi=fi(x,y),Yi=gi(x,y),i=0,2,…,N-1}．从多项式的拟合精度和计算量综合考虑,这里选取二元二次多项式来拟合映射函数．

设特征点(xi,yi)所对应的映射函数为:

(1)

式中:ajk,bjk为待定系数,至少需要n≥6个特征点才能确定．因此,除了特征点(xi,yi)以外,为使多项式体现局部特性,可选取与(xi,yi)相邻的其它n-1个特征点共同确定多项式系数．这里采用最小二乘方准则求解,为了使映射函数的拟合误差平方和ε最小,即

(2)

(3)

解此方程组可得待定系数ajk,bjk,将其代入式(1)即可得到特征点(xi,yi)的映射函数．对所有特征点重复上述步骤即可构成映射函数集．

1.2.2 形变函数

在人脸任意像素的形变函数中,为了体现像素及相邻特征点的局部特性,采用该像素(x,y)与特征点(xi,yi)的欧氏距离的归一化函数作为映射函数fi(x,y)，gi(x,y)的加权值Wi(x,y)[4],如式(4)所示,即距离像素较近的特征点的映射函数对该像素形变函数的贡献值较大,反之则较小．

(4)

式中:Rn是像素(x,y)与相邻的n个特征点(xi,yi)中最远的特征点的距离值．式(4)保证了非相邻的特征点(R>1)对像素的形变函数没有影响．利用Wi(x,y)对映射函数集作加权平均,可以得到像素(x,y)的形变函数:

(5)

按照式(5)对正面人脸图像每一像素点进行形变,可以得到虚拟姿态图像的坐标位置(X,Y),然后将正面人脸图像的像素与坐标(X,Y)配对,即完成了从正面人脸图像到虚拟姿态人脸图像的变形过程．

2 多姿态人脸的特征提取算法

采用主成分分析法提取多姿态人脸图像的特征[5-7]．设某人脸共有K幅多姿态图像,每幅图像的行、列数为M，N．将每幅图像的像素按列相联构成L(=M×N)维列矢量Fi(i=1,2,…,K),将其表示为矩阵形式F=[F1,F2,…FK]L×K．构造矩阵(F-μ)的外积St′:

(6)

(7)

由于能量主要集中在特征值λi大的系数中,所以可以对特征值从大到小进行排序,取前m个特征值对应的特征矢量Wm∈RL×m,将人脸图像Fi向其投影,得到主成分:

(8)

主成分Gi可以作为人脸图像Fi的m维特征矢量,用于人脸识别．经过主成分分析,人脸图像Fi从L(=M×N)维被降低到m维,引入的均方误差为:

(9)

3 多姿态人脸的分类识别算法

由于支持向量机本身是一种处理二类问题的方法[8-9],因此对于N类多姿态人脸,构建了一个由N(N-1)/2个SVM构成的分类器[10],将主成分分析提取的已知人脸特征矢量Gi作为该分类器的输入矢量,完成SVM的学习训练．然后,针对待识别人脸图像的特征矢量G,采用一对一分类算法作投票判决,最终以类别得票的多寡来判别G的属类．该分类器的本质是构造一个最优超平面集,使所有人脸特征矢量G均能被该超平面集正确划分,并使不同人脸之间的分类距离最大．将构造最优超平面的问题归结为在约束条件下求解二次规划问题,则最优分类函数为:

(10)

式中:sgn(·)为符号函数；exp(-γ‖·‖2)为SVM的径向基核函数；γ为核参数；G为待识别的人脸特征矢量；αi为在约束条件下求最优值引入的拉格朗日乘数；yi∈{-1,1}为类标签；b为设超平面方程时产生的参数,可由距离超平面最近的样本确定其数值．

4 实验结果分析

为了验证所提出算法的性能,利用标准ORL人脸数据库[11],进行了局部加权平均多姿态人脸生成算法和基于该算法的多姿态人脸识别实验,并分别将上述2类实验与参考文献[2]算法和正面人脸识别的结果进行了比较．ORL人脸数据库共有40个人脸图像,每个人脸由10幅具有不同姿态、表情和光照的112×92图像组成,共计400幅图像．

4.1 多姿态人脸生成实验

实验以ORL人脸数据库的40个人脸的正面图像为基础,利用所提出的局部加权平均多姿态人脸生成算法,分别生成右偏15°和右偏30°的人脸图像,并根据人脸的对称性,采用镜像的方法得到左偏15°和左偏30°的人脸图像,共计生成了(40个人脸,4个姿态)160幅虚拟人脸图像．图1分别给出了ORL人脸库中8个代表性的人脸以及文中算法和参考文献[2]算法生成人脸的对比图,其中图1a)为ORL人脸库的正面、左偏15°和左偏30°的人脸图像,图1b)，c)分别为文中算法和参考文献[2]算法所生成的左偏15°和左偏30°的人脸图像．表1分别给出了本文算法和参考文献[2]算法生成的姿态人脸图像相对ORL图像库人脸图像的峰值信噪比．

a) ORL人脸库图像

b)本文算法图像

c)文献[2]图像

图1ORL库人脸与本文算法和参考文献[2]生成的多姿态人脸比较
Fig.1ContrastbetweenfacesinORLandgeneratingmulti-posefaces

表1 生成的姿态人脸图像相对ORL库人脸图像的峰值信噪比Table 1 Peak value SNR of generating multi-pose faces relative to original faces in ORL

由图1可见,文献[2]算法生成的姿态人脸的五官和边缘部分变形较大;文中算法生成的人脸变形较小,视觉效果更好．表1中的数据表明,无论是生成小姿态和大姿态的人脸,文中算法所生成的人脸比文献[2]算法生成人脸都有更高的峰值信噪比,因此与ORL人脸库的原始姿态人脸具有更高的相似度和更好的拟合效果,进而在SVM的训练和识别过程中,可以使SVM达到更高的人脸识别率．

在算法的计算量方面,文献[2]利用全局特征点集最小二乘法的方法来获得每个像素的形变函数．而文中算法则采用局部相邻特征点映射函数加权平均的方法来获得每个像素的形变函数．因此,与文献[2]算法相比,文中算法在生成形变函数时多了加权平均的步骤,计算量比文献[2]算法略大．从提高多姿态人脸图像生成精度的效果来看,文中算法所增加的计算量是值得的．表2给出了上述2种算法生成图1所示多姿态人脸图像所需的时间数据．

表2 生成多姿态人脸图像所需的时间Table 2 Time of generating multi-pose faces

4.2 多姿态人脸的识别实验

为了检验多姿态人脸的识别性能,分别进行了两组实验．第一组实验从ORL人脸数据库的40个人脸中选取正面图像,利用文中提出的局部加权平均人脸生成算法分别生成左偏15°,30°和右偏15°,30°的4幅人脸图,并与正面人脸图像一起构成一个多姿态人脸图像库,共计40类40×(1+4)=200幅个人脸图像,作为SVM的训练样本;另外再从ORL人脸库每类人脸中任意选取除正面以外的5幅多姿态的人脸图像,共计40×5=200幅人脸图像作为SVM的测试样本,进行人脸识别实验．第二组实验仅将正面人脸作为训练样本,并采用与第一组实验相同的测试集,目的是便于与第一组实验结果进行对比．在两组实验中均采用PCA提取人脸图像的20维主成分构成人脸特征矢量,用于SVM的训练和识别．实验结果显示,第一组实验的人脸平均识别率为62.9%,第二组实验的人脸平均识别率为44.5%,即利用文中算法的多姿态人脸识别率要比仅基于正面人脸的多姿态人脸识别率提高了18.4%．

综上,可以将本文提出的算法优点归纳如下:

1)多姿态人脸生成精度高．采用局部加权平均算法来拟合姿态人脸,使得每个像素的形变函数由与其相邻的特征点的映射函数及其距离的加权来决定,一方面保证了形变函数的局部特征,避免了不同的局部几何差异扩展到整幅图像中,另一方面保证了距离较近的特征点对形变函数的贡献值比距离较远的特征点的贡献值更大,而非相邻的特征点对形变函数无影响,从而更精确地表达了人脸图像上的局部特征信息．

2)实用性和可扩展性强．由于采用基于正面人脸的多姿态人脸生成方法,因此只要得到正面人脸图像,就可以通过生成多姿态人脸,扩充人脸训练样本集,并通过SVM的学习训练,应用到多姿态的人脸识别中以提高识别率．

3)良好的人脸识别效果．用文中算法扩充了训练样本库,使得测试人脸姿态变化时,仍然能得到较好的识别率,比仅仅用正面人脸作训练样本的识别率得到了较大的提高．在人脸姿态变化更多、更大的情况下效果更加明显．

5 结论

在采用学习训练型的人脸识别算法的情况下,人脸识别率的高低与每个人脸的训练样本数成正相关的关系[12]．文中提出的局部加权平均多姿态人脸生成算法,通过将正面单样本的人脸识别问题转化为扩大训练样本集问题,即转化为每人有多个训练样本情况下的人脸识别问题,从而达到多姿态人脸识别的目的．该方法对姿态变化敏感性较小,能在只拥有少量正面训练样本甚至单样本的情况下对多姿态的人脸进行识别,因而在实际应用中具有良好的适应性．

在实际中,影响人脸图像特征的因素很多,除了姿态变化外,还有光照、表情、覆盖物、化妆、年龄变化等．由于训练样本与测试样本的一致性越高,其识别率也相应越高,因此在多姿态人脸识别中,如何生成高质量的多姿态人脸以及克服光照、表情、覆盖物和年龄等因素的影响是未来人脸识别研究的一个重要方向．

参考文献(References)

[1] 孙志远, 吴小俊, 王士同,等.基于多姿态人脸图像合成的识别方法研究[J].计算机工程与应用, 2008, 44(23): 197-200.

Sun Zhiyuan,Wu Xiaojun,Wang Shitong.Face recognition based on synthesis of face images with pose variations[J].ComputerEngineeringandApplications, 2008, 44(23): 197-200.(in Chinese)

[2] 朱长仁, 王润生.基于单视图的多姿态人脸识别算法[J].计算机学报, 2003, 26(1): 1-6.

Zhu Changren,Wang Runsheng.Multi-pose face recognition based on a single view[J].ChineseJournalofComputers, 2003, 26(1): 1-6.(in Chinese)

[3] 张生亮.单样本多姿态人脸识别研究[J].计算机应用, 2006, 26(12): 2851-2853.

Zhang Shengliang.Various pose face recognition with one front training sample[J].JournalofComputerApplications, 2006, 26(12): 2851-2853.(in Chinese)

[4] Goshtasby A.Image registration by local approximation methods[J].ImageandVisionComputing,1988, 6(4): 255-261.

[5] Lee Byung-Gook, Liliana, Shin Dong-Hak, et al.Enhanced computational integral imaging system for partially occluded 3D objects using occlusion removal technique and recursive PCA reconstruction[J].OpticsCommunications, 2010, 283(10): 2084-2091.

[6] 王宏漫, 欧宗瑛.采用PCA/ICA特征和SVM分类的人脸识别[J].计算机辅助设计与图形学学报, 2003, 15(4): 416-420.

Wang Hongman, Ou Zongying.Face recognition based on features by PCA/ICA and classification with SVM[J].JournalofComputerAidedDesign&ComputerGraphics, 2003, 15(4): 416-420.(in Chinese)

[7] 范燕,吴小俊,祁云嵩,等.基于结构化Fisherface的人脸识 别新方法[J].江苏科技大学学报:自然科学版,2007,21(5):69-72.

Fan Yan,Wu Xiaojun,Qi Yunsong,et al.Novel face recognition based on structurized fisherface[J].JournalofJiangsuUniversityofScienceandTechnology:NaturalScienceEdition, 2007,21(5):69-72.(in Chinese)

[8] Zhou Xiaofei, Jiang Wenhan, Tian Yingjie,et al.Kernel subclass convex hull sample selection method for SVM on face recognition[J].Neurocomputing, 2010, 73(10/12): 2234-2246.

[9] 王卫东,郑宇杰,杨静宇.智能分类器方法[J].江苏科技大学学报:自然科学版,2007,21(1):42-47.

Wang Weidong,Zheng Yujie,Yang Jingyu.Intelligence classifier method[J].JournalofJiangsuUniversityofScienceandTechnology:NaturalScienceEdition, 2007,21(1):42-47.(in Chinese)

[10] 李晓东, 费树岷, 张涛.基于奇异值特征和支持向量机的人脸识别[J].东南大学学报:自然科学版, 2008, 38(6): 981-985.

Li Xiaodong Fei Shumin, Zhang Tao.Face recognition based on singular value feature and support vector machines[J].JournalofSoutheastUniversity:NaturalScienceEdition, 2008, 38(6): 981-985.(in Chinese)

[11] AT&T Laboratories Cambridge.The orl database of faces [EB/OL].[2010-08-15].http://www.cl.cam.ac.uk/research/dtg/attarchive:pub/data/att_faces.zip.

[12] 张生亮, 陈伏兵, 杨静宇.对单训练样本的人脸识别问题的研究[J].计算机科学, 2006, 33(2): 225-229.

Zhang Shengliang, Chen Fubing, Yang Jingyu.Some researches for face recognition with one training image per person[J].ComputerScience, 2006, 33(2): 225-229.(in Chinese)