图像特征融合在人脸识别中的应用研究

王正友

(上海出版印刷高等专科学校，上海 200093)

责任编辑:任健男

人脸识别技术起始于20世纪60年代后期，经过40多年的飞速发展，人脸识别技术在安全验证系统、医学、档案管理系统、人机交互系统、公安工作、视频会议和图像检索等领域广泛应用，已经成为计算机视觉和模式识别领域的一个研究热点［1］。

人脸识别的关键是特征提取［2］，特征提取的结果被用于识别人脸，例如主成分分析(PCA)［3］。PCA的主要思想是降维，使得图像的维数等于或小于使用训练集的数量，根据图像子空间上的最佳效果来寻求特征向量，这些向量特征就是众所周知的“特征脸”。当转化成不同的子空间时，PCA所产生的位置和形状数据都会发生改变。线性判别分析(LDA)［4］是一种特征提取方法，通过它可以获得某类的数据集及其数据集中的各个类间距，LDA不改变数据集本身，而是提供一个单独的类。然而，PCA和LDA都有缺点，得到的提取结果只是一个全局结构，事实上，局部结构对描述一个物体，例如局部保持投影(LPP)［5］和正交拉普拉斯脸(OLF)［6］方法也很重要。

基于上述分析，本文提出了一种新方法来选择和融合提取出的特征，即全局与局部特征融合方法，首先将这些特征按降序排列，然后从最占主导地位到最不占主导地位的特征进行融合，既包含了全局结构，又包含了局部结构，在一定程度上提高了人脸识别率。

1 算法设计与分析

GLFS方法分为两个过程，一个是训练过程，一个是测试过程。在训练过程中，训练集被PCA，LDA和局部保持投影(LPP)方法提取。特征提取的结果被用来预计和选择［7］。然而测试过程中，测试集被投影在每个训练集的投影结果上，并在训练集选择中，根据结果的数量来进行选择。同样地，测试集的特征可以通过特征选择的再融合来实现［8］。

1.1 基于主成分分析的特征提取

卡洛［9］是一种把高维数据投射到低维的线性技术，称为主成分分析(PCA)。如果图像维数用n(图像矩阵的行数乘以列数)表示，所使用训练集数用m表示，当m≪n这种情况时，那么它可表示为

所有的训练集的平均值可以写成

基于面部图像平均值矩阵协方差，可表示为

方程(3)的特征值和特征向量表示为

式(4)的结果有m维，其中m≪n，得到最小降维的数目是(n－m)个。

1.2 基于线性判别分析的特征提取

线性判别分析(LDA)是PCA过程的改进，LDA被用来最大化类间差异率和最小化类内比，从而得到最大的类间比和最小的类内比，特征提取更好。LDA比率的差异可表示为

LDA的特征值和特征向量可表示为

1.3 基于局部保持投影的特征提取

PCA和LDA旨在保持全局结构。然而，在实际应用中，局部结构更加重要。局部保持投影(LPP)对于局部结构学习来说是一种新的方法，局部结构特征比全局结构特征更加重要。LPP［10］旨在保持数据的内在几何和局部结构。LPP的目标函数可以表示为

式中:W是相似矩阵，可表示为

式中:aTXDXTa=1。可通过使用下面的公式配制最小化目标函数的特征值和特征向量

1.4 特征选择及融合

特征提取结果的融合通常在外表全局结构上进行，事实上，局部结构对描述一个对象非常重要。本文提出了一个基于面部的特征选择与融合全局和局部结构的方法，具有全局结构的外表特征提取是由PCA和LDA来完成的，然而局部结构的提取是由LPP来完成的。对于PCA，LDA和LPP，特征提取的结果分别可用下面的等式表示

如图1所示，如果为每个特征提取方法提取特征的数目是m，而特征选择的的数目是S，并且S≤m，那么PCA+LDA+LPP特征融合的数目可以用3S表示。特征融合的结果可写成下面的矩阵

图1 特征融合过程

为了简化计算，式(16)可被写作如下的行向量

式(17)是PCA，LDA作为全局结构和LPP作为局部结构的融合特征。

1.5 识别

要确定分类结果，基于特征融合的相似度测量是必要的，它可以写成

识别百分率结果可以用真正的识别结果数除以测试集数目计算出来，可写成

整个算法过程如图2所示。

图2 算法过程

2 实验结果及其分析

2.1 ORL 人脸库

ORL人脸库共有40个人的400张图片，每人10张，其中有些图像拍摄于不同时期，人的脸部表情和脸部细节有着不同程度的变化，比如笑或者不笑、眼睛或睁或闭、戴或不戴眼镜，人脸姿态也有相当程度的变化，深度旋转和平面旋转可达20°，人脸尺度也有多达10%的变化，图3所示为ORL人脸库中某人的10张人脸图像。

图3 ORL人脸库中某人的10张人脸图像

为了比较实验结果，执行3套方案:第1套方案，使用的训练集的数量由每个人的5组姿势构成，其余5组姿势构成测试集;第2套方案，训练集的数目由每个人的6组姿势构成，其余4组姿势构成测试集;第3套方案，训练集的数目由每个人的7组姿势构成，其余3组姿势构成测试集，PCA能量选取95%。每种方案的最高识别率如表1所示。

表1 各个方案在ORL上最优识别率比较

从表1中可以看到，随着训练样本数的增加，识别率呈上升的趋势。

2.2 Yale人脸库

Yale人脸库包含了15个人的165张人脸，每人11张，包括了不同光照条件(灯光往左照射、往右照射、往中间照射)，不同的面部表情(正常的、开心的、沮丧的、睡着的、惊讶的以及眨眼的)，不同场景的(戴眼镜的和不戴眼镜的)，如图4所示为Yale人脸库中一个人的11幅具有不同特征的人脸图像。

图4 Yale人脸库中某人的11张人脸图像

与ORL上的实验相同，为了比较实验结果，同样执行3套方案:第1套方案，使用的训练集的数量由每个人的6组姿势构成，其余5组姿势构成测试集;第2套方案，训练集的数目由每个人的7组姿势构成，其余4组姿势构成测试集;第3套方案，训练集的数目由每个人的8组姿势构成，其余3组姿势构成测试集，PCA能量选取95%。每种方案的最高识别率如表2所示。

表2 各个方案在Yale上最优识别率比较

从表2中同样可以看出，随着训练样本数的增加，识别率呈上升的趋势。

2.3 比较与分析

将本文方法与PCA［3］，LDA［4］，LPP［5］，OLF［6］，GCFF［7］，MKLF［8］方法相同情况下在 ORL 及 Yale 上的最优识别率进行了比较，其中，GCFF，MKLF是最近学者们提出的两种比较新颖的特征融合方法。比较结果如表3、表4所示。

表3 各方法在ORL上的最优识别率比较

表4 各方法在Yale上的最优识别率比较

通过表3、表4可以看出，本文方法的在ORL及Yale上的识别率明显比其他方法高，因为本文方法考虑了全局结构，又考虑了局部结构，由此再次验证了不管是全局结构，还是局部结构，在特征提取过程中都是很重要的。结合表1、表2还可以看出，识别率百分比在高维有稳定的趋势，而在低维有上升的趋势。由于大量的主导特征没有作为相似性的测量，一些错误会发生在使用少量的特征。可以证明，当用来衡量相似性的特征增加时，识别率百分比也增加了。

3 总结

本文对基于图像的特征提取问题进行了研究，采用全局与局部特征融合的方法，将PCA和LDA的提取结果融合到LPP中，在ORL及其FERET两大人脸数据库上进行了实验，证明了本文所提方法的优越性。特征融合方法的引用，提高了单样本的识别率，但在训练阶段需要一次运行多种不同的方法，必然会带来额外的计算开销，所以，在提高识别率的同时，提高识别效率，并且找到一个更好的融合方案，将是进一步研究的重点。

［1］KIM T，KITTLER J.Locally linear discriminant analysis for multi modally distributed classes for face recognition with a single model image［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(3):318－327.

［2］WANG X，TANG X.Random sampling for subspace face recognition［J］.International Journal of Computer Vision，2006，70(1):91－104.

［3］YAN S，LIU J，TANG X，et al.A parameter－free framework for general supervised subspace learning［J］.IEEE Transactions on Information Forensics and Security，2007，2(1):69－76.

［4］LI B，HUANG D S，WANG C，et al.Feature extraction using constrained maximum variance mapping［J］.Pattern Recognition，2008，41(11):3287－3294.

［5］XIE Z，LIU G，FANG Z.Face recognition based on combination of human perception and local binary pattern［J］.Lecture Notes in Computer Science，2012，72(2):365－373.

［6］WANG R，SHAN S，CHEN X，et al.Manifold－manifold distance and its application to face recognition with image sets［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，21(10):4466－4479.

［7］OU Fan，HAN Zhaocui，LIU Chong，et al.Face verification with feature fusion of Gabor based and curvelet based representations［J］.Multimedia Tools and Applications，2012，57(3):549－563.

［8］YEH Y，LIN T，CHUNG Y，et al.A novel multiple kernel learning framework for heterogeneous feature fusion and variable selection［J］.IEEE Transactions on Multimedia，2012，14(3):563－574.

［9］张爱华，尉宇.基于混沌粒子群的决策树SVM的调制模式识别［J］.电视技术，2012，36(23):126－129.

［10］刘翠响，肖伶俐.基于连续均值量化变换的人脸检测算法［J］.电视技术，2013，37(1):154－156.