基于FSIF改进均值漂移LDA的多姿态变化人脸识别

张 浩，吕 真，连卫民，王 硕

(河南牧业经济学院计算机系，河南郑州 450044)

人脸自动识别系统［1－2］通常使用人脸图像来识别特定的身份，已广泛地应用于生物特征认证的人机交互中，如视频监控和访问控制等［3］。学者们曾提出了许多人脸识别方法，最具代表性的有主成分分析(Principal Component Analysis，PCA)［4］、线性成分分析(Linear Discriminant Analysis，LDA)［5］、独立主成分分析(Independent Component Analysis，ICA)［6］等，这些方法在非限制条件下都能取得不错的效果，但是，在处理多姿态变化人脸识别问题时，效果并不是很理想。

为了解决多姿态变化人脸识别问题，学者们相继提出了许多相关的方法，包括基于整体的方法、基于特征(结构化)匹配的方法及混合方法等。例如，文献［7］提出了人脸识别技术的综合状态及当前的二维人脸识别算法，然而，在2D人脸识别中光照变化和姿态变化引起的问题严重影响了识别的效果。文献［8］提出了3D扫描技术来解决多姿态人脸识别问题;文献［9］为3D人脸识别开发了基于PCA的算法;文献［10］和文献［11］提出了一些统计学方法，如Cook的基于混合高斯的闭点迭代算法和Lee的扩展高斯图像模型，此外，基于几何特征、特征曲率驱动、人脸轮廓描述符和使用范围及纹理信息进行特征提取的分层系统等算法都是可用的;文献［12］提出使用PCA、LDA和预测线性判别分析(PDLDA)以整体特征作为降维输入图像进行人脸识别，然而，这些方法并不能对所有的姿态变化人脸图像进行正确的识别。文献［13－14］为多姿态问题提出了基于多特征和人脸图像多特征融合的3D人脸识别方法，在这种情况下，可以使用三种方法从3D人脸图像中提取多特征(最大曲率图像、平均边缘图像、范围图像)，使用权重线性组合构建融合特征，然而，除了文献［14］提出的基于尺度不变特征融合(Fusion of Scale Invariant Features，FSIF)方法以外，其余所有方法均需要使用3D扫描仪/照相机，这是一种非常昂贵的数据采集工具，但是，文献［14］提出的方法需要的处理时间较长。

为了更好地解决多姿态人脸识别问题，提出了一种基于尺度不变特征融合的双阶段分类方法，通过均值漂移线性判别分析(Shifting Mean Linear Discriminant Analysis，SMLDA)［15］和基于人脸描述符的尺度不变特征融合(FSIF)两个阶段的分类解决了由于姿态变化引起的较大的人脸差异、减少了FSIF人脸识别的计算时间，在不降低识别率的条件下，融合有姿态变化人脸图像的尺度不变特征来构建3D人脸图像，利用尺度不变特征转换(SIFT)算法提取尺度不变特征，避免了使用昂贵的3D扫描仪去估计人脸图像中的姿态变化，实验结果验证了所提方法的有效性。

1 多姿态人脸识别

所谓多姿态人脸识别，即每个对象包含多张具有不同姿态且变化较大的人脸图像，从中选取部分人脸用于训练，剩下的用于测试，最后得出正确识别率，也正是所提方法要解决的问题，如图1所示为具有多姿态变化的人脸图像示例，包含了某人的正面照及以不同角度变化的左、右侧照。

图1 具有多姿态变化的人脸图像示例

2 方法提出

提出的人脸识别算法流程图如图2所示，包括2个主要过程:均值漂移线性判别分析(Shifting Mean Linear Discriminative Analysis，SMLDA)处理作为人脸特征分类器的第一阶段;基于快速人脸描述符的尺度不变特征融合(FSIF)作为分类器的第二阶段，称为人脸描述符融合(FFD)处理，仅对由SMLDA确定的前5个候选类别进行分类。

图2 所提方法的整个流程图

第一阶段执行SMLDA过程，主要是为下一阶段确定候选类。首先将训练集ID得分最低的前5个作为候选类，然后，从分类器第一阶段得到5个候选ID，类似于人脸测试图像。

第二阶段分类器试图找到对应于测试图像的最佳ID，主要步骤如下:

1)加载所有人脸图像训练集，与候选ID对应。

2)利用融合人脸描述符从训练集中提取每张人脸图像的 FSIF，表示为［D1，D2，…，D5］。

3)提取人脸测试图像的FSIF，表示为Dq。

4)用Dq与［D1，D2，…，D5］匹配，找到匹配关键点数目，2个描述符(Dq和D1)的匹配关键点数目可由如下程序确定:

最后，由匹配关键点数目来确定验证准则，设定匹配点数目最大的人脸描述符是最有可能的项。

2.1 均值漂移线性判别分析

假设有两类三维数据群，规范化至范围(0～1)，将其扩展为有L个类的n维数据，每个类(第k类)有Nk个样本，则不得不满足费舍尔准则式(1)的最佳投影矩阵(W)可由特征分析逆Sw和Sb来确定，然后选择m个与最大特征值对应的正交特征矩阵(m＜n)

Sw和Sb定义如下

无论对大样本还是小样本数据，LDA算法都能成功进行人脸识别，性能良好且稳定。然而，当有新数据样本进入系统时，它不得不重新训练所有数据样本以得到最佳投影矩阵，由于Sb依赖于全局平均，当有新的数据样本加入到系统中时需要重新计算它的值，也就是说整个训练集需要重新训练。为了避免这个问题并降低计算负载，使用下述均值漂移算法对Sb简化

使用这个简化式，更新的Sb与式(2)中原始值的散布几乎相同，但计算复杂度较低。为了使用式(5)更新Sb，只需要计算θn、μua和μua(μua)T，要求2n2次乘法操作和n2+n次加法操作，而式(2)要求(L+1)n2次乘法操作和(L+1)n2次加法操作。

此外，类内散布，式(3)中的Sw，不依赖于全局平均，可重新定义为下式

得到Nnew=Nold+NL。

将Sb代入LDA特征分析的Sub中，然后选择一些对应于最大特征值的大的特征向量来获得最佳投影矩阵，称为替代LDA投影矩阵(WALDA)，训练数据集和测试数据集的投影特征可由原始LDA使用WALDA执行。

对于匹配过程，基于最近邻规则的欧式距离用于人脸分类，负样本(非训练人脸图像和非人脸图像)用于定义人脸验证的阈值，如果最小得分低于定义的阈值，则输入数据认为是已知的正的ID，否则认为是负人脸图像或未知人脸图像。

2.2 融合人脸描述符

融合人脸描述符是来自选择的姿态变化特征尺度不变特征的一个融合，代表了3D图像信息，在这种情况下，特征从2D人脸图像中提取，因此，为了实现这个想法，要求有一个2D人脸图像集，用以表示3D人脸图像的子样本。首先使用SIFT算法从一些人脸图像中提取不变特征，然后使用相交(∩)和相减操作移除冗余特征，最后使用并操作(∪)将所有非冗余特征融合到一个描述符。

在这种情况下，FSIF是由矩阵表示的二维数据，这样表示的好处是简单，相比真实3D数据所需的内存空间更小，而且，可以包含更多的2D人脸图像去构建描述符，得到的描述符也会更加丰满，如果用于识别的人脸描述符越丰富，获得的识别率越高。

3 实验

所有实验均在PC机上完成，配置为酷睿双核处理器、1.7 GHz主频、2 Gbyte内存，编程环境为MATLAB7.0。

3.1 人脸数据库

为了更好地评估所提方法的性能，使用几个具有挑战性的数据库进行实验，包括ITS－Lab、ORL、CVL、GTAV数据库，其中，ITS－Lab、ORL人脸数据库中每个人的姿态变化较小，而CVL、GTAV人脸数据库中每个人的姿态变化较大，各个数据库的人脸图像示例分别如图3所示。所有训练人脸图像和测试人脸图像大小均重置为128×128像素，整体特征提取前先进行图像拉伸，整体特征大小为第一阶段分类器的每个图像53个元素。

3.2 实验结果

首先，通过执行两组实验评估双阶段分类器的性能，分别在具有较小姿态变化及较大姿态变化的人脸数据库上对其进行了评估。

图3 各个人脸数据库中的人脸图像示例

3.2.1 较小姿态变化性能评估

第一组实验在ITS－Lab和ORL数据库上执行，这两个数据库包含较小的姿态变化人脸图像，但包含大量的数据样本(每个类有至少10个姿态变化)。从这些数据集，选择前3个人脸图像作为训练数据，剩下的作为测试数据，实验结果如表1所示。

表1 所提方法与单阶分类器在有小姿态变化的人脸数据库上性能比较

从表1可以看出，双阶段分类器能显著改善SMLDA方法，且要求的再训练和测试时间与该方法几乎相同，尽管基于FSIF的分类器可以克服多姿态问题，但它比SMLDA+FSIF需要更长的训练和测试时间，意味着双阶段分类器是人脸识别多姿态问题的一个替代解决方案。

3.2.2 较大姿态变化性能评估

第二组实验在CVL和GTAV数据库上执行，CVL和GTAV是2个具有较大姿态变化的人脸数据库，从CVL数据库中选择前3个人脸图像作为训练数据，其余的作为测试数据，从GTAV数据库中选择前5个人脸图像作为训练数据，其余的作为测试数据，实验结果如表2所示。

表2 所提方法与单阶分类器在具有大姿态变化的人脸数据库上性能比较

与表1相同，从表2也可以看出，双阶段分类器可以明显改善SMLDA方法，要求的再训练和测试时间与SMLDA方法基本相同，比FSIF方法耗时更少。

比较表1、表2可知，所提方法中训练的人脸图像越多，人脸描述符会越丰富，获得的识别率就越高。

3.3 比较及分析

为了更好地体现所提方法的优越性，将其与MF+PCA，MF+PCALDA，MFF+PCALDA等3种3D变换算法进行了比较，3D方法基于3D人脸图像的多特征(MF)合并和多特征融合(MFF)，由PCA和PCA+LDA实现。实验在ITS－Lab人脸数据库版本1上执行，该数据库是一个3D人脸数据库，包含40个类，每个类10个脸部姿态变化，这些人脸图像由Konica Minolta 3D照相机系列VIVID 900采集得到，参数设置与文献［8］相同，选择每个类的前5幅图像用于训练，剩下的用于测试。此外，将所提方法与基准的SMLDA方法进行了比较，增加使用前3幅人脸图像作训练集，剩下的用于测试，实验结果如表3所示。

从表3可以看出，所提方法的识别率明显优于其他几种方法，当训练样本数为5时，所提方法取得了100%的识别率，当训练样本数为3时，所提方法识别率高达99.71%，甚至与MFF+PCALDA方法在训练样本数为5的情况下取得的识别率(99.98%)相当。

表3 所提方法与基于3D人脸识别的多特征方法的性能比较

这意味着SMLDA+FSIF是求解多姿态变化人脸识别问题的替代解决方案，且相对于基于3D的人脸识别能有更可靠的成果。尽管FSIF+LDA的识别率与MFF+PCALDA差不多，但是相比几种3D方法，所提方法不需要三个特征向量组成的多特征，也不需要通过昂贵的3D照相机传感器形成特征，在提高识别率的同时，还能大大地节约成本，由此体现了所提方法的优越性。

4 结束语

针对多姿态变化的人脸识别问题，提出了一种基于FSIF的双阶段分类方法，解决了因姿态变化引起的较大的脸部变异，相比几种3D人脸识别方法，所提方法取得了更高的识别率，比基于FSIF方法耗时更少，意味着提出的方法有潜力通过使用2D网络照相机作为人脸图像传感器去实现实时人脸识别。

未来会努力将FSIF可视化成3D图像，考虑开发有影响力的特征来降低计算时间并提高识别率，从而为安全系统实现实时人脸识别。

:

［1］周旭东，陈晓红，陈松灿.半配对半监督场景下的低分辨率人脸识别［J］.计算机研究与发展，2012，49(11):2328－2333.

［2］王科俊，邹国锋.基于子模式的Gabor特征融合的单样本人脸识别［J］.模式识别与人工智能，2013，26(1):50－56.

［3］邓剑勋，熊忠阳，曾代敏.基于EMD的融合特征快速多示例人脸识别算法［J］.四川大学学报:工程科学版，2012，44(2):99－104.

［4］张祥德，张大为，唐青松，等.仿生算法与主成分分析相融合的人脸识别方法［J］.东北大学学报:自然科学版，2009，30(7):972－975.

［5］曹洁，吴迪，李伟.基于鉴别能力分析和LDA－LPP算法的人脸识别［J］.吉林大学学报:工学版，2012，42(6):1527－1531.

［6］柴智，刘正光.应用复小波和独立成分分析的人脸识别［J］.计算机应用，2010，30(7):1863－1866.

［7］严慧，金忠，杨静宇.非负二维主成分分析及在人脸识别中的应用［J］.模式识别与人工智能，2009，22(6):809－814.

［8］宋顶利，杨炳儒，于复兴.关键点匹配三维人脸识别方法［J］.计算机应用研究，2010，27(11):4331－4334.

［9］邹红艳，达飞鹏.基于轮廓线局部描述符的三维人脸识别［J］.计算机应用研究，2013，30(5):1561－1563.

［10］鹿乐，周大可，胡阳明.基于特征分块的三维人脸重建和识别［J］.计算机应用，2012，32(11):3189－3192.

［11］傅俊康.GPU加速的若干3D人脸分析与识别算法［D］.杭州:浙江大学，2011.

［12］IGPS W，UCHIMURA K，HU Z.Improving the PDLDA based face recognition using lighting compensation［EB/OL］.［2013－05－28］.http://dl.acm.org/citation.cfm?id=2040786.

［13］刘帅师，田彦涛，万川.基于Gabor多方向特征融合与分块直方图的人脸表情识别方法［J］.自动化学报，2011，37(12):1455－1463.

［14］WIJAYA I G P S，UCHIMURA K，KOUTAKI G.Multi－pose face recognition using fusion of scale invariant features［C］//Proc.the 2011 2nd International Congress on Computer Applications and Computational Science.Berlin Heidelberg:［s.n.］，2012:207－213.

［15］WIJAYA I G P S，UCHIMURA K，KOUTAKI G，et al.Robust face recognition using wavelet and DCT based lighting normalization，and shifting－mean LDA［EB/OL］.［2013－05－28］.http://www.bibsonomy.org/bibtex/2deba88f676603506aa98c9f15fae20af/dblp.