基于自适应3DLBP特征的人脸深度图像识别

袁 理，陈庆虎

(1.武汉纺织大学 电子与电气工程学院，湖北 武汉430073;2.武汉大学 电子信息学院，湖北 武汉430079)

责任编辑:时 雯

近年来，心理学与模式识别的相关研究表明，人类视觉系统在理解和识别物体时，使用了大量的基于视觉的深度信息[1-2]。因此，对于复杂环境下的人脸识别而言，可以从人脸的深度信息出发，研究基于深度图像的人脸识别系统，从而克服二维人脸识别系统对姿态、表情和光照变化较为敏感的问题。但值得注意的是，在应用统计方法解决人脸深度图像的识别问题时，都是针对特定的训练样本集设计特征提取算法[3-7]，而这些特征提取算法一旦设计好后，就再也不会有任何改进。因此会导致特征提取算法的普适性较差，即在由训练集中的样本扩展到非训练集时，算法的有效性和稳定性会显著下降，并最终影响识别系统的性能。

本文针对特征提取算法的普适性问题展开研究，首次将反馈学习理论与3DLBP特征提取过程相结合，提出了一种自适应性的3DLBP特征提取算法。实验结果表明，利用自适应3DLBP特征提取算法获取的人脸深度图像特征对训练样本集的变化具有较好的有效性和稳定性，在FRGCv2.0人脸数据库上取得了理想的识别性能。

1 机器学习理论与特征提取算法

1.1 机器学习理论

机器学习就是要使计算机能模拟人类的学习行为，通过主动的学习来获取知识和技能，并不断改善其性能，最终实现自我完善。目前，在机器学习研究领域中被普遍接受和认同的一个观点是:学习应该是系统运行过程中的某种改进。而这种改进使得系统在进行重复或类似的工作时，能够具有更好的性能[8]。

对于特征提取而言，机器学习系统应遵循学习的增量性以及学习的自适应性标准[9]。其中，自适应性体现了反馈的观点，即学习结果反作用于学习过程。因此，对低质量的训练具有理想的鲁棒性，能够使学习过程向平衡状态发展。

1.2 自适应特征提取算法

自适应特征提取算法是将反馈学习理论与统计学习过程相结合，即在特征的提取过程中，利用测试样本对算法的关键参数进行不断的修正和优化，从而提高特征提取算法的普适性。以经典的Fisherface特征提取算法为例进行分析。首先通过对训练样本集的学习可以获得一组最佳鉴别矢量集;系统将该鉴别矢量集作为初始知识并对测试样本进行特征提取和分类识别;当第一次分类结束后，并不立刻对结果进行判断和输出，而是利用该分类结果对鉴别矢量集进行动态优化，具体过程如图1所示。

图1 具有学习功能的Fisherface方法

该特征提取算法的主要特点是:利用训练样本获得的鉴别矢量集仅作为系统的初始知识;而将优化鉴别矢量集的过程视为系统的学习功能。但是，在上述学习过程中尚存有明显不足，即对错分类样本的学习会引起鉴别矢量集出现较大的偏差和不稳定。针对该问题，本文进一步提出采用多分类器来提高预分类的正确率，从而尽量避免系统对错分样本的学习。因此，自适应特征提取过程如图2所示。

图2 基于多分类器的特征提取过程

2 自适应3DLBP特征的提取

2.1 人脸深度图像的获取

人脸深度图像不同于普通的二维纹理图像。在深度图像中，像素值代表了一个相对的深度信息。因此，每个像素都包含了三维坐标系下各个坐标值的空间信息。人脸深度图像数据反映了人脸表面的三维信息，获取过程具体包括:

1)获取3D人脸数据

3D人脸数据既可以通过各种三维扫描设备主动获取，也可以通过三维重建的方法间接获取。本文所使用的3D人脸数据主要来自于FRGCv2.0[10]人脸数据库。

2)3D人脸数据的方位归一化

获取的3D人脸数据可以具有不同的尺寸、位置和方向，由于人脸深度图像反映了人脸表面在三维坐标系下的空间信息，所以在提取深度图像之前需要将3D人脸数据置于一个标准的坐标系中，即方位归一化。方位归一化一般包括以下过程:旋转归一化、平移归一化和尺度归一化等处理[11]。

3)基于正交投影的人脸深度图像

将3D人脸数据投影为平面图像的方法有很多。其中，最具代表性的是基于正交投影的处理方法。该方法首先计算3D人脸模型的最小包围立方体，如图3所示。然后，将立方体的深度空间均分为256个像素单元，即像素灰度级别为0～255;最后选取与Z轴垂直的平面为坐标面进行投影，投影的基本原则是:距离坐标面越远像素灰度越大，颜色越深。

图3 不同视角下的最小包围立方体

2.2 自适应3DLBP特征

对于获取的人脸深度图像而言，由于其本身已经包含有完整的人脸空间结构信息，且对光照变化具有稳定性。因此，本文提出直接利用3DLBP算子[11]对人脸深度图像进行特征提取。同时，将3DLBP特征图谱划分成多个不重叠的区域从而保留其空间结构信息;最后，提取区域直方图并连接成完整的直方图序列，作为该对象的3DLBP特征表示。当采用(8，2)邻域算子时的处理结果如图4所示。

图4 3DLBP特征图谱及区域划分

加入空间信息后的直方图，即为区域3DLBP直方图(Regional 3DLBP Histogram，R3DLBPH)。当3DLBP特征图谱的灰度级范围为[0，L-1]时，R3DLBPH直方图定义为

其中，

式中:i=0，…，m-1，j=0，…，L-1。将所有R3DLBPH直方图连接成一个直方图序列作为人脸的3DLBP直方图特征表示，即

然而，提取的3DLBP直方图特征维数非常高，且含有大量的冗余信息。为了能够在低维空间中表示3DLBP直方图特征，本文提出一种基于集成分段FDA(Ensemble of Piecewise FDA，EPFDA)的自适应处理方法。该处理方法不仅能够较好地融合直方图序列的全局与局部特征，并且还能够针对测试样本进行动态调整，使特征提取过程具有自适应性。因此，自适应3DLBP特征提取过程如图5所示。

图5 自适应3DLBP特征提取过程

3DLBP直方图特征是由所有R3DLBPH直方图连接成一个直方图序列，在对3DLBP图谱的划分过程中，可以保留特征图谱的局部空间信息。直方图特征的集成分段就是将全局与局部特征相互融合，即将3DLBP直方图特征进行分段，对不同的集成分段直方图分别进行特征提取。因此，式(3)可表示为

式中:n=c×j为R2DHaarLBPH数量;L为3DLBP图谱中箱格的数量;p=0，1，…，n-1。将n个R3DLBPH分成K个片段，所以3DLBP直方图特征可表示为

式中:Gq为第q个包含特定数量(nq)R3DLBPH的特征片段。对每个特征片段Gq建立FDA模型，将其变换到第q个判别子空间的低维表示Fq，即

3 实验结果及其分析

3.1 实验数据库介绍

FRGCv2.0人脸数据库包含有不同对象在不同表情和光照条件下的二维人脸图像与三维结构数据。其中，三维结构数据采用结构光三维扫描仪在受控环境下进行拍摄。获取的人脸深度数据为三维点云数据，而与之配准的彩色图像分辨率为640×480。

本文采用其中275位对象的943个样本(每个样本包括深度数据和与之配准的彩色图像)作为实验样本。同时，对三维人脸数据进行姿态矫正、平滑、切割等预处理，并最终生成150×130像素的深度图像。预处理后的部分人脸深度图像如图6所示。

图6 预处理后的人脸深度图像示例

在该实验数据库中，不同对象所包含的样本数量并不完全相同，具体分布情况如表1所示。本文取出86位对象的529个样本数据用于实验(每位对象的样本数不少于5个)。

表1 不同对象所包含的样本数量

3.2 算法性能比较分析

大量文献和实验结果[12-13]均表明像素邻域(P，R)对基于LBP算子的识别方法有直接影响，在相同实验条件下，(8，2)邻域比(8，1)邻域的效果要好。因此，本文采用圆形的(8，2)邻域提取3DLBP直方图特征;对150×130像素的人脸深度图像进行3DLBP特征提取后，大小为146×126像素。每位对象随机取3幅图像用于训练，其他图像用于测试，即训练集样本数为258，测试集样本数为271。实验采用等错误率(EER)作为算法性能的评价指标，并取5次运行结果的平均值作为最后的等错误率(等错误率越低，算法性能越好)。

3.2.1 实验1:基于自适应3DLBP特征的性能比较测试

本实验重点分析自适应3DLBP特征与3DLBP特征在分类识别测试中的性能差异。先将人脸特征图谱分成2×2个大小相同的区域，即EP=4;然后，再将每个区域分成分成k×k(k=7，9，…，21)个大小相同的不重叠区域，并分别提取自适应3DLBP(Adaptive 3DLBP)特征与3DLBP特征。自适应3DLBP特征提取算法的关键步骤是对测试样本进行学习，即在第一次分类识别后，将训练样本与测试样本一起构成新的训练样本，完成对鉴别矢量集的优化与自适应学习。其中，对测试样本的正确分类将直接影响整个算法的稳定性和有效性。本实验利用最小距离和最近邻分类器对测试样本进行分类识别，并将具有相同分类结果的测试样本与原训练样本一起构成新的训练样本集，实现对鉴别矢量集的动态优化，实验结果如图7所示。

图7 基于自适应3DLBP与3DLBP特征的识别结果

通过图7可以看出利用自适应3DLBP特征提取算法可以在一定程度上改善特征的可鉴别性，但是这种改变并不明显，对于最低等错误率甚至略微上升。究其原因，是在利用两分类器对测试样本进行分类学习的过程中，对错误分类样本的学习导致了自适应3DLBP特征鉴别矢量集出现偏差，影响了后续的性能表现。

同时，值得注意的是随着k值的增大，两种特征的等错误率均有所上升。本实验同样尝试了将3DLBP标记图像分成不同数量的区域，但其效果都不如EP=4时的实验结果。当EP=4时，基于两种特征的最低等错误率及相应的区域划分k如表2所示。

表2 基于3DLBP与自适应3DLBP特征的最低等错误率

3.2.2 实验2:基于少量训练样本集的性能比较测试

自适应特征提取算法的最大特点在于特征提取过程中的自适应学习和动态优化调整。为了验证这一特性，本实验对训练样本集进行调整。每人随机取2幅图像用于训练，其他图像用于测试，即训练集样本数为172，测试集样本数为357。利用自适应3DLBP与3DLBP特征分别进行分类识别。在EP=4时，不同区域数目下的等错误率如图8所示。

图8 基于少量训练样本集的性能比较测试结果

通过对比图7、图8可以看出，当训练样本数量减少的情况下，基于3DLBP特征提取算法的识别性能有所下降，等错误率显著上升;而基于自适应3DLBP特征的人脸识别系统性能基本保持稳定。通过对比实验可以看出，自适应特征提取算法对于低质量的训练样本具有较好的鲁棒性，能够在分类识别的过程中对系统的关键参数进行动态优化，使提取的特征更加符合测试样本的特征变化，因此具有一定自适应性。

4 总结与展望

本文针对人脸深度图像的识别问题展开研究，提出了一种自适应3DLBP特征提取算法。该特征提取算法以机器学习理论为基础，首次将反馈学习与3DLBP特征提取过程相结合，即利用测试样本对算法的关键参数进行修正和优化;然后再使用优化后的算法进行特征提取及分类识别;同时，为了提高自适应特征提取算法的稳定性，本文提出在预分类处理中使用多分类器对反馈学习过程进行优化。实验结果表明，自适应3DLBP特征对训练样本集的变化具有较好的有效性和稳定性，在FRGCv2.0人脸数据库上取得了理想的识别效果。如何将该自适应特征提取算法进行扩展以适合不同模态的人脸特征将是下一步研究的重点。

[1]王利明.机器视觉中物体识别方法的研究与探讨[D].上海:复旦大学，2009.

[2]杨雄.图像介绍数据库与物体识别的计算机研究[D].武汉:华中科技大学，2010.

[3]周娟，李勇平，黄跃峰.基于强度图和深度图的多模态人脸识别[J].计算机工程与应用，2012，48(25):5-8.

[4]叶剑华，刘正光.多模态人脸识别融合方法比较研究[J].计算机工程与应用，2009，45(19):153-156.

[5]WANG L，DING L，DING X，et al.2D face fitting-assisted 3D face reconstruction for pose-robust face recognition[J].Soft Computing，2010，15(3):417-428.

[6]叶长明，蒋建国，詹曙，等.不同姿态人脸深度图识别的研究[J].电子测量与仪器学报，2011，25(10):870-878.

[7]YUAN Li，CHEN Qinghu.2D face recognition based on 3D data and complex illumination model[C]//Proc.2nd International Symposium on Computer Network and Multimedia Technology(CNMT).Wuhan，China:[s.n.]，2010:81-84.

[8]贾彗星，张毓晋.智能视频监控中基于机器学习的自动人数统计[J].电视技术，2009，33(4):78-81.

[9]张旭亚.基于特征提取和机器学习的医学图像分析[D].南京:南京邮电大学，2011.

[10]PHILLIPS P，FLYNN P，SCRUGGS T，et al.Overview of the face recognition grand challenge[C]//Proc.CVPR 2005.San Diego，CA，USA:IEEE Press，2005:947-954.

[11]胡永利，尹宝才，程世铨，等.创建中国人三维人脸库关键技术研[J].计算机研究与发展，2005，42(4):622-628.

[12]SHAN C，GONG S，MCOWAN P.Facial expression recognition based on local binary patterns a comprehensive study[J].Image and Vision Computing，2009(27):803-816.

[13]王衎，胡金演，杨慧，等.基于Gabor小波变换复频域响应的人脸识别研究[J].电视技术，2010，34(7):104-106.