基于多尺度图像局部结构分解的人脸特征提取方法

冯 翔，杨 健，钱建军

(南京理工大学计算机科学与技术学院，江苏 南京 210094)

0 引言

人脸识别是生物识别技术的一个重要分支，是模式识别和计算机视觉领域内的一个研究热点。与指纹识别、虹膜识别等其他生物特征识别技术相比，人脸识别具有直接、友好、方便的特点，是进行身份确认的最自然、最直接的手段。因此，人脸识别技术在信息安全、刑事侦破、出入口控制等领域具有广泛的应用前景。

一个典型的人脸识别系统应包括人脸预处理、特征提取、特征匹配3 个步骤。其中，特征提取是如何提取人脸描述特征的一个基本而又关键的步骤。过去几十年来，研究者们提出了许多人脸特征提取方法，大体上可以分为基于全局特征的方法和基于局部特征的方法2 大类。全局特征反映的是人脸的整体属性。与全局特征相比，局部特征的每一维都只对应人脸图像上的一个局部区域，此类方法能更好地提取人脸图像的细节特征。基于全局特征的方法有PCA［1］、独立成分分析［2］(Independent Component Analysis，ICA)、线性判别分析［3］(Linear Discriminant Analysis，LDA)等。其中PCA 和LDA 是2 种最常用的方法，且已经广泛应用于模式识别和计算机视觉领域。相对于全局特征，局部特征对于处理光照、姿态和表情变化等问题更具有鲁棒性。Gabor 小波变换(Gabor Wavelet Transform，GWT)［4-5］和局部二值模式［6-7］(Local Binary Pattern，LBP)是2 种非常有效的局部特征提取方法。LBP 是一种用来描述图像局部纹理特征的算子，具有旋转不变性和灰度不变性等显著优点，很多方法都源自于LBP 并成功应用于各种领域［8-9］。如Ahonen 等人提出了一种基于LBP 直方图的方法［6，10］。Zhang 等人还提出了一种结合LBP和Gabor 的LGBP 的特征提取方法［11］。为了综合这2 类特征提取方法的优点，越来越多的学者将目光投向全局特征与局部特征相结合的方法［12-13］。

Qian［14］等提出了一种基于局部结构分解(Local Structure-based Image Decomposition for Feature Extraction，IDLS)的特征提取方法。IDLS 通过应用脊回归度量以每个像素点为中心的宏像素(定义为l ×l)的局部区域与其近邻宏像素之间的关系，进而刻画图像的局部结构信息。IDLS 是通过应用线性表示系数来刻画以每个像素点为中心的宏像素与其近邻宏像素之间的关系，所挖掘的是图像的局部结果信息，没有考虑图像的尺度信息。为了弥补这一不足，本文结合多尺度空间理论提出一种多尺度图像局部结构分解的人脸特征提取方法，该方法对图像进行金字塔分解，产生多幅分辨率和尺度不一的图像，再对图像金字塔中的每一幅图像运用相同的方法提取IDLS 特征。

1 基于局部结构分解的特征提取方法

基于局部结构分解的特征提取方法对于图像中的每一个像素点，以其为中心像素点并以R 个像素点间隔为半径确定P 个近邻像素点，这些近邻像素点就构成了一个正方形对称的近邻集，例如第i 个像素点可表示为:={ij|j=1，...，P}，如图1 所示。

图1 在不同像素点间隔下的近邻集

以近邻集中的第j 个像素点为中心就可以确定一个K×K 的正方形，该正方形内所有元素一起就组成一个宏像素。假设在一个局部窗口内的所有的局部区域是局部线性的。基于这一假设来刻画中心点与其近邻区域的局部结构。这样在第i 个像素点为中心的局部窗口内，中心像素yi可以近似地被近邻宏像素Xi，1，...，Xi，p的线性组合来表示:

令Wi=［wi，1，...，wi，p］T，Xi=［Xi，1，...，Xi，p］，则式(1)可以写成如下形式:

为了避免奇异值问题，应用脊回归求解得:

矩阵W 的每一行是一个N 维的向量vj，该向量可以构建成一幅图像即为结构图像。因此，特征矩阵W 可以分解为p 个结构图像。也就是说，一幅图像可以由局部结构特征分解成一组结构图像。每张结构图像都是由每个像素点与其在某个方向上的近邻点的表示关系构成，所以每张结构图像实际上反映的是图像在其对应方向上的结构信息。为得到一个包含了丰富信息的图像特征，将所有的结构图像连接成一个向量。再将结构图像进行均匀下采样(下采样因子为λ)并进行归一化，然后再构建特征向量。令(p=1，...，p)表示均匀下采样和归一化之后的第p 个结构图像，那么图像的特征向量可以定义为:

此时，图像的特征向量的维数仍然是很高的，为了解决此问题，近年来提出了很多维数约减的方法，基于局部结构分解的图像特征提取方法中所采用的是Fisher 线性鉴别分析(FLDA)。

2 多尺度图像局部结构分解的人脸特征提取方法

多尺度技术是对图像进行多尺度表达，即在不同图像尺度下分别对图像进行处理。在很多情况下，某一种尺度下不容易获取的特征可能在另一尺度下很容易获得。人眼的感知过程是一个由全局到局部、由粗到细多尺度分层处理的过程。全局特征主要对人脸的整体属性进行描述，如轮廓、面部各个器官的相对位置、肤色等;而局部特征则能够对人脸的细节特征进行刻画，如局部纹理、器官等。为了既能够保留人脸的全局信息，又能够获得对人脸图像局部细节特征的刻画，本文采用多尺度分析的方法将全局与局部特征结合起来。

利用多尺度技术常可以更加有效地提取图像特征。要在多个尺度下提取图像特征，首先就需要对图像进行多尺度表达，并建立多个尺度间的联系。

2.1 金字塔模型

金字塔是一种有效的多尺度表达模型，图像金字塔模型是对图像用一系列不同的分辨率来获取图像的多尺度表达。图像金字塔是一种分层技术，从不同的尺度去描述图像，从而可以得到不同尺度下的人脸图像的全局信息。近年来，王玮等［7］在此基础上提出了LBP 金字塔，并且证明了LBP 金字塔模型对人脸特征描述的准确性。金字塔模型的构造方法如下:

其中，I(z)是原图片，δ 为金字塔层次，↓表示下采样，2 表示下采样率为2，φ(z)表示构建金字塔模型时所采用的的滤波器。为了获得图像数据的精简表示，减少图像数据量，本文采用的是亚采样金字塔结构。在亚采样金字塔中，层与层之间行和列的分辨率都会以因子2 减少，图像的大小会以因子4 减少。图2 所示为金字塔模型。

图2 金字塔模型

在构建图像金字塔的过程中，由于亚采样使得图像的尺寸快速变小，显然这样也会造成很多信息的丢失。根据采样定理，可以通过平滑处理消除所有以小于最短波长1/4 采样获得的精细结构，这样才能获得一幅正确的亚采样图像。所以，在减小图像大小的同时需要运用某种平滑方法对图像同步进行平滑处理。平滑滤波器的选择对于构建图像金字塔有着重要的影响，如果选用的滤波器不恰当，可能会造成所得到的上层图像像素不能很好地用于计算下一层图像。

1)高斯滤波器:高斯滤波器是最常用的的尺度滤波器，它是根据高斯函数的形状来选择权值的线性平滑滤波器。高斯滤波器对于抑制服从正态分布的噪声非常有效。

2)DOG 滤波器:DOG 滤波器是一个带通滤波器，它是将2 幅图像在不同参数下的高斯滤波的结果相减。DOG 可以被用来增加边缘和其他细节的可见性，并已在边缘检测方面得到了很好的应用。

本文方法采用的是高斯滤波器，因为高斯核已经被证明为是唯一的线性核，也就是说在使用高斯核对图像进行平滑处理时不会再引入其他噪声。

2.2 多尺度图像局部结构分解的特征提取

图像金字塔中靠近底层的图像尺寸较大，分辨率也较高，可以反映出人脸图像的很多细节信息，而上层部分人脸图像的尺寸和分辨率都较低，描述了人脸图像的形状特征。基于图像局部结构分解的特征提取方法描述的是图像的局部结构特征，而金字塔模型可以对图像的全局形状特征进行多尺度表达，因此将基于局部图像结构分解的特征提取方法和金字塔模型相结合以提取图像的全局特征和局部特征。具体步骤如下:

1)对图像进行下采样和滤波构建图像金字塔。

2)对于金字塔中的每一层图像进行分解，分解成若干结构图像。

3)依次将结构图像连接成一个扩张的特征向量。

4)应用Fisher 线性鉴别分析从扩张的高维特征向量中获取更具有鉴别能力的低维特征，如图3 所示。

图3 多尺度图像局部结构分解的人脸识别

3 实验与结果分析

为了验证本文算法的性能，在AR、PIE 和Extended YaleB 人脸库上做实验并与LBP、Gabor 等一些传统方法做比较。实验中采用了在2.1 节中介绍的高斯滤波器对图像进行尺度滤波构建图像金字塔。实验中采用了3 级分解，扩展因子设置为0，即不进行伸缩或者扩展。

3.1 在AR 库上的实验结果分析

AR 人脸库［15］共有126 个人(70 位男性和56 位女性)近4000 张彩色人脸图片，包括不同表情、光照和遮挡的正面人脸图片。其中120 个人(65 位男性和55 位女性)的图片是由相隔2 周拍摄的2 个图片集合组成，每个图集有13 张彩色图片。本文中实验只选用了这120 个人没有遮挡的1680 张人脸图片，每个人包含2 个集合(每个集合7 张图片)。本文选取每个人的第一个子集中的图片作为训练样本，第二个子集的图片作为测试样本，图像的初始大小归一化到64 ×64。其中，PCA、FLDA、LBP、TPLBP、Gabor +FLDA 这几种方法都对图像首先做了金字塔分解，然后提取各层图像的特征。表1 列出了PCA、FLDA、LBP、TPLBP、Gabor、基于图像局部结构分解的特征提取方法和本文方法在AR 人脸库上的识别率。从表1中可以看出本文方法识别率要高于其他传统的方法，也高于IDLS，这说明本文方法在融入了人脸图像的尺度信息后可以提升人脸识别的性能。

表1 几种图像特征提取方法在AR 人脸库上的识别率

3.2 在ExtYaleB 库上的实验结果分析

图4 几种图像特征提取方法在ExtYaleB 人脸库上的识别率

ExtYaleB［16］人脸数据库是由美国耶鲁大学计算机视觉与控制中心创建，该人脸库包含了38 个人9种姿态64 种光照条件下的图像。本实验只使用每个人在64 种不同光照条件下的正面人脸图像，并将图像归一化到大小为96 ×84 灰度图像。每次实验随机抽取每个人的K 张图片作为训练样本，其余作为测试样本。这里K 取值为4～24，间隔为4。对于每个K 的取值，重复做10 次实验。图4 列出了每种特征提出方法在ExtYaleB 人脸库上的识别率。其中，PCA、FLDA、LBP、TPLBP、Gabor +FLDA 这几种方法都对图像首先做了金字塔分解，然后提取各层图像的特征。ExtYaleB 人脸库的姿态和表情变化较小，但是光照变化比较大。从图4 中可以看出PCA 的识别率很差。尽管TPLBP 在人脸验证中得到了不错的结果，但在面对不同的光照变化时，它的特征表示能力是有限的。FLDA 和Gabor 的识别性能也很一般，LBP 和IDLS 得到了较好的识别结果，但总体来看本文提出的方法得到了最好的识别结果。这也验证了本文中方法在面对不同光照变化时的鲁棒性。

3.3 在PIE 库上的实验结果分析

PIE［17］人脸库是由美国卡耐基梅隆大学创建，该库包含了68 个人的41368 张人脸图片。每个人的人脸图像包含13 种不同姿态(人脸面向从左到右变化)，43 种不同光照条件以及4 种不同的表情变化。本文实验选取PIE 库中每个人5 种姿态和10 种不同光照条件的50 张图片作为实验数据集。所有图片都归一化到大小为64 ×64 的灰度图像。实验中随机选取每个人的K(K 取值为5～25，间隔为5)张图片作为训练集，其余作为测试集。对于每次选取的K 张图片重复做10 次实验。其中，PCA、FLDA、LBP、TPLBP、Gabor+FLDA 这几种方法都对图像首先做了金字塔分解，然后提取各层图像的特征。图5 给出了每种图像特征提取方法的平均识别率随训练样本变化的情况。从实验结果中可以看出本文提出的方法在不同训练样本下都给出了最好的实验结果。

图5 几种图像特征提取方法在PIE 人脸库上的识别率

4 结束语

在人脸识别中，特征提取是关键，特征是否有效对识别性能有很大的影响。本文提出一种基于多尺度图像局部结构分解的人脸图像特征提取的方法，通过构建图像的多尺度金字塔，再对每层中的图像运用基于图像局部结构分解的特征提取局部特征，综合了基于全局特征和基于局部特征这2 类特征提取方法的优点。该方法在AR、PIE 和ExtYaleB 人脸库上均取得了较好的识别结果。实验结果表明该方法结合了局部和全局特征，具有较强的描述能力。

［1］孔令钊，唐文静.基于PCA 的人脸识别系统的研究与实现［J］.计算机仿真，2012，29(6):27-29.

［2］Bartlett M S，Movellan J R，Sejnowski T J.Face recognition by independent component analysis［J］.IEEE Transactions on Neural Networks，2002，13(6):1450-1464.

［3］张健，肖迪.基于多尺度自适应LDA 的人脸识别方法［J］.计算机工程与设计，2012，33(1):332-335.

［4］Liu Chengjun，Weehsler H.Independent componet analysis of Gabor features for face recognition［J］.IEEE Transaction on Neural Networks，2003，14(4):919-928.

［5］许凤娇，王国胤.年龄变化条件下采用Gabor 金字塔的人脸描述与识别［J］.计算机应用，2013，33(3):695-699.

［6］Ahonen T，Hadid A，Pietikainen M.Face recognition with local binary patterns［C］// Proceedings of the 8th European Conference on Computer Vision.Prague，Czech，2004，3021:469-481.

［7］王玮，黄菲菲，李见为，等.采用LBP 金字塔的人脸描述与识别［J］.计算机辅助设计与图形学学报，2009，21(1):94-100.

［8］Tan Xiaoyang，Triggs B.Enhanced local texture feature sets for face recognition under difficult lighting conditions［J］.IEEE Transction on Image Processing，2010，19(6):1635-1650.

［9］Zhang Baochang，Gao Yongsheng，Zhao Sanqiang，et al.Local derivative pattern versus local binary pattern:Face recognition with high-order local pattern descriptor［J］.IEEE Transaction on Image Processing，2010，19(2):533-544.

［10］Ahonen T，Hadid A，Pietikainen M.Face description with local binary patterns:Application to face recognition［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28(12):2037-2041.

［11］Zhang Wenchao，Shan Shiguang，Gao Wen，et al.Local gabor binary pattern histogram sequence(LGBPHS):A novel non-statistical model for face representation and recognition［C］// Proceedings of the 10th IEEE International Conference on Computer Vision.2005，1:786-791.

［12］Lanitis A，Taylor C J，Cootes T F.Automatic face indentification system using flexible appearance models［J］.Image and Vision Computing，1995，13(5):393-401.

［13］Wiskott L，Fellous J M，Kruger N，et al.Face recognition by elastic bunch graph matching［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19(7):775-779.

［14］Qian Jianjun，Yang Jian，Xu Yong.Local structure-based image decomposition for feature extraction with applications to face recognition［J］.IEEE Transtractions on Image Processing，2013，22(9):3591-3603.

［15］Martinez A，Benavente R.The AR Face Database［R］.Technical Report 24，Computer Vision Center，Purdue University，1998.

［16］Lee K C，Ho J，Kriegman D J.Acquiring linear subspaces for face recognition under variable lighting［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(5):684-698.

［17］Sim T，Baker S，Bsat M.The CMU pose，illumination，and expression database［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(12):1615-1618.