基于Gabor小波的人脸表情特征提取研究

王甫龙，薄 华

（上海海事大学 信息工程学院，上海 201306）

基于Gabor小波的人脸表情特征提取研究

王甫龙，薄 华

（上海海事大学 信息工程学院，上海 201306）

为了使计算机能更好的识别人脸表情，对基于Gabor小波变换的人脸表情识别方法进行了研究。首先对包含表情区域的静态灰度图像进行预处理，包括对确定的人脸表情区域进行尺寸和灰度归一化，然后利用二维Gabor小波变换提取脸部表情特征，使用快速PCA方法对提取的Gabor小波特征初步降维。再在低维的空间中，利用Fisher准则提取那些有利于分类的特征，最后用SVM分类器进行分类。实验结果表明，上述提出的方法比传统的方法识别速度更快，能达到实时性的要求，并且具有很好的鲁棒性，识别率高。

表情识别；Gabor小波变换；快速PCA（fastPCA）；Fisher线性判别（FLD）

在日常生活人与人的交往中，除了语言交流以外，脸部的表情是非常重要的交流方式，心理学研究表明：在人与人之间的交流中面部表情提供的信息要多于语言提供的信息，它作为信息的载体包含有很多的因素，能够表达丰富的非语言信息在过去的几十年。随着计算机应用的日益广泛以及社会的日益信息化，如何实现智能化的人机交互成为一个重要的研究课题，人脸表情识别技术作为一种典型的高端生物特征识别技术，以其自然性、客观性、高可接受性等优点受到了人们的广泛关注，并且成为一个研究的热点。

所谓人脸表情识别FER（Facial Expression Recognition）就是对人脸的表情信息进行特征提取分析，按照人的认识和思维方式加以归类和理解，利用人类所具有的情感信息方面的先验知识使计算机进行联想、思考及推理，进而从人脸信息中去分析理解人的情绪。FER算法可以分为针对多幅图像序列和针对单幅图像两大类，文中主要针对单幅静态图像的人脸表情进行识别。目前国际通用的表情分类结果包括7类[1-3]：中性表情、愤怒、高兴、悲伤、惊讶、厌恶和恐惧。人脸表情识别的目标是在人脸图像的范围内提取出对识别有利的特征，并据此进行图像的分类工作，典型的识别系统包括人脸检测、表情特征提取和表情分类3个阶段[4]。国内外在人脸检测方面已做了大量的研究，而表情特征提取和表情分类还处于探索之中，其中的一个难点就是如何提取出完整、鲁棒、紧凑而富有区分性的特征，以提高分类的准确程度。因此表情特征的提取和分类成为现代研究的重点。目前对静态图像特征提取的方法主要有：主成份分析、奇异值分解以及小波变化的方法等。

经过实验对比，发现采用基于Gabor小波变换的方法提取人脸表情特征并进行分类是一种更有效的方法。

1 表情识别过程概要

基于Gabor小波变换对人脸的表情进行特征提取和分类的过程主要分为3个部分：图像的预处理、特征提取、分类。其过程框图如图1所示。

2 表情图像预处理

图1 人脸表情识别的过程框图Fig.1 Process diagram of Facial Expression Recognition

在获取原始图像之后，首先要进行预处理。这阶段的工作是确保整个表情识别系统准确工作的基础，没有预处理的前提就无法展开后续的特征提取工作以及识别工作，有效的预处理则可以提高识别的准确率。本文采用标准表情库JAFFE，JAFFE人脸库中包含日本妇女10个人的7种表情（6种基本表情和中性表情），每人每种表情2～4张，共有213张图片，每张图片大小为256×256像素。

预处理的工作包括以下几个步骤：

1）标定特征点的位置，如眼睛、眉毛、鼻子和嘴巴的中心点，标定方法主要是手工标定。

2）根据左右两眼位置调整图像，以保证人脸方向在同一水平位置上。设两眼中心间的距离为D。

3）根据图像的面部特征确定需要裁剪的矩形区域，裁剪的矩形区域的高是2.2D，宽是2D，使两眼中点距离矩形顶部0.6D，以保证人脸位置的一致性，模型图如图2所示。

4）对步骤3）处理过的图像进行尺寸归一化，调整所有图像大小统一为128×128像素的大小，保证表情样本区域大小的一致性。

5）灰度归一化主要采用的是直方图均衡化方法，以消除光线的影响。

图2 裁剪的表情几何模型Fig.2 Cut expression geometric model

最终，根据预处理流程和裁剪几何模型对JAFFE表情库中的人脸图像进行处理的示例图片如图3所示。

3 Gabor特征提取

由于Gabor小波核函数与人类大脑初级视觉皮层简单细胞的感受野反射区具有相似的特性[5]，具有良好的时频局部化和多分辨率特性，能够提取图像局部细微变化的能力，即能够捕捉对应于空间频率（尺度）、空间位置及方向选择性的局部结构信息[6]，因此，在计算机视觉和图像分析领域得到广泛的应用[7-8]。

3.1 二维Gabor小波

Gabor小波是由Gabor函数经过尺度伸缩和旋转生成的一族复函数系，具有良好的时频局部化特征和多分辨率特性，能够提取局部细微变化的能力。另外，Gabor小波对光照的变化不敏感，具有良好的光照性。基于这些特点，Gabor小波非常适合用于表情的特征提取。

二维Gabor小波的核函数表示如下[9]

式（1）中的kj表示形式如下：

其中 kv=z-（v+2）/2π，v 表示各个小波的核频率；μ 的取值表示滤波器不同的方向；x为给定的图像二维采样点的位置坐标。

3.2 Gabor特征提取及分析

根据面部特征尺度的不同，从小尺度到大尺度的Gabor变换结果分别注重体现不同的特征，在小尺度中眼部特征比较明显，而大尺度中嘴巴的特征比较显著。对于不同的特征方向，在对应方向的Gabor变换结果中也被突出表现出来。

表情的变换主要集中在脸部眉毛、眼睛、鼻子、嘴巴部位，这些部位体现的是图像的高频信息，所以用高频的小波和图像进行卷积。另外，中心频率和方向过多，会引起数据冗余，计算量变大，选取过少，又会丢失部分的有用信息。

图3 预处理阶段的图片示例Fig.3 Pictures examples of pretreatment stage

根据先验知识，大尺度可以描述全局性较强的信息，并可以掩盖图像中噪声的影响。小尺度可以描述较精细的局部特征，但噪声的影响大。为了便于更好的描述图像的局部特征，本文中取σ=2π，采用5个中心频率和8个方向组成的40组滤波器提取表情特征，对3.1节中式kj和θμ中的滤波器的参数选择为 v=0，1，......，4；μ=0，1，......，7；j= μ+8v。

在得到一组Gabor小波滤波器后，将输入的图像I与小波族的各个滤波器进行卷积：

根据式 （3），将第2小节预处理过后的一副表情图像与Gabor小波进行卷积，提取Gabor特征，图4显示了经过40个滤波器组提取的表情特征图像。

图4 Gabor滤波器提取的特征Fig.4 Extracted feature by Gabor filter

从图4可以看出，Gabor提取的特征主要反应的是表情图像的边缘、位置和亮度的信息，输出的较强的信息主要体现在眉毛、眼睛、鼻子、嘴巴部位，这些部位正是表情变化的特征部位。但是经过40组Gabor滤波器组以后特征的维数会变的很大，所以，必须对提取的的Gabor特征进行降维处理。

4 快速PCA降维

如第3节所述，提取表情特征所用的训练样本和测试样本的维数是 128 pixels×128 pixels，经过上述的Gabor变换后的维数变为原图像维数的40倍，如果直接用来分类，则会因为“维数灾难”使分类问题变的不切实际。为此本节运用快速PCA对提取的Gabor特征进行初步的降维。

4.1 快速PCA原理

设表情样本矩阵的散布矩阵为S，Zn×d为样本矩阵X中的每个样本减去样本均值m后得到的矩阵，则散布矩阵S为（ZTZ）d×d。 现在考虑矩阵 R=（ZZT）n×n，一般情况下由于样本数目n远远小于样本维数d，R的尺寸也远远小于散布矩阵S，然而，它与S有着相同的非零本征值。

设n维列向量v→是R的本征向量，则有：

式（4）两边同时左乘ZT，并应用矩阵乘法的结合律得到:

式（5）说明 ZTv→为样本散布矩阵 S=（ZTZ）d×d的本征向量。这说明可以计算小矩阵 S=（ZTZ）d×d的本征向量v→，而后通过左乘得到散布矩阵 R=（ZZT）n×n的本征向量。

4.2 结果处理与分析

第4.1节中得到R的特征向量矩阵V之后，为了计算样本矩阵S的本征向量，只需要计算ZTv。此外，由于传统PCA计算中需要的是具有单位长度的本征向量，所以最后要除以该向量的模从而将正交本征向量归一化为单位正交本征向量。

传统PCA的计算中最主要的工作量是计算样本协方差矩阵的本征值和本征向量。设样本矩阵X大小为n×d（n个d维的样本特征向量），则样本散布矩阵（协方差矩阵）将是个维的方阵，故当维数较大时计算复杂度会很高。例如当维数d=10 000，S是一个10 000×10 000的矩阵，此时如果采用传统的PCA计算主成份，Matlab通常会出现内存耗尽的错误，即使有足够的内存，要得到S的全部本征值可能也要花费数小时的时间。运用上面的方法进行降维将会节省大量的时间，为表情识别的实时性提供了保障。

5 基于Fisher准则的特征选择

第4节快速PCA提取的表情特征能很好的表示原始的数据，但对于分类问题却不一定适合，它只考虑了样本数据散布的最大投影方向，没有考虑到类间可分离性，所以不能保证往方差最大化方向的投影包含很好的分类特征。对这一缺点的改进方法就是找到一个最佳判别矢量空间，使得投影到该空间的样本的类间离散度与类内离散度的比达到最大，Fisher线性判别能达到这一要求。

5.1 Fisher线性判别

设训练样本数为，第类包含的样本数为Ni，表情类别数为C，Xij表示第i类中的第j个表情样本，μi表示第类的类内样本均值，μ表示样本总体的均值，则类间散布矩阵为[10]：

类内散布矩阵为：

Fisher准则定义如下：

在样本的特征空间中，希望类内离散度越小越好，类间的离散度越大越好，才能有利于分类器的分类，也就是寻找使Jf（W）尽量大的W作为投影的方向。

上面的问题可转化为广义特征根问题：

设Wfld为最佳的变换矩阵，则进行表情识别时，将人脸表情向量投影到FLD子空间得到一个低维向量y：

5.2 快速PCA和FLD降维方法的结合

运用快速PCA和FLD方法对Gabor特征进行两次降维的方法可以描述为：在对表情图像提取Gabor特征后，用快速PCA方法对提取的特征先初步降维，把Gabor特征映射到较低的维空间中，再运用FLD方法对降维后的特征进行二次降维，得到更有利于分类的特征向量。则总体的映射矩阵可以表示为：

Wfpca和Wfld分别为快速PCA和FLD得到的最佳投影方向。经过Gabor滤波后的表情特征通过下式可以得到最有利于分类的特征：

xi为经Gabor滤波后的每一幅表情特征，μ为经过Gabor滤波后所有表情特征的均值，训练样本和测试样本按上式投影到最优子空间中，再选取合适的分类器就可以进行分类了。

6 实验结果与分析

本实验是基于日本JAFFE人脸表情库进行训练和识别的，训练和识别的分类器选用台湾林智仁的Libsvm。在训练阶段选取JAFFE中每个人每种表情各1幅图像用来训练，共有70幅图像。在识别阶段，随机选取每种表情30幅用于测试，则共有210幅待测试图像。为了验证本文的方法，还与基于PCA+FLD方法的分类结果进行了比较，两种方法各遍历3种情况，取识别率较好的一次作为识别结果，得到的实验结果如下表所示：

表1 基于PCA+FLD方法的表情识别结果Tab.1 Consequence based on PCA+FLD Diagram

表2 基于Gabor小波和快速PCA+FLD的表情识别结果Tab.2 Consequence based on Gabor and PCA+FLD

从表1和表2可以看出，基于PCA和FLD的方法能达到一定的识别率，但是由于本文引入了Gabor小波变换，再结合快速PCA+FLD的特征提取方法，表情的识别率能达到更高。

7 结束语

人脸表情识别是一个富有挑战性的课题，涉及图像分析、心理学、模式识别、机器视觉等多个学科。其中表情特征的提取是研究的核心，提取的特征的好坏直接决定了表情识别的结果。

文中的方法是首先对静态图像进行预处理，为下一步的特征提取做好铺垫。因为二维Gabor小波变换能消除光照和个体差异的影响，因此用Gabor提取表情特征。由于Gabor特征的维数过大，所以用本文提出的快速PCA进行初步的降维，这样比传统的PCA降维的速度更快，能达到实时性的要求。由于快速PCA方法没有考虑到类间可分离性，所以，最后在低维的空间运用Fisher准则提取有利于分类的特征。这种运用快速PCA和FLD相结合的特征降维方法，不仅能使Gabor特征的维数大大的降低，节省运算时间，而且在低维的空间中能使同种的表情分布更加集中，不同表情的分布更加离散，能更好的提高识别率。

[1]陈彦燕，王元庆.基于模糊增强的小波多尺度边缘特征提取[J].计算机测量与控制，2008，16（8）：1164-1165.

CHEN Yan-yan，WANG Yuan-qing.Image fuzzy multiscale edge detection based on wavelet decomposing[J].Computer Measurement&Control，2008，16（8）:1164-1165.

[2]王志良，刘芳，王莉.基于计算机视觉的表情识别技术综述[J].计算机工程，2006，32（11）:231-233.

WANG Zhi-liang，LIU Fang，WANG LI.Survey of facial expression recognition based on computer vision[J].Computer Engineering，2006，32（11）:231-233.

[3]周书仁，梁昔明，样秋芬，等.类间学习神经网络的人脸表情识别[J].计算机应用研究，2008，25（7）:2219-2222.

ZHOU Shu-ren，LIANG Xi-ming，YANG Qiu-fen.Facial expression recognition using neural network of congener learning[J].Application Research of Computers，2008，25（7）:2219-2222.

[4]薛雨丽，毛峡，郭叶，等.人机交互中的人脸表情识别研究进展[J].中国图像图形学报，2009，14（5）：764-772.

XUE Yu-li，MAO Xia，GUO Ye，et al.The research advance of facial expression recognition in human computer interaction[J].Journal of Image and Graphics，2009，14（5）：764-772.

[5]朱健翔，苏光大，李迎春.结合Gabor和Adaboost的人脸表情识别[J].光电子·激光，2006（8）:993-998.

ZHU Jian-xiang，SU Guang-da，LI Ying-chun. Facial expression recognition using Gabor and Adaboost[J].Journal of Optoelectronics·Laser，2006（8）:993-998.

[6]Ekman P，Friesen W V，Sullivan M O，et al.Universals and cultural differences in the judgments of facial expressions of emotion[J].Journal of Personality and Social Psychology，1987，53（4）:712-717.

[7]Donato G，Bartlett M S，Hager J C，et al.Classifying facial actions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence.1999，21（10）:974-989.

[8]Liu C，Weehsler H.Independent component analysis of Gabor features for face recognition[J].IEEE Transactions on Neural Networks，2003，14（4）:919-928.

[9]罗飞，王国胤，杨勇.一种基于Gabor小波特征的人脸表情识别新方法[J].计算机科学，2009，36（1）：181-183.

LUO Fei，WANG Guo-yin，YANG Yong.New approach for facial expression recognition based on gabor features[J].Computer Science，2009，36（1）：181-183.

[10]Belhumeur P N，Hespanha J P，Kriegman D J.Eigen faces vs fisher faces:recognition using class specific linear projection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，15（7）:711-720.

Facial expression recognition based on Gabor wavelet transform

WANG Fu-long，BO Hua
（School of Information and Engineering，Shanghai Maritime University，Shanghai201306，China）

In order to make the computer have a better recognition to face expression，the method of facial expression recognition based on Gabor wavelets transform is discussed.Firstly，with pre-processing is executed to a given static grey image containing facial expression information.Pre-processing including the identification of pure face facial expression region，size and gray-scale normalized，the methods based on two-dimensional Gabor transform for feature extraction and fastPCA mentioned in this paper for diminishing Gabor feature are discussed.Secondly，in the low dimensional space，use the FLD to obtain the features useful to classification.Finally，SVM is applied to sort the facial expressions.Compared with the conventional methods，experimental results show that this method has fast identification speed and better higher recognition accuracy.

expression recognition；Gabor wavelet transform；fastPCA；FLD

TP391.4

A

1674－6236（2012）03-0063-04

2011-12-09 稿件编号：201112062

王甫龙（1988—），男，江苏射阳人，硕士研究生。研究方向：视觉感知系统信息处理。