基于Gabor小波变换的人脸表情识别

谢劲芳,冯 桂

(华侨大学信息科学与工程学院,福建厦门361021)

基于Gabor小波变换的人脸表情识别

谢劲芳,冯 桂

(华侨大学信息科学与工程学院,福建厦门361021)

在人脸表情识别中,针对Gabor小波变换特征维数很大的问题,提出了一种新的多方向特征编码方法。通过对Gabor特征幅值进行统计处理,将每个像素点同一尺度不同方向的Gabor特征幅值阈值化成二进制,加强了Gabor小波对图像局部结构信息的表征。同时,结合了类似旋转不变LBP的方法对图像进行降维。为了进一步提高表情的正确识别率,采用一种局部区域融合的方法,最后在JAFFE表情库上进行测试,得到比较好的识别率,验证了所提方法的有效性。

表情识别 Gabor小波特征降维 局部区域融合

0 引 言

人脸表情识别是人脸分析研究的重要组成部分,涉及了计算机视觉、机器学习、图像处理等多个领域,在安全驾驶、网络教学、人机交互等方面都有重要的应用[1]。通过用户的表情来了解其内心活动,可以使计算机进行更有效地监督辅助工作。

表情识别系统中最重要的部分是提取有效的特征,以便提高分类的准确性。基于Gabor小波的特征提取方法因为其能够捕捉对应空间位置、空间频率和方向选择性等局部结构信息,而被广泛应用于人脸表情识别研究[2]。

由于图像经过Gabor小波变换后得到的特征维数非常大,限制了其在实际中的应用。因此研究人员针对该问题提出了以下3类方法:第一类是利用fastPCA+LDA[3]等线性降维方法,该类方法有可能丢失一些重要信息;第二类只对人脸图像的特征点进行Gabor小波变换,如弹性模板匹配[4],该类方法虽然降低了维数,但是十分依赖于特征点的提取;第三类选取部分尺度和方向的Gabor特征[5-6]作为分类特征,该类方法容易损失有效的决策信息。

针对这些问题,文中提出一种对同一尺度不同方向的Gabor小波特征幅值进行编码的方法,在降低特征维数的同时,保留了每个Gabor滤波器的有效信息,并增强了图像旋转不变性。另外对多个信息源的信息进行融合可以提高决策精度[7],所以文中还提出了一种局部区域融合方法,加强了人脸敏感区域(如眼睛和嘴巴)对表情分类的影响。最后在JAFFE表情库上进行实验,得到比较好的识别率,验证了文中所提方法的有效性。

1 特征融合

1.1 Gabor小波变换

2D-Gabor函数是唯一能够达到测不准原理下界的函数,能够同时在空域和频域中取得最优分辨率[2]。2D-Gabor函数定义[8]如下:

式中,ku,v=kv(cosφu,sinφu)T,kv=表示小波核的频率,Gabor滤波器的方向则表示为φu=u,z是给定位置的图像坐标。σ为Gabor滤波器的带宽,一般取2π。

文中将表情图像I(z)与5个尺度和8个方向的Gabor滤波器组ψu,v(z)(u=0,1,…,4;v=0,1,…,7, K=8)进行卷积,获得40个对应不同尺度和方向的Gabor特征。因为相位不稳定,采用滤波后的幅值作为图像I(z)的Gabor特征,所采用的原始图像和经过Gabor小波变换后的幅值特征图像如图1所示。

图1 人脸表情图像的Gabor小波特征Fig.1 Gabor wavelet features of facial expression image

1.2 编码方法

从人脸表情图像的Gabor小波特征图像可发现,同一尺度下不同方向的特征值存在着很大的冗余性和相关性。为此,文中提出了一种特征值编码方法,对同一尺度下不同方向的特征幅值进行融合。具体步骤如下:

1)每个像素点取同一尺度上的8个方向特征幅值的均值作为阈值来进行二值化处理:

式中,Gmean(z)为像素点z=(x,y)在某一尺度下8个方向特征幅值的均值,对应于点z在u尺度v方向的Gabor特征幅值,点z经过二值化后的值表示为Pu,v(z),v∈(0,1,…,7),u∈(0,1,…,4)。通过统计处理,在考虑特征值集中趋势的前提下,可以将不同方向下变化明显的特征值区分出来,进一步加强了Gabor小波对图像局部结构信息的表征。

绘制极点时假设三相滤波器的参数存在很小的误差，模型参数的数据和控制器的参数存在10%的误差，这样更能证明由参数的不确定性来分析系统的鲁棒性。

2)经过二值化处理后得到8位二进制编码,根据下面公式求得唯一表征局部纹理特征的十进制值:

3)由于文中采用的是八个方向的Gabor小波滤波器,由式(4)可知,在一个像素点上得到的BGP总共会有256种模式,无论对纹理的提取还是对于纹理的分类识别都是不利的,因此采用类似旋转不变LBP的方法[9](简称为BGPri),将BGP映射成36种编码值,减少了模式种类,使纹理识别更加容易,同时增强了图像的旋转不变性。

通过上述编码方法处理后,可得到5个尺度的编码特征图像,如图2所示。

图2 不同尺度上的编码特征图像Fig.2 Coded feature images on different scales

编码特征图像含有丰富的纹理信息,通常会与直方图结合使用,以获得纹理图像的全局特征。如果直接对整幅图像使用直方图统计,将会丢失很多结构上的细节信息[10]。因此,文中将编码特征图像分割成大小为32×26的不重叠子块,计算各分块的直方图分布,将其连接起来作为该尺度的特征向量,最后将不同尺度的特征向量连接起来作为图像的表情特征向量。

1.3 局部特征融合

因为人脸表情变化主要体现在眼睛(含眉毛部分)和嘴巴区域,所以这些区域对表情分类的贡献率较大[11],文中对每幅图像提取出眼睛和嘴巴两个局部区域,并对这些区域按上节提出的方法进行处理,从而得到局部区域特征向量(分别设为Feye, Fmouth),最后与人脸区域的特征向量(Fface)连接起来进行识别。进行识别的融合表情特征向量为Feature={Fface,Feye,Fmouth}。

2 实验描述与结果分析

2.1 实验条件

文中采用日本女性表情数据库(JAFFE)进行实验,数据库由10个人的213幅图像组成,每个人有生气、厌恶、恐惧、高兴、悲伤、惊奇和中性7种基本表情,每种表情各3～4幅图像。本实验中每人每种表情随机抽取一幅图像作为训练样本,共70幅图像,其余143幅图像作为测试样本。

实验的流程如图3所示。

图3 表情识别流程Fig.3 Flow chart of expression recognition system

其中预处理包括对表情库图像进行旋转规范化和灰度归一化处理,并裁剪出人脸区域、眼睛区域和嘴巴区域,大小分别归一化为128×104、32×104、32× 56,如图4所示。

图4 预处理图像Fig.4 Preprocessed image

人脸区域的表情图像经过Gabor变换后特征维数为128×104×40,通过特征编码和分块直方图统计后得到的特征向量维数为2880,相比原Gabor小波维数降低了180多倍,很大程度上降低了数据的规模与计算的复杂性。对上述得到的特征向量进一步采用PCA+LDA[3]进行降维处理,并将获得的表情特征向量进行k近邻分类,所得到的实验结果如下。

2.3 结果分析

1)利用文中提出的编码方法首先对人脸区域(face)进行三组实验,并取平均值,结果如表1所示。

表1 人脸区域的识别结果Table 1 Experimental results of facial regions

通过上述实验结果,可以发现各种表情都有比较好的识别率,证明了文中方法的有效性,即通过对同一尺度8个方向特征进行编码,在降低特征维数的同时,保留了Gabor小波变换的有效信息。生气和恐惧的识别率偏低一些,主要原因在于这两种表情在人脸上的变化与其它表情比较相似,容易被误判。

2)其次分别对人脸区域(face)、局部区域(eye+ mouth)以及综合人脸和局部区域(face+eye+ mouth)三种情况,进行文中提出的编码方法处理后,得到的识别结果如表2所示。

表2 人脸和局部区域的实验结果Table 2 Experimental results of the face and local regions

通过表2可得出,联合face+eye+mouth比单纯用face区域作为特征区域分类的识别率要高,这是因为人脸表情变化主要体现在眼睛和嘴巴区域,而将eye+mouth的表情特征向量与face的表情特征向量连接起来,相当于对这两个区域进行了加权处理,增加了对表情识别贡献度大的区域的权重。

3)最后对文中所提出的方法与其它文献的识别结果进行比较,由表3可以看出文中方法在与其他方法识别速度相差不大的情况下,识别率有所提高,间接证明了文中算法的有效性。

表3 文中方法与其它方法的比较Table 3 Comparison of the proposed method with other methods

3 结 语

为了快速而准确地识别人脸表情,文中提出了一种基于Gabor小波的多方向特征编码方法。文中的主要工作有两方面:①为了降低Gabor小波的特征维数,对Gabor小波同一尺度不同方向的特征幅值进行均值二值化和BGPri处理,在保留了每个Gabor滤波器的有效信息的同时,大大降低了特征维数,并增强了图像的旋转不变性;②将人脸与局部区域特征融合起来作为分类特征,加强了人脸表情敏感区域对表情分类的影响。通过实验分析验证了文中所提出方法的有效性,但是文中对不同区域的特征向量只是简单地连接起来作为分类特征,接下来的工作是对不同区域信息融合方法做进一步的研究,并设计更有效的分类器,来精确识别各种复杂的表情。

[1]蒋斌,贾克斌,杨国胜.人脸表情识别的研究进展[J].计算机科学,2011,38(04):25-30.

JIANG Bin,JIA Ke-bin,YANG Guo-sheng.Research Advance of Facial Expression Recognition[J].Computer Science,2011,38(04):25-30.

[2]孔锐,张冰.Gabor滤波器参数设置[J].控制与决策,2012,27(08):1277-1280.

KONG Rui,ZHANG Bing.Design of Gabor Filters'Parameter[J].Control and Decision,2012,27(08):1277-1280.

[3]王甫龙,薄华.基于Gabor小波的人脸表情特征提取研究[J].电子设计工程,2012,20(03):63-66.

WANG Fu-long,BO Hua.Facial Expression Recognition based on Gabor Wavelet Transform[J].Electronic Design Engineering,2012,20(03):63-66.

[4]黄永明,章国宝,董飞,等.基于Gabor,Fisher脸多特征提取及集成SVM的人脸表情识别倡[J].计算机应用研究,2011,28(04):1536-1543.

HUANG Yong-ming,ZHANG Guo-bao,DONG Fei,et al.Multiple Features Extraction Using Gabor Wavelet Transformation,Fisher Faces and Integrated SVM with Application to Facial Expression Recognition[J].Application Research of Computers,2011,28(04):1536-1543.

[5]LAJEVARDI S M,HUSSAIN Z M.A Novel Gabor Filter Selection based on Spectral Difference and Minimum Error Rate for Facial Expression Recognition[C]//Digital Image Computing:Techniques and Applications(DICTA),2010 International Conference.Sydney,NSW: IEEE,2010:137-140.

[6]印勇,李荣岗,王建东.人脸表情识别的Gabor变换最优通道模糊融合方法[J].重庆大学学报报,2010,33 (07):97-101.

YIN Yong,LI Rong-gang,WANG Jian-dong,et al.A Fuzzy Fusion Approach to Gabortransform Optimal Channels for Facial Expression Recognition[J].Journal of Chongqing University,2010,33(07):97-101.

[7]应自炉,张有为,李景文.融合人脸局部区域的表情识别[J].信号处理,2009,25(06):963-966.

YING Zi-lu,ZHANG You-wei,LI Jing-wen.Facial Expression by Fusing Local Facial Regions[J].Signal Processing,,2009,25(06):963-966.

[8]赵三平,苏丽秋.基于Gabor变换的图像纹理识别[J].通信技术,2008,41(12):259-261.

ZHAO San-ping,SU Li-qiu.Gabor Transformation based Image Texture Recognition[J].Communications Technology,2008,41(02):259-261.

[9]ZHANG L,ZHOU Z,LI H.Binary Gabor Pattern:An Efficient and Robust Descriptor for Texture Classification [C]//Image Processing(ICIP),2012 19th IEEE International Conference on.Orlando,FL:IEEE,2012:81-84.

[10]刘晓旻,章毓晋.基于Gabor直方图特征和MVBoost的人脸表情识别[J].计算机研究与发展,2007,44 (07):1089-1096.

LIU Xiao-min,ZHANG Yu-jin.Facial Expression Recognition based on Gabor Histogram Feature and MVBoost[J].Journal of Computer Research and Development,2007,44(07):1089-1096.

[11]KHAN R A,MEYER A,KONIK H,et al.Exploring Human Visual System:Study to Aid the Development of Automatic Facial Expression Recognition Framework [C]//Computer Vision and Pattern Recognition Workshops(CVPRW),2012 IEEE Computer Society Conference.Providence,RI:IEEE,2012:49-54.

谢劲芳(1988—),女,硕士研究生,主要研究方向为模式识别;

XIE Jin-fang(1988-),female,graduate student,majoring in pattern recognition.

冯 桂(1960—),女,博士,教授,主要研究方向为信号与信息处理、通信系统信息安全理论、多媒体通信、计算机视觉、模式识别与影像理解等。

FENG Gui(1960-),female,Ph.D.,professor,mainly working at signal and information processing,communication systems and information security theory,multimedia communication,computer vision,pattern recognition and image understanding,et al.

Facial Expression Recognition based on Gabor Wavelet Transform

XIE Jin-fang1,FENG Gui2
(College of Information Science and Engineering,Huaqiao University,Xiamen Fujian 361021,China)

Aiming at the high dimensions of Gabor wavelets feature in facial expression recognition,a new method for coding Gabor multi-orientation features is proposed.After statistical processing of the Gabor features and binary processing of the magnitudes of different orientations,the local structural information representation of the image by Gabor wavelet is enhanced.Meanwhile,for reducing the image dimensions, a similar method as in the Rotation Invariant LBP is used and discussed.Furthermore,a method for fusing the local facial regions is employed,thus to improve the expression recognition rate.The experiment on JAFFE database indicates a fairly good recognition rate,and this verifies the effectiveness of the proposed algorithm.

facial expression recognition;TTT dimension reduction of Gabor wavelets feature;fusion of local regions

TP391

A

1002-0802(2014)01-0033-04

10.3969/j.issn.1002-0802.2014.01.007