局部遮挡条件下的人脸表情识别

李　蕊　刘鹏宇　贾克斌

(北京工业大学电子信息与控制工程学院　北京 100124)



局部遮挡条件下的人脸表情识别

李蕊刘鹏宇贾克斌

(北京工业大学电子信息与控制工程学院北京 100124)

针对局部遮挡条件下的人脸表情识别，提出一种新的基于Gabor滤波和灰度共生矩阵的表情识别算法。首先设计一种分块提取Gabor特征统计量的方法，生成一个低维Gabor特征向量；然后，考虑到分块的Gabor特征缺失了像素之间的关联性，将反映像素间位置分布特性的灰度共生矩阵引入到表情识别领域，以此来弥补Gabor特征分块处理产生的不足；最后，将提取的低维Gabor特征向量和灰度共生矩阵纹理特征进行线性叠加，高斯归一化后生成一组用于特征表达的低维特征向量。在日本女性人脸表情库和荷兰内梅亨大学人脸数据库上的实验证明该算法对人脸不同区域、不同程度遮挡的表情识别具有鲁棒性强、特征向量维数低、分类耗时短、识别速率高的特点。

人脸表情识别局部遮挡Gabor滤波灰度共生矩阵高斯归一化

0　引　言

人脸表情是个人情感的外在反映，在人类情感表达中占有重要的地位。计算机通过对人脸表情进行识别，可以了解到人类对应的心理状态，从而更好地服务于人类生活的各个方面，如人机交互、智能安防、医疗监护、心理分析等[1]。目前，多数的表情识别算法主要针对正面无遮挡的人脸表情图像进行实验，一定程度上保留了完整的表情信息。但在现实生活中，人脸表情被遮挡的情况时有发生，头发、墨镜、口罩、手势等产生的遮挡均会造成表情信息的缺失，致使算法的识别率与鲁棒性下降[2]。因此，针对局部遮挡的人脸表情图像，提出鲁棒性更强的人脸表情识别算法。它已经成为图像处理、模式识别等领域的重要研究课题。

特征提取是人脸表情识别中最重要的环节，有效、合理的特征提取工作是决定识别性能的关键。Schimid等认为[3]，相对于整体特征，局部特征描述子对图像的表述更为准确，同时对图像遮挡、噪声等变换具有鲁棒性。其中，Gabor滤波被证实在图像局部特征提取上具有明显的优势，它对遮挡条件下的表情识别具有良好效果，且二维Gabor特征与人类的视觉系统具有相似性。因此，诸多学者围绕着Gabor滤波在局部遮挡的人脸表情识别上的效果展开了研究。Zhang等[4]强调了Gabor滤波器在局部纹理信息提取方面的重要作用，以及对遮挡条件下表情识别的有效性。Azmi等[5]将局部Gabor二值化模式直方图序列(LGBPHS)引入到表情识别领域，证明了LBP和直方图的引入对Gabor特征起到了降维的作用，同时组合算法的识别率也优于单一算法的识别率。在此基础上，Liu等[6]提出了Gabor多尺度特征融合与LGBPHS相结合的算法(F-LGBPHS)，进一步降低了Gabor特征的维数。

由于Gabor滤波提取的表情特征往往具有较高的维度，这使得以上各种结合了Gabor特征的算法都存在计算量大、复杂度高等缺点，导致整个表情识别过程耗时较长，不利于表情识别从仿真实验走向实际应用。为了进一步提高局部遮挡条件下的人脸表情识别的准确率，降低特征量的数据冗余，减少算法耗时，本文提出一种新的特征提取算法。该算法首先设计一种分块提取Gabor特征统计量的方法，生成一个低维Gabor特征向量，大大降低了Gabor特征的数据冗余，并保留了人脸器官的空间特征；然后，该算法引入了反映图像纹理特征的灰度共生矩阵，以此来弥补Gabor特征分块处理造成的像素空间相关性缺失的问题；最后，将提取的Gabor特征统计量和灰度共生矩阵纹理特征进行线性叠加，生成一组用于特征表达的低维特征向量。在日本女性人脸表情库JAFFE(Japanese Female Facial Expression)[7]和荷兰内梅亨大学人脸数据库RaFD(Radboud Face Database)[8]上的实验证明了该算法对于局部遮挡条件下的人脸表情识别具有鲁棒性强、特征向量维数低、分类耗时短、识别速率高的特点。

1　基于Gabor滤波和灰度共生矩阵的特征表达

基于Gabor滤波和灰度共生矩阵的特征提取过程如图1所示。

图1　基于Gabor滤波和灰度共生矩阵的特征提取过程

首先，用Gabor滤波和灰度共生矩阵的方法分别提取人脸表情特征：

(1) 在采用 Gabor 滤波器提取图像特征时，首先求取图像5个尺度、8个方向的Gabor幅度图GMPs(Gabor magnitude pictures)；然后根据人脸器官分布特征对各尺度各方向下的GMP进行分块处理，每幅图分为四个子块；随后对每个子块求取变换系数大小的均值和标准差来代表该块图像的Gabor特征，这样每个尺度每个方向下的GMP就转化为一个4×2=8维的特征向量；最后将5个尺度、8个方向下的特征向量串联起来生成一个8×40=320维的特征统计量。

(2) 在采用灰度共生矩阵的方法提取纹理特征时，首先将图像的灰度级由256级压缩为16级，以此简化计算；然后构造4个角度的灰度共生矩阵，并计算4角度共生矩阵的四个统计量；最后求各个统计量的均值和标准差作为纹理特征量，这样就得到了一个8维的纹理特征数据。

然后，将两种方法提取的图像特征进行线性组合，形成一组低维特征向量。

最后，对特征向量进行内部向量的高斯归一化处理，使各分量具有相同的权重。

1.1低维Gabor特征向量的提取

1.1.1传统Gabor特征向量的提取

Gabor滤波变换是在二维测不准情况下对信号空间域和频率域的最佳描述，是图像辨识的最好方法之一[9]。二维Gabor小波函数定义如下：

(1)

其中，u、v定义了Gabor滤波器的尺度和方向，z=(x,y)为图像坐标，σ是与小波频率带宽有关的常数，ku,v=kveiφu，kv=2-(v+2)/2π为中心频率，φ=uπ/k为方向参数，e(-|ku,v|2|z|2/2σ2)是Gauss函数，eiku,vz是一个振荡函数,e-σ2/2是直流分量。

提取图像f(z)的Gabor特征就是将图像与Gabor滤波器做卷积，定义如下：

Gu,v(z)=f(z)×Ψu,v(z)

(2)

在这里，经常选用5个尺度、8个方向，即u={0,1,2,3,4}，v={0,1,2,3,4,5,6,7}，总共40个Gabor滤波器来对图像进行分解，提取图像多尺度多方向的Gabor特征。由于Gabor幅值信息相对相位信息比较稳定，因此多数研究均采用幅值来描述人脸表情特征。最终形成40张GMPs，作为Gabor特征。

1.1.2分块的Gabor特征统计量提取算法

利用传统的算法提取图像Gabor特征时，一幅图像经过40个Gabor滤波器滤波后，生成40张不同尺度、不同方向下的GMP，使得特征维数大大增加，导致整个表情识别过程耗时较长。因此，本文针对传统Gabor特征提取方法的不足，提出了一种分块的Gabor特征统计量的提取算法：为更有效地表征人脸，使提取的特征包含脸部空间信息，本文依据面部主要器官之间的几何关系[10]以及实际的实验验证结果，对每幅GMP在垂直方向按照图像高度h进行上、中、下三等分；然后将最上面一部分按照图像宽度w进行二等分；最终将每幅GMP划分为4个子块：R0、R1、R2和R3，使4个子块分别对应包含左眼、右眼、鼻子和嘴四类主要器官。然后对每幅GMP的每个子块分别求取均值μu,v和标准差σu,v。公式如下：

(3)

(4)

其中GMu,v(x,y)是指第u个尺度、第v个方向上的GMP，m×n是指相应图块的大小。最后将每幅GMP的每个子块提取的2维特征统计量串联在一起，形成一个4×2×40=320维的特征向量，以此来代表图像的Gabor特征。低维Gabor特征向量的提取过程如图2所示。

图2　低维Gabor特征向量的提取过程

1.2基于灰度共生矩阵的纹理特征向量的提取

灰度共生矩阵GLCM(gray-level co-occurrence matrix)是描述在θ方向上、相隔距离为d的一对像元分别具有灰度层i和j的出现概率。它是一个对称矩阵，是用来描述图像纹理特征的常用方法。

设大小为M×N的图像f(x,y)，灰度级为G，则满足一定空间关系的灰度共生矩阵P(i,j)如下：

P(i,j)=#{(x1,y1),(x2,y2)∈M×N|f(x1,y1)

=i,f(x2,y2)=j}

(5)

其中#(x)表示集合x中的元素个数，i,j=0,1,…,G-1是图像的灰度。若(x1,y1)与(x2,y2)间距离为d=(Δx,Δy)，两者与坐标横轴的夹角为θ，则可以得到各种间距及角度的灰度共生矩阵P(i,j,d,θ)。

在实际处理中，为了减少计算量，一般令d=1，即只取0°、45°、90°以及135°四个角度上的灰度共生矩阵来表示图像特征[11]，四个角度的示意图如图3所示。

图3　四个角度的示意图

灰度共生矩阵是以矩阵形式存在，无法直接应用于特征表达，因此需要进行进一步的计算，提取出相应的特征统计量。由GLCM能够导出14种纹理特征统计量，但其在计算上的耗时可想而知。Ulaby等人[12]研究发现：在基于GLCM 的14个纹理特征量中，仅有4个特征量是不相关的，它们分别是对比度、差熵、能量和相关。因此，本文选用这4个特征参数作为灰度共生矩阵的特征表达。

1.3高斯归一化

由于特征向量中各个分量的物理意义和取值范围不同，所以需要对特征向量进行归一化，使各分量归一化到相同的区间上。这样可以减少计算量，提高图像判别的速度和成功率。

最常用的是高斯归一化方法。假设N维的特征向量记为F=[f1,f2,…,fN]，I1,I2,…,IM代表图像库中的图像，则对任意一幅图像Ii，其对应的特征向量为Fi=[fi,1,fi,2,…,fi,N]。可利用式(6)将fi,j归一化至区间[-1,1]：

(6)

其中，mj和σj分别表示特征分量值系列[f1,j,f2,j,…,fM,j]的均值和标准差[9]。

2　实　验

2.1实验数据

由于目前尚没有一个通用的局部遮挡条件下的人脸表情库可供使用，所以多数学者选择在正常人脸库上进行遮挡处理以获取实验数据。

为了充分验证本文算法的识别性能，本文采用多数据库的方法，即同时采用JAFFE和RaFD两个数据库进行实验。JAFFE数据库中的表情样本均取自于日本女性，民族和性别相对单一；而RaFD数据库内包含不同民族、不同年龄、不同性别的表情样本，不同个体的表情强度和外貌存在较大差异，易造成算法对表情的误判。以上两个数据库均包含六种基本表情(高兴、生气、厌恶、悲伤、恐惧、惊讶)和中性表情，两个数据库中每种表情图像的选取数量如表1所示。

表1　JAFFE和RaFD数据库中表情图像的选用情况

2.2图像预处理

研究表明，眼部和嘴部器官遮挡对表情识别具有较大的影响，所以本文使用黑色矩形框遮挡眼部和嘴部，以模拟墨镜和口罩对人脸表情产生的遮挡。除此以外，分别遮挡上脸、下脸、左脸和右脸，来模拟头发、手势等其他情况产生的遮挡，以此来验证本文算法的识别性能。

为了获得更好的实验结果，本文对两个库中的所有图像进行如下预处理：首先，将彩色图像转化为灰度图像，并使用2.2d×1.8d的矩形区域裁剪图像(d是双眼之间的距离)[10]，以获得单纯的人脸图像；然后，对图像进行直方图均衡化处理，以消除光照变化对表情识别造成的干扰；随后，将图像尺度归一化到80×70像素；最后对图像进行如上所述的遮挡处理。两个数据库中图像的预处理过程如图4所示。

图4　两个数据库中图像的预处理过程

2.3特征提取和特征分类

运用本文第1节中算法分别对JAFFE中213幅和RaFD中353幅经过预处理的人脸表情图像进行特征提取，高斯归一化后每幅图像得到一个328维的特征向量。

在特征分类阶段，本文选用简单且常用的K-最近邻(K-NN)算法进行分类。对于训练集与测试集的选择，本文使用10折交叉验证来测试算法的准确性。

3　实验结果与分析

为了验证本文算法的优越性，实验选取两种较成熟的特征提取算法进行比较，分别是传统的Gabor算法和Gabor多尺度特征融合与LGBPHS相结合算法(F-LGBPHS)[6]。对于这两种算法同样使用K-NN算法作为分类器，以此来保证取得的实验结果只与特征提取算法的选择相关。

本文算法和两种比较算法在无遮挡和不同遮挡条件下的表情识别率如表2、表3和图5所示。图5(a)对应表2中的数据，图5(b)对应表3中的数据，横坐标为遮挡类别，纵坐标为表情识别正确率，三种算法用三种不同纹理图案的柱状图表示。

表2　JAFFE数据库上各算法的表情识别率(%)

表3　RaFD数据库上各算法的表情识别率(%)

图5　传统Gabor算法、F-LGBPHS算法和本文算法在两种数据库上的表情识别率

从实验结果可以看出，一方面，本文算法在JAFFE和RaFD数据库上都达到了较高的识别率，优于传统Gabor算法和F-LGBPHS算法。

(1) 在JAFFE数据库上，无遮挡的情况下，各个算法均达到了较高的识别率，本文算法取得了最高的91.13%的识别率。在遮挡情况下，各个算法的识别率都有所降低。在面部不同区域、不同程度被遮挡时，本文算法的识别率均高于传统Gabor算法和F-LGBPHS算法，说明本文算法具有较强的鲁棒性。

(2) 在RaFD数据库上，各个算法的识别率均低于JAFFE数据库上的识别率，这验证了“表情个体的差异易造成算法对表情误判”的结论。在表情个体存在较大差异的RaFD数据库上，本文算法仍然优于传统的Gabor算法和F-LGBPHS算法，保持了较高的识别率。这充分说明了本文算法在一定程度上能够避免个体差异对表情特征产生的干扰，进一步说明了本文算法具有较强的鲁棒性。

另一方面，由于本文算法在提取Gabor特征时，没有沿用传统Gabor算法的高维特征数据，而是对每个尺度每个方向上的Gabor幅度图进行分块提取均值和标准差两个统计量。既保留了人脸器官的空间特征，又大大降低了Gabor特征维数。最后结合了低维的灰度共生矩阵特征向量，高斯归一化后生成了用于特征表达的低维特征向量。正是将这低维特征向量输入分类器，大大减少了特征分类阶段的计算量，使得本文算法在两个数据库上的平均分类时间分别达到0.2981秒和0.7442秒，相对于其他两种基线算法，分类速率大大提高，增强了表情识别的实时性。

综上所述，本文算法能够在多数据库的条件下，克服表情个体差异性带来的负面影响，对人脸不同区域、不同程度遮挡的表情保持较高的识别率，具有较强的鲁棒性和较快的识别速率。

4　结　语

针对局部遮挡条件下的人脸表情识别，提出一种新的基于Gabor滤波和灰度共生矩阵的表情识别算法。该算法一改Gabor特征维数较高的缺点，设计了一种分块提取Gabor特征统计量的算法，在保留了人脸空间特征的同时降低了Gabor特征维数；同时，考虑到Gabor特征的分块处理会造成像素空间相关性的缺失，该方法将反映像素间位置分布特性的灰度共生矩阵引入到表情识别领域，增强了像素点间的相互联系，弥补了Gabor特征分块处理产生的不足；最后，将提取的Gabor特征统计量和灰度共生矩阵纹理特征进行线性叠加，生成一组用于特征表达的低维特征向量。在JAFFE和RaFD数据库上的实验表明，一方面,该算法的表情识别性能优于传统Gabor算法和F-LGBPHS算法，对于不同区域、不同程度的表情遮挡具有较强的鲁棒性；另一方面，该算法提取的特征向量维数较低，大大降低了特征分类阶段的平均耗时，提高了表情识别速率。总之，本文针对局部遮挡条件下的表情识别提出的基于Gabor滤波和灰度共生矩阵的表情识别算法，能够在保证较高表情识别率的前提下，大大提高识表情别速率，在算法鲁棒性和实时性上具有明显的优势，对人脸表情识别从实验迈向实用领域提供了理论上的参考。

[1] 刘帅师.非均匀光照和局部遮挡情况下的鲁棒表情识别理论与方法研究[D].吉林:吉林大学,2012.

[2] 蒋斌.鲁棒人脸表情识别方法研究[D].北京:北京工业大学,2014.

[3] Mikolajczyk K,Schmid C.A performance evaluation of local descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(10):1615-1630.

[4] Zhang L G.Towards spontaneous facial expression recognition in real-world video[D].Brisbane,Queensland,Australia:Queensland University of Technology,2012.

[5] Azmi R,Yegane S.Facial expression recognition in the presence of occlusion using local gabor binary patterns[C]//Proceedings of the 20th Iranian Conference on Electrical Engineering,May 15-17,2012,Tehran,Iran.Miami:Curran Associates,Inc.:742-747.

[6] Liu S,Zhang Y,Liu K,et al.Facial expression recognition under partial occlusion based on gabor multi-orientation features fusion and local gabor binary pattern histogram sequence[C]//The Tenth International Conference on Intelligent Information Hiding and Multimedia Signal Processing,August 27-29,2014,Kitakyushu,Japan.Los Alamitos:IEEE Computer Society:218-222.

[7] Lyons M,Akamatsu S,Kamachi M,et al.Coding facial expressions with gabor wavelets[C]//Proceedings of the Third IEEE International Conference on Automatic Face and Gesture Recognition,April 14-16,1998,Nara,Japan.Los Alamitos:IEEE Computer Society:200-205.

[8] Langner O,Dotsch R,Bijlstra G,et al.Presentation and validation of the Radboud faces database[J].Cognition & Emotion,2010,24(8):1377-1388.

[9] 张李秋.一种基于纹理特征的图像检索方法[D].成都:电子科技大学,2012.[10] Shih F Y,Chuang C.Automatic extraction of head and face boundaries and facial features[J].Information Sciences,2004,158(1):117-130.

[11] 刘莹.图像纹理的特征提取和分类方法研究[D].武汉:华中科技大学,2013.

[12] Ulaby F T,Kouyate F,Brisco B,et al.Textural information in SAR images[J].IEEE Transactions on Geoscience and Remote Sensing,1986,24(2):235-245.

FACIAL EXPRESSION RECOGNITION UNDER PARTIAL OCCLUSION

Li RuiLiu PengyuJia Kebin

(College of Electronic Information and Control Engineering,Beijing University of Technology,Beijing 100124,China)

We propose a novel facial expression recognition method, which is based on Gabor filter and gray-level co-occurrence matrix, aimed at facial expression recognition under partial occlusion condition.We first design an approach to extract in blocks the Gabor feature statistics, which generates a low-dimensional Gabor feature vector. Then, taking into account the lack of association between pixels in blocked Gabor features, we introduce the gray-level co-occurrence matrix reflecting the distribution characteristics between locations of pixels into expression recognition field, so as to make up the deficiency caused by Gabor feature blocking processing. Finally, we apply the linear superimposition on the extracted low-dimensional Gabor feature vector and the texture feature of gray-level co-occurrence matrix, after Gaussian normalisation processing there generates a set of low-dimensional feature vectors for feature representation. Experiments have been made on JAFFE and RaFD, they prove that the algorithm has the characteristics of high robustness, low dimension of feature vectors, short classification time and better recognition rates on facial expression recognition in different regions and with different occlusion degrees.

Facial expression recognitionPartial occlusionGabor filterGray-level co-occurrence matrixGaussian normalisation

2015-02-26。国家科技支撑计划项目(2011BAC12B 03)；北京市博士后工作经费项目。李蕊，硕士生，主研领域：多媒体信息处理。刘鹏宇，副教授。贾克斌，教授。

TP391.41

A

10.3969/j.issn.1000-386x.2016.09.035