基于多特征集成分类器的人脸表情识别

郑秋梅，吕兴会，时公喜

(中国石油大学计算机与通信工程学院，山东东营257061)

基于多特征集成分类器的人脸表情识别

郑秋梅，吕兴会，时公喜

(中国石油大学计算机与通信工程学院，山东东营257061)

提出基于多特征集成分类器的人脸表情识别新算法。新算法首先对预处理后的人脸表情图像通过3种不同的特征提取方法来提取不同类型的表情特征，然后对不同特征构造不同的分类器，最后构造一个基于神经网络的集成分类器模型，对这3个分类器的输出进行决策融合，从而实现人脸表情的最终识别。在JAFFE人脸表情数据库中的试验结果表明，所提算法的识别效果优于单个特征和单一的分类器。

人脸表情识别;多特征;集成分类器;神经网络

人脸表情识别涉及的领域非常广泛，包括图像分析［1－4］、模式识别、机器视觉、人机交互等。人脸表情识别的研究主要集中在特征提取和表情分类两个方面。近年来，涌现出了很多新的特征提取方法。Ruan等提出的二维判别保局投影算法(two－dimensional discriminant locality preserving projections，2DDLPP)［5］具有非线性数据表达和保留局部结构信息的性能，强调了判别信息，适合应用于表情特征提取和识别工作。笔者曾提出一种新的Gabor特征降维方法［6］，利用分布估计算法选择具有最大判别力的Gabor核的尺度和方向，降低了特征维数。后来，笔者又提出双向二维直接线性判别分析算法((2D)2DLDA算法)［7］，从水平和垂直两个方向对图像矩阵执行直接线性判别分析，进行列和行的两次维数压缩，降低了特征维数。集成分类器的分类方法因其具有泛化能力强和不易出现“过学习”等优点，逐渐成为模式识别领域中的研究热点。在人脸识别及表情识别领域，出现了利用不同特征、不同分类器相互组合的系统，并且识别性能获得了较大提高［8－10］。笔者结合整体特征、局部特征和集成分类器的优势，提出一种基于多特征集成分类器的人脸表情识别方法。

1 人脸表情识别系统结构

本文中提出的基于多特征集成分类器人脸表情识别系统的结构如图1所示。系统的基本思想是充分利用人脸图像的信息，对预处理后的表情图像，通过3种不同的特征提取方法来提取不同类型的表情特征，即改进的Gabor特征、(2D)DLDA特征、2DDLPP特征。对3种特征分别用最近邻分类器、神经网络分类器、最小距离分类器进行初步分类，然后用基于神经网络的集成分类器模型对多个分类器的输出进行融合，实现人脸表情的最终识别，从而提高识别率。

图1 基于多特征集成分类器的人脸表情识别系统图Fig.1 Facial expression recognition system based on multi-feature and combining multiple classifiers

上述多特征集成分类器人脸表情识别系统具有以下优势:

(1)使用不同的训练集，提取不同类型的特征，有利于结合整体特征和局部特征的优势;

(2)用不同的特征去训练不同的单分类器，然后把这些不同的训练集整合起来对融合规则进行训练，尽可能加大了各单分类器的差异，有利于各单分类器的互补;

(3)在计算单分类器的输出上，对每一样本使用不同的计算方式:能直接输出度量级信息的(神经网络)直接使用其输出信息;基于距离的单分类器(最小距离分类器、最近距离分类器)则输出样本对各类别的相似度［10］;

(4)不用传统的积规则、和规则等去融合各单分类器的输出信息，而是在神经网络的基础上利用系统的决策误差调整各层间的权值和阈值，实现了融合规则的自动调整和优化。

显然，本文所提出的多特征集成分类器方法，能够保证分类的准确性和稳定性，提高人脸表情识别效果。

2 人脸表情的初次分类

2.1 基于Gabor特征的人脸表情识别

改进的Gabor特征提取方法［6］是将Gabor核的尺度和方向的选择问题简化为特征选择问题，利用基于群体的增量学习算法(PBIL)对Gabor核的尺度和方向进行选择，得到最优尺度和方向的滤波器集合，并在此基础上提取Gabor特征，降低了特征维数，减少了特征中的冗余信息。

基于PBIL的Gabor核的尺度和方向的选择算法过程描述如下:

(1)设置PBIL算法中的必要的参数，包括种群大小M、个体长度L、变异率Pm、学习率α、概率变异的学习率am、最优个体数目μ。其中个体由定长的二进制串构成，L是全局滤波器组的个数。

(2)初始化概率向量p(x)。根据概率向量，生成第一代的M个个体。设置训练次数t为1。

(3)根据适应度函数［6］评估每个个体的适应值。

(4)选择μ个适应值最高的最优个体，并根据下式修正概率向量p:

式中，pl(x)为第l代的概率向量;为选择的μ个个体。

(5)根据如下概率变异公式修改概率模型:

式中，U(0，1)表示一个向量，其每个分量都是0、1之间的均匀分布随机数。

(6)根据新的概率模型生成下一代个体。

(7)如果终止条件满足，算法终止，输出最优解;否则，转步骤(3)，t=t+1。

2.2 基于(2D)2DLDA算法的人脸表情识别

(2D)2DLDA［7］算法从水平和垂直两个方向对图像矩阵执行直接线性判别分析，进行列和行的两次维数压缩，提取的特征数目大大减少。水平方向的处理称之为2DDLDA算法，垂直方向的称之为Alternate 2DDLDA算法。

设在训练集中有C个样本类别:ω1，ω2，…，ωC，每类有样本Ni个，所有训练样本总数为M。矩阵(m×n的图像矩阵)代表第i类的第j个训练样本图像，所有训练样本的平均图像是¯A，第i类的平均图像是…，C)。

(1)2DDLDA算法。训练样本的类间离散度矩阵Gb和类内离散度矩阵Gw分别为

试图找一个矩阵来对角化Gb和Gw，这个矩阵就是水平方向的投影矩阵X。

(2)Alternate 2DDLDA算法。训练样本的类间离散度矩阵Hb和类内离散度矩阵Hw分别为

与2DDLDA相似，找一个矩阵对角化Hb和Hw。这个矩阵就是垂直方向的投影矩阵Z。

X和Z确定以后，给定人脸图像A，令Y=ZTAX，可以求得图像A的特征矩阵Y。

2.3 基于2D-DLPP算法的人脸表情识别

2D－DLPP算法［5］通过在2D－LPP的目标函数中增加一个类间离散度约束，找到一个通过最小化类内距离、最大化类间距离的最能判别不同类的子空间，该算法强调了判别信息，更适合识别工作。

2D－DLPP算法的目标函数为

其中

A记做m×n的图像矩阵，I是变换矩阵，线性变换是Y=AI。将式(7)进行变换化简为

其中

求解公式ATLAI=λFTHFI的特征值和特征向量。其中是第i类的均值

矩阵。投影矩阵I=［a1a2…ad］由d个最小的非零特征值所对应的特征向量构成。对任意一幅图像Ai有Ai→Yi=AiI。Yi就是投影后的特征矩阵。

3 基于神经网络的集成分类器模型

基于神经网络的集成分类器模型是一个单分类器的组合器。通过模型将各单分类器的输出作为新的特征进行融合，用神经网络对融合规则进行训练。

3.1 模型说明

基于神经网络的集成分类器模型(图2)由输入层、隐含层和输出层组成。与单个神经网络分类器的区别在于:输入层的节点不是一般意义上的节点，而是一个个独立的单分类器，节点数等于单分类器的个数，因此每个节点的输入也不同于普通节点的单一输入，而是一个向量。

输入层的l个节点对应l个单分类器，每个节点的输入是相应的单分类器对同一个样本的决策向量，向量的长度与类别数目相等，分量为此单分类器判定样本属于对应类别的概率。这些概率值在预先设定规则下与权值进行运算，结果作为隐含层的输入。隐含层节点数m可按经验公式来取，每个节点的输出由这层的输入经过一个激励函数计算所得，节点的输出与权值进行运算，作为输出层的输入。输出层节点数n为人脸表情的类别数，每个节点的输出是［0，1］上的小数，由这层的输入经过激励函数计算所得，表示系统判定输入样本属于某类别的概率，是集成分类器模型的最终输出，其中最接近1的那个分量对应着样本预测的类别。

图2 基于神经网络的集成分类器模型Fig.2 Combining multiple classifiers model based on nerve net

3.2 算法描述

模型的输入为Z={z1，z2，…，zl}，zi=［zi1zi2…zin］T表示分类器i对样本图像的输出，作为新的特征，成为输入层节点i的输入。yj是隐含层节点j的输出。O(o1，o2，…，on)为模型的实际输出向量，它的分量ok即为集成分类器最终判定输入样本属于类别Ck的概率，dk表示输出层节点k的期望输出值。wij表示输入层节点i与隐含层节点j的连接权值，是一个向量。tjk表示隐含层节点j与输出层节点k的连接权值。θ是阈值，f是激励函数，f(x)，η是学习率。

隐含层神经元和输出层神经元的输出分别为

输出层和隐含层权值修正为

输出层和隐含层阈值修正为

具体步骤如下:

(1)把所有样本分为训练集和测试集两部分，对训练集进一步细分为l组，分别用来训练l个单分类器。

(2)指定学习率η，初始化各权值wij、tjk和阈值θ。

(3)根据相应的度量级信息计算方法，对训练集中的每个样本X，计算分类器i对样本图像X的输出zi=［zi1zi2…zin］T，作为输入层节点i的输入。

(4)计算隐含层和输出层节点的净输入和输出。

(5)计算输出层节点的误差，修正输出层和隐含层的权值和阈值，转步骤(3)。

(6)当迭代次数大于某个预定的值，结束，并记录此时的权值和阈值。

用训练好的神经网络实现从输入到输出的映射，根据输出向量中的最大分量所在的位置，决定输入样本所属类别。

4 试验结果分析

试验采用日本的JAFFE表情库，此库包含了213幅10名日本女性的表情图像，每人有7种表情，每种表情有3～4张样本。库中图像的原始尺寸为256×256像素，256级灰度。

试验中，先对图像进行预处理，包括人眼定位、灰度均衡化和尺度归一化，将所有图像都归一化为尺寸为128×128像素。然后把213幅图像分成训练集和测试集两部分，在每人每种表情中任取一幅图像作为测试样本，剩下的作为训练样本。这样测试集包含70幅图像，训练集中包含143幅图像。把训练集细分成3组，每组中每种表情有6～7张样本。每组提取一种特征，训练一个单分类器。整个训练集用来训练神经网络集成分类器模型。

为验证本文方法的有效性，在Intel(R)Core(TM)2 Duo CPU机器上进行试验。表1中列出了采用不同算法进行表情识别的识别率和单个样本识别时间。在采用多特征集成分类器后，虽然增加了样本的识别时间，但是识别率较单特征单分类器有较大提高，体现了多特征集成分类器的明显优势。基于神经网络的集成分类器模型较基于传统的积规则、和规则的集成分类器有更高的识别率，充分体现了神经网络集成分类器模型的准确性和稳定性。

表1 不同算法的识别率和识别时间的比较Table 1 Comparison of recognition rate and running time by different method

5 结束语

基于多特征集成分类器的方法进行了人脸表情识别。构造了一个基于神经网络的集成分类器模型，对多特征多分类器的输出进行决策融合。在日本的JAFFE上试验得到了令人满意的结果，充分体现了多特征集成分类器的明显优势和神经网络集成分类器模型的准确性和稳定性。但是，样本的识别时间主要决定于多个单分类器的初次识别时间和集成分类器对单分类器识别结果的融合时间，故识别时间有所增加。因此，实现算法的并行性，以补偿算法的复杂性和运算时间的高开销是下一步要研究和解决的问题。

［1］郑秋梅，李新安，杨发科.基于形态膨胀操作的小波图像压缩编码算法［J］.中国石油大学学报:自然科学版，2007，31(6):117－119.ZHENG Qiu－mei，LI Xin－an，YANG Fa－ke.Wavelet image compression coding algorithm based on a morphological operater［J］.Journal of China University of Petroleum(Edition of Natural Science)，2007，31(6):117－119.

［2］郑秋梅，杨发科，蒋晓红.一种基于关系的小波域水印算法［J］.中国石油大学学报:自然科学版，2009，33(2):164－168.ZHENG Qiu－mei，YANG Fa－ke，JIANG Xiao－hong.A digital watermarking algorithm based opon relationship in wavelet transform domain［J］.Journal of China University of Petroleum(Edition of Natural Science)，2009，33(2):164－168.

［3］ZHENG Qiu－mei，WANG Hong－xia.Image retrieval algorithm based on vector transferring and clustering［J］.Journal of Computational Information Systems，2009，5(2):1009－1016.

［4］ZHENG Qiu－mei，SHI Gong－xi，LÜ Xing－hui.A robust digital watermarking scheme based on integer wavelet using compound encryption［C］//Proceedings of 2009 4th International Conference on Computer Science＆Education，Nanning，China，July 25－28，2009.Piscata way，NJ，USA:IEEE，2009:716－719.

［5］ZHI Ruicong，RUN Qiuqi.Facial expression recognition based on two－dimensional discriminant locality preserving projections［J］.Neuro computing，2008，71(7/9):1730－1734.

［6］ZHENG Qiu－mei，LÜ Xing－hui，SHI Gong－xi.EDA－based optimal gabor kernel's scale and orientation selection for facial expression recognition［C］//Proceedings of 2009 4th International Conference on Computer Science＆Education，Nanning，China，July 25－28，2009.Piscataway，NJ，USA:IEEE，2009:113－117.

［7］郑秋梅，吕兴会，时公喜.基于双向二维直接线性判别分析的人脸表情识别［J］.中国石油大学学报:自然科学版，2010，34(5):179－182.ZHENG Qiu－mei，LÜ Xing－hui，SHI Gong－xi.Two directional two dimensional direct linear discriminant analysis for facial expression recognition［J］.Journal of China U－niversity of Petroleum(Edition of Natural Science)，2010，34(5):179－182.

［8］陈羽，赖剑煌.基于多分类器融合的人脸识别方法［J］.中山大学学报:自然科学版，2006，45(4):23－27.CHEN Yu，LAI Jian－huang.Face recognition based on fusion of multiple classifiers［J］.SunYatsen University(Acta Scientiarum Naturalium)，2006，45(4):23－27.

［9］刘松.基于SVM信息融合的图像识别与并行实现［J］.计算机工程与应用，2009，45(33):168－170.LIU Song.Image recognition based on SVM information fusion and DSP parallel realization［J］.Computer Engineering and Applications，2009，45(33):168－170.

［10］蒋林波，蔡立军，易叶青.一个新的多分类器组合模型［J］.计算机工程与应用，2008，44(17):131－134.JIANG Lin－bo，CAI Li－jun，YI Ye－qing.New model of combining multiple classifiers［J］.Computer Engineering and Applications，2008，44(17):131－134.

(编辑 修荣荣)

Facial expression recognition based on multi-feature and combining multiple classifiers

ZHENG Qiu－mei，LÜ Xing－hui，SHI Gong－xi
(College of Computer and Communication Engineering in China University of Petroleum，Dongying 257061，China)

A multi－feature and combining multiple classifiers method for facial expression recognition was proposed.First，

three features are obtained from pre－processed face images by three different feature extraction methods.Then different classifiers are made based on different features.At last，a model of combining multiple classifiers is developed based on nerve net.The outputs of three classifiers are input to the model in order to get facial expression recognition.Experimental results on JAFFE database show that proposed method is superior to the single feature and single classifier.

facial expression recognition;multi－feature;combining multiple classifiers;nerve net

TP 391.4

A

10.3969/j.issn.1673－5005.2011.01.035

2010－01－10

“863”国家高科技研究发展计划项目(2007AA09Z301);山东省自然科学基金项目(Y2007G21)

郑秋梅(1964－)，女(汉族)，山东高密人，教授，硕士，硕士生导师，主要从事图像处理方面的研究工作。

1673－5005(2011)01－0174－05