基于SVM与C4.5混合分类器的人脸表情识别

刘帅师，　陈　奇，　程　曦

(长春工业大学 电气与电子工程学院， 吉林 长春　130012)



基于SVM与C4.5混合分类器的人脸表情识别

刘帅师，陈奇，程曦

(长春工业大学 电气与电子工程学院， 吉林 长春130012)

摘要：针对人脸表情识别特点，首先使用几何特征与基于灰度共生矩阵纹理特征的低维混合特征提取方法来提取易分类表情图片的特征向量，然后使用C4.5决策树分类器识别出脸部变化较为明显的表情，再使用SVM支持向量机对较难分类表情图片进行分类。实验结果表明，通过改变决策树算法剪枝中错误样本比率的方法可以获得最佳预测精度，识别率达到90%。

关键词：人脸表情识别； C4.5决策树； SVM； 混合特征提取； 决策树减枝

0引言

人脸表情传递着丰富的个人感情信息，并且在人与人之间的交流中扮演着重要的角色。因此,为了推动更加智能和自然的人机交互[1]，人脸表情识别在过去几十年得到广泛研究，并且成为一个研究热点。人脸表情识别的目标是在人脸图像的范围内提取出对表情识别有利的特征，并据此进行表情图像的分类工作，所以,特征提取以及图像分类这两个过程也就成为了表情分类的重点,而分类器的选择与应用成为决定最终识别精度的关键。然而，现有的多种分类技术如贝叶斯分类器、决策树分类器，亦或是支持向量机分类器都是单分类器，而随着分类对象的多样化，人们逐渐提出了多分类器组合的概念。多分类器组合使用多个基分类器进行分类，并综合所有分类结果形成一个最终结果，它能弥补单一分类器的缺陷，针对分类对象的特点，同时结合各分类器的优势，将分类器之间进行有效的组合，将其运用在分类对象中，最终提高分类效果。

黄勇[2]等提出了一种基于分类器联合的人脸表情识别方法，首先采用CKFD算法在双决策子空间进行特征融合；分别利用最邻近、最小距离和神经网络3种子分类器进行识别；最后运用模糊积分对子分类器的识别结果进行融合。基于JAFFE的实验结果表明，它是一种有效的表情识别方法。程剑[3]等提出了一种基于模糊积分多分类器融合的表情识别方法。首先采用离散余弦变换进行特征提取，然后分别用最邻近分类器、最近特征线分类器和余弦分类器3个子分类器对生气、恐惧、高兴、中性、悲伤、厌恶、惊讶等7种表情进行识别，最后利用模糊积分对子分类器的识别结果进行融合。经过实验验证取得了比较高的识别精度。黄永明[4]等提出了利用几何特征与相应的一级SVM分类器进行一次分类，最后利用Fisher特征与建立的二级集成SVM进行最终分类，该方法经实验分析证明与单个特征相比具有更高的识别率与更强的鲁棒性。张志平[5]等设计了一种(KNN+HMM)+SVM的混合分类器，利用KNN与HMM对测试样本进行判决，当判决结果相同时,直接输出判决结果，当判决结果不同时，引入SVM对测试样本进行再判决。结果表明,该方法所确定的分类器优于单一分类器判决，能有效实现表情分类。周艳平[6]等通过Gabor滤波器对人脸部图像进行滤波，提取滤波后图像的统计信息作为表情识别的特征信息，采用多分类器集成的方法对得到的神经网络输出向量进行线性加权集成,得到最终的识别结果。实验结果表明了该方法的正确性。胡步发[7]等提出了一种基于表情子空间和多分类器集成的人脸识别新方法。通过结合子空间与多分类器集成，对测试集中的图像进行表情分类识别，该方法减少了人脸外观特征和表情表现方式所带来的影响，具有更好的识别效果。

以上这些方法都是使用多分类器对表情进行分类，文献[3-4,7]使用多分类器进行级联，而文献[2，5-6]是对多分类器进行信息融合，且都是对单一分类器进行分类器改进，在改进的过程中同时也增加了分类方法的复杂性。而文中针对表情图片自身的特点，设计出一种根据表情区分难易程度不同，对易分类表情如高兴、惊讶、生气等使用低维特征提取，决策树C4.5算法进行快速、有效分类，而对区分度较小、变化并不明显的表情如中性、恐惧、悲伤、厌恶，使用Gabor高维特征提取，支持向量机分类器进行二次分类，该方法不但依据表情图片的特点，同时结合各分类器自身特性，相对于传统单一分类器分类方法，该方法具有机器内存占用少，运算时间快，识别效果好的优势。该方法流程如图1所示。

图1　表情分类流程

1基于混合特征的低维特征提取

对于人脸表情特征信息，单一的特征提取能够反映某一局部或者单一特性的表情特征，但并不能够全面反映表情的总体特征，而对于表情分类器而言，特征属性值的全面程度是很重要的，它能够很大程度影响表情的识别率。所以,为了使最终误差率降到最低，采用的是包括几何特征、基于灰度共生矩阵的纹理特征等的混合特征提取，它能够全面有效地反映易分类表情图片变化的整体特征，同时足够区分易分类表情。

1.1几何特征提取

面部表情的变化由面部肌肉的牵动引起，面部肌肉的收缩会拉动面部器官的变化，而由各器官特征点相联系的特征距离也必然发生变化，从而反映表情的类别。因此，文中提出基于几何结构特征用于表征表情的变化。由于手动量取特征点容易造成误差，且脸部运动的相对误差本来就不大，如果采用手动测量，易产生较大误差。

文中采用角点检测的方法，自动提取[8]出图像的特征点，避免因手动测量而产生偏差。找出相应的特征点，自动截取相应特征点之间的距离，选取由表情改变而变化最为明显的6种脸部器官距离。提取过程中，首先使用角点检测的方法将图像边缘的特征点标记出，再选取14个相对点，如图2所示。

图2　预标定的特征点

自动截取相应特征点之间的距离得到6维特征向量，见表1。

1.2基于灰度共生矩阵的纹理特征提取

纹理作为一种区域特征，是对于图像各像元之间空间分布的一种描述。由于纹理能充分利用图像信息，无论从理论上或常识出发它都可以成为描述与识别图像的重要依据，与其他图像特征相比，能更好地兼顾图像宏观性质与细微结构两个方面，因此成为目标识别需要提取的重要特征。一幅图像的灰度共生矩阵能反映出图像灰度关于方向、相邻间隔、变化幅度的综合信息，它是分析图像的局部模式和它们排列规则的基础。文中使用基于灰度共生矩阵的纹理特征提取，计算了15种灰度共生矩阵特征，分别为小梯度优势、大梯度优势、灰度分布的不均匀性、能量、灰度平均、梯度平均、灰度均方差、梯度均方差、相关、灰度熵、梯度熵、混合熵、惯性、逆差矩。

表1　几何结构特征及物理含义

计算灰度共生矩阵前，需要做图像的量化，文中将图像的量化级定为256，分别计算：

1)大梯度优势:

(1)

式中：mhk----一个灰度为h,而另一个灰度为k的两个相聚度为(Δx,Δy)的像素对出现的频率。

2)小梯度优势：

(2)

3)反差：

(3)

4)能量:

(4)

5)相关：

(5)

式中：μx,μy,σx,σy----分别为mx,my的均值和标准差；

mx----共生矩阵中每列元素之和；

my----共生矩阵中每行元素之和。

6)熵:

(6)

将提取出的15维灰度共生矩阵数据与几何特征数据外加7种hu不变矩组成28维特征向量。

2决策树C4.5分类器

C4.5算法[9]作为Quinlan的ID3[10]改进版，继承了ID3算法的优点：用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；在树构造过程中进行剪枝；能够完成对连续属性的离散化处理；能够对不完整数据进行处理。这些特性都适用于易分类表情的分类。

文中提出了对区分度较高的易分类表情使用C4.5决策树算法分类。C4.5算法的优点是产生的分类规则易于理解，准确率较高;缺点是对高维数据处理能力不足。因此，文中在使用C4.5算法时使用的是低维的特征，并且将输入的特征向量进行了预处理与规范化，使得C4.5能够有效利用特征数据，发挥其优势。

在将特征向量输入分类器之前，首先将特征向量进行数据规范化处理，使用min-max标准化方法，也叫离差标准化，将得到的28维特征向量统一量纲，假设minA,minB分别为属性值的最大值与最小值，将属性的取值投影到[-1,1]范围内，则最小值对应的是-1，最大值对应的是1。

假设用S代表当前表情样本集，当前候选属性集用A表示，则C4.5算法C4.5 formtree(S,A)的伪代码如下：

算法：Generate_decision_tree由给定的表情训练数据产生一棵决策树。

输入：训练样本samples；候选属性的集合attributelist。

输出：一棵表情分类决策树；创建根节点N。

1)IfS都属于同一类表情C，则返回N为叶节点，标记为类表情C；

2)If attributelist为空orS中所剩的样本数少于某给定值,则返回N为叶节点；

3)标记N为S中出现最多的类表情；

4)For each attributelist 中的属性，计算信息增益率information gain ratio：

(7)

其中，Gain(S,A)与ID3算法中的信息增益相同，而分裂信息SplitInfo(S,A)代表了按照属性A分裂样本集S的广度和均匀性：

(8)

5)在实验时假设此时当N的测试属性test.attribute=attributelist具有最高信息增益率的属性；

6)If测试属性为连续型，则找到该属性的分割阈值；

7)For each由节点N分出一个新的叶子节点；

8)If该叶子节点对应的样本子集S′为空，则分裂此叶子节点生成新叶节点，将其标记为S中出现最多的类表情；Else在该叶子节点上执行如下产生树语句对它继续分裂C4.5formtree(S’,S’.attributelist)；

9)计算每个节点的分类错误，进行决策树剪枝[11];

10)生成最终决策树，将测试集输入决策树进行分类，计算识别率。

3基于Gabor小波变换的高维特征提取

Gabor小波[12]方法具有良好的时频局部化特性、多分辨率特性和变焦能力，具有提取图像局部细微变换的能力，这个特性非常适合人脸表情特征的提取，尤其是在分辨差别较小的图像如厌恶、悲伤等表情时，能够反应出这些表情的细微差别。并且Gabor小波对光照变化不敏感，具有良好的光照性，能够较好地解决由环境变化引起的图像变化问题。Gabor变换方法如下：

将表情图像I(x,y)与Gabor滤波器

(9)

进行卷积I(X,Y)*ψj(k,x),得到不同方向和尺度的Gabor图像特征，式中：σ=2π定义了小波滤波器的带宽，(X,Y)为图像空间位置坐标。将表情图像分割为3行5列，分割后的图像特征如图3所示。

图3　分割图像前后对比

4基于SVM的分类算法

支持向量机是目前最为流行的大数据处理方法，已经广泛用于表情分类领域。它的方法是，先给定表情训练样本集，支持向量机SVM通过非线性映射将输入表情特征向量映射到一个高维特征空间：在此高维特征空间寻找最优线性分类面。给定训练样本集:(xi,yi)，i=1,2，…，N，xi∈Rd,yi∈{-1,1},SVM通过非线性映射Φ(x)将输入向量X映射到一个高维特征空间：

在此高维特征空间中寻找最优线性分类面，即求解以下问题：

(10)

yi[〈w,Φ(xi)〉+b]≥1-ξi(i=1,2，…，N)ξi≥0,c>0约束的二次优化问题求解，可得分类决策函数：

(11)

其中，K(xi,yi)=φ(xi)Tφ(yi)为核函数，α是非负拉格朗日乘子。

SVM分类器是两类分类器,只能实现两类分类。SVM多类分类器计算复杂,通过组合多个SVM两类分类器可以实现多类分类,通常采用两种组合方法:

1)一对一(one-against-one)，在所有N类之间构造所有可能的两类分类器,采用投票方法来决定分类结果,共需构造N(N-1)/2个两类分类器。

2)一对多(one-against-the rest)，构造N个两类分类器，通过比较N个分类器的输出值来判定分类结果。

一对一的方法分类效果较好，但是其计算代价大，一对多的方法计算代价较小。

为了减小计算量，文中采用的是一对多的方式构造表情识别分类器分类难分类表情，先将分类效果较好的方案放在父节点上执行，层层向下，逐层推进，构造分类器，如图4所示。

图4　SVM分类器

5实验与结果分析

5.1实验流程

实验流程如图5所示。

图5　实验流程图

实验A表示对表情图片使用文中第1节所述方法进行特征提取，使用决策树C4.5算法进行表情分类，识别出生气、高兴、惊讶表情；实验B表示将剩余的未分类表情使用文中第3节所述方法进行特征提取，采用SVM分类器分类出剩余表情。

5.2实验描述

为了比较混合分类器与单一分类器在识别率和识别性能上的优劣，文中以日本的JAFFE女性人脸表情数据库为例进行测试，JAFFE包括10个日本女性的7种表情的213张图片，每种表情有3到4种样本。将其中140张图片作为训练集，70张图片作为测试集。首先将表情库中所有图像进行预处理，包括纯脸分割、几何归一化和光照归一化后得到归一化后的图像,如图6所示。

图6　部分实验用纯脸表情

5.3C4.5分类器表情分类实验

在使用C4.5决策树分类作为表情分类时，由于该分类器适用于处理低维数据，因此在提取特征时，选用几何特征以及图像的基于灰度共生矩阵的纹理特征等共28向量作为特征向量，文中将数据属性值分为2类和3类，分别构造二叉树与三叉树决策树结构，计算识别率。

由于C4.5与其前身ID3算法[13]相比最大的不同是增加了决策树后剪枝环节，该方法是用训练样本本身来估计剪枝前后的误差，从而决定是否真正剪枝，而通过在输入环节改变调整节点误差率，找到最佳决策树，最终得到最佳识别率。由于C4.5算法中节点误差率一般默认为0.25，而超过0.4即出现过剪枝问题，所以在实验中，将误差率分别选取为:0.1,0.2,0.3三种类别进行实验。

C4.5二叉树三种节点误差率对应的表情识别结果见表2。

表2　基于C4.5的易分类表情识别结果(二叉树)

当误差率e=0.2时，对应的表情识别率达到最高的96.67%,于是将决策树节点误差率设定为0.2时取得识别最佳值。三叉树对应的三种节点误差率的识别结果见表3。

表3　基于C4.5的易分类表情识别结果(三叉树)

可以看出，三叉树的整体识别率均低于二叉树，而当节点误差率e=0.2时也取得最佳识别率。通过表2、表3的比较，可得到在使用C4.5算法进行表情识别时使用二叉树作为决策树形式，且当误差率e=0.2时获得最佳识别率。

5.4SVM分类器表情分类实验

由于SVM在处理高维数据特有的优势，实验在特征提取时使用Gabor高维纹理特征的提取方法提取出特征向量。分别选取线性核函数(Linear Kernel)、多项式核(Polynomial Kernel)、径向基核函数(Radial Basis Function)作为SVM的核函数选择，分别计算在这3种核函数下表情识别率的差异，最终选取最佳识别率对应的核函数。

表4　基于SVM的表情识别结果

从表4可以看出，在对3种支持向量机核函数进行比较的过程中，使用径向基核函数(RBF)作为核函数的SVM表情识别率最高，对难分类的四种表情识别率达到了85%，因此决定将表情识别方法核函数定为径向基核函数。同时可以发现中性表情的识别率较低，低于其它图片表情的识别精度。

图7　部分识别失败表情举例

图7列出了部分识别失败表情，(a)、(b)分别为“恐惧”、“悲伤”表情，由于这两类表情都为复合表情，容易和其它表情相混淆，所以分类器并没有识别出来。而(c)、(d)都是“中性”表情，变化较为细微，分类器同样没有识别出来。

5.5C4.5与SVM混合分类器结合以及性能分析实验

为了分类所有表情，将C4.5决策树分类器与SVM分类器混合分类，得到分类结果见表5。

表5　基于SVM与C4.5所有表情识别结果

根据以上两个实验，将决策树定为二叉树结构，节点误差率e=0.2,支持向量机核函数设为RBF核函数。同时，分析两种分类器分别进行分类时的分类时间和机器内存占用两方面的不同，得到结果见表6。

从表5中可以看出，当将两种分类器综合分类所有表情时，分类精度达到90%，而从表6可以看出，混合分类器中由于决策树分类器使用低维特征向量，所以特征向量维数相对支持向量机分类器特征向量大大减少，同时机器内存占用也就小了。并且，由于C4.5分类速度快，特征向量维数少的特点，分类时间也较快。

5.6结果分析

从上述C4.5分类器与SVM分类器用于表情识别实验结果表明，文中所提出的C4.5与SVM混合分类器用于表情识别最高识别率能够达到90%，决策树分类器在使用二叉树形式，选取节点误差率e=0.2时获取最大识别率，同时，支持向量机在使用RBF核函数作为径向基核函数时获得最大识别率。在比较两种分类器性能时可以看出，无论是机器内存占用还是分类时间，C4.5决策树分类器相对于SVM分类器都具有较强的优势，而在最终的识别率上，文中提出的混合分类器已经接近传统表情分类器。

在对分类器中单一表情的识别精度上观察可以发现，一些图片表情由于变化轻微，如“中性”表情，识别率较低，还有一些图片表情是复合表情，如“恐惧”表情、“悲伤”表情，虽然识别率也达到了90%，但识别率并不如“高兴”表情、“惊讶”表情，它们都达到了100%。

6结语

根据传统的单一分类器的特点，提出了一种新颖的多分类器的表情识别分类方法，首先采用混合特征提取与C4.5分类器分类出快乐、惊讶、愤怒这3种表情，然后将剩余的表情使用Gabor特征，用SVM分类剩余表情。主要成果如下：

1)考虑到C4.5分类算法的特点，提出将C4.5决策树算法应用于表情识别，分类特征维数低的特征向量，发挥其计算量不大、直观、低维数据处理能力强的优势。决策树分类器以往并没有广泛地应用于表情分类领域，文中尝试将其结合其它分类器用于表情分类并取得了不错的成果，希望对其在表情研究领域作进一步的推广。

2)结合Gabor特征与SVM算法的特点，使用高维纹理特征以及高维特征处理能力强的SVM分类器，分类难分类表情，与C4.5组成混合分类器进行所有表情分类。

实验结果表明，文中所用方法无论在计算量上还是在识别性能上都比单一分类器更具有优势，应用在JAFFE表情库中识别率达到90%，表明适用于表情识别领域。下一步的研究重点则集中在使用单一决策树分类器在表情分类领域的研究。

参考文献：

[1]薛雨丽,毛峡,郭叶，等.人机交互的人脸表情识别研究进展[J].中国图形图象学报，2009,14(5):764-772.

[2]黄勇,应自炉.基于分类器联合的表情识别[J].计算机工程与应用,2007,43(25):244-248.

[3]程剑,张有为.基于模糊积分多分类器融合的人脸表情识别[J].信号处理,2005,8(4A):358-361.

[4]黄永明，章国宝,董飞,等.基于Gabor、Fisher脸多特征提取及集成SVM的人脸表情识别[J].计算机应用研究,2011,28(4):1536-1543.

[5]孙正兴,徐文辉.基于局部SVM分类器的表情识别方法[J].智能系统学报,2008,3(5):455-466.

[6]周艳平,夏利民,宋星光.基于Gabor滤波的多分类器集成人脸表情识别[J].长沙交通学院学报,2005,21(2):70-74.

[7]胡步发,陈炳兴,黄银成.基于表情子空间多分类器集成的非特定人人脸表情识别[J].计算机应用,2011,31(3):736-740.

[8]顾华，苏光大，杜成.人脸关键特征点的自动定位[J].光电子·激光，2004,15(8):975-979.

[9]刘鹏,姚正,尹俊杰.一种有效的C4.5改进模型[J].清华大学学报,2006,46(s1):996-1001.

[10]朱颢东.ID3算法的改进和简化[J].上海交通大学学报,2010,44(7):883-891.

[11]范洁,杨岳湘.决策树后剪枝算法的研究[J].现代科学技术研究，2005(1)：54-56.

[12]刘帅师,田彦涛,万川.基于Gabor多方向特征融合与分块直方图的人脸识别方法[J].自动化学报,2011,12(7):1456-1463.

[13]刘泽,潘晖.基于ID3算法汽车变速箱故障诊断技术[J].长春工业大学学报:自然科学版,2011,32(6):534-537.

Facial expression recognition based on C4.5 and SVM hybrid classifier

LIU Shuaishi,CHEN Qi,CHENG Xi

(School of Electrical & Electronic Engineering, Changchun University of Technology, Changchun 130012， China)

Abstract：The geometric feature extraction is combined with the low dimensional hybrid feature extraction which is based on gray co-occurrence matrix to extract the features of easy-classified expression images, and then C4.5 decision tree classifier is used to identify the obvious changes of expressions. At last, SVM is applied to identify the difficulty-classified expressions. The experimental results show that the optimal prediction accuracy is obtained with error-sample rate in the decision tree pruning algorithm, and the identification rate is up to 90%.

Key words：facial expression recognition； C4.5 decision tree； SVM； hybrid feature extraction； decision tree pruning.

收稿日期：2016-02-22

基金项目：吉林省科技发展计划青年科研基金资助项目(20140520065JH)； 长春工业大学科学研究发展基金资助项目(2010XN07)

作者简介：刘帅师(1981-)，女，汉族，吉林长春人，长春工业大学讲师，博士，主要从事模式识别方向研究,E-mail:liu-shuaishi@126.com.

DOI:10.15923/j.cnki.cn22-1382/t.2016.2.10

中图分类号：TP 181

文献标志码：A

文章编号：1674-1374(2016)02-0150-09