改进ASM和分类树表情识别算法

吴旭风， 冯 桂

（华侨大学 信息科学与工程学院，福建 厦门 361021）

0 引言

人们在日常生活中观察相互之间情绪的一种基本方法就是通过观察人的表情，表情是非语言交流的一种手段。人脸表情识别有着广阔的应用前景，同时人脸表情识别还具有重要的学术价值。因此该方向的研究成为热点。文献[1-2]提出了许多不同的人脸表情识别方法。

人脸表情识别的主要步骤分为两步：表情特征的提取和表情的分类。Lyon[3]利用主动形状模型（ASM，Active Shape Mode）算法对人脸中的眉毛，眼睛，额头，鼻子，嘴巴，脸颊进行34个特征点的选取，并用LDA进行模板匹配，在JAFFE人脸表情数据库上，对6种基本人脸表情进行实验获得75%的识别率。Feng[4]采用局部二元模式进行特征提取，用改进的模板匹配法进行两步分类，在相同的数据库上获得了77%的平均识别率。

综上所述，文中对ASM算法人脸特征点提取进行改进，采用选择性特征点提取解决人脸面部信息点选取过多造成表情信息冗余的问题。采用条带法进行局部特征点的定位以解决传统 ASM 算法定位人脸图像纹理平滑区域不精确地问题，提高算法定位精度，分类树方法则是对模板匹配法的改进。

1 ASM算法的分析

ASM算法是由训练和搜索两部分组成的。首先对一组标有特征点图像进行建模，然后在搜索过程中通过不断的调节形状和姿态参数使形状达到最优化。

建立ASM：

1）选取某个样本作为初始的平均形状的估计值，将所有的样本按式(1)向当前的平均形状对其齐：

2）重新计算新的样本平均值。

3）对新的平均值按照默认的参考标准化。

4）如果新的均值变化小于某个阈值，认为收敛，否则跳转到步骤 1）继续迭代直到收敛。得到调整好的训练样本后，就可以对训练集统计分析与建模，所在的样本集可看成是一堆点x的集合。

2 优化改进方法

2.1 特征点选取方法

经典算法特征选取缺点：

1）放大噪声信息（主要是光照噪声和无用人脸轮廓信息等）对判别的影响。

2）大量的无用信息的增加，不仅提高计算复杂度，增长了训练建模的时间，而且会影响其他有效分类信息。

优化的特征点选取方法：减少特征点的选取，减少由于不同人脸轮廓带来的噪声干扰，大大缩短训练建模的时间。

特征点选取依据：

1）把表情特征区域分为6块，分别是1额头，2眉毛，3眉心，4眼睛，5鼻子，6嘴巴。

2）主要使用的人脸特征是眉毛、眼睛和嘴巴的形变特征，同时兼顾额头、眉心和鼻子区域的纹理特征。

眼睛:两个眼角各取一点，两眼共2个特征点。

眉毛:眉毛的内角，外角各取一点，眉毛中间各取3点。

鼻子:两个鼻孔外边缘各一取点，鼻子共取2个点。

嘴巴:两个嘴角各取一点，上下嘴层中间各取一个点，共4个特征点。

人脸轮廓:人脸下巴正中间取一点，人脸两侧轮廓等间距各取2个点，共5个特征点。

整个人脸共取21个特征点，将各个特征点按顺序{1，2，…，21}编号，用点分布模型构造先验模型，对给定的测试样本，由训练集图像灰度和形状信息学习得到其形状向量，进行训练，得到平均脸。

2.2 搜索算法的改进

原搜索算法是在相邻特征点的法线方向上取点，然后将取到点灰度值代入马氏距离计算式，得到马氏距离最小的点便是最佳定位点。改进算法的基本原理是在原有算法法线方向上取一个x×x大小的窗口，该窗口内的灰度平均值作为该中心点的灰度值，然后代入马氏距离计算式，求出最佳的定位点。

改进的马氏距离定义：

gji是窗口内点的灰度值。i表示第 i幅图像，j表示第j坐标点。

求差分：

采用改进算法对一幅图像进行定位，图1为原图像，图2为定位后图像，从图2中可以看出，该方法在人的下额与脖子，衣领的交界处，也就是人脸纹理平滑区域上有良好的定位效果。

图1 原图像

图2 定位后图像

2.3 分类树算法

首先是将表情分解成几种差异度较大的几类，这里把表情分为 3个子类 G1(惊讶）,G2(高兴，害怕），G3（厌恶，悲伤，生气），然后根据上一级分类结果接着进行特征区域和特征点的选择,对表情进行细分类。具体区域划分如表1所示。

表1 人脸特征区域划分

2.4 判别方法

最小距离分类器：最小距离分类器是将各类训练样本划分成若干子类，并在每个子类中确定代表点。测试样本的类别则以其与这些代表点的距离最近为原则（距离一般取欧氏距离）。

3 实验结果与分析

3.1 JAFFE人脸库

日本JAFFE人脸表情数据库，包括213张人脸表情图像数据，根据实验的需要，将数据库分为了7组，分别代表7种不同的表情，每一类表情组中有10个不同的人的1幅正脸图像。

3.2 实验1

实验过程：对人脸表情数据库中图像进行归一化处理，在每一类表情中的10幅人脸中依次选取一幅作为测试用图像，其他九幅作为训练图像。采用特征点选取法和经典的ASM算法进行对比，在相同收敛条件下，做 10次实验求平均训练时间。结果如表2所示。

表2 两种方法在不同收敛参数下的实验结果

3.3 实验2

将文中方法与经典算法进行实验比较，结果如表3所示。

表33 种算法的实验结果

4 结语

将特征点选择引入到ASM的平均脸的构建之中来，可以大大缩短训练时间和精度。而用条带法进行局部特征点定位时可以大大提高精确度，在一定程度上克服了边缘纹理的干扰，有效的提高了识别率和识别速度。而使用分类树识别法可以更有效的区分几种容易混淆的表情。总的来说，该算法可以取得比较好识别效果，但与一些先进算法相比，在图像图形处理[5-6]，特征点选取及自动定位上[7]，以及分类器的选取[8-9]上还有较大的改进空间。

[1]SCHLOSBERG H.Three Dimensions of Emotion[D]Harold：Psychological Review,1954.

[2]YANG M H.Detecting Faces in Images: a Survey[J].IEEE Transactions on Pattern Analysis and Machine,2002(24):34-58.

[3]LYONS M J, BUDYNEK J, AKAMATSU S.Automatic Classification of Single Facial Images[J].IEEE Trans PAMI,2002(12):1357-1362.

[4]FENG C.Facial Expression Recognition based on Local Binary Ppatterns and Coarse-to-fine Classification[J].CIT, 2004(24):178-183.

[5]黄宁宁，贾振红，杨杰，等.基于GLCM和EM算法的纹理图像分割[J].通信技术，2011,44(01):48-49,52.

[6]蒋伟,杨俊杰.基于图像修复的图像编码技术[J].通信技术,2011,44(01):43-44,47.

[7]吕品轩,王士林,李生红.基于唇语识别的特征鉴别力分析[J].信息安全与通信保密，2008(05):60-62.

[8]赵玲.基于Kohonen网络的入侵检测方法[J].信息安全与通信保密，2005(03):125-127.

[9]石明明，鲁周迅，马鑫.信号识别中的决策论分类器改进[J].通信技术,2011,44(03):7-8.