小波变换在人脸表情识别研究中的应用

崔景霞

（长春工业大学 软件职业技术学院，长春 130022）

随着现代科技发展的日新月异，人们对于人工智能的研究无论从深度与广度上都达到了相当高的水平。尽管如此，研究者们在大多数情况下仍然过于关注于研究以及模拟人类的智能，如判断、推理、证明等思维活动。而在更能表现人工智能特点的人工心理方面的研究则稍显欠缺。作为实现人工心理研究的重要组成部分，人脸表情识别成为必须研究解决的关键性课题。

1 人脸表情特征分析

1.1 图像获取

人脸表情表述所关注的问题在于对表情向量的建模与面部特征得提取。当代研究中的FACS面部行为编码系统［1］即为表述与理解人脸表情的一个典型样例。该系统将人类面部表情与面部肌肉结构紧密关联，并总结与定义了人类的六种最基本的表情：惊奇、恐惧、厌恶、愤怒、高兴、悲伤。这一定义现已成为学术界对于人脸表情分类的共识。

本文采用业界普遍认同的日本标准表情数据库JAFFE作为实验表情图片数据库。该数据库包括了10个实验对象的自然、悲伤、厌恶、高兴、生气、惊奇、恐惧各七种标准表情。其中每一对象的每种表情平均三幅图片，均为256×256像素大小的bmp灰度图片共213幅。图片样本如图1所示。

图1 JAFFE数据库图片样本Fig.1 Samples of JAFFE database

同时为扩展本研究的适应多样性，在实验中采用一些自采集表情彩色图像，同样包含上述七种标准表情。图片样本如图2所示。

图2 自采集样本缩略图Fig.2 Miniature samples of self-collected images

1.2 图像预处理

对获得表情图像进行预处理操作以便于研究，包括表情ROI（Region Of Interest）区域的截取与图像尺度归一化：

1.表情ROI区域的截取

设图像中左右双眼的中心分别为El、Er，取此两点中心位置Ec并嘴的中心为M。设定Ec、M点位置坐标为常数并以此两点为中心截取表情相关ROI区域以排除非表情相关区域的噪音干扰并起到纠正由于样本获取对象姿态偏离所导致的表情ROI区域的角度偏离。

2.表情图像尺度归一化

对截取后的表情ROI区域进行尺度归一化：其中JAFFE数据库图片ROI区域归一化尺度为108×108像素，自采集样本ROI区域归一化尺度为256×256像素并对彩色图像进行灰度化处理以减少由于肤色以及光照强度不同所导致的分辨差异。

经上述两种预处理操作后的图像样本如图3所示：

图3 预处理后图片样本Fig.3 Pre-processed image samples

1.3 表情特征分析

如前所述：表情是人脸为传达某种感受所做出的一种容貌表述。FACS面部行为编码系统及其之后的研究者们揭示出了表情表述与运动单元及肌肉运动之间的关系：面部神经牵动面部肌肉从而引起运动单元的运动导致面部表情呈现。从另外一个视角阐述即当人类表现不同的表情时包括眼、眉、嘴在内的各面部器官均呈现不同的形貌与形状，如图4所示。

图4 不同表情下面部器官形貌Fig.4 Facial organs’appearances of different expressions

2 小波变换

2.1 小波变换原理［2］

小波是一种用于多层次分解函数的数学工具。信号经过小波变换后可以用小波系数来描述，小波系数体现了信号的性质。因此，小波变换用于图像处理是小波变换应用效果比较突出的领域之一。它在图像处理中的基本思想是把图像进行多分辨率分解成不同的空间和独立的频率带的子图像，然后对子图像的系数进行处理，例如图像压缩、图像增强、图像的分解和重构等。

离散小波变换（DWT）包含各种独特但相关的变换，业界利用变换核对或定义该核对的一组参数来表征每个DWT。核可用三个可分的二维小波来表示：

其中，ψH(x,y)，ψV(x,y)，ψD(x,y)分别称为水平、垂直和对角小波，并且一个二维可分的尺度函数是

每个二维函数是两个一维实平方可积的尺度和小波函数的乘积：

其中，k为平移参数决定小波核函数沿x轴的位置，j为尺度参数决定小波核函数的宽度。

当 f(x,y)表示一幅图像信号时，其二维小波变换相当于 f(x,y)分别沿x轴方向和y轴方向经不同的一维滤波器滤波，得到低频和高频子带图像，图 5（a）为一级小波分解示意图。

图5 小波分解示意图Fig.5 Wavelet Ccomposing configuration

其中，LL表示图像的水平和垂直方向的低频信息，HL表示图像的水平高频信息及垂直低频信息，LH表示图像的水平低频信息及垂直高频信息，HH则表示图像的水平和垂直高频信息。通过小波变换，当图像在某一频率和方向上具有较明显的特征时，与之对应的子带图像的输出就具有较大的能量，因此图像信息集中在相应的少数小波系数上。图 5（b）为二级小波分解示意图，同理，多级小波分解每次都在低频子带上进行。

在二维情况下，得到三组细节系数——水平、垂直、和对角线细节。如图6所示为经二维小波分解与降维后的图片。

图6 二维小波分解降维后的实验表情图片Fig.6 Experimental expression images reduced dimension by 2D-wavelet

2.2 小波基函数选择

随着小波理论的逐渐成熟，各类小波族也已被逐步尝试运用到图像识别应用当中。因而从众多的小波族中选取最为适合本文表情识别方法的小波族群成为实验中必不可少的一个步骤。

表1 小波族群名称一览表Tab.1 List of wavelet families’names

由图7所示，由各种不同小波族小波对实验表情图片进行变换后所得效果对比显示，基于Haar小波族的小波变换效果最为明显，将表情图片中人脸器官以及肌肉线条所呈形貌完整清晰表达。因而在本文后续的实验中选用Haar小波作为小波变换核函数

3 实验结果

分别对经Haar小波变换后的水平与垂直高频分量做水平与垂直方向上的投影分别得到一组63维向量。并将所得水平投影向量与转置后的垂直投影向量结合组成一126维向量自此得出本文用于表情识别的特征向量，而后将所得向量经BP神经网络进行分类识别［3］。所得实验结果如表-2表-3所示。

图7 基于不同小波族的小波变换效果图Fig.7 Transformed effects by different wavelet families

表2 基于JEFFE数据库的表情识别结果Tab.2 Results of expression recognition based on JEFFE database

表3 基于自采集图像的表情识别结果Tab.3 Results of expression recognition based on self-collected images

图8 基于Haar小波族的典型表情小波变换效果图Fig.8 Transformed effects of typical expressions by haar wavelet

4 结论

本文从理论分析与实验实践两个方面对小波变换在人脸表情识别应用研究中的的可行性与适用性进行了研究。得出了小波变换完全适用于人脸表情识别应用研究。并依据实验结果从众多的小波变换核函数中选取了最能表现人类人脸表情形貌的Haar小波核函数。而后基于Haar小波核函数对获取实验图片进行小波变换，最终由投影获取向量并经BP神经网络分类识别其平均正确识别率可达90%以上。如何提高识别方法的扩展能力与实用性能成为本文后期的研究发展方向。

［1］王志良.人工心理学—关于更接近人脑工作模式的科学［J］.北京科技大学学报，2000，22（5）：478-483.

［2］冈萨雷斯.数字图像处理（MATLAB版）［M］.阮秋琦，等，译.电子工业出版社，2005.

［3］I.Essa.A Vision System For Observing and Extracting Facial Action Parameters［A］.In Proceedings of the Computer Vision and Pattern Recognition Conference［C］.IEEE Computer Society，1994：76-83.