纹理与几何特征视野下人脸表情识别算法研究

刘赟

（无锡汽车工程高等职业技术学校，江苏 无锡 214000）

0 引言

如今，人脸表情识别已经大量运用到各个领域，包含医疗、教育及辅助驾驶等，逐渐成为视觉领域研究的热点问题[1]。不同特征所用提取法具有独特的优势，同样具有一定不足，将纹理与几何特征融合起来，能够将每一种特征优势展示出来，对不足进行互补，效果还是比较显著的[2]。因此，探讨纹理与几何特征视野下人脸表情识别算法具有实用价值。

1 相关算法

LBP算法是提取局部纹理特征的常用方法，因其计算复杂度低及提取效果好，许多研究者都比较喜欢使用。这种算法通过3×3窗口内，以中心像素值作为阀值，把8个相邻像素灰度值与其进行比较，如果中心像素值小，就标记1，反之标记0；3×3邻域内，周围8个像素点与中心像素点共同形成8位制二进制数，从而形成LBP编码，再把二进制转化成十进制，所得数值为LBP值，以此体现出区域内纹理信息[3]。计算公式如下所示：

在上面公式中，P为周围像素点个数，gc为中心像素点灰度值，gj为周围像素点灰度值，s(x)表示符号函数，该公式算法过程如图1。这种计算方法是把图像中每一个像素点进行处理后，得出整副图像LBP编码值，从而形成特征图。对所有编码值实施统计，就可获得统计直方图，从而形成纹理特征的描述向量。

图1 编码过程

2 纹理与几何特征视野下人脸表情识别

2.1 特征融合

在人脸表情识别过程中，无论单独采用某种表情特征，还是在姿态偏转或光照变化下，都极难达到良好的真实性[4]。因此，可以同时采用多种特征进行表情特征融合，以此来提高人脸表情识别算法性能。合理采用多种特征相融合的方法，可发挥多元互补特征，以此来表征目标，达到各种条件的适应性。融合表情特征，需要独立提取出多种表情特征，比如纹理特征和形变特征等[5]；合理分析各种特征适应环境及优缺点，采用综合决策来实现表情分类。

2.2 人脸数据库

本文研究采用CK+人脸表情库，表情库中包含593个图像序列，其中有123个为不同表情图像序列，每一个图像序列均从自然表情开始，结合相应表情或相应脸部动作单元[6]。每个序列所占有时间存在差异，每个序列的图像数量自然也不相同，但是完整的表情都有一个过程，那就是从自然表情——目标表情——自然表情[7]。如果只是依靠人判断图像序列，根本不能实现客观性。要提高可靠性，数据库在标注表情类别时就要依据人脸动作单元识别表情。经过一系列筛选后，最终有327个图像序列保存下来，具体分类见表1。

表1 每种表情图像序列数量

2.3 预处理

在人脸表情识别上，预处理主要包含三个步骤，即人脸检测--主动外观模型--标准化。第一步基于类Haar特征人脸检测算法对人脸区域进行定位，在该范围内容搜索主动外观模型，确定定位位置，最后对人脸实施标准化，缩放到统一大小，便于Gabor系数的提取。本文研究中，人脸区域缩放大小为48×48[8]。

2.4 纹理特征识别表情

当表情图像经过预处理后，就对标准化图像使用Gabor小波变换特征提取。这样每副图像经过处理后就能够得到40副处理过的图像。当每副输入图像被定位到具体的区域后，就降低到48×48分辨率。所以经过Gabor变换后，每副图像都会获得一个921600维特征向量。这种特征维量较高，就采用多类别特征选择算法。此次实验结果来看，当把前200维特征选出来，其分类精度比较高。采用纹理特征识别表情，其结果见表2。从表中可知，大多数纹理特征表现较好，但是极易把生气划分成轻蔑，极易把高兴识别成害怕。

表2 纹理特征识别表情的结果

2.5 几何特征识别表情

在特征选择与降维上，常常采用主成分分析法，但人脸各部位自身为线性的，表情变化属于非线性变化，所以几何特征无法较好体现表情这种非线性变化。鉴于这种情况，本文采用流形学习(Manifold Learning)非线性降维算法把内部结构变化体现出来,因人脸在整个图像所处位置变化微小，可以视为基本不变，所以就采用定位的特征点位置与最初自然表情进行相减，就能够获得坐标差，每个坐标差就可视为特征向量，在主动外形模型中总共有68个坐标点，因此得出136维特征向量。本文研究中，对支持向量机与修正支持向量机相结合进行比较研究，采用流形学习算法对两种情况降维后数据进行比较，发现降到24维时分类结果最好；实验结果来看，结合修正支持向量机，能有效提高精度，研究结果见表3和表4。

表3 结合修正支持向量机研究结果

表4 结合支持向量机的研究结果

2.6 两种算法概率的融合

最后，采用模糊积分把前面两种算法输出概率结合起来，得到表5的结果。从结果比较来看，模糊积分对纹理与几何特征合并方法，识别人脸表情的算法整体精度明显提高，效果比较显著。

表5 模糊积分合并结果

3 结语

学校作为我国教育事业的前线阵地，高效率的课堂是全社会所追求和关注的。为了督促学生在课堂上高效地学习，老师要经常在课堂上对学生进行批评、提醒。但是老师的精力和时间有限，无法时时刻刻提醒学生。学校可以通过监控、老师巡逻来加强管控，但这样做费时费力，效率低下，同时还会造成误判、漏判等现象。而基于纹理与几何特征视野下人脸表情识别算法可以在很大程度上解决这一问题。通过该方法，来识别学生的面部表情，判断学生的听课状态，既节省了人力，又提高了课堂效率，同时在心理上也能督促学生认真听课，让老师把更多的精力放在授课而不是提醒学生上。该算法准确率高，误差小，能够精确的反映学生当前的听课状态，实现对学生听讲的监督和提醒，实现了自动化、精确化的目标，应用市场广阔。