基于计算机视觉的表情识别方法研究*

2020-08-13陆玉

九江学院学报(自然科学版) 2020年2期

陆玉

(阜阳职业技术学院安徽阜阳 236031)

表情识别的全称是计算机自动表情识别，主要是指通过对计算机的合理利用，对面部表情进行提取识别，再利用人的认知方式与思维方式，对其进行分离与理解，从而对人的思维情绪进行分析与了解，比如，愤怒情绪、快乐情绪、恐惧情绪以及厌恶情绪等。表情识别是计算机视觉中的重要组成部分，可以将其应用在智能人机接口设计与完成、人工智能中等。

1表情识别步骤与特点

表情识别的步骤通常情况下需要遵循传统模式识别问题框架。在这一过程中，主要包含四个步骤，分别是图像获取环节、预处理环节、特征提取环节以及分类环节，见图1所示。

图1 表情识别步骤

计算机人脸识别图像获取阶段、预处理阶段，与表情识别图像获取阶段与预处理阶段的任务存在很多相同之处。在这一过程中，要使得成像质量得到保障，避免受到外界的干扰。但在提取特征与方法中，存在一定的差异[1]。人脸识别提取的主要是不同人脸之间的个体差异，而表情识别主要提取的是在同一个人脸上不同表情之间存在的差异。在对表情识别进行研究过程中，需要对人脸识别相关技术与方法进行借鉴，同时要加强对目的的重视程度，从而提取出新的特征融合与分类算法。

2常用的表情识别提取方法

2.1特征提取基本概述

特征提取通常情况下主要是指，将像素描述的图像数据，转化为更高级的形式进行表述，比如形状方式、运动方式或者纹理方式等，对大量的图像数据进行压缩。如果从表情识别的角度进行分析，主要特征提取方式包括不同类型，比如提取几何特征、提取统计特征、提取运动特征、提取频率域特征等。

2.2几何特征提取

从人类角度出发可以看出，人面部表情的变化主要反应在面部区域形状，以及相对的位置变化中。在表情识别的初期阶段中，在面部提取过程中，一般情况下提取的是人脸面部的几何特征。其识别原理主要是加强对人脸结构特征以及先验知识的应用，对眼睛、鼻子、嘴巴等的形状变化与位置变化展开定位、测量工作。从而明确大小、距离、形状三者之间的特征关系，进而展开相应表情识别工作。具体还可以将几何特征分为不同类型：

(1)手动定义特征点。在实际手动定义特征点过程中，可以利用手动定义的方式，在面部标定22个定点。对于不同的表情，需要对其平面与有表情帧之间的位移情况进行计算，将其作为特征，展开相应的分类器训练。经过实践可以明确，通过手动定义特征点的方式，对标点位置信息进行提取，有着较高的准确率，而且训练操作与分类操作的延时情况较少。

(2)自动提取特征点。自动提取特征点这一问题，与人脸识别研究当中的人脸检测以及定位问题有着一定的相同点与共通性[2]。人脸几何结构相对固定，因此，在对表情区域的大致位置进行明确过程中，可以使用先验知识方式，也就是说利用人脸对称性以及面部结构的三庭五眼对位置进行明确。接着对不同特征点，比如瞳孔、嘴角等进行精确定位。在对自动的表情区域进行定位时，可以结合实际情况采取不同方式，例如积分投影方法、hough变化法以及susan角点检测方法等。如图2所示，是对近似人脸提取的5个定位特征和12个形状特征。

图2 人脸正面自动提取特征点示意图

(3)在几何轮廓特征基础上的模板匹配。在几何轮廓特征基础上的模板匹配，需要在手动标特征点基础上展开。在对图像主要特征进行描述过程中，主要是利用大量标记点的方式。对于训练图像的不同标记点位置展开相应的统计分析工作，从而形成可变型的模型，对人脸特征形状以及空间关系进行建模(见图3)。在模型中要包含相应的轮廓参数，例如灰度信息轮廓参数、局部灰度轮廓参数信息等。此类参数信息，能够直接将人脸不同姿态与表情充分展现出来。对几何特征进行提取的主要优点是，能够更加直观明确其中的参数信息，直接对人脸的面部表情进行分析、认识。能够与人眼表情识别规律相符合，在一定程度上减少信息输出，包括特征信息以及压缩信息等。在这一过程中，也存在一定的劣势，那就是对有限的特征点进行利用，并代表人脸图像，使得人脸中细微的表情变化特征无法得到充分展现。自动提取特征点在实际工作的开展中，对于经验特征有着很强的依赖性，而精确性有待提升。

图3 面部几何特征

2.3统计特征

一般情况下，图像的统计特征是在整体灰度基础上表现出来的，基本工作思想与理念是在特征空间中将人脸图像映射出来，对于众多的图像数据进行降维后，对最终的模式进行分类。在此期间，最为常用的是主分量作正交基方法，主分量作正交基方法也被人们称为主成分分析法。实际工作原理是，假设人脸处于低维线性空间中，具有不同表情，且不同的表情具备较强的可分性特点。人脸图像在高维图像空间中，需要通过KL变换使其成为新的正交基。接着对人脸训练样本集进行统计特征分析，并将其中的正交基部分保留，从而生成低纬人脸空间。如果将KL变化成为矩阵方式，特征值要从大到小进行排列，λ1，λ2，λ3，λ4，……n，与之相对应的特征矢量为U=u1，u2，u3，……un，根据上述内容可以明确人脸图像在变换空间的表示公式为：

(1)

在对变换矩阵特征矢量进行排序过程中，需要按照特征值大小顺序。如果在特征矢量的投影上人脸图像在前面，那么可以确保该特征具备较强的能量，可以将其称之为主成分。在特征矢量投影上人脸图像在后面，那么其能量相对较小，将其称之为次成分。在对其中部分次成分的舍弃过程中，要加强对KL变化法的应用[3]。在这一过程中，选择m(m

(2)

通过训练可以得到相应的特征表情，然后将即将被识别的表情图像投影到一个新的m维空间中，通过不同特征脸的线性加权和将人脸表情展现出来。通过该种方式得到相应的投影系数向量，促使待识别人脸能够有着相应的代表。在此期间，识别问题将会得到更好解决，将识别问题转化成为m低维空间坐标系数矢量分类问题。随着表情识别技术的不断发展，有更多学者提出在人脸面部表情的识别中，将特征脸多子空间方式应用在其中。采取不同措施，对传统特征脸方法进行完善与创新，比如通过静态变维分类方式、动态变维分类方式等，能够达到良好应用效果[4]。统计特征提取方法，能够在很大程度上将更多的原始数据信息保留下来，整个处理过程更加简单方便。同时也存在一定的缺点，外在因素与表情本身存在的图像差异问题并没有得到区分，在人脸表情图像的预处理过程中，处理流程更加复杂，并且有着更高要求。对于输入图像需要保证其归一化，降低光照的影响。通过对人脸尺寸的归一化，将深度差异问题与人脸形状不同的差异问题更好解决。

2.4频率域特征

通过小波变换，能够将空域中的图像信息转化为频域中的图像信息，接着对获得到的小波洗系数进行有效处理，从而将图像的频率特征提取出来。相较于傅立叶变换而言，Gabor小波分解方式属于局部变换方式，在对其中某一局部测度范围进行明确过程中，可以通过Gabor小波滤波器方式，对尺度的大小进行明确。在实际实验中，要将小波变换的分解层数控制在合理范围内，保证在三层到四层即可[5]。一旦出现层数过大问题，那么计算量会增加，同时为工作人员的工作量会增加。如果层数过小，那么小波变化的多尺度性特点无法得到充分展现。频域特征在提取过程中，主要是对图像多尺度特征与多分辨率特征进行提取。在这一过程中，能够保证整个过程的稳定性，但是，因为是低层次特征，不能直接将其应用在匹配工作与识别工作中。为使得识别质量与识别效率得到保障，还可以加强对ANN分类器以及SVM分类器的应用，促使表情识别准确率能够得到提升。

3常用分类器设计方法

3.1线性分类器

在模式识别准则中，线性判别是一种较为经典的方式。如果要对线性分类器进行应用，那么要假设在不同类别的模式空间中属于线性可分。因此，在对线性判别分析方法的利用过程中，可以实现对高级属性人脸表情的分类。线性判别分析这一方式，使得训练工作的展开简单并且迅速。

3.2人工神经网络分类器

在人工神经网络的应用过程中，可以将其视为一种单纯的分类器，但是，在该分类器中，不包含特征提取以及特征选择，还可以将其用作为功能更加完善的分类器[6]。在社会快速发展背景下，许多不同的人工神经网络分类器被应用在表情识别中，比如多层感知器、BP网、RBF网等。在实际分类器的应用中，要结合实际情况，从而将分类器的作用与价值充分发挥。典型的人工神经网络分类器结构如图4所示。