人脸表情识别算法研究

姜莉媛

摘   要：情感是表达内心想法的重要方式。隨着人机交互和人工智能的崛起，人脸表情识别也逐渐成为当前的一个研究热点。人脸表情识别是在人脸识别的基础之上发展而来的，但和人脸识别存在着一定的差异，表情识别需要在人脸识别之后，利用一系列的算法对面部表情细节特征加以提取，再利用分类器对所提取的表情加以分类、识别。文章就人脸表情识别的3部分进行阐述，介绍了每一部分的思想和所用的主要算法，并对表情特征的提取、分类的方法重点介绍。

关键词：人脸检测;人脸表情识别;特征提取;特征分类

情感影响着人们生活的方方面面，例如：健康、人际关系，还影响着如何学习、做决定、做生意等各个方面。1971年，Ekman与Friesen最早提出人类有7种基本情感：自然、愤怒、高兴、悲伤、惊讶、厌恶和恐惧[1]。

随着科技的进步与发展，计算机的发展也是日益迅速，人机交互快速崛起，人们几乎每天都要用到计算机和网络，甚至和计算机打交道要比与现实生活中其他人打交道还多。尽管如此，电脑也无法识别人类的情绪，毕竟很多技术只是具有认知性智能，没有情绪性智能。许多研究者都想到：如果计算机等技术可以识别人类的情绪将会如何？如果设备可以识别人类感受并且做出相应的反应将会怎样？这些问题引导着众多研究者去创造可以阅读情绪并做出反应的技术。而研究的起点就是人脸，因为在日常生活交流中，人脸是最基本的方式之一，通过人脸可以表达内心的情绪状态。在情感科学中，每一个面肌运动都被称为一个动作单元，例如，动作单元12代表微笑的主要构成—嘴角上扬;动作单元04代表眉间纹，当眉毛拧到一起的时候纹理和皱纹就会出现，是一个很强的负面情绪指示器。动作单元大概有45个，相应的组合则可以表达相应的上百种情绪，很难让电脑读懂这些情绪，因为其细小微妙、稍纵即逝，同时还有很多的组合方式。

1    人脸检测的综述

人脸检测是指对于任意图像进行扫描图像时检测是否包含人脸，如果是则返回人脸的位置、大小[2]。

1.1  人脸识别的特点

与其他的识别类型相比，人脸识别的特点有：

（1）被动性。设备能够在用户不经意间获取人脸图像，从而达到采集的主动性，减少了麻烦。

（2）同时性。在现实生活中，当一个场景下同时有多个人时，设备也可以对多个人同时进行采集人脸图形，并且进行人脸的分选、判断和识别。

（3）设备采集所获得的结果直接，设备也具有隐蔽性。

1.2  人脸检测

人脸图像采集：无论被采集者是静止不动还是正在运动，不管面向什么方向或者在做什么样的动作，只要在设备的采集区域内，摄像镜头都将会自动搜索并采集。

人脸检测：人脸识别时，先要对人脸位置进行检测。人脸图像中包含的模式特征十分丰富，如直方图特征、颜色特征、模板特征、结构特征等[3]。

1.3  Adaboost算法

在当下的研究中，人脸检测一般都采用Adaboost算法。Adaboost的思想是指修改上一个弱学习算法，每个分类器要等上一个分类器训练结束后才能开始。如此，可以很好地关注到上一个分类器的失误样本，从而使得下一个分类器可以主动修改、弥补其不足。

2    表情特征提取的综述

人们把用眼睛观察到的视觉信息叫作图像信息，如人脸的表情信息，是整体识别和特征识别共同作用的结果。

2.1  人脸表情识别的流程

人脸表情识别由人脸检测、表情特征提取和表情特征分类识别组成[4]。当采集到一张图像时，除了所需的人脸以外，还包括一些障碍物，如背景物。因此，首先削弱人脸以外的干扰物，再对人的外部轮廓进行识别，或者在预处理过程中进行数据增广，图像处理里有平移旋转的不变性，换句话而言，一个人的照片竖着放和横着放都是这个人。其次，对脸部进行定位，将脸的局部特征进行框定和识别，对相应的特征进行分析，再用分类器对特征进行分类和识别，最终进行情绪的映射，形成各个情绪。

2.2  表情特征提取的方法

表情特征提取的方法有基于几何、统计、频率域等[5]。

（1）基于几何的特征提取方法：常用几何特征模型有AAM，该方法无须大量数据的输入，但会丢失一些重要信息，导致最终的结果不准确。

（2）基于整体统计的特征提取方法：有PCA和ICA。PCA是一种统计方法，可以被看作是一种非常重要的降维技术，而降维是提高有效性的前提，通过PCA的转化，信息量并没有本质上的变化，只是转换前的信息分散在各个原始指标变量中，而转换之后，信息集中分布在重要的综合指标当中，而有些信息量相对较少或者不重要，则可将其丢弃，从而达到降维的效果。

（3）基于频率域的特征提取方法：利用某种算法使得图像可以在频率域变换，从而提取其特征，最常见的是Gabor小波变换法。小波指的是时间跨度短，也就是将波长分为若干个小的波使得每一个波在有限的时间内具有非零值，其他时间都是零，而不是指波的幅值小。通过小波可以看到频率的变化，当小波带宽较大时，其低频分量相对较高，随着时间的增长，对应频率逐步增加。因此小波变换法通过多个不同的分辨率对图形进行分析，从而提取出不同层面上的特征情况，有时，特征值层次较低，常与分类器配合用于人脸表情的识别。

3    表情特征分类

常用分类识别方法主要有线性分类器、神经网络分类器、支持向量机、隐马尔可夫模型等[6]。

3.1  线性分类器

线性分析是从降维的角度出发，希望找到合适的投影方向，将一个高维系统的数据全部投影到一维坐标轴上，然后再对一维数据进行分类，最终达到被划分为同一类别区域中的数据方差足够小，不同类别的数据相对分散。以此做到了线性可分，当采集到人脸不同的表情特征时，利用线性分析就可以轻易找到不同表情之间的异同，从而可以方便地进行表情匹配识别。

3.2  神經网络分类器

神经网络分类是一个网状的数学模型，其中的“神经元”中装着很多数字，每一个数字都代表着一个像素点的灰度值。同时因为其是网状的，所以上一层的父节点对下一层的子节点有着一定的决定作用。神经网络就是模仿生物如何根据上一个神经元的激发，促使其下一些相关神经元的激发，在该模型中，当在网络层输入一些灰度值时，根据相应的算法会让其下层产生某些图案，最终输出某种结果，其相当于输入层的信息。因此将人脸特征相应灰度值作为输入，神经网络分类根据自身算法输出一定结果，来进行表情的识别。

3.3  支持向量机分类算法

支持向量机（Support Vector Machine，SVM）是一种二类分类器，具有对偶性、间隔性以及核技巧。在线性不可分的情况下，应该先伸维，使其在更高的维度上分开，SVM在高维模式识别问题方面相对较好。

3.4  隐马尔可夫模型

隐马尔可夫模型（Hidden Markov Model，HMM）需要解决两个问题：一是通过已知数据学习、获得所需参数;二是通过看到的数据加以推断其后检验概率。因此可以利用HMM进行表情的动态特征分析。

4    结语

虽然人脸识别已经取得很好的成就，然而在现实生活场景下受光照等情况的干扰，或者在图像中同时出现多个人、或者有侧面人脸时，表情识别的效率相对显得比较低。对于以上情况，相应的算法也比较少，因此在复杂场景同时对多人的表情进行识别处理依旧是当下研究的热点。

[参考文献]

[1]王大伟，周军，梅红岩，等.人脸表情识别综述[J].计算机工程与应用，2014（20）：149-157.

[2]郭磊，王秋光.Adaboost人脸检测算法研究及OpenCV实现[J].哈尔滨理工大学电气与电子工程学院学报，2009（5）：123-126.

[3]梁路宏，艾海舟，张钹.人脸检测研究综述[J].计算机学报，2002（5）：1-10.

[4]聂倩倩，秦润泽，高育新，等.人脸表情识别算法综述[J].物联网技术，2018（5）：61-63.

[5]付喜梅，庄思发.人脸表情识别的概述[J].电脑知识与技术，2018（2）：211-214.

[6]付胜博.结合双向二维主成分分析和Fisher线性判别的人脸表情识别的研究[D].天津：天津大学，2012.

Abstract：Emotion is an important way to express inner thoughts. With the rise of human-computer interaction and artificial intelligence， facial expression recognition has gradually become a research hotspot. Facial expression recognition is developed on the basis of face recognition. After face recognition， facial expression recognition requires the use of a series of algorithms to extract the details of facial expressions， and then the classifier to classify and recognize the extracted expressions. This paper discusses the three major parts of facial expression recognition and the corresponding flow of each part and the algorithm used， focusing on the facial expression extraction and classification methods， the development of facial expression recognition is discussed.

Key words：face detection; facial expression recognition; feature extraction; feature classification