人脸表情识别综述

孙蔚 王波

摘要：人际交往中，面部表情为人们相互间的交流提供了一种重要的渠道，人们通过面部丰富细小的变化，能表达各种各样的表情。该文综合介绍了人脸表情识别的研究背景和国内外现状，并且罗列出了和表情识别相关的一些重要国际会议，总结了近十年来国内外研究学者在表情识别领域提出的各自创新的研究方法，最后提出在表情识别研究中仍然存在的问题和不足。

关键词：表情识别；研究方法；创新；不足

中图分类号：TP18文献标识码：A文章编号：1009-3044(2012)01-0106-03

A Survey of Facial Expression Recognition

SUN Wei1,2, WANG Bo1

(1.Information Science of Nanjing College for Population Program Management, Nanjing, 210042, China; 2.College of Automation Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China)

Abstract: Facial expression is a key to nonverbal communication, which has been confirmed by many different research projects. A change in intensity or magnitude of even one specific facial expression can cause different interpretations. In this paper, the background of facial expression recognition reaches and the study of the current situation at home and abroad are introduced Then those important international meetings and those novel reaches in this area are listed. At the end of this paper the limits in facial expression recognition are pointed out.

Key words: Facial expression recognition; Research methods; Innovation; Limits

人脸表情是人们鉴别情感的主要标志。人际交往中，面部表情为人们相互间的交流提供了一种非语言沟通的重要渠道，人们通过面部丰富细小的变化，能表达各种各样的表情，并且表情有时甚至比语言更能显示情感的真实性。

人脸表情识别是指通过计算机来计算分析人的脸部表情及变化，判定其内心情绪或思想活动，从而获得更加智能化的人机交互环境。在模式识别领域中表情识别是一个非常具有挑战性的课题，它在心理学、远程教育、安全驾驶、公共监控、测谎技术、电脑游戏、临床医学、精神病理分析等方面都有着广泛的应用。

1研究背景及现状

早在20世纪70年代,有关于人脸表情识别的研究就已经展开，但是早期主要集中在心理学和生物学方面。随着计算机技术的发展,人脸表情识别技术逐渐发展起来，到上个世纪90年代该领域的研究已经变得非常活跃。大量的文献资料显示表情识别已经从原来的二维图像走向了三维数据研究，从静态图像识别研究转向实时视频跟踪。

国内开展该项目研究的单位主要有：清华大学、北京科技大学、中国科学院、南京理工大学、中国科学技术大学、浙江大学、东南大学、南京大学、北京航空航天大学、西南交通大学、大连理工大学、天津大学、湖南大学等。国外较为著名的研究机构有麻省理工学院、卡内基梅隆大学、匹兹堡大学、马里兰大学、加利福尼亚大学、代尔夫特理工大学等。

国际上关于人脸或表情识别方面的国际会议中影响比较大的有：

CVPR：计算机视觉与模式识别会议（International Conference on Computer Vision and Pattern Recognition）

FGR：人脸与姿态自动识别国际会议（International Conference Automatic Face and Gesture Recognition）

ICPR：模式识别国际会议（International Conference on Pattern Recognition）

ICCV：IEEE计算机视觉国际会议（IEEE International Conference on Computer Vision）

SIGGRAPH：计算机图形和交互技术国际会议（International Conference on Computer Graphics and Interactive Techniques）

ECCV：欧洲计算机视觉会议（European Conference on Computer Vision）

ICMI：多模式接口国际会议（International Conference on Multimodal Interfaces）

ACCV：亚洲计算机视觉会议（Asian Conference on Computer Vision）。

VISAPP：计算机视觉理论与应用国际会议（International Conference on Computer Vision Theory and Applications）。

ACII：情感计算及智能交互国际会议（International Conference on Affective Computing and Intelligent Interaction）

ICBA：国际生物特征识别国际会议（International Conference on Biometric Authentication）

2研究内容

人脸表情识别(Facial Expression Recognition，FER)主要包括三个技术环节(如图1所示):首先是人脸的检测与定位,然后进行表情特征提取和识别,即从输入的图像中检测和定位人脸,然后再提取出对表情识别有用的信息并进行分类识别。

图1人脸表情识别系统

2.1人脸检测与定位

近十年来人脸检测得到了广泛的关注，并且取得了长足的发展和一定的成果。国内外很多学者提出了不少方法,现有的人脸检测技术方法，从不同的角度可以有多种分类方式。根据利用人脸知识的不同，现有的人脸检测方法可以分为基于特征的方法(Fea? ture-based Method)和基于图像的方法(Image-based Method)两大类[2, 3]。目前基于特征方法比较成熟，常用的有基于肤色特征[4,5]、模板匹配[6]等方法；基于图像的人脸检测方法主要有主成分分析法（Principal Component Analysis，PCA）[7]、人工神经网络（Artificial Neural Network Approach，ANNA）[8]方法、隐马尔可夫模型（Hidden Markov Models，HMM）[9]方法、支持向量机（Support Vector Machines，SVM）[10]方法和AdaBoost方法。

2.2特征提取

表情特征的提取方法分为基于运动与基于形变的两类[11]。其中运动是指表情发生时面部特征随时间的变化,而形变则是指有表情的脸相对于中性表情脸的差异。运动特征提取方法代表性的包括光流法[12]、运动模型、特征点跟踪方法等。面部特征的形变可以由形状和纹理两方面来描述,又可以分为基于模型的方法和基于图像的方法两类。其中基于模型的方法有活动外观模型(AAM)

[13]、点分布模型(PDM)[14]等;基于图像的方法有Gabor变换[15]、主成分分析(PCA)[16]等。

2.3表情分类

用于表情分类的方法可以分为时空域方法和空域方法两类[17]。其中时空域方法包括隐马尔可夫模型方法、回归神经网络方法、空时运动能量模板方法等;空域方法包括神经网络方法、支持向量机方法、AdaBoost方法、基于规则推理的方法、主成分分析、独立分量分析、Fisher线性判别分析等。

3存在问题

尽管在当前表情识别领域的研究中很多核心环节上已经取得了一定的成果如人脸检测,特征提取,情感分类等,但是该领域仍然存在以下问题：

1）缺乏对于自发表情识别方面的研究

人为表情识别和自发表情识别之间存在巨大的差异度，而目前大多数人脸表情识别都是对来自于现有的表情数据库（即人为表情）进行分析和识别，并非是对自然人的实时表情（即自发表情）。现有表情库里面的表情都是一些单一的比较夸张的表情，现实生活中人们的表情往往是混合的，强度也是深浅不一，因此需要加强对于混和表情以及表情强度方面的研究。

2）对于表情的标定还没有一个精细的标准

人类的表情可以说是多姿多彩、千变万化的，但是目前，包括FACS在内的现有人脸表情识别系统仅能做到简单的基本表情识别，因为很多现有的表情库中并没有具体的标定每一个表情该有的尺度。因此，今后的一个研究重点应该是加强人脸表情的视觉认知加工等认知心理学的基础研究，从而建立其更加精细的人脸表情描述标准，指导计算机进行人脸表情的精细识别。

3）需要提高表情识别的鲁棒性

个体表情对象研究时很多外部因素如：光照、肤色、姿势以及是否有遮挡物等都会对面部表情识别产生一定的影响，但是当前大多数的研究都是针对特定条件下的表情模式，实际上这些因素都影响到了表情识别的实用化，导致了表情识别的鲁棒性不强。因此，只有综合考虑人脸的表情、光照、噪声、附属物等影响并且使用恰当的判决模型才能较好地解决这个问题。

4）缺乏实用性的应用系统

人脸表情识别潜在应用十分广泛，但是实用性系统却很少，已知的有数码相机自动捕捉笑脸系统、驾驶员疲劳监测系统、微表情识别系统等。我们在开展人脸表情识别的基础理论研究同时，也应该结合工程应用需求，同时强化其在工程上的应用。

4总结

人的内心是丰富的,丰富的内心造就了人类丰富的表情，有些表情之间的差别本身也不是很明显，纵使自然人尚且不能精确的判断出每一个表情及其程度，更何况由人设计出的经验识别算法。虽然一些经典的识别方法已经取得了不错的识别率，但都是基于一定条件下的几种方法的综合，因此到目前为止仍然没人能够提出一种复杂如人脑的计算方法去让机器识别人脸的表情。

基于二维图像的人脸表情识别，由于维度的限制，不能提供识别对象的完整信息，而且它还受到环境和人脸表情图像本身因素

的影响，因此识别精度很难进一步的提高。三维图像在信息的完整度上避免了这样的缺陷，而且减少了外部光照和姿态变化的影响。因此，利用三维信息进行表情识别将是一个具有挑战性的研究课题。

参考文献：

[1]金辉,高文.人脸面部混合表情识别系统[J].计算机学报，2000，23(6)：602-608.

[2]梁路宏,艾海舟,徐光祐,等.人脸检测研究综述[J].计算机学报,2002,25(05):449-458

[3]文沁,汪增福.基于三维数据的人脸表情识别[J].计算机仿真，2005，22(7)：99-103.

[4] Chen D S,Liu Z K.A Survey of Skin Color Detection[J].Chinese Journal of Computers,2006,29(2):194-207.

[5] Hsu R.L, Abdel-Mottaleb M, Jain A.K. Face detection in color images[J].IEEE Trans.Pattern Analysis and Machine Intelligence,2002,24(5): 696-706.

[6] Yullie A, Hallinan P,Cohen D. Feature extraction from faces using deformable templates[J].International Journal of Computer Vision,1992, 8(2)：99-111.

[7] Turk M, Pent land A. Eigen faces for Recognition[J].Cognitive Neuro-science, 1991, 3(1):71-86.

[8] Rowley H.A, Baluja S, Kanade T. Neural Network-Based Face Detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998:20(1):23-38.

[9] Nefian A, Hayes M. Hidden Markov Models for Face Recognition[A].IEEE International Conference on Acoustics, Speech and Signals Pro? cessing[C].Seattle, Washington, 1998:2721-2724.

[10]马勇,丁晓青.基于层次型支撑向量机的人脸检测[J].清华大学学报:自然科学版,2003,43(1):35-38.

[11] Hongcheng Wang, Ahuja N. Facial expression decomposition[A]. In: Proceedings of International Conference on Computer Vision[C], Nice,France,2003:958–965.

[12] Yacoob Y, DavisL. Recognizing human facial expressions from long image sequences using optic flow [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1996,18(6): 636-642.

[13] Tang F Q, Deng B.Facial expression recognition using AAM and local facial features [A].In: Proceedings of the Third International Conference on Natural Computation [C], Haikou, China, 2007:632-635.

[14] Hammal Z, Couvreur L, Caplier A,et al. Facial expression classification: an approach based on the fusion of facial deformations using the transferable belief model[J].International Journal of Approximate Reasoning, 2007,46(3): 542-567.

[15] Yu JG, Bhanu B. Evolutionary feature synthesis for facial expression recognition [ J].Pattern Recognition Letters, 2006,27( 11 ): 1289-1298.

[16] Kotsia I, Zafeiriou S, Pitas L. Texture and shape information fusion for facial expression and facial action unit recognition [ J].Pattern Recognition, 2008,41(3): 833-851.

[17]薛雨丽,毛峡.人机交互中的人脸表情识别研究进展[J].中国图象图形学报,2009,14(5):764-772.