微表情探析

余姣姣

（苏州大学 教育学院，江苏 苏州 215123）

1 引言

微表情（microexpression）是个体试图隐藏或压抑其真实情感时所泄露出的非常短暂的且不能自主控制的面部表情.微表情存在的观点来源于达尔文的抑制假说：面部的动作不能被自由的控制，有可能会产生一些不受控制的动作，即使个体尝试去控制他/她的情绪表达.

百年后，Haggard和 Isaacs（1966）首先发现微表情（micromomentary expression），并认为它是一种压抑的表情.随后，1969年Ekman和Friesen也在抑郁症患者的访谈录像中发现了这种面部表情，并将其命名为微表情.Porter and ten Brinke(2008)等人认为当个体试图期望他人被情绪表达所欺骗时，微表情就会发生.

微表情最近开始走向大众化，是由于在诊断和国家安全方面潜在的应用价值，它被认为是一个最有效线索来检测谎言和危险行为.在美国运输安全局已经采用了筛选乘客通过观察技术，该技术很大程度上是基于微表情研究的结果.在临床领域，微表情可以用来了解患者真正的情感，促进更好的治疗.然而，微表情被认为是如此短暂，这几乎是不可检测的，因此难以对人们进行检测.虽然如此，还是难以阻挡人们对微表情研究的热情.本文将从微表情的识别、微表情的生理机制以及微表情库三个方面进行阐述.

2 微表情识别

早期研究中，研究者主要任务是编制各种测验以达到训练或者测量被试微表情的识别能力.如Ekman和Friesen在1974年联合编制的短暂微表情识别测验 (Brief Affect Recognition Test，BART).在这个测验中，主试每1/25秒向被试呈现一张表情图片，以探究被试对微表情的识别能力.且该测验还能判断微表情的识别能力与谎言识别率的关系.Ekman和Sullivan(1991)利用该测验发现，谎言识别测验的得分与BART测验中的成绩呈显著正相关.然而随着研究的进一步深入，研究者们对每1/25秒的呈现速度提出质疑，认为在真实的环境中，微表情出现的时间可能更短；并且如果每次都快速呈现表情图片，很有可能会造成视觉后效，影响微表情的辨别.因此在2002年Ekman又研制了一个微表情识别能力测验，即“日本人与高加索人短暂表情识别测验”(Japanese and Caucasian Brief Affect Recognition Test,JACBART).与BART不同之处在于在该测验中每张图片呈现的时间仅为1/15秒.并且为了消除视觉后效，在每张表情图片的前后都会加上该人的中性表情图片.Frank等人利用该测验对澳大利亚人和美国人的微表情识别能力和谎言识别能力的关系进行研究，结果表明不管是美国人还是澳大利亚人，JACBART得分越高，其谎言识别能力也越高.

此外，人们还发现微表情的识别是可以通过训练提高的.Ekman(2002)等人使用微表情识别训练工具（Micro Expression Training Tool,METT）对被试进行微表情的识别训练，结果发现使用METT训练程序后，被试在可在1.5小时内将微表情识别的成绩提高至30%-40%.

David Matsumoto和Hyi SungHwang通过对韩国81名超市员工的实验对此进行了证明.首先所有的被试都会填一个微表情问卷作为前测.然后使用微表情认知训练工具（MIX）对实验组被试进行训练和练习，而控制组被试没有训练.一个小时后对所有被试进行MIX后测，以及给他们做一个关于怎样在日常生活和工作中使用识别他人表情的能力的简短介绍.实验设计是2（实验组vs对照组）*2（前测vs后测）的混合设计.实验结果表明实验组的成绩显著高于对照组成绩，并且实验组获得了更好的第三方评价，这证明训练提高了被试识别微表情的能力，并且能在人际交往中发挥作用.为了证明微表情的训练效果能够持续一段时间，研究者在美国重复了上述实验，只是在两个星期后通过e-mail给被试发网上后测工具，收集信息.结果发现两个星期后实验组和对照组仍然存在显著差异，这证明了对微表情识别的训练不仅能够提高微表情识别的能力，而且其效果还能持续较长的时间.但是该研究两个星期后的后测回收率较低，这就存在了那些觉得有效果的给了结果，而觉得没有效果的就没有结果，这使得研究结果产生偏差，因此该实验的研究结果是否可信，还值得商榷.

虽然微表情的识别在现实中可以有很大的应用，但是由于微表情持续时间短很多时候不能觉察，因此人类识别微表情的正确率很低，Tomas等人发现只有受过训练的人才能识别微表情并且准确率只有47%，因此一个代替人类微表情识别的方法是很重要的，自动微表情识别的研究由此诞生.Tomas,Xiaobai Li,Guoying Zhao and Matti Pietik¨ainen（2011）使用时空插值法实现计算机自动识别，实验证明即使是在25帧每秒的速度下仍可达到高识别率，通过结合随机弗雷斯特分辨器和29帧的时间插值使结果达到最好，几乎达到87.9%的正确率.这就可媲美于人类微表情的识别率.

而 Qiqiang Zhou和 Xiangzhou Wang（2013）又有了更高的进展.他们创造了基于几何特征的系统的实时的面部表情识别系统.几何特征的提取是在一种混合的方法下提取出来的.这个方法首先使用ASM来粗略的追踪基本点，然后使用一个基于阈限和可变模型来调整嘴巴部位的基本点，这些基本点是由于在非线性图像变量中呈现了不正确的位置，如由巨大的面部表情的改变所引起.基本特征的提取来自通过SVM分类器对基本点进行分类，并归类到七个基本表情中的一个，实验表明识别的速度可以达到12帧.但是，这个自动表情识别有一个缺陷：当出现如嘴巴张的很大，皱眉等较大的表情时识别的结果很好，当出现微小的表情时，系统不能工作.也就是说当微表情不是那么明显或者表情的幅度不是那么大的时候，就不能实现微表情的自动化识别.

国内傅小兰等人（2011年）基于前人的研究成果自主研发了基于静态特征的自动微表情识别系统.该系统首先自动地对视频中的人脸进行捕获并进行相应的预处理，基于Gabor特征对捕获到的人脸图像进行特征提取，以形成人脸表情的Gabor9表征，再结合Gabor特征与改进的GentleSVM算法实现人脸表情识别.测试结果表明，这个基于Gabor的自动微表情识别系统比受过训练的人类被试的成绩更好!不过，该结果是基于特定的测试集得到的，对于幅度较小的表情或将其应用于现实环境中可能无法达到很高的识别率.

可见，自动微表情识别的研究虽然已取得了较大的进展，但是所取得的成果都针对于幅度较大的面部表情，而对于精细表情的识别还有一定的差距，因此，对于自动表情识别的精细化，将是未来的一个研究方向.

3 微表情数据库

无论是对人类微表情识别特点的研究，还是对自动识别微表情的计算机系统的研发，在很大程度上都依赖于一个完整的微表情数据库.梁静等人在2013年认为诸如为实验者提供丰富的刺激材料或基本的实验材料、为自动微表情识别系统提供充分的训练和评估样例，那么就必须建立一个具有代表性且数量足够的微表情数据.因此，许多研究人员试图开发一种自动微表情识别系统，帮助人们发现这种稍纵即逝的表情.以下是在开发检测和识别算法中使用的一些微表情数据库：

1.USF-HD包含100个表情,分辨率为720×1280和29.7帧的帧频.参与者被要求执行表情和微表情.对于微表情，参与者在被记录之前先观看一些包含微表情的示例视频.参与者被要求去模仿这些表情.

2.polikovsky的数据库包含了10个大学生被试，被要求执行7基本表情与低脸部肌肉强度，并尽可能快回到中性表情，模拟微表情动作.相机设置为：480×640分辨率，200帧/秒.

3.yorkddt包含18个微表情：7个来自于表情场景、11个来自非表情化的场景；11个来自欺骗性场景、7个源自真实场景.

4.SMIC包含由100fps照相机记录的77个无意识微表情.一个带有处罚威胁和高度表情起伏的审讯室被选择创造高赌博情境，在这里被试经历高表情唤醒却要有意识地压制他们的面部表情.

之前的微表情数据库包含以下问题：

1.不自然的微表情.其中一些是故意创建的所以它们都是与无意识的微表情不同.根据Ekman研究，表情不能故意控制.

2.面部动作没有情感参与.如果没有认真的分析和研究，很容易混淆无表情面目运动是微表情，如擤鼻涕，吞咽口水或滚动.

3.缺乏精确表情标签.从心理观点来看，其中一些数据库没有正确表情标签.微表示的表情标签是相似的，但与传统的面部表情的标签并不相同.

国内学者 Wen-Jing Yan（2013）等人，在前人研究的基础上，研发了无意识微表情数据库.该数据库具有：1.样本是自发的和动态的微表情.之前和之后每个微表情是基线（通常中性）的面孔，所以样本可还可以用于评估检测算法.2.在研究中参与者被要求保持中性的面孔（中立化范式).因此，在我们的数据库中捕获的微表情是相对较“纯净且清晰”，无噪声，头部运动和不相干的面部动作等.3.行动单位被给予每种微表情.AUs给出详细的面部表情运动，帮助给出更准确的表情标签4.二台不同照相机在不同的环境配置之下用于增加视觉可变性.5.基于心理研究和参与者的自我报告仔细标记出现的表情.此外，无表情的面部动作被去除了.

4 微表情的心理与神经机制

微表情与普通表情的识别除了在行为数据上的差异外（如普通表情的识别正确率显著大于微表情），研究者认为两者的认知神经机制也存在差异.如在微表情产生机制上，人们已产生了一定的共识：对面部肌肉的控制存在两条通路.一条是控制随意的面部肌肉运动的皮质运动通路；另一条是控制自发面部肌肉运动的皮质椎体外系通路.虽然研究者认为微表情的产生可能与这两条通路有关，但是目前还没有直接的证据进行证明(Ekman，2003).另外梁静、颜文靖等利用ERP技术也发现了微表情与普通表情在加工机制上的差异.他们在给被试呈现三种不同的表情图片（正性、负性和中性）时发现了个体在微表情（呈现时间在200ms以内）和普通表情（呈现时间在200ms以上）的ERP成分存在显著差异.这表明200ms很有可能是区分微表情与普通表情之间的分界点；这也从另一方面证明了微表情与普通表情在加工机制上并不相同.

由于微表情的神经生理机制的研究目前尚少，要对微表情的心理与神经机制阐述清楚较为困难.但是我们可以通过影响微表情的人格、情绪、动机或认知等因素的分析来加深对微表情的理解，进而深入系统的回答微表情系别中的基本问题.研究发现，微表情的识别能力与人格有较大关系.如Matsumoto等人(2000)的研究发现被试在JACBART上的得分与他们在大五人格量表开放性(openness)维度上的得分和艾森克人格量表外倾性(extraversion)维度上的得分呈显著正相关.即个体在开放性或者外倾性上的得分越高，其微表情的识别能力也越高.这说明越开放的人其微表情识别能力越强，这也可能是为什么越开放的人越受欢迎的原因之一，因为他们更善于察言观色.另外，这也表明了微表情识别能力的训练可能不仅仅局限于训练的程序，还可以从个体的性格上进行塑造.

迄今为止，有关微表情的心理与神经机制研究还较少，微表情的神经机制还是微表情研究中亟待解决的重要科学问题.

5 小结

微表情的研究是近年来学术界与现实生活中都非常关注的话题.但是由于时间较短，并没有对微表情进一步透彻的分析.例如，对于现行的微表情识别能力测验还存在生态化的效度不高等问题；基于微表情的自动谎言识别系统的正确率不够理想，以及微表情识别的心理与神经机制的探索还有待进一步加强等.随着研究的进一步深入，这些问题将进一步得到解决，使得相关的成果能够得到广泛的应用.

〔1〕David Matsumoto , Hyi Sung Hwang.Evidence for training the ability to read microexpressions of emotion.Motiv Emot.2011,35:181–191.

〔2〕Ekman, P. (2003). Emotions revealed:Recognizing faces and feelings to improve communication and emotional life.New York:Times books.

〔3〕Ekman,P.,&Friesen,W.V.The repertoire of nonverbal behavior: Categories, origins,usage,and coding[J].Semiotica,1969,1,49–98.

〔4〕Ekman, P., & Friesen, W. V. (1974).Nonverbal behavior and psychopathology.In R.J.Friedman & M.Katz (Eds.),The psychology of depression:Contemporary theory and research(pp.3–31)[M].Washington,D.C.:Winston and Sons.

〔5〕Ekman,P.,Sullivan M.Who can catch a liar[J],American Psychologist,1991,46(9):913-920.

〔6〕Ekman P.Micro Experssion Trainng Tool(METT). From http://www.paulekman.com,2002.Retrieved April 15,2009.

〔7〕G. Warren, E. Schertler, and P. Bull,“Detecting deception from emotional and unemotional cues,”[J]Journal of Nonverbal Behavior,2009,33(1):59-69.

〔8〕Haggard,E.A., & Isaacs,K.S. (1966).Micro -momentary facial expressions as indicators of ego mechanisms in psychotherapy.In L.A.Gottschalk&A.H.Auerbach(Eds.),Methods of Research in Psychotherapy (pp.154–165)[M].New York:Appleton-Century-Crofts.

〔9〕M.Shreve,S.Godavarthy,D.Goldgof,and S.Sarkar, “Macro-and micro-expression spotting in long videos using spatio-temporal strain,”in IEEE Conference on Automatic Face and Gesture Recognition FG’11.IEEE,2011,pp.51–56.

〔10〕Matsumoto,D.,LeRoux,J.A.,Wilson-Cohn,C.,Raroque,J.,Kooken,K.,Ekman,P.,et al.A new test to measure emotion recognition ability:Matsumoto and Ekman’s Japanese and Caucasian Brief Affect Recognition Test (JACBART)[M].Journal of Nonverbal Behavior,2000,24(3),179–209.

〔11〕Porter,S.,&ten Brinke,L.Reading between the lies:Identifying concealed and falsi?ed emotions in universal facial expressions[J].Psychological Science,2008,91(5),508–514.

〔12〕Qiqiang Zhou,&Xiangzhou Wang.Real-Time Facial Expression Recognition System Based -On Geometric Features [M].International Conference on Information Technology and Software Engineering.2013:449-456.

〔13〕S.Polikovsky,Y.Kameda,and Y.Ohta,“Facial micro-expressions recognition using high speed camera and 3d -gradient descriptor,” in Crime Detection and Prevention (ICDP 2009),3rd International Conference on.IET,2009:1–6.

〔14〕T. Pster, X. Li, G. Zhao, and M.Pietikainen, “Recognising spon-taneous facial micro-expressions,”in Computer Vision(ICCV),2011 IEEE International Conference on.IEEE,2011,pp.1449–1456.

〔15〕Tomas P?ster,Xiaobai Li,Guoying Zhao and Matti Pietik¨ainen.Recognising Spontaneous Facial Micro-expressions.IEEE International Conference On Computer Vision.2011:1449-1456.

〔16〕Wen-Jing Yan,Qi Wu,Yong-Jin Liu,Su-Jing Wang and Xiaolan Fu. CASME Database:A Dataset of Spontaneous Micro-Expressions Collected From Neutralized Faces.In:IEEE Conference on Automatic face and Gesture Recognition,Shanghai,China,2013.

〔17〕Wu Q,Shen X,Fu,X.The machine knows what you are hiding:An automatic microexpression recognition system [J].Affective Computing and Intelligent Interaction:lectures notes in computer science,2011,6975:152-162.

〔18〕梁静,严文靖,吴齐,申寻兵,傅小兰.微表情研究的进展与展望[J].中国科学基金，2013（2）：75-78.