正负效价面部表情图片加工的差异

隋雪　纪雅婷　陈欣　任桂琴

摘 要 为探讨正负效价面部表情图片识别的差异，采用独立呈现范式呈现正负效价面部表情图片，控制呈现时间和提示线索位置，并利用眼动仪记录识别过程中的眼动指标。结果发现： （l）在识别速度和正确率上，加工积极面部表情图片高于加工消极面部表情图片，显示出积极表情优势。 （2）呈现时间没有改变正负效价表情图片加工之间的差异。 （3）存在提示线索位置效应，即提示线索在嘴部有利于面部表情识别。 （4）面部表情识别遵循“眼部一嘴部一眼部”的规律。结果提示不同性质面部表情的加工机制不同，加丁深度作用小于线索作用。

关键词 面部表情，效价，呈现时间，提示线索，眼动。

分类号 B842.6

1 引言

而孔包含着复杂而又丰富的信息。Mehrabian（1972）认为信息获取模式如下：信息的总效果=7%言语（verbal） +38%声音（vocal） +55%面部表情（facidl）。Calvo，Nummenmaa和Averona （2010）使用六种基本面部表情，研究发现在识别速度上，情绪类型效应显著。而且，对正性、负性表情的加工存在明显差异。关于正性、负性表情加工差异问题，存在着两种看法：积极（正性）表情优势和负性情绪偏向。

Becker （2012）研究发现，识别积极表情照片比识别消极表情照片的反应快，正确率高。这种“积极表情优势”在快乐和厌恶的比较中（Leppanen&Hietanen，2004）、快乐和生气的比较中、快乐和恐惧的比较中（Juth，Lundqvist，Karls-son，&ohman，2005）都得到了证实。谷莉和白学军（ 2014）发现面部表情注意偏向于偏好积极情绪。Farran，Bransonb和King （2011）对孤独症患者进行了研究，也得出了积极表情优势。负性情绪偏向（negative emotionnl bias）是指相对于愉悦的表情或者表现愉快生活场景的材料，负性事件可以吸引更多、更快、更强的注意与心理资源（郭军锋，罗跃嘉，2007）。对人群中面孔识别的研究发现.不管是正常的还是情绪易感的人群里，生气表情都比快乐表情辨认的更快、更准确（ Pinkham，Briffin， Baron，&Gur， 2010）. Gagnon， Gosselin，Hudon-ven der buhs， Laroncque主Milliard （2010）在研究儿童识别和区别面部表情时发现.儿童能很准确的从情绪表情中区分出害怕和厌恶的表情。

Messinger， Mattson， Mahoor和Cohn （2012）的研究发现，不同程度的眼睛收缩和嘴张开分别与哭或笑的程度有关，因此局部特征也会影响面部表情加工进程。Song和Hakoda （2012）也发现情绪判断主要依靠对面部的局部处理。主要有两种观点：第一，眼部在面部表情识别中的线索作用大。眼睛收缩传递着积极或消极情绪的中心内部状态.而嘴巴仅仅是通过不同的呼吸和有情感的发音才能辨别情绪。Baron -Cohen，Wheelwright和Jolliffe（ 1997）给被试分别观看完整的面部表情图片、从面孔中截取的眼部和从面孔中截取的嘴部的图片，在对复杂心理状态的判断中，眼睛和面部没有显著差异，且它们都显著好于嘴部。第二，嘴部在面部表情识别中的线索作用大。Yuki，Maddux和Ma-suda （2007）等人以美国人和日本人为被试，识别面孔为高兴表情时，嘴部线索作用高于眼睛线索作用。也有人在研究成人与幼儿面部表情注意偏好时发现成人偏好注意眼部，幼儿偏好注视嘴部（谷莉，自学军，2014）。以上两种不同结论的原因可能是实验的范式、实验材料、实验环境、实验任务、凝视方向、材料呈现时间等原因造成的。

本文从注意资源量和局部特征影响两方面来分析。注意资源量的观点是黄宇霞和罗跃嘉（2009）等提出的.在注意资源量十分匮乏时，机体无法区别对待正性和负性刺激。他们发现，有效提示条件下的反应正确率高于无效提示下的情况。情绪加工受到注意因素调节，负性刺激在资源紧张时可以得到优先加工，而当资源充足时，机体可以调节资源分配而使正性刺激也得到充分加工。

本研究在前人研究中的两个矛盾点作为出发点，对正负效价的面孔的识别正确率以及时间进行研究。以往对表情识别的研究，很多都无法做即时性记录与测量（on-line measurement），本研究使用眼动技术很好地解决了这个问题。利用眼动记录技术对被试识别过程的眼动指标、识别速度和正确率结合进行分析，对探讨识别正性、负性面部表情速度差异的原因提供了可能。在被试自然浏览过程中进行记录，没有对图片进行截图来单独呈现眼睛、嘴部等局部特征，而是呈现完整面部表情图片，使眼动实验更趋于生态化。

2 实验一正负效价表情图片加工结

果的差异

探讨不同效价面部表情的识别速度及正确率的差异；探讨呈现时间不同时，面部表情识别速度及正确率的差异；探讨呈现时间与表情效价对表情识别速度影响的分离。

2.1 方法

2.1.1 被试

30名未参加过面部表情效价评分的大学生作为被试，剔除4名正确率较低的被试，剩余有效被试为26名。其中，男生11人，女生15人，年龄21-24岁之间，平均年龄22.12岁。所有被试视力（或矫正视力）正常，且均无眼部疾病。

2.1.2 实验仪器与材料

实验由一台电脑控制，刺激呈现在19英寸彩色显示器中央。屏幕分辨率为1024x768， 刷新频率为100Hz。采用E-Prime软件编程并记录数据。实验材料使用face gen软件做出300张面部表情图片，将亮度、角度等调整一致。其中积极表情图片和消极表情图片各150张。让不参加正式实验的30名大学生对150张积极表情图片和150张消极表情图片，进行情绪强度5点评分。选取平均分为3-4分的积极面部表情图片和消极面部表情图片各100张。实验一呈现的实验材料为随机抽取的30张积极面部表情图片和30张消极面部表情图片。

2.1.3 实验设计与程序

采用2（表情效价：正性与负性）×2（图片呈现时间：0.2秒、0.03秒）两因素被试内实验设计。首先在屏幕中央位置出现注视点，注视点出现1000毫秒之后自动消失。然后出现一张面部表情图片，呈现0.2秒或0.03秒之后自动消失。最后出现由X组成的掩蔽图片，被试按键选择，F键、H键分别代表正性、负性图片，进行平衡处理。选择后，进入下一个试次。

2.2 结果

反应时为E-Prime记录的图片呈现到被试做出判断的反应时，正确率：回答正确题目数/总题目数。剔除正确率低于75%的数据，数据有效被试26人。

2.2.1 反应时结果

对被试的反应时结果进行描述统计，结果如表l。

以效价和呈现时间为自变量，以反应时为因变量，进行方差分析，同时计算得出方差分析效果大小f的指标和统计检验力指标（胡竹菁，戴海崎.2011）。结果发现： （1）长呈现时间条件下的反应时要短于短呈现时间条件下的反应时，F时间（1，25） =3.41，p<0.05，f=0.31，统计检验力介于0.63-0.76之间。 （2）对积极面部表情图片的反应时要短于对消极面部表情图片的反应时，F效价（1，25） =13.18，p<0.05，f=0.62，统计检验力大干0.99。 （3）呈现时间与效价二者之间的交互作用显著，FX互（1，25） =3.91，p<0.05，f=0.34，统计检验力介于0.76-0.86之间。进一步进行简单效应检验，结果发现，效价在长呈现时间上的处理效应是极为显著的，F（1，25） =23.75，p<0.01，呈现时间长的情况下，积极面部表情的识别速度要快于消极面部表情的识别速度。效价在短呈现时间上的处理效应是不显著的，F（1，25） =1.0，p>0.05。

2.2.2 正确率方面

对正确率结果进行统计，描述统计如表1。

以效价和呈现时间为自变量，以正确率为因变量进行两因素重复测量方差分析，表情效价的主效应极其显著，F 效价（1，25） =33.18，p<0.01，f=0.98，统计检验力大于0.99，积极面部表情识别的正确率显著高于消极面部表情的正确率。呈现时间的主效应不显著，F时间（1，25） =1.94，p>0.05，f=0.24，统计检验力介于0.48-0.63之间。二者的交互作用显著，F交互（1，25） =3.66，p<0.05，f=0.33，统计检验力介于0.7 6-0.86之间。简单效应检验表明，表情效价在长呈现时间处理效应上是不显著的，F（1，25）=3.88，p>0.05.表情效价在短呈现时间处理效应上是极其显著的，F（1，25） =31.06，p<0.01），在短呈现时间的条件下，积极面部表情识别的正确率显著高于消极而部表情识别的正确率。

3 实验二线索条件下正负效价表情

图片加工的差异

通过不同的提示线索位置来探讨眼部和嘴部局部特征对正性、负性面部表情图片加工速度的影响。

3.1 方法

3.1.1 被试

同实验一。

3.1.2 实验仪器与材料

用E-Prime软件运行实验程序，并同时记录被试的反应时和正确率。从评定好的图片中选择实验一未用过的正性、负性情绪图片各30张，作为实验二的材料。

3.1.3 实验设计与程序

采用2（表情效价：正性与负性）x2（提示线索位置：眼部、嘴部）两因素被试内设计。在屏幕中央位置出现一张线索提示图片，2秒之后自动出现面部表情图片，呈现0.2秒。之后是被试选择时间。屏幕上出现由X组成的掩蔽图片。被试按键选择之后.自动进入下一个试次。

3.2 结果

用Spss for windows 16.0对数据进行统计处理。实验二中不同提示线索位置，被试对正负效价的面部表情图片识别的速度及正确率的结果见表2。

以提示线索位置、表情效价为自变量，反应时和正确率为因变量，分别进行两因素重复测量方差分析。在反应时方面，结果发现，表情效价和提示线索位置的主效应均显著，F效价（1，25）=11.07，p <0.01，f=0.57，统计检验力大于0.99，积极面部表情的反应时短于消极面部表情的反应时，F位置（1，25） =7.21，p<0.05，f=0.46，统计检验力介于0.97-0.99之间。提示线索位置在眼部的反应时要长于提示线索位置在嘴部时，二者的交互作用不显著（p>0.05）。在正确率方面，表情效价的主效应显著，F效价（1，25） =63.32，p<0.05，f=1.35，统计检验力大于0.99.积极面部表情识别的正确率高于消极面部表情识别的正确率。提示线索位置主效应以及二者的交互作用均不显著（p>0.05）。

4 实验三正负效价表情图片加工眼

动指标的差异

实验二证明眼部和嘴部对正负性而部图片的作用是不同的。通过实验三来证明这种作用的不同是如何随着呈现时间的增加而改变。实验假设是随着呈现时间增加（注意资源量变得充足），被试对正性、负性情绪的嘴部和眼部的注视时间、注视点个数发生不一样的变化。

4.1 方法

4.1.1 被试

同实验一。

4.1.2 实验仪器与材料

本实验用Tobii X120眼动仪连接屏幕分辨率为1024x768.刷新频率为100Hz的电脑呈现实验材料，被试眼睛与屏幕中心的距离为66Cm。用Tobii X120眼动仪呈现实验材料并同时记录被试的眼动数据。在评定好的图片中选择余下的正性、负性情绪图片各40张进行本实验。

4.1.3 实验设计与程序

实验采用2（表情效价：正性、负性）x4（呈现时间段）x2（兴趣区位置：眼部、嘴部）被试内试验设计。因变量为首次注视时间、总注视时间、注视点个数。首先屏幕中心出现一个注视点，自动消失之后分别在0 -0.2秒、0.2 -0.4秒、0.4 -0.6秒、0.6-0.8秒呈现同一张面部表情图片，之后自动消失，然后会出现一个由X组成的掩蔽图片。被试在此时对刚刚出现的面部表情性质进行判断。并按F、J键做出选择，被试之间进行平衡。之后自动进入下一个试次。

4.2 结果

用Spss16.0对数据进行统计处理。截取到四个时间段内的眼动指标，同时为了考察对眼部和嘴部兴趣区内不同效价、不同时间的注视情况，本文选取了首次注视时间、总注视时间和注视点个数三个指标结合分析。

以兴趣区位置、效价和时间段为自变量，以首次注视时间为因变量进行多因素重复测量方差分析，结果表明，兴趣区位置和表情效价的主效应均显著，F部位（1，25） =6.22，p<0.05，f=0.42，统计检验力介于0.45 -0.90之间；F效价（1，25） =6.94，p <0.05，f=0.45.统计检验力介于0.97 -0.99之间：兴趣区位置和时间段的交互作用显著，F交互（3，75） =12.61，p<0.01，f=0.60，统计检验力大于0.99。对兴趣区位置在呈现时间的四个水平上进行简单效应分析表明，在0 -0.2s时间段内，兴趣区位置的效应是显著的，F=25.41，p<0.05；在0.6s-0.8s时间段内，兴趣区位置的效应是显著的. F=6.54，p<0.05，f=0.38，统计检验力介于0.82-0.90之间。在这两个时间段内，对眼部的首次注视时间显著长于对嘴部的首次注视时间。

以兴趣区位置、效价和时间段为自变量，以总注视时间为因变量进行多因素重复测量方差分析.结果表明，兴趣区位置和表情效价的主效应均显著，F效价（1，25） =3.55，p<0.05，f=0.32，统计检验力介于0.71-0.82之间；F部位（1，25） =7.08，p<0.05，f=0.45，统计检验力介于0.95-0.99之间：位置和时间的交互作用显著，F交互（3，75） =11.64，p<0.01，f=0.50，统计检验力介于0.95 -0.99之间。对兴趣区位置在时间段四个水平上进行简单效应分析表明，在0-0.2s时间段内，兴趣区位置的处理效应是显著的，F（1，25） =25.44，p<0.05，f=0.86，统计检验力大于0.99：在0.6s -0.8s时间段内，兴趣区位置的效应是显著的，F（l，25） =8.67，p<0.05，f=0.50，统计检验力介于0.95-0.99之间。在这两个时间段内，对眼部的总注视时间显著长于对嘴部的总注视时间。

以兴趣区位置、效价和时间段为自变量，以注视点个数为因变量进行多因素重复测量方差分析，结果表明，位置和表情效价以及时间的主效应均显著，F部位（1，25） =3.80，p<0.05，f=0.29，统计检验力介于0.5 8-0.71之间；F效价（1，25） =3.34，p<0.05，f=0.27，统计检验力介于0.45 -0.58之间；F时间（3，75） =6.65，p<0.05，f=0.44，统计检验力介于0.95-0.99之间。位置和时间的交互作用显著，F部缸（3，75） =3.99，p<0.05，f=0.34，统计检验力介于0.71-0.82之间。进一步进行简单效应检验，结果表明，在0-0.2s时间段内，兴趣区位置的效应是显著的，F（1，25） =10.63，p<0.05；在0.6s -0.8s时间段内，兴趣区位置的效应是显著的，F（1，25）=8.52，p<0.05。在这两个时间段内，眼部的注视点个数显著多于嘴部的注视点个数。

5 讨论

综合实验一中反应时和正确率的数据可以发现，在长呈现时间的情况下，积极面部表情的识别速度要快于消极面部表情的识别速度，显示出了“积极表情优势”，而在正确率方面，二者没有差异；在短呈现时间条件下，积极面部表情和消极面部表情的识别速度没有差异，在正确率方面，对积极面部表情识别的正确率高于对消极面部表情识别的正确率，显示出了“积极表情优势”。这个结果需要反应时实验中的速度一反应时权衡问题来解释，即在长呈现时间的情况下，被试有足够的反应时间，因而被试会争取最大的正确率，所以实验结果显示积极表情和消极表情的识别在正确率方面没有显著差异。而在短呈现时间的条件下，被试获取的信息量是有限的，因而被试无法保证正确率.那么被试会追求最大反应时，所以可以看到积极面部表情识别与消极面部表情识别的反应时没有显著性差异，而积极面部表情识别的正确率要高于消极面部表情的正确率。在长呈现时间和短呈现时间的条件下，以不同的方式表现出了“积极表情优势”。长呈现时间下的积极表情优势表现在反应时上。短呈现时间下的积极表情优势表现在正确率上。

在实验二中，在正确率方面，无论提示线索的位置在眼部还是嘴部，被试的正确率都没有显著性差异。在反应时实验中，由于实验任务不是很难.几乎所有的被试都选择了提高正确率，正确率达到90%左右。另外，在本实验中，面孔是完整呈现的，被试的判断并不完全单独依靠某一局部特征，提示线索位置的设置只是把被试的首次注视点固定在某一局部特征上。因而被试要达到很高的正确率并不难。所以实验结果的差异体现在反应时上。提示线索位置在嘴部时对面部表情识别的速度快于提示线索位置在眼部时对面部表情的识别速度。效价与提示线索没有交互作用。

无论积极还是消极表情，提示线索在嘴部都有利于表情性质的判断。这与前人的研究结论有些不同（Boucher&Ekman，1975）。产生这一现象的原因可能是眼部信息的综合性与复杂性，导致判断并不能加快。另外，被试为了追求正确率，提示线索在局部的时候，被试依然会去观察整体的面部表情。设置提示线索位置这个变量毕竟不如截取局部特征图片那样完全排除其他部位的影响。

本研究将嘴部和眼部各划分为一个兴趣区，两个兴趣区面积相同。通过划分兴趣区而不是截取眼部嘴部的部分图片，呈现完整面部表情，使研究更具有生态效度。注视时间的长短反映被试对材料加工的程度。对所有被试而言，时间越长，表明材料内容的加工速度越慢或者是材料内容越难。所以，注视时间有不同的意义，要与多个指标一起分析，这里本文采用首次注视时间和总注视时间和注视点个数结合。总注视时间越长，说明被试在这一兴趣区上提取信息、理解信息更困难。

通过被试对不同兴趣区的表情进行性质判断，记录被试的眼动数据，发现，对眼部和嘴部注视的眼动数据随着图片的呈现时间而改变。被试对眼部的首次注视时间、总注视时间均显著长于对嘴部的，说明被试在面部表情识别的过程中对眼部的注视更多，加工更难。研究结果和以前的研究有很大的一致性。比如，隋雪，任延涛（2007）等研究发现对眼部的注视时间多于对嘴部。但在解释上有一些不同。本文认为对眼部的加工多于嘴部是由于眼部传递出的信息更多。注视的时间、注视的方式、眼神方向、视线交流的角度、是否闪烁等等，这些都包含着复杂的信息，有时候语言都难以表述清楚。因此笔者认为嘴部更利于对表情性质的判断，这和王柳生，钱萼，张庆和潘发达（ 2011）的结论是一致的。

眼部比嘴部能够传递出更多的信息。面部表情的肌肉是通过眼神传递的，然而在眼部，除了眼周围的肌肉之外，眼神、凝视方向等都会传递出情绪信息（ Haxby，Hoffman，&Gobbini，2000）。所以被试对眼部的注视时间和注视点个数均多于嘴部。在实验三中，被试首先观看的是眼部，然后是嘴部，随着时间的推进，被试将注视又转移到眼部。这也表明，被试对嘴部传递出的情绪判断很快就结束，可以理解为被试在通过嘴部判断之后又返回眼部确认嘴部的信息。结合实验二和实验三的研究结果，本文认为，眼部吸引更多的注意资源，嘴部更有利于对表情性质的判断。

此外，在短呈现时间条件下，被试对积极面部表情识别的正确率高于对消极面部表情识别的正确率。以往的研究者用积极面部表情优势来解释，即积极面部表情被识别的更快更准确。那么是否有另外的一种可能，即被试没有看清表情是积极还是消极的，被试在此时倾向于做出积极的判断呢？张萍，卢家楣和张敏（2012）研究表明，在对未来事件的判断中，愉悦心境会增加做出积极判断的倾向.悲伤心境会增加做出消极判断的倾向。心境与未来事件的效价存在一致性效应。在本实验中，被试只有两个选择，积极和消极。在全部正确的情况下，积极和消极的按键数日应该是相同的。然而结果是被试按积极键的数目远远大于按消极键的数目.积极图片被试按了积极键，大量的消极图片被试也按了积极键，是不是被试对于某些积极图片同样没有看清，只是由于倾向于做出积极的选择，因此导致积极图片的正确率高于消极图片的正确率呢？如果这种情况存在的话，被试识别积极图片的正确率也许不比识别消极图片的正确率高。在本实验中，这个问题没有解决，期待未来研究考虑这一问题。

6 结论

本研究得出如下结论： （1）积极表情的识别速度比消极表情的识别速度快，正确率高，支持了“积极表情优势”。 （2）眼部吸引更多的注意资源。嘴部对面部表情识别的作用比眼部大。 （3）而部表情识别的轨迹遵循“眼部一嘴部一眼部”的轨迹。