身体表情识别的ERP 研究 *

梁宗保 杨 韵,2 张光珍 杨元魁 郑文明 曹睿昕

(1 东南大学儿童发展与学习科学教育部重点实验室/儿童发展与教育研究所，南京 210096) (2 东南大学人文学院，南京 210096) (3 中国人民大学国际学院，苏州 215123)

1 前言

在日常生活中，理解和表达情绪对人类社交起着重要作用。相比于面部表情和声调表情，情绪性身体语言的研究起步较晚（de Gelder, 2006）。很多研究发现，人类大脑可能使用相似的方式加工面部表情与身体表情。ERP 研究也表明，身体表情和面孔表情可诱发相似的ERP 成分。例如，威胁性身体表情与面孔表情一样，都可以在早期阶段获得加工，表现为P1 对恐惧表情的波幅增大；P3 与晚期正成分（Late Positive Potential,LPP）可以表明存在情绪效应，即相对于中性情绪，人们识别恐惧身体表情时，也会诱发更大的P3 与LPP 成分（Gu, Mai, & Luo, 2013; 张丹丹, 赵婷, 柳昀哲, 陈玉明, 2015）。f MRI 的研究发现，当被试在观看恐惧身体表情图片时，视觉皮层（visual cortex）有更强的激活（Hadjikhani & de Gelder, 2003）。与识别面部表情一样（Ales, Yates,& Norcia, 2010），威胁性身体表情也可以直接通过皮层下通路到达杏仁核进行处理（Borgomaneri,Vitale, Gazzola, & Avenanti, 2015; van den Stock et al.,2011）。一些研究者直接比较被试在面孔表情和身体表情刺激下的脑区激活情况，发现人们在加工面孔表情和身体表情时，梭状回和杏仁核均有不同程度的激活（van de Riet, Grezes, & de Gelder,2009; Kret, Pichon, Grèzes, & de Gelder, 2011）。

根据情绪效价分类，一般可将情绪分为正性情绪与负性情绪。情绪的不同效价逐渐形成两套与生存关系密切的动机系统，一套叫做喜好-趋近动机系统（appetitive-approach motivational system）（Lang & Bradley, 2010），它有利于人类的生存与繁衍，引发人们的积极情绪，并使人们做出进食，交配等趋近行为；另一套叫做厌恶-防御性动机系统（aversive-defensive motivational system），它负责应对威胁情境，激活人们在危险情境下的恐惧或愤怒等负性情绪，并产生战斗或逃跑的行为倾向。所以，在前人大部分研究中都选择使用恐惧与愤怒情绪来诱发负性偏向，而悲伤作为负性情绪之一，对于机体生存与发展也有重要意义，是否也存在负性偏向？还有待进一步研究。悲伤与威胁性情绪在脑电时间进程上表现出的特点是否也存在差异？

在情绪识别中，相比于正性刺激，负性刺激会得到更多的注意和加工，即“负性偏向”（negativity bias）（Mama, Ben-Haim, & Algom,2013; Sun, Sun, Wang, & Gong, 2012）。ERP 研究的证据表明，相比于正性情绪刺激，个体对某些负性情绪刺激（比如威胁性刺激）的加工更敏感，表现在早期P1 峰值的增强与提前（Gu et al., 2013）。脑影像学的证据表明，负性刺激引起的杏仁核和海马的激活水平比正性刺激更高（Aldhafeeri,Mackenzie, Kay, Alghamdi, & Sluming, 2012）。当被试观看中性与恐惧刺激时，肢体相关的特异脑区（EBA）对恐惧表情有更强的激活（van den Stock,Vandenbulcke, Sinke, & de Gelder, 2014）。悲伤情绪是否也存在这种“负性偏向”？负性情绪是否总是可以得到优先加工呢？

早期大量行为研究表明，相比男性，女性在对情绪进行分类时，能更准确更快速的识别情绪，对情绪的体验更加敏感（袁加锦, 汪宇, 鞠恩霞, 李红, 2010; Proverbio, Brignone, Matarazzo, Del Zotto, & Zani, 2006a, 2006b）。Proverbio 等人（2006a, 2006b）在实验中发现，相比于男性，女性对于情绪的加工会占用更多的注意资源，表现在P110 成分上的波幅显著增大。在Hofer 等人（2006）的实验中，无论诱发正性还是负性情绪，女性相比于男性都有更多的脑区被激活。因此，在情绪识别中，性别差异也是研究者关注的兴趣点。而现有研究大都使用面孔与和场景情绪图片作为刺激材料，性别差异是否也会存在于身体姿态情绪的识别中，还有待进一步考察。

面孔表情和情绪性身体姿态的加工在很大程度上会存在相互影响。van den Stock, Righart 和De Gelder（2007）把在快乐和恐惧之间变化的面孔表情分别与快乐和恐惧的身体表情结合，制作成复合刺激图片，并要求被试对面孔传达的情绪分类。结果显示，当面孔表情类型模糊，处于快乐和恐惧互相转换的中间状态时，它的识别受到身体表情的影响最大；随着面孔模糊性的降低，这种影响减小。之后，Aviezer, Tropeh 和Todorov（2012）的实验要求被试观看含有情绪信息的面孔刺激、肢体刺激，以及面孔与身体的复合刺激，并且区分刺激的情绪效价。结果发现，相比于面孔表情线索，个体更容易根据身体表情线索来区分强烈的积极和消极情绪。由此可知，面孔提供的信息存在一定的模糊性，而对于情绪的正确理解离不开身体表情的参与。那么，单独识别身体表情是否会出现情绪识别不准确，是否可以单从身体表情来判断一个人的情绪，还有待于进一步研究。

本研究采用情绪识别任务与事件相关电位技术，分析愉快、悲伤、中性身体表情所诱发的不同时期的ERP 成分，另一方面，考察其中存在的性别差异。根据前人研究结果，我们预期对负性情绪（悲伤）在早中期会出现负性偏向，后期阶段情绪性刺激能得到进一步的注意加工。对于情绪的识别加工，女性识别速度和注意程度均优于男性。

2 研究方法

2.1 被试

共43 名（22 男, 21 女）成年被试参加实验。被试年龄2 1-2 6 岁（平均年龄: M=23.22 岁;SD=1.75），均为右利手，精神状态正常，身体健康，视力或矫正视力正常。实验前均知晓实验目的，并签署知情同意书，实验后给予现金报酬。

2.2 实验材料

实验材料选自Atkinson 等人制作的身体表情视频库（Body-expression movie clips）（Atkinson,Dittrich, Gemmell, & Young, 2004）。该视频库是通过光学捕捉系统对演员的身体姿态动作进行捕捉，演员表演时穿戴统一的灰色服装和头盔。因此，捕捉后的身体姿态无面孔表情信息，并且没有身体物理特征的差异。可见图1 示例。

对视频进行循环读取，将视频中的每一帧截取成一张图片。得到悲伤身体表情图片117 张，中性80 张和愉快103 张。正式实验之前，随机招募了30 名被试对刺激图片依据效价（1-7 点, 1 为悲伤, 7 为愉快, 4 为中性）与唤醒度（1-7 点, 1 为完全无唤醒, 7 为完全唤醒）进行评定，根据识别正确率（80%以上）降序筛选出适宜的实验刺激图片，所有参加评定的被试不再参加正式实验。结果显示，不同情绪图片在效价上差异显著（F（2,28）=50.36, p＜0.05; 具体图片组成见表1），在唤醒度上无显著差异（F（2,28）＜1, p＞0.05）。筛选后得到身体表情图片共90 张，愉快、悲伤与中性图片各30 张。

2.3 实验设计

实验为3×2 混合实验设计。自变量一为情绪类型，分为悲伤/中性/愉快三个水平；自变量二为性别，分为男/女两个水平。不同情绪类型的图片以随机方式呈现，每张图片重复呈现2 次。实验共180 个试次。正式实验开始前有练习实验。

表1 身体情绪图片的效价与唤醒度分布

2.4 实验程序

实验程序如图2 所示。被试需要在看到刺激图片以后尽快的做出按键反应。愉快、中性和悲伤分别对应“S”、“J”和“L”，按键顺序在被试间平衡。反应时从刺激界面出现时开始计算，若反应时超过3500 ms，则自动进行下一个试次。所有的图片均在黑色背景下呈现。

2.5 脑电数据采集及分析

使用Neuroscan（4.5 版本）软件记录并分析脑电数据，按国际10-20 系统拓展的64 导电极帽收集脑电数据，水平眼电在双眼外侧记录，垂直眼电在左眼上下位置记录，参考电极为左侧乳突。头皮电阻降至5 KΩ 以下，滤波带通为0.05-70 Hz，采样频率为500 Hz/导，连续采样。

脑电数据中的眼电利用Neuroscan 软件内置的回归程序去除。脑电数据依次经过以下处理：分段（-200 至800 ms）、基线校正、叠加平均。结合前人文献与本实验数据所得的脑地形图和总平均图，本实验分析的ERP 成分包括P1、N170、P2 和LPP。P1 成分分析的电极为O1、O2（数据取均值），峰值检测时间窗口为8 0-1 2 0 m s；N170 成分分析的电极为P7、PO7、P8、PO8（数据分别取左右半球均值），峰值检测时间窗口为150-200 ms（Luo, Feng, He, Wang, & Luo, 2010）。P2 成分的分析电极点为CP1、CPZ、CP2（数据取均值），峰值检测时间窗口为1 8 0-2 5 0 m s；LPP 成分分析的电极为PZ，P1 和P2（数据取均值），平均幅度计算时间窗口为300-600 ms。

统计分析采用SPSS（16.0 版本）软件。描述性统计量表示为均值±标准误。行为实验的正确率与反应时采用两因素（情绪类型/性别）重复测量方差分析。P1、P2 的潜伏期/波幅与LPP 的平均波幅均采用两因素（情绪类型/性别）重复测量方差分析，N170 的潜伏期/波幅采用三因素（情绪类型/大脑半球/性别）。方差分析采用Greenhouse-Geisser矫正。

3 结果

3.1 行为实验结果

为了考察个体在识别不同身体表情情绪类型的行为反应差异，对被试在不同情绪类型下的识别反应时与正确率差异进行了检验。反应时的结果表明情绪类型的主效应显著，F（2, 82）=41.16，，p＜0.05，被试对愉快身体姿态的反应时（7 5 7.1 5±8.5 7 m s）显著快于悲伤（863.19±12.76 ms）。识别正确率结果表明情绪类型主效应显著，F（2, 82）=8.10，，p ＜0.0 5，对于愉快（9 6.0 7±5.7 0%）与悲伤（92.72±12.09%）识别的正确率显著高于中性身体姿态（86.67±1.61%）。

3.2 ERP

3.2.1 P1

在P1 波幅方面，情绪类型与性别之间存在交互效应，F（2，82）=3.37，η2=0.14，p＜0.05。女性在观看悲伤情绪时，诱发的P1 波幅显著大于男性，女性诱发平均波幅为2.30±0.94 μV，男性为1.58±0.80 μV。(见图4)。

3.2.2 N170

在N170 波幅方面，情绪类型的主效应显著，F（2，82）=3.67，，p＜0.05，其中悲伤身体姿态诱发的N170 波幅（-6.43±0.61 μV）显著大于愉快（-5.37±0.65 μV）。

情绪类型与性别之间也存在交互效应，F（2,8 2）=5.2 8，η2=0.0 8，p ＜0.0 5，相比男性（-3.50±0.34 μV；-4.28±0.30 μV），女性在识别愉快（-5.46±0.52 μV）与悲伤（-6.94±0.45 μV）身体姿态情绪时，诱发出更大的N170 波幅。(见图5)。

3.2.3 P2

在波幅方面，情绪类型的主效应显著，F（2，82）=3.54，，p＜0.05，愉快诱发的波幅（7.82±0.54 μV）显著大于悲伤（6.48±0.63 μV）。

在潜伏期方面，情绪类型的主效应显著，F（2，82）=8.33，，p＜0.05，被试识别愉快的潜伏期（204.93±3.07 ms）显著快于悲伤（216.21±2.76 ms）与中性（209.13±3.26 ms）。

3.2.4 LPP

平均波幅方面，情绪类型的主效应显著，F（2, 82）=12.46，，p＜0.05，愉快（6.42±0.64 μV）与悲伤（6.67±0.65 μV）诱发的平均波幅显著大于中性（4.11±0.47 μV）。

4 讨论

本研究通过ERP 实验分析了人类识别身体表情情绪信息过程中的脑皮层时间加工进程问题，具体考察了愉快、中性、与悲伤三种身体表情识别过程中的脑电反应时间进程。首先，行为实验结果发现，相比于悲伤与中性身体表情，个体对愉快的身体表情识别速度最快。该结果说明个体对身体表情的识别出现了“正性偏向”，这与以往研究中发现“负性偏向”并不一致（Mama et al.,2013; Sun et al., 2012; Gu et al., 2013）。在以往的大部分研究中，研究者选取的基本上是恐惧或害怕等威胁性极其明显的图片刺激，或者是带有面部表情的身体表情。在实验刺激中，面部表情较为夸张（如, 张大的嘴巴, 睁大的眼睛），身体动作的幅度较为明显（退缩, 防御性状态），带有明显的防御性。而悲伤的身体表情一般动作幅度较小，在本实验中多表现为掩面哭泣，且面孔无法提供任何信息，身体姿态的幅度较小。相反，愉快的身体表情肢体动作幅度较大，更为开放，被试更容易识别，因而出现了对于正性身体表情识别速度快于负性身体表情的现象。这说明人类无论是在面孔情绪识别中，还是在身体表情情绪识别中，并非简单地存在着“负性”或“正性”偏向的加工偏好，而是主要取决于情绪效价背后的载体信息的醒目程度。一般来说，对于与生存休戚相关的情绪反应，其载体表达的信息比较引人注目，则相对更容易被识别。在本研究中，愉快、中性和悲伤三种情绪不像恐惧、愤怒等情绪的生存意义那么重要，相对来说，愉快情绪的身体表情信息更为明显，因此更快被识别。

ERP 早期阶段，女性在识别悲伤情绪时诱发的P1 成分显著大于男性，显示出了性别差异，这一结果与前人研究一致，Proverbio 等人（2006a,2006b）使用婴儿情绪（正性/负性）面孔作为实验材料，要求被试对不同类型的情绪进行判断，考察个体中存在的性别差异，结果发现，在P110 成分上，相比于男性，女性诱发的波幅更大。所以，在情绪识别过程中，女性对婴儿表情的觉察投入了更多的注意资源。Lee, Kim, Shim 和Lee（2017）采用掩蔽范式，使用恐惧与中性面孔表情作为实验材料，比较神经生理活动时间进程中存在的性别差异，结果也发现存在这种与性别相关的P1 效应，主要表现为相比于男性，女性在观察阈下的恐怖面孔表情时，诱发了更大的P1 波幅。从生理基础的大脑结构角度分析，出现性别差异的可能原因是由于男女本身脑结构的差异（Gur, Gunning-Dixon, Bilker, & Gur, 2002）。男性与女性在某些大脑结构上存在差异，表现在女性灰质较男性更多。灰质的功能主要是认知加工，与对刺激和信息的认知加工过程密切相关。女性具有更大的边缘叶体积，尤其表现在女性具有更大的眶额皮层，眼眶皮层会影响人们的主观认知评价（Gur et al., 2002; 袁加锦等, 2010）。第二个原因是女性在日常生活中更注重情绪体验，比较关注自我和他人的情绪表达和体验，长期形成了情绪反应优势。而P1 成分具有自动加工的性质，即使阈下刺激也可以得到无意识反应（Luo et al.,2010），因而在情绪识别的早期阶段出现的性别差异，可以推论女性不仅在面孔表情识别中具有优势，对于身体表情的识别也同样较为敏感。

悲伤情绪诱发的N170 波幅显著大于愉快与中性情绪，出现了“负性偏向”，与前人的研究相吻合（Rellecke, Sommer, & Schacht, 2012; Hietanen &Astikainen, 2013）。N170 成分被看做是面孔加工特异性成分，不受注意控制影响，具有自动加工性质（Eimer, 2000; 侠牧, 李雪榴, 叶春, 李红,2014）。一方面，N170 在身体姿态的刺激中仍然出现了明显的情绪效应，且存在“负性偏向”，证明N170 不仅仅是对面孔表情敏感，对于情绪性身体姿态同样敏感，可以推测，N170 是对情绪结构编码敏感的成分。另一方面，N170 成分的出现在一定程度上也说明了面孔情绪加工与身体表情加工存在着相同的特点。

中期阶段P 2 成分的自动加工程度较大（Rellecke et al., 2012）。在研究中，愉快身体表情诱发的P2 波幅显著大于悲伤和中性，这表明愉快图片受到被试更多的注意，并且行为实验的结果也印证了这一点。对于情绪的早期加工，人类主要是快速判断带有威胁性的情绪和非威胁性的情绪，这种判断加工的速度非常快，几乎都是在阈下完成的（Luo et al., 2010; Zhang, Luo, & Luo,2013）。到了情绪加工的中期阶段，个体主要对情绪信息的细节加工，判断情绪的具体类型，这就需要人们对情绪载体所传达出来的信息进行分类和判断。在本研究中，相对于中性和悲伤的身体表情，愉快的身体表情所表达的信息更加明显。当身体表情是愉悦情绪时，两手张开，远离躯体或是跳起，表现的手舞足蹈，而悲伤身体表情更多是蜷缩身体，手臂掩面。前人研究中使用的威胁性刺激图片多是双臂与躯干分离，动作幅度较大，诱发出更多的“负性偏向”。相对而言，悲伤情绪虽然是一种负性情绪，但并非是威胁性的情绪，其通过身体姿态表达出的信息并没有愉快身体姿态表现出的信息更加明显。因此，本研究中愉快情绪的识别快于中性和悲伤情绪，即出现了“正性偏向”，根本原因在于人类都对动作幅度较大的身体表情注意投入更多。

晚期阶段LPP 出现了明显的情绪效应，即无论是正性还是负性情绪刺激，相比于中性刺激，都诱发出了更大的波幅。这说明大脑在晚期加工阶段进一步加工了身体表情所提供的信息，该结果印证了前人的研究（Hietanen & Astikainen, 2013;Gu et al., 2013）。LPP 反映了大脑皮层对情绪刺激的意识评价，工作记忆表征，决策和反应等高级加工过程（侠牧等，2014）。情绪效应恰恰说明了情绪性的身体表情确实比中性身体姿态能够得到人类更深刻的加工。这一点也与面孔加工中的特点相似，也说明了身体姿态加工可能与面孔加工存在相同的加工方式。

5 结论

本研究得出如下结论：（1）在行为层面，个体对愉快情绪身体表情的加工速度最快，悲伤情绪次之，中性情绪最慢。（2）脑电层面，女性在识别悲伤情绪身体表情时，在P1 成分上表现出更大波幅，而在N170 上，个体对悲伤情绪身体表情的识别中诱发了更大的波幅，表现出了“负性偏向”；在P2 上，个体对愉快情绪的识别则诱发了更大波幅，表现出了“正性偏向”；在晚期LPP 成分上，愉快与悲伤相比于中性情绪刺激诱发了更大的波幅，表现出了“情绪效应”。（3）综合来看，个体对情绪身体表情的加工与面孔表情的加工可能存在着相似的方式。