情绪概念加工与情绪面孔知觉的相互影响*

刘文娟 沈曼琼 李 莹 王瑞明

(1华南师范大学心理应用研究中心/心理学院, 广州 510631) (2中国科学院心理研究所, 北京 100101)

1 前言

人类认知的一个典型特点是具有对外部世界经验形成内在的概念表征的能力, 这种能力对知觉、分类、推理、理解语言、计划等认知操作是至关重要的。概念表征的形成是个体通过认知加工将外界经验和以往经验相结合实现的(Murphy, 2002)。关于概念表征的理论可以分为两大类：非模态符号理论(Amodal Symbol Systems)和模态符号理论(Modal Symbol Systems)。两种理论对感知运动信息与概念的关系的看法不同, 前者认为感知运动信息并不参与高水平认知加工, 感知运动信息和概念是独立的; 后者认为感知运动信息是概念表征的基础,感知运动信息和概念信息之间并非互相独立而是存在影响的(谢久书, 2012)。模态符号理论建立在具身认知基础之上, 具身认知这一概念最早是一种哲学观点, 是由法国哲学家梅洛庞蒂提出的, 认为人的身体、知觉和世界是统一的整体。随着第二代认知科学的发展, 具身认知已经成为第二代认知科学的代表性特征之一, 并且成为认知科学领域研究的热点(李其维, 2008)。

模态符号理论认为概念加工与知觉加工之间并不是互相独立的, 开创性的实证研究是 Stanfield和Zwaan (2001)的研究, 他们使用句图匹配范式对两种加工之间的关系进行了实验检验。实验中要求被试阅读一系列句子, 句子呈现之后再呈现一张图片, 图片内容与句子隐含的知觉信息构成匹配和不匹配两种条件。匹配条件下, 句子的隐含信息与图片的内容一致, 比如呈现给被试“他往墙上钉钉子”,接着出现一幅水平放置的钉子的图画。不匹配的条件下, 句子的隐含信息与图片的内容不一致。要求被试判断图片中的物体在句子中是否提到过。结果发现, 匹配条件下的反应时显著短于不匹配条件下的反应时, 说明概念加工与感知运动信息并不是相互独立的, 感知运动信息会参与概念表征, 支持了模态符号理论。国内学者王瑞明等人也在中文条件下运用该范式得到了同样的结果, 说明感知运动信息与概念表征并不是相互独立而是相互影响的(王瑞明, 莫雷, 李利, 王穗苹, 吴俊, 2005)。在具体概念表征中, 感知运动信息与概念表征之间存在相互影响已经获得了较多的实证支持, 那么在抽象概念表征中, 是否感知运动信息与概念加工之间也存在影响？这是本研究关注的第一个问题。

此外, 在抽象概念表征中, 感知运动信息与概念表征之间的这种影响是双向的还是单向的？围绕这一问题, 模态符号理论内部的不同子理论的看法是不同的。其中知觉符号理论认为进行抽象概念表征的是知觉符号, 强调感知运动信息在概念表征中的直接作用, 认为感知运动信息的加工与概念的加工具有重叠的神经机制, 因此感知运动信息与概念加工存在相互影响, 两者的关系是双向的(双向即概念加工影响知觉加工, 知觉加工也影响概念加工)。已有研究不断揭示了高级认知过程与感知运动加工之间的相互影响(Barsalou, 1999, 2008; Barsalou,Spivey, McRae, & Joanisse, 2012)。此外, 在概念表征领域, Lakoff和Johnson (1999)提出了概念隐喻理论, 概念隐喻理论是建立在语言学基础上的, 认为语言隐喻不仅是一种修辞方式, 更是思维方式, 语言现象是思维的表征, 强调语言隐喻在表征中的作用。但是概念隐喻理论的实证研究结果尚未达成统一的结论, 来自非语言情境下的研究认为是双向的,来自语言情景下的研究认为是单向的(单向即知觉加工影响概念加工, 但概念加工不影响知觉加工)。单向观点的支持证据主要来自时间概念表征(时间概念以词语的方式呈现)的研究, 研究者发现空间信息会影响时间概念表征, 但是时间概念并不会影响空间信息表征(Casasanto & Boroditsky, 2008)。双向的观点主要来自社会认知领域(非语言方式呈现材料)的研究, 比如温度的物理经验会影响被试对社会人际情感的体验, 反之社会人际情感的体验也会影响个体对温度的判断(Zhong & Leonardelli,2008)。在情绪概念的洁净隐喻中, 洁净与道德之间也是存在双向作用的。身体洁净会影响个体对道德行为的知觉, 而回忆不道德行为则会加强个体对身体洁净的需要(Zhong, Strejcek, & Sivanathan, 2010)。由此可见, 在抽象概念表征中, 概念加工与知觉加工的关系的方向性问题仍存在一定的争议。因此,本研究的第二个问题即探究概念加工与感知运动加工之间的关系是双向的还是单向的。

为了解决这一问题, 我们选择情绪概念与情绪面孔作为本实验的材料。主要原因包括以下两点：首先, 在众多的抽象概念表征研究中, 情绪概念是一种特殊的抽象概念, 情绪概念不仅包括概念意义,也包括情绪意义, 情绪词也经常作为诱发特定情绪的刺激。情绪具身观(刘亚, 王振宏, 孔风, 2011)认为情绪是由身体的感知运动经验决定的, 情绪概念承载着情绪意义, 对情绪概念的理解与个体体验这种情绪的感知运动机制是一致的, 情绪概念与感知运动信息存在相互影响。这一观点已经积累了一定的实验证据, 有研究者首先给被试呈现情绪概念,然后要求被试完成两种任务：一种是要求被试判断呈现的概念是否与某种情绪相关, 另一种是要求被试判断这些字母的大小写情况, 在被试完成任务的同时采用 EMG技术记录被试的面部肌肉活动, 结果发现在情绪相关任务中, 积极概念引发了面颊与眼部等肌肉的电位变化, 消极情绪概念引发了额头部位的电位变化; 字母相关任务则没有导致面部各部位电位的显著性变化, 这说明了情绪概念加工中确实会激活被试的感知运动信息, 情绪概念加工会影响被试的感知运动加工(Niedenthal, Winkielman,Mondillon, & Vermeulen, 2009)。也有研究者在实验中通钢笔和高尔夫球钉来控制被试的面部表情, 然后要求被试对积极情绪概念或消极情绪概念进行概念属性辨认任务, 结果发现面部表情与情绪概念不一致时, 会导致被试的正确率下降, 说明了知觉加工对概念加工的干扰作用, 情绪相关的感知运动信息也会影响情绪概念加工(Niedenthal, 2007)。

其次, 对情绪概念加工与情绪面孔知觉关系的探讨有助于促进对概念加工与知觉加工问题的了解。情绪面孔具有加工的特殊性, 有研究认为面孔的情绪信息具有特殊的优势, 可以获得自动的加工。这类研究主要采用的范式包括面孔启动范式、Stroop范式等。主要结论是情绪面孔与一般面孔加工相比, 更具有加工的自动性。有研究者将词汇叠加在面孔上呈现, 要求被试忽略面孔信息只对词汇进行效价判断任务, 结果发现效价判断任务的表现会受到面孔情绪的影响, 并且对消极概念的判断更慢, 说明消极概念的加工需要更多的注意资源。积极概念存在加工优势, 被试对积极概念的加工更快,但这种积极偏向会受到情绪面孔的调节, 说明情绪面孔确实会影响情绪概念加工, 也说明了情绪面孔知觉的自动性(Stenberg, Wiking, & Dahl, 1998)。也有研究者使用阈下启动范式, 发现了面孔的情绪信息也会得到无意识的激活(Murphy, Monahan, &Zajonc, 1995; Murphy & Zajonc, 1993)。

情绪概念也会影响情绪面孔知觉的形成, 情绪概念会参与知觉表征的建构, 情绪面孔的知觉并不是简单的知觉输入的过程, 自上而下的情绪概念也会参与情绪面孔知觉的形成(Gendron, Lindquist,Barsalou, & Barrett, 2012)。情绪概念会影响情绪面孔知觉的编码, 这一观点已经积累了丰富的实验证据。在经典的情绪面孔知觉实验中, 一般是给被试呈现一张面孔, 几个情绪词伴随面孔同时呈现, 要求被试从中选择最匹配情绪面孔的词语(Masuda et al.,2008)。在没有情绪词参与时, 正确率会下降, 对面孔的类别表征也会受损; 当要求被试判断两张面孔情绪是否一致时, 正确率会降得更低, 说明情绪概念会在情绪面孔知觉形成中起作用(Lindquist,Barrett, Bliss-Moreau, & Russell, 2006)。有研究者使用重复启动范式和语义饱和范式, 通过将情绪词连续呈现 30次的方法切断情绪词与情绪概念意义之间的联系, 之后要求被试进行面孔相关任务, 结果发现在不同条件下对面孔的反应确实存在差异, 说明情绪概念会参与情绪面孔知觉的建构, 概念会参与高水平的视觉表征(Gendron, et al., 2012)。但是这些研究并没有从具身认知的角度解释概念加工与知觉加工之间的关系问题, 且没有探究不同的概念加工深度和知觉加工深度对概念加工与知觉加工关系的影响。因此本研究旨在通过使用情绪概念与情绪面孔材料, 操纵两种刺激的加工深度, 来探究概念加工与知觉加工之间的关系, 以及两者的关系是否受到加工深度的影响, 这也是本研究关注的第三个问题。

本研究具体包括3个实验, 实验1首先探讨在较深的知觉加工和较深的语义加工层面上, 情绪概念与情绪面孔的关系是怎样的。在较深的知觉加工层面上, 启动面孔呈现 1500 ms, 保证被试对面孔进行充分加工。在较深的语义加工层面上, 要求被试对情绪词做效价判断任务, 保证被试加工到语义层面。如果效价判断任务的结果受到启动面孔的影响, 则说明情绪面孔知觉会影响情绪概念加工。随后在被试完成效价判断任务之后, 再呈现目标面孔,要求被试判断目标面孔与启动面孔的情绪是否一致。如果目标面孔的判断受到前面呈现的情绪词的影响, 则说明情绪概念加工也影响情绪面孔知觉,结合两个任务的结果可说明情绪面孔知觉与情绪概念加工之间存在相互作用, 两者的关系是双向的。如果不能发现交互作用, 则说明两者之间的关系是单向的。为了进一步探讨语义加工深度对两者关系的影响, 实验 2探讨较浅的语义加工层面上,情绪概念与情绪面孔知觉的关系是怎样的, 实验 2是通过设置真假词判断任务实现的。如果将词汇判断任务改为真假词判断任务, 被试不能对情绪概念的语义信息进行深度加工, 那么在这种条件下, 发现真假词判断任务中对情绪词的判断也受到启动面孔的影响, 则说明情绪面孔知觉在较浅的语义加工层面上会影响情绪概念加工, 反之则说明在较浅的语义加工层面上情绪面孔知觉不影响情绪概念加工。在目标面孔判断任务中, 如果目标面孔的判断受到前面呈现的情绪词的影响, 则说明情绪概念也影响情绪知觉, 否则则说明情绪概念不影响情绪知觉, 结合两个任务的结果可以说明两者的关系究竟是单向的还是双向的, 通过实验1与实验2结果的比较也可以说明语义加工深度对两者关系的影响。为了进一步探讨情绪面孔的知觉加工深度对两者关系的影响, 继续设计了实验 3, 实验 1的启动面孔呈现时间长达 1500 ms, 确保被试对面孔进行充分的深度加工, 如果缩短面孔的呈现时间, 被试不能对面孔进行充分加工, 是否会对两者的关系产生影响？根据概念仿真理论(知觉符号理论的子理论)的观点, 只有在通达意义的情况下, 被试才能进行仿真, 才能发现概念与知觉的相互作用。根据此观点预测, 在较浅的知觉加工条件下, 被试不会进行仿真, 进而不会发现情绪面孔与情绪概念的相互作用。

2 实验1

2.1 实验目的

探讨较深的语义加工层面和较深的知觉加工层面对情绪概念加工和情绪面孔知觉的关系的影响。

2.2 研究方法

2.2.1 被试

32名在校大学生(20～24岁), 所有被试均裸眼或矫正视力正常。所有被试均自愿参加实验, 实验结束后给予被试一定的报酬。

2.2.2 实验设计

效价判断任务为 2(启动面孔类型：积极、消极)×2(词语效价：积极、消极)被试内设计; 面孔判断任务为2(启动面孔类型：积极、消极)×2(词语效价：积极、消极)×2(目标面孔类型：积极、消极)被试内设计。

2.2.3 实验材料和程序

选用中国人情绪面孔图片系统(Chinese Affective Face Picture System, CAFPS)高兴悲伤的面孔各12张, 其中男女面孔各半, 根据系统中的七点量表分数进行统计, 结果发现积极面孔与消极面孔之间的愉悦度差异显著(p< 0.001), 积极面孔效价(M= 6.05;SD= 0.17)显著高于消极面孔效价(M= 3.35;SD=0.12); 积极面孔图片的熟悉度(M= 4.44;SD= 0.76)与消极面孔图片的熟悉度(M=4.56;SD= 0.77)评定差异不显著(p= 0.647)。选择汉语情感词系统(Chinese Affective Words System, CAWS) (王一牛,周立明, 罗跃嘉, 2008)中的 128个情绪概念词汇,积极情绪词与消极情绪词各半。另外 12位不参加正式实验的被试对使用的情绪词的效价和熟悉度分别进行7点量表评定。效价评定方面, 1代表非常消极, 7代表非常积极, 结果发现积极情绪词的效价与消极词的效价之间差异显著(p< 0.001), 积极词的效价值(M= 5.31;SD= 0.46)要显著高于消极词的效价值(M= 1.96;SD= 0.33)。熟悉度评定方面,1代表非常不熟悉, 7代表非常熟悉, 所选用的情绪词的效价均在4分以上。

本实验用E-prime 1.0编制以及呈现实验程序。屏幕上先呈现注视点 500 ms, 然后会呈现启动面孔1500 ms。启动面孔呈现之后会出现1500 ms空屏, 之后呈现情绪词, 这时让被试判断这个词是积极的还是消极的(情绪词效价判断任务), 积极按“f”键, 消极按“j”键。完成情绪词效价判断任务之后,出现一张目标面孔, 让被试判断目标面孔与之前出现的情绪面孔的情绪是否一致(目标面孔判断任务),一致按“f”键, 不一致按“j”键。其中在面孔判断任务中, 目标面孔呈现之前的积极情绪词与消极情绪词各半, 目标面孔与启动面孔之间的关系也包括一致不一致两种条件。所有被试均平衡左右按键, 所有被试进行正式实验之前会先进行练习, 练习阶段包括 12个 trial。

2.3 结果与分析

剔除正确率低于70%的两名被试的数据。反应时只包含两个任务都反应正确的数据。在两个任务中分别删除在 2.5个标准差之外的数据, 删除的极端数据不超过总数据的5%。对所有数据使用SPSS 19.0进行方差分析。效价判断任务的反应时数据数据见表1, 面孔判断任务的反应时数据见表2。

在效价判断任务中对反应时进行重复测量方差分析, 结果发现面孔类型主效应显著,F(1, 29) =9.21,p< 0.01, η2= 0.241, 积极面孔下的判断时间快于消极面孔下的判断时间; 词语类型主效应显著,F(1, 29) = 25.27,p< 0.001, η2= 0.466, 对积极词语的判断时间也快于消极词语的判断时间。面孔与词语交互作用显著,F(1, 29) = 4.63,p< 0.05, η2= 0.138。

表1 效价判断任务的反应时及标准差(ms)

表2 面孔判断任务的反应时及标准差(ms)

简单效应分析表明, 在消极词语条件下, 积极启动面孔下的反应与消极启动面孔下的反应没有显著差异,F(1, 29) = 1.65,p> 0.05。在积极词语条件下, 积极启动面孔下的反应显著快于对消极启动面孔下的反应,F(1, 29) = 13.04,p< 0.01, η2= 0.310。

由于对情绪词加工中存在积极倾向, 所以对积极词的反应都快于消极词的反应, 如果前面的启动面孔是积极的, 就更能促进这种积极倾向, 如果前面的启动面孔是消极的, 消极面孔的启动效应会减弱这种积极倾向, 从而导致差异不显著。为了进一步证明这种观点, 对两种词语下的差值进行配对样本t检验：

用积极词语下积极启动面孔的反应时减去消极启动面孔的反应时, 作为积极词语的效应量, 用消极词语下积极启动面孔的反应时减去消极启动面孔的反应时, 作为消极词语的效应量(本数据分析为项目内分析, 即在同一类型词语的条件下, 两种启动面孔导致的对同一类型词语的反应时的差异, 因此定义为积极词语的效应量或消极词语的效应量)。对数据进行配对样本t检验, 结果发现积极词的启动效应量(M= –33.34 ms;SD= 46.02 ms)显著大于消极词的启动效应量(M= ‒10.14 ms;SD=‒42.28 ms),t= ‒2.15,p< 0.05,d= 0.138。

在面孔判断任务中对反应时数据进行重复测量方差分析, 结果发现启动面孔类型主效应显著,F(1, 29) = 157.83,p< 0.001, η2= 0.845。词语类型主效应显著,F(1, 29) = 10.56,p< 0.01, η2= 0.267。目标面孔类型主效应显著,F(1, 29) = 23.47,p< 0.001,η2= 0.447。启动面孔与词语交互作用显著,F(1, 29) =76.30,p< 0.001, η2= 0.725。启动与目标面孔类型交互作用显著,F(1, 29) = 24.61,p< 0.001, η2= 0.459。词语和目标面孔类型交互作用不显著,F(1, 29) < 1,p> 0.05。三因素三重交互作用显著,F(1, 29) = 39.31,p< 0.001, η2= 0.575。

对三重交互作用进行进一步简单简单效应检验, 结果如下：

对积极目标面孔再认判断, 当启动面孔为积极时, 积极情绪词条件下的反应显著快于消极情绪词下的反应,F(1, 29) = 27.36,p< 0.001, η2= 0.485, 说明目标和启动面孔一致时, 情绪词加工影响了再认,积极情绪词促进了积极面孔的一致判断; 当启动面孔为消极时, 积极情绪词条件下的反应与消极情绪词下的反应无显著差异,F(1, 29) < 1,p> 0.05, 说明目标和启动面孔不一致时, 情绪词加工不影响积极面孔的再认;

对消极目标面孔再认判断, 当启动面孔为消极时, 消极情绪词条件下的反应显著快于积极情绪词下的反应,F(1, 29) = 26.91,p< 0.001, η2= 0.481。说明目标和启动面孔一致时, 情绪词加工影响了再认,消极情绪词促进了消极面孔的一致判断; 当启动面孔为积极时, 积极情绪词下的反应显著快于消极情绪词下的反应,F(1, 29) = 75.59,p< 0.001, η2= 0.723,说明情绪词加工对消极目标面孔判断产生了干扰作用。总的结果说明在情绪词与目标面孔一致时,将促进情绪目标面孔的加工; 情绪词与目标面孔不一致时, 会对目标面孔的加工产生干扰作用。

对实验1中的各任务的准确率数据进行重复测量方差分析, 结果发现各效应均不显著(ps.> 0.05),说明效价判断任务中不存在速度准确率的权衡现象。

有研究认为两者的交互作用在较深的语义加工层面是比较明显的, 在较浅的语义加工层面不如较深的语义加工层面显著。这是由于语言信息和感知运动信息都会影响情绪概念的加工, 但是语义信息只影响较浅层面的加工, 涉及较深的语义层面的加工, 主要是感知运动信息在起作用, 因此在较浅的语义加工层面上, 就不存在感知觉信息对概念加工的作用, 两者之间的关系是单向的(Simmons, Hamann,Harenski, Hu, & Barsalou, 2008)。为了证明这一观点, 继续进行实验 2, 探究情绪面孔知觉与情绪概念加工在较浅的语义层面上是否存在交互作用。

3 实验2

3.1 实验目的

实验1已证明情绪面孔知觉与情绪概念的相互作用, 为了进一步研究两者的相互作用, 我们进行了实验 2, 探讨情绪面孔知觉对情绪概念加工较浅层次的影响。实验2与实验1的差别在于将效价判断任务改为真假词判断任务。

3.2 研究方法

3.2.1 被试

32名大学生(18～23岁), 均没有参加过实验1。

3.2.2 实验设计

实验设计部分与实验1相同。

3.2.3 实验材料和程序

实验材料与实验程序与实验1大体相同, 两个实验的目标面孔判断任务相同, 区别在于在词汇相关任务中, 实验1为效价判断任务, 实验2变为真假词判断任务。在实验1的效价判断任务中, 被试可以对呈现词汇的效价这种语义层面的信息进行充分加工, 从而构成较深的语义加工层面; 在实验2的真假词判断任务中, 假词的作用在于使被试对词汇进行较浅的语义层面的加工。两种实验的加工深度形成对照, 从而说明概念层面的加工深度对两者关系的影响。真假词判断任务是通过人为编制假词来实现的, 假词的编制是参照前人的研究方法进行编制的(张常青, 2012)。根据假词的已有研究, 假词是由两个汉字组成的, 这两个单字本身可能也是词, 但组合起来却不能构成一个事实上存在的词。假词包括衍生假词与普通假词, 普通假词是两个词语简单组合在一起, 颠倒位置等也没有任何语义;衍生假词是指假词是由真词颠倒顺序组成的(Deacon, Dynowska, Ritter, & Grose-Fifer, 2004)。无论那种假词, 在研究中经常被当作填充材料, 假词的反应时数据也经常不进行分析, 在本研究的实验2中, 我们即选择 32个假词作为填充材料, 比如“才竹”等等(既包括衍生假词也包括普通假词, 编制的32个假词中并不混合有真词), 这种假词保证被试加工到较浅的语义层面。

整个实验 2的实验材料具体包括：积极面孔和消极面孔各12张, 这24张面孔材料是与实验1相同的。其次, 选择128个情绪词, 积极情绪词和消极情绪词各半, 这 128个情绪词也是与实验 1相同的。最后, 人为编制32个假词作为填充材料,积极情绪词、消极情绪词和假词的比例为2∶2∶1。实验程序方面大体与实验1相同, 区别在于实验1对情绪词进行的效价判断任务改为真假词判断任务(编制假词的目的是为了构成真假词判断任务,对32个假词的判断均为假, 对128个情绪词的判断均为真。情绪词或假词 trial的呈现顺序是随机的)。

3.3 结果与分析

剔除正确率低于70%的1名被试的数据。反应时只包含两个任务都反应正确的数据。在两个任务中分别删除在 2.5个标准差之外的数据, 删除的极端数据不超过总数据的5%。对所有数据使用SPSS 19.0进行方差分析, 真假词判断任务的反应时数据见表3, 面孔判断任务的反应时数据见表4。

表3 真假词判断任务的反应时及标准差(ms)

表4 面孔判断任务的反应时及标准差(ms)

在真假词判断任务中对反应时数据进行重复测量方差分析, 结果发现启动面孔类型主效应显著,F(1, 30) = 4.53,p <0.05, η2= 0.131。词语类型主效应显著,F(1, 30) = 43.84,p< 0.001, η2= 0.594。启动面孔类型与词语类型交互作用不显著,F(1, 30) =3.42,p> 0.05。对较浅层次的真假词判断任务来说,没有发现情绪面孔知觉与情绪概念加工的交互作用, 说明在较浅的概念加工层面上, 情绪面孔知觉不影响情绪概念。

在面孔判断任务中对反应时数据进行重复测量方差分析, 结果发现启动面孔主效应显著,F(1,30) = 284.59,p< 0.001, η2= 0.905。词语类型主效应显著,F(1, 30) = 7.35,p< 0.05, η2= 0.197。目标面孔主效应显著,F(1, 30) = 49.04,p< 0.001, η2= 0.620。启动面孔与词语的交互作用显著,F(1, 30) = 20.59,p< 0.001, η2= 0.407。启动面孔与目标面孔交互作用不显著,F(1, 30) = 1.135,p> 0.05。词语与目标面孔交互作用不显著,F(1, 30) < 1,p> 0.05。三因素三重交互作用显著,F(1, 30) = 36.16,p< 0.001, η2=0.547。

对三重交互作用进行简单简单效应检验, 对积极目标面孔再认判断, 当启动面孔为积极时, 积极情绪词条件下的反应与消极情绪词下的反应无显著差异,F(1, 30) = 2.28,p> 0.05。当启动面孔为消极时, 积极情绪词条件下的反应与消极情绪词下的反应无显著差异F(1, 30) = 4.00,p> 0.05。

对消极目标面孔再认判断, 当启动面孔为消极时, 消极情绪词条件下的反应显著快于积极情绪词下的反应,F(1, 30) = 10.33,p< 0.05, η2= 0.256。说明目标和启动面孔一致时, 情绪词加工影响了再认,消极情绪词促进了消极面孔的一致判断; 当启动面孔为积极时, 积极情绪词下的反应显著快于消极情绪词下的反应,F(1, 30) = 35.5,p< 0.001, η2= 0.542,说明目标和启动不一致时, 情绪词加工对消极目标面孔判断产生了干扰作用。

对实验2中的各任务的正确率数据进行重复测量方差分析, 结果发现大部分效应不显著(ps.>0.05), 显著的效应与反应时的方向一致, 说明效价判断任务中不存在速度正确率的权衡现象。

与实验1的结果相比, 实验1发现要求被试对情绪概念进行效价判断任务时, 我们发现了启动面孔与情绪概念加工之间的交互作用。实验2在要求被试对情绪概念与假词进行真假词判断任务时, 我们没有发现启动面孔与情绪概念加工之间的交互作用。这样的结果说明概念的加工深度确实会影响两者的关系, 在较深的层面存在交互作用, 在较浅的语义层面则不存在交互作用; 实验1和实验2中要求被试对目标面孔进行目标面孔判断任务时, 都发现了三重交互作用, 说明情绪概念加工会影响情绪面孔知觉。总的结果表明在语义加工较深的情况下, 情绪概念与情绪面孔知觉的关系是双向的, 在语义加工深度较浅的情况下, 情绪概念与情绪面孔知觉的关系是单向的。

4 实验3

4.1 实验目的

实验3进一步探究知觉加工是否影响两者的关系。根据概念仿真理论的观点, 只有在通达意义的情况下, 被试才能进行仿真。实验1与实验2面孔的呈现时间长达1500 ms被试, 可以对面孔进行充分加工, 通达面孔的情绪意义。那么如果缩短面孔呈现时间, 被试无法对面孔进行充分加工, 是否就情绪面孔知觉就不能对情绪概念判断产生影响？

缩短启动面孔的呈现时间为100 ms是根据前人相关面孔研究确定的。首先, 面孔的加工可以分为知觉加工阶段、结构编码阶段与成分识别阶段,有研究发现 N100是最早反应面孔加工特异性的ERP成分, 反应了面孔的早期加工(Bentin, Allison,Puce, Perez, & McCarthy, 1996)。这一成分的时间窗内并未对面孔进行更深入的结构编码与成分识别,因此我们采用 100 ms作为面孔的呈现时间, 保证被试对面孔的加工在较浅的知觉加工层面, 未对面孔进行充分加工。其次, 情绪面孔通达情绪信息也是非常快的, 研究表明, 从大约100 ms开始, 杏仁核对情绪面孔的反应就比对中性面孔的反应强烈(Pourtois, Grandjean, Sander, & Vuilleumier, 2004)。说明 100 ms已经对面孔进行了初步的加工, 因此将启动面孔的呈现时间定为100 ms。

4.2 实验方法

4.2.1 被试

32名在校大学生(18～24岁), 男女各半, 所有被试均裸眼或矫正视力正常。所有被试均自愿参加实验, 实验结束后给予被试一定的报酬, 并且均没有参加过实验1和实验2。

4.2.2 实验设计

实验设计与实验1完全相同。

4.2.3 实验材料与程序

选用中国人情绪面孔图片系统(Chinese Affective Face Picture System, CAFPS)高兴悲伤的面孔各12张。64个情绪概念词汇, 积极情绪词和消极情绪词各半。这些词汇均选自汉语情感词系统 (Chinese Affective Words System, CAWS) (王一牛等, 2008)。

实验程序与实验 1基本相同, 区别在于实验 3的面孔呈现时间为 100 ms, 不同于实验1的1500 ms。此外, 实验1和实验2中被试的目标面孔判断任务是对启动面孔和目标面孔的关系进行判断, 实验3的任务改为要求被试判断目标面孔的情绪是积极的还是消极的。

4.3 实验结果

所有被试的正确率都在70%以上, 所以所有被试的数据都进入数据分析。反应时只包含两个任务都反应正确的数据, 在两个任务中分别删除在 2.5个标准差之外的数据, 删除的极端数据不超过总数据的5%。对所有数据使用SPSS 19.0进行方差分析, 效价判断任务的反应时数据见表 5, 面孔判断任务的反应时数据见表6。

在效价判断任务中对反应时数据进行重复测量方差分析, 结果发现启动面孔类型主效应不显著,F(1, 31) = 2.92,p> 0.05。词语类型主效应不显著,F(1, 31) = 3.85,p> 0.05。启动面孔类型与词语类型交互作用不显著,F(1, 31) < 1,p> 0.05。缩短面孔的呈现时间, 在知觉加工不充分的条件下, 没有发现情绪面孔启动与情绪概念加的交互作用, 说明在较浅的知觉层面的加工上, 情绪面孔知觉不影响情绪概念。

表5 效价判断任务的反应时及标准差(ms)

表6 面孔判断任务的反应时及标准差(ms)

在面孔判断任务中对反应时数据进行重复测量方差分析, 结果发现启动面孔主效应不显著,F(1,31) = 1.05,p> 0.05。词语类型主效应不显著,F(1,31) < 1,p> 0.05。目标面孔主效应不显著,F(1, 31) < 1,p> 0.05。启动面孔与词语的交互作用不显著,F(1,31) < 1,p> 0.05。启动面孔与目标面孔交互作用不显著,F(1, 31) < 1,p> 0.05。词语与目标面孔交互作用不显著,F(1, 31) < 1,p> 0.05。三因素三重交互作用不显著,F(1, 31) < 1,p> 0.05。说明在较浅的知觉加工层面上, 情绪概念也不会影响情绪面孔知觉。结合任务1的结果可以发现, 在较浅的知觉加工层面上, 情绪面孔知觉不会影响情绪概念加工, 情绪概念也不会影响情绪面孔知觉。

对实验3中的各任务的正确率数据进行重复测量方差分析, 结果发现各效应均不显著(ps.> 0.05),说明效价判断任务中不存在速度正确率的权衡现象。

实验3与实验1的结果相比, 实验1在较深的知觉加工层面上发现了情绪概念与情绪面孔知觉的相互作用, 实验3在较浅的知觉加工层面上没有发现两者的相互作用, 总的结果说明知觉加工深度会影响两者的关系：在较深的知觉层面, 两者的关系是双向的, 在较浅的知觉层面, 没有发现两者之间有相互影响, 因此也不存在这种影响是单向的还是双向的问题。

实验3验证了前人的观点, 只有在通达意义的情况下, 被试才能进行感知运动仿真。由于缩短了启动面孔的呈现时间, 所以被试不能对面孔进行充分加工, 无法通达面孔的情绪意义, 因此也就不能进行感知运动仿真, 没有发现情绪面孔知觉对情绪概念的影响, 也不存在情绪概念对情绪面孔知觉的影响。结合实验1和实验3的结果可以发现, 知觉加工的深度会影响两者的关系。在知觉加工充分的条件下, 两者的关系是双向的。在知觉加工不充分的条件下, 情绪概念加工既不影响情绪面孔知觉,情绪面孔知觉也不影响情绪概念加工。

5 讨论

本研究通过3个实验探讨了情绪概念加工与情绪面孔知觉的相互影响问题。实验1通过情绪面孔启动范式和效价判断任务, 发现情绪概念与情绪面孔知觉存在相互影响, 并且这种影响的方向是双向的; 实验 2进一步使用真假词判断任务, 发现了情绪概念与情绪面孔之间的影响的方向是单向的, 情绪概念会影响情绪面孔知觉, 但是情绪面孔知觉不影响情绪概念加工, 结合实验1与实验2的结果说明概念的语义加工深度影响两者关系的方向; 实验3进一步缩短启动面孔呈现时间, 发现情绪概念加工与情绪面孔知觉之间不再存在相互影响, 说明情绪面孔的知觉加工深度也会影响两者的关系。综合3个实验的结果发现, 情绪概念加工与情绪面孔知觉之间存在影响, 并且概念加工深度和知觉加工深度都会影响两者关系的方向性。

5.1 情绪概念参与情绪面孔知觉形成

实验1和实验2的研究结果与前人研究基本一致。在两个实验的目标面孔判断任务中, 都发现了情绪概念对目标面孔判断的影响, 说明了情绪概念会参与情绪面孔知觉的形成, 这与前人的研究结果是一致的(Gendron et al., 2012)。实验1和实验2发现了情绪概念加工对情绪面孔知觉的作用。情绪概念对情绪面孔的作用已经在大量的研究中发现, 根据概念表征的具身观点, 情绪概念可以为情绪面孔知觉提供情境信息, 所以情绪概念会影响情绪面孔知觉的建构与形成。情绪概念对情绪面孔知觉具有自上而下的影响, 在没有情绪概念的条件下, 被试不会用范畴的方式知觉情绪面孔。所以有时被试能觉察到面孔之间的细微差别, 但并不知道这些细节的情绪意义。发展研究表明儿童匹配词与面孔更容易, 匹配范畴内的面孔更困难, 并且如果儿童学习情绪范畴的概念知识之后, 会促进对面孔的反应表现(Widen & Russell, 2002, 2010)。fMRI研究也表明,在加工情绪面孔的时候, 激活的脑区不仅包括视觉相关脑区, 也包括情绪相关脑区。当被试加工中性面孔时, 也会导致情绪相关脑区的激活(Thielscher& Pessoa, 2007)。本研究也丰富了情绪面孔的相关研究, 说明情绪面孔的加工受到自下而上的知觉信息与自上而下的概念信息的影响。根据情绪概念的具身观点, 当被试加工情绪词时, 会自动通过部分再激活的方式来加工情绪词。比如“生气”这个情绪词的概念被激活时, 也会激活生气面孔的仿真。根据这样的观点, 语言在情绪面孔知觉中的作用可能反映了概念是如何通过感知运动信息进行表征的。总之, 情绪概念在情绪面孔知觉形成中起着非常重要的作用, 即使任务不需要激活概念表征, 概念表征在情绪面孔知觉形成中也是起作用的。本研究的实验结果也确实如此, 在目标面孔判断任务中, 即使目标面孔判断不需要概念信息, 目标面孔的判断也会受到情绪概念影响。

5.2 加工深度影响情绪概念与情绪面孔的关系

3个实验的结果也进一步表明加工深度影响情绪概念与情绪面孔的关系。根据加工水平理论的观点, 人类的认知加工是分层次的(Craik & Lockhart,1972)。在语言理解中, 不同的加工层次会导致不同的记忆效果和学习效果。如果认知加工中有概念语义信息的参与, 被试的加工效果更好。本研究进一步将概念加工和知觉加工分为较深层次的加工和较浅层次的加工, 发现了概念加工和知觉加工的不同深度会对两者的关系产生影响。实验1和实验2的差别在于概念加工深度不同, 实验1对情绪概念的加工采用效价判断任务, 保证被试加工到情绪概念的语义层面, 实验2对情绪概念的加工采用真假词判断任务, 这样被试仅需要对情绪概念进行较浅的语义加工就能完成任务, 因此, 两个实验结果的对比可以说明概念加工深度对情绪概念加工与情绪面孔知觉关系的影响。实验1和实验3的差别在于情绪面孔知觉加工深度的不同, 在实验 1中, 启动面孔的呈现时间长达 1500 ms, 在这种较深的知觉加工条件下, 我们发现了情绪概念加工与情绪面孔知觉之间的双向的影响; 在实验 3中, 我们将启动面孔的呈现时间缩短为100 ms, 结果没有发现任何显著的效应。在较浅的知觉加工条件下, 我们没有发现情绪概念加工与情绪面孔知觉的相互影响。

前人研究关于概念加工与知觉加工的关系是双向的还是单向的, 一直存在争议。概念隐喻理论认为隐喻是从我们所熟悉的具体概念向不熟悉的抽象概念的单向投射过程。因此, 概念加工与知觉加工的关系是单向的(Lakoff & Johnson, 1999)。知觉符号理论认为概念加工与感知运动加工的神经机制存在重叠, 因此概念加工与感知运动加工存在相互影响, 两者的关系是双向的。这两种理论已经各自积累了大量的实验证据, 但是目前研究不应只关注在某种概念上两种理论的差异, 而是应该寻求两种理论出现差异的原因, 以及探究这两种理论能否整合在一个理论框架中进行解释。有研究者已经在这一方向进行了尝试, 指出概念隐喻理论和知觉符号理论并非尖锐对立, 而是相互融合的, 这两种理论都可以共同影响概念表征, 概念隐喻理论也是在具身认知兴起的背景下诞生发展的(金泓, 黄希庭, 2012)。解决两者关系的方向性问题有助于增进对这两种理论的理解。

在情绪概念表征的相关研究中, 也有研究者探讨情绪概念与其他因素的关系, 比如位置信息、身体状态、明度、温度等。在这些研究中, 也存在着单向和和双向的争议。在使用顺序启动范式的研究中, Meier和Robinson (2004)发现了情绪概念对空间位置的影响。首先给被试呈现情绪词, 接下来要求被试快速准确的进行口头词性判断任务, 任务完成之后, 屏幕上方或者下方随机出现字母“p”或者“q”, 要求被试对出现在字母做按键反应, 出现“p”按“p”键, 出现“q”按“q”键。结果发现情绪词效价跟字母空间位置交互作用显著, 也就是说情绪词加工会激活空间信息, 积极情绪概念能促进上位字母的选择判断, 消极情绪概念能促进下位字母的选择判断。这种假设与具身认知的观点是一致的, 对概念的加工会激活身体的感知运动状态的变化, 身体的感知运动状态的变化又会对概念加工产生影响。本研究使用情绪面孔这种特殊的情绪刺激, 发现情绪概念表征与感知觉运动信息之间的相互影响是单向的还是双向的, 会受到语义加工深度和知觉加工深度的影响。本研究的结果在一定程度上为解决这一争议提供了启示。

5.3 认知加工中对积极刺激的积极偏向

此外, 本研究还发现, 被试对积极刺激的加工存在积极偏向。实验 1中, 被试对积极词反应, 积极启动面孔条件下的反应时与消极启动面孔条件下的反应时都快, 并且积极情绪面孔条件下的反应更快, 消极的启动面孔削减了这种积极偏向, 导致差异不显著。实验2也发现, 对积极情绪概念做反应, 积极启动面孔促进积极情绪概念加工。对消极情绪概念作反应, 两种面孔下的反应差异并不明显。这与前人的研究结果一致, 有研究者要求被试双手交叉, 用右手对积极词作反应, 用左手对消极词作反应, 结果发现在两种条件下, 被是对积极情绪词的反应都快于对消极情绪词的反应(de la Vega,Dudschig, De Filippis, Lachmair, & Kaup, 2013)。这可能是因为对情绪意义的体验与人的动机趋避趋避系统相关, 消极刺激与回避动机相关, 积极刺激与趋向动机相关, 随着情绪概念的愉悦度的增强,被试的趋向动机水平也在提高, 从而导致被试对积极情绪刺激的积极偏向。这种结果也可能是由于积极情绪概念的进化优势导致的, 消极情绪词会导致被试采取更保守的策略, 积极的情绪词汇会导致被试注意资源的灵活性增强, 相比而言对积极情绪词的反应更快。

本研究发现了对积极情绪刺激的积极偏向, 但是在一些研究中, 也发现了消极情绪刺激的加工优势, 但是本研究与这些结果并不冲突。首先, 积极偏向和消极偏向是立足于不同的加工水平的。比如在生气这种消极情绪的研究中, 有研究者使用视觉搜索范式, 发现在积极面孔中对生气面孔的搜索更快, 据此提出了生气优先假设, 并且认为对生气面孔的提前加工具有生存价值(Hansen & Hansen,1988)。也有后续一系列研究对这一假设进行了验证, 总的结论是在前注意阶段, 生气面孔由于进化优势, 能够吸引更多的注意资源。但是积极面孔存在加工优势也获得了大量证据支持。有研究者指出,生气加工优势是知觉探测水平上的加工, 而积极词的加工优势是面孔识别水平上的加工, 后者更需要细节分析。由于受到积极面孔熟悉度高、刺激物理特征等因素影响, 积极面孔识别快于消极面孔识别,并且积极词也快于消极词加工(Leppänen & Hietanen,2004)。其次, 生气面孔优势假设的提出是建立在面孔搜索范式基础上的, 即要求被试在一系列面孔中发现不一样的面孔。而积极面孔偏向是建立在面孔识别范式基础上的, 即要求被试判断面孔是何种情绪, 本实验的范式要求对面孔的情绪或情绪词的效价进行判断, 是识别水平的加工, 而不是知觉探测水平的加工, 因此本研究的积极偏向与前人的研究结果一致。最后, 消极加工优势具体是指的生气面孔知觉, 这并不等于所有的消极面孔都具有加工偏向。而且本研究中使用的是高兴面孔与悲伤面孔,悲伤面孔与生气面孔的价值是不同的。这也证实了前人的研究, 在面孔识别中, 积极面孔加工要快于对悲伤面孔的加工。由此可见, 积极优势和消极优势并不冲突, 面孔的加工水平分为知觉探测水平加工与识别水平加工, 这两种优势是发生在不同水平上的。

6 结论

本研究采用情绪面孔启动范式探讨了语义加工深度和知觉加工深度对情绪概念表征与情绪面孔知觉关系的影响, 本研究的结论主要包括以下几点：(1)情绪概念与情绪面孔知觉存在相互影响, 支持了概念表征的具身观点。(2)概念加工深度影响两者关系的方向性, 在较深的概念加工层面, 两者的关系是双向的, 在较浅的概念加工层面, 两者的关系是单向的; 知觉加工深度也影响两者关系的方向性, 在较深的知觉加工层面, 两者的关系是双向的,在较浅的知觉加工层面, 没有发现两者的相互影响。(3)被试对积极情绪词加工更快, 具有积极偏向。

Barsalou, L. W. (1999). Perceptual symbol systems.Behavioral and Brain Science, 22, 577–660.

Barsalou, L. W. (2008). Cognitive and neural contributions to understanding the conceptual system.Current Directions in Psychological Science, 17(2), 91–95.

Barsalou, L. W., Spivey, M., McRae, K., & Joanisse, M.(2012). The human conceptual system. InThe Cambridge handbook of psycholinguistics(pp. 239–258). Cambridge:Cambridge University Press.

Bentin, S., Allison, T., Puce, A., Perez, E., & McCarthy, G.(1996). Electrophysiological studies of face perception in humans.Journal of Cognitive Neuroscience, 8(6), 551–565.

Casasanto, D., & Boroditsky, L. (2008). Time in the mind:Using space to think about time.Cognition, 106(2), 579–593.

Craik, F. I. M., & Lockhart, R. S. (1972). Levels of processing:A framework for memory research.Journal of Verbal Learning and Verbal Behavior, 11(6), 671–684.

Deacon, D., Dynowska, A., Ritter, W., & Grose-Fifer, J.(2004). Repetition and semantic priming of nonwords:Implications for theories of N400 and word recognition.Psychophysiology, 41(1), 60–74.

de la Vega, I., Dudschig, C., De Filippis, M., Lachmair, M., &Kaup, B. (2013). Keep your hands crossed: The valence-by-left/right interaction is related to hand, not side,in an incongruent hand–response key assignment.Acta Psychologica, 142(2), 273–277.

Gendron, M., Lindquist, K. A., Barsalou, L., & Barrett, L. F.(2012). Emotion words shape emotion percepts.Emotion,12(2), 314–325.

Hansen, C. H., & Hansen, R. D. (1988). Finding the face in the crowd: An anger superiority effect.Journal of Personality and Social Psychology, 54(6), 917–924.

Jin, H., & Huang, X. T. (2012). A new issue in the study of the spatial metaphor of time: The left-and-right representation of time.Advances in Psychological Science,20(9), 1364–1371.

[金泓, 黄希庭. (2012). 时空隐喻研究的新问题: 时间表征的左右方向性.心理科学进展, 20(9), 1364–1371.]

Lakoff, G., & Johnson, M. (1999).Philosophy in the flesh: The embodied mind and its challenge to western thought. New York: Basic Books.

Leppänen, J. M., & Hietanen, J. K. (2004). Positive facial expressions are recognized faster than negative facial expressions, but why?Psychological Research, 69(1-2), 22–29.

Li, Q. W. (2008). Cognitive revolution and second-generation cognitive science.Acta Psychologica Sinica, 40(12),1306–1327.

[李其维. (2008). “认知革命”与“第二代认知科学”刍议.心理学报, 40(12), 1306–1327.]

Lindquist, K. A., Barrett, L. F., Bliss-Moreau, E., & Russell, J.A. (2006). Language and the perception of emotion.Emotion, 6(1), 125–138.

Liu, Y., Wang, Z. H., & Kong, F. (2011). The view of embodied emotion: A new perspective on emotion study.Advances in Psychological Science, 19(1), 50–59.

[刘亚, 王振宏, 孔风. (2011). 情绪具身观: 情绪研究的新视角.心理科学进展, 19(1), 50–59.]

Masuda, T., Ellsworth, P. C., Mesquita, B., Leu, J., Tanida, S.,& van de Veerdonk, E. (2008). Placing the face in context:Cultural differences in the perception of facial emotion.Journal of Personality and Social Psychology, 94(3), 365–381.

Meier, B. P., & Robinson, M. D. (2004). Why the sunny side is up: Associations between affect and vertical position.Psychological Science, 15(4), 243–247.

Murphy, G. L. (2002).The big book of concepts. Cambridge,MA: MIT press.

Murphy, S. T., Monahan, J. L., & Zajonc, R. B. (1995).Additivity of nonconscious affect: Combined effects of priming and exposure.Journal of Personality and Social Psychology, 69(4), 589–602.

Murphy, S. T., & Zajonc, R. B. (1993). Affect, cognition, and awareness: Affective priming with optimal and suboptimal stimulus exposures.Journal of Personality and Social Psychology, 64(5), 723–739.

Niedenthal, P. M. (2007). Embodying emotion.Science,316(5827), 1002–1005.

Niedenthal, P. M., Winkielman, P., Mondillon, L., & Vermeulen,N. (2009). Embodiment of emotion concepts.Journal of Personality and Social Psychology, 96(6), 1120–1136.

Pourtois, G., Grandjean, D., Sander, D., & Vuilleumier, P. (2004).Electrophysiological correlates of rapid spatial orienting towards fearful faces.Cerebral Cortex, 14(6), 619–633.

Simmons, W. K., Hamann, S. B., Harenski, C. L., Hu, X. P., &Barsalou, L. W. (2008). fMRI evidence for word association and situated simulation in conceptual processing.Journal of Physiology-Paris, 102(1-3), 106–119.

Stanfield, R. A., & Zwaan, R. A. (2001). The effect of implied orientation derived from verbal context on picture recognition.Psychological Science, 12(2), 153–156.

Stenberg, G., Wiking, S., & Dahl, M. (1998). Judging words at face value: Interference in a word processing task reveals automatic processing of affective facial expressions.Cognition& Emotion, 12(6), 755–782.

Thielscher, A., & Pessoa, L. (2007). Neural correlates of perceptual choice and decision making during fear–disgust discrimination.The Journal of Neuroscience, 27(11), 2908–2917.

Wang, R. M., Mo, L., Li, L., Wang, S. P., & Wu, J. (2005).Perceptual symbol representation and propositional symbol representation in language comprehension.Acta Psychologica Sinica, 37(2), 143–150.

[王瑞明, 莫雷, 李利, 王穗苹, 吴俊. (2005). 言语理解中的知觉符号表征与命题符号表征.心理学报, 37(2), 143–150.]

Wang, Y. N., Zhou, L. M., & Luo, Y. J. (2008). The pilot establishment and evaluation of Chinese Affective Words System.Chinese Mental Health Journal, 22(8), 608–612.

[王一牛, 周立明, 罗跃嘉. (2008). 汉语情感词系统的初步编制及评定.中国心理卫生杂志, 22(8), 608–612. ]

Widen, S. C., & Russell, J. A. (2002). Gender and preschoolers'perception of emotion.Merrill-Palmer Quarterly, 48(3),248–262.

Widen, S. C., & Russell, J. A. (2010). Differentiation in preschooler's categories of emotion.Emotion, 10(5), 651–661.

Xie, J. S. (2012).The spatial representation of emotional concepts and its production mechanism(Unpublished master’s thesis). South China Normal University.

[谢久书. (2012).情绪概念表征中的空间隐喻及其产生机制(硕士学位论文). 华南师范大学.]

Zhang, C. Q. (2012).The perceptual symbol representation of color concept(Unpublished master’s thesis). South China Normal University.

[张常青. (2012).颜色概念的知觉符号表征(硕士学位论文). 华南师范大学.]

Zhong, C. B., & Leonardelli, G. J. (2008). Cold and lonely:Does social exclusion literally feel cold?Psychological Science, 19(9), 838–842.

Zhong, C. B., Strejcek, B., & Sivanathan, N. (2010). A clean self can render harsh moral judgment.Journal of Experimental Social Psychology, 46(5), 859–862.