行动语义、客体背景和判断任务对客体动作承载性的影响*

赵 楠 公艳艳 赵 亮 陈 强 王勇慧

(1陕西师范大学心理学院, 西安 710062) (2宝鸡文理学院教育学院, 宝鸡 721016)

1 引言

客体动作承载性(object affordance), 即客体自身蕴含的能够与知觉同时被激活的动作信息,是知觉和行动关系研究中逐渐发展出的概念, 也是近年来客体观察领域的热点研究问题(Bach,Fenton-Adams, & Tipper, 2014; Natraj, Pella, Borghi,& Wheaton, 2015; Netelenbos & Gonzalez, 2015;Till, Masson, Bub, & Driessen, 2014)。首次提出这一概念的Gibson (1979)认为, 观察者对环境中客体的觉知, 并不仅是消极地知觉客体的形状、颜色和材质, 而会自动激活对该客体的行动。他认为环境中的客体都承载了行动信息。例如, 杯子承担了抓握的特性, 椅子承担了坐的特性, 观察者看到水杯就知道如何去抓握, 看到椅子就知道如何去坐。这是一种观察者从知觉客体, 知觉自身, 然后产生行动的过程。这种特性在诸多采用刺激-反应相容范式的研究中得到了验证(Cho &Proctor, 2010, 2011; Ellis & Tucker, 2000; Phillips& Ward, 2002; Tucker & Ellis, 1998, 2001, 2004;Tipper, Paul, & Hayes, 2006)。具体来说, 研究发现,当个体判断客体属性时, 如果反应方式和操作该客体的动作一致, 那么反应会得到易化。例如, 当要求被试判断带有手柄的客体是正立还是倒立时,客体手柄朝向和按键处于同侧的反应速度要快于手柄朝向和按键处于对侧, 即发生了客体动作承载性效应。客体动作承载性的产生一度被认为是自动激活的(Borghi, 2005; Grèzes & Decety, 2002;Makris, Hadar, & Yarrow, 2011; Tucker & Ellis,1998)。来自fMRI的证据也发现, 恒河猴的F5脑区包含两种视觉-运动神经元, 分别是镜像神经元(mirror neurons)和经典神经元(canonical neurons),研究发现, 在恒河猴观察其他同类或者人类抓握客体的动作时, 镜像神经元会被激活; 而当恒河猴仅观察到客体时, 经典神经元会被激活(Rizzolatti& Craighero, 2004)。引人注目的是, 有大量研究发现在人类大脑中也存在经典神经元和镜像神经元系统(Fadiga et al., 2006; Gazzola & Keysers,2009; Kilner, Neal, Weiskopf, Friston, & Frith, 2009;Mukamel, Ekstrom, Kaplan, Iacoboni, & Fried,2010)。其中, Mukamel等人(2010)发现当被试观察他人执行抓握动作或自己执行抓握动作时, 辅助运动区、前辅助运动区以及颞叶的镜像神经元会被激活。

然而, 客体动作承载性是否是知觉和行动的自动连结, 近年来却遭到许多研究者的质疑, 正如McBride, Boy, Husain和Sumner (2012a)指出的,许多自动化的加工机制是十分灵活的, 包括客体动作承载性, 尽管对于客体的知觉过程会引起对于客体的行动, 但这一过程会受到自上而下加工过程的调节。具体体现在以下两个方面：第一, 客体行动语义知识可以调节客体动作承载性效应。客体行动语义知识包括操作知识和功能知识(van Elk, van Schie, & Bekkering, 2014)。操作知识指以正确的抓握姿势抓握客体, 功能知识指以正确的使用目的抓握客体(倪龙, 刘烨, 傅小兰, 2014)。例如, 看到一把牙刷, 虽然牙刷的毛刷部分和手柄部分都能抓握, 但人们会用所有手指满手抓握手柄部分(即正确的抓握姿势), 将毛刷部分朝向嘴部(即正确的使用目的)。也就是说, 尽管知觉客体自动激活了人们抓握客体的动作, 但客体的行动语义知识能确保人们正确抓握客体或以有意义的方式使用客体。这种调节作用得到了一些研究结果的印证。比如, 研究者给被试呈现图片, 图中是某一主体人物以正确或错误的抓握(或使用目的)操作客体, 被试的任务是判断客体是否可以朝脸部移动。结果显示, 当图中的主体以正确姿势抓握(或正确使用目的抓握)客体时, 被试做判断时的反应速度显著快于图中主体以错误姿势抓握(或错误使用目的抓握)客体时的反应速度。说明正确的抓握姿势(或使用目的)所体现的针对客体的操作知识和功能知识, 可以促进被试对动作姿势和客体功能之间关系的理解, 从而做出更快的判断。结果中有趣的是, 正确抓握目的和错误抓握目的下的反应时差值要大于正确抓握姿势和错误抓握姿势的反应时差值, 说明错误抓握目的造成的冲突效应大于错误抓握姿势造成的冲突效应(van Elk, van Schie, & Bekkering, 2009)。由此推测,抓握客体可能是由客体激活的最低层次的动作,而以正确的目的使用客体才是人类行动的终极目标。第二, 知觉客体所处的背景也会影响人们对行动的选择。Kalénine, Shapiro, Flumini, Borghi和 Buxbaum (2014)操纵客体呈现背景(分为使用客体背景或移动客体背景)和被试反应方式(捏或抓握特制的反应器), 他们要求被试用食指和拇指捏住或用全手掌抓握的反应方式去判断客体类别属于人工制造的还是自然产生的, 结果显示当客体呈现背景和被试反应方式匹配时, 被试的反应速度快于不匹配时的反应速度。例如, 在使用客体背景下的厨房计时器, 体现其功能的正确使用方式通常是采用食指和拇指捏住指针旋转, 如果针对客体目标的反应方式也是“捏”, 那么客体呈现背景和被试反应方式就是匹配的, 这种条件下,被试的反应速度要快于“抓握”方式的反应速度(不匹配条件)。该结果说明, 客体加工过程中的动作激活受到了客体呈现背景的调节(Costantini,Ambrosini, Scorolli, & Borghi, 2011; Lee, Middleton,Mirman, Kalénine, & Buxbaum, 2013)。此外, 还有研究发现, 当实验中使用的目标客体(如, 罐子)和分心客体(如, 吸管或杯子)构成不同背景关系时, 被试抓握目标客体的速度会有明显差异。在该项研究中, 被试的任务是抓握目标客体递给主试, 置于主试面前的分心客体(吸管)和置于被试面前的目标客体(罐子)是功能独立关系时, 相较于两者具有功能合作关系(罐子 vs.杯子)时, 被试的抓握速度更快(Scorolli, Miatton, Wheaton, &Borghi, 2014)。这些研究结果说明, 人类在使用客体时, 不会单纯的从知觉客体出发, 而是会将客体置于背景中, 产生符合背景的针对客体的行动。

此外, 我们回顾前人研究发现, 客体动作承载性的研究中主要采用三种判断任务, 分别是位置判断(如, 判断客体是正立还是倒立, Cho et al.,2011; Pellicano, Iani, Borghi, Rubichi, & Nicoletti,2010)、客体属性判断(如, 判断客体颜色、形状和材质等, Cho et al., 2010, 2011; Matheson, White, &McMullen, 2014b; Tucker et al., 2004; Tipper et al.,2006)以及分类判断任务(如, 判断人工制造或自然产生等, Borghi, Flumini, Natraj, & Wheaton,2012; Natraj et al., 2013)。但不同判断任务下的结果体现出客体动作承载性的不稳定性和特异性。所以有必要对基于这种刺激−反应相容范式下,不同判断任务对客体动作承载性产生的影响进行分析和探讨, 不仅有利于深入理解客体动作承载性的发生机制, 而且有助于澄清现有研究中令人迷惑并互相矛盾的现象, 为未来研究提供有益的参考。

综上所述, 本文有以下三个目标, 首先理解不同语义知识和背景对客体动作承载性效应调节的特异性和复杂性。其次, 围绕客体动作承载性的经典研究中经常采用的三种判断任务, 探讨存在于判断任务中的特异性, 以及造成这种特异性的可能原因。最后, 针对以上客体动作承载性研究中的关键争论和困惑提出解决问题的着手点和未来的研究方向。

2 行动语义知识和背景信息对客体动作承载性的调节

客体承载了人的视觉感知和行动指向两方面的信息。通常, 我们在知觉到客体的同时也会激活与客体相适应的行动, 而行动语义确保我们用一种有“意义”的方式来使用客体(Scorolli et al.,2014; van Elk et al., 2014)。其中,“意义”既可以指使用客体的功能(例如, 用食指和拇指旋转厨房计时器指针), 也可以指恰当的抓握(抓握厨房计时器移动它) (Scorolli et al., 2014)。然而, 这种行动语义是怎样参与知觉和行动的相互作用？这种调节作用又表现在哪些方面？行动者的目的和现时的任务背景又发挥着怎样的作用？

下文主要围绕以下两个线索梳理当前涉及上述问题的研究成果。第一, 客体动作承载性会受到行动语义知识的调节。动作和知觉相互作用的过程需要自上而下的加工, 从而使整个过程更加流畅和有意义。第二, 选择行动的依据也来自于客体存在的背景。在人类针对客体的行动过程中,无论存在多少低层次的无意识和自动激活, 最终都要服务于探索环境和适应环境的目的, 达到高水平的满足。

2.1 行动语义知识

首先, 客体激活的动作和语义知识之间存在相互作用(Borghi & Riggio, 2009; Ferri, Riggio,Gallese, & Costantini, 2011; Myachykov, Ellis,Cangelosi, & Fischer, 2013; Zwaan & Taylor, 2006)。比如, Rueschemeyer, Pfeiffer和Bekkering (2010)的实验中, 在每个试项开始时, 都是先在屏幕提示被试按较远位置或较近位置的键, 使其预先启动一种动作准备(远离身体或靠近身体)。之后呈现目标词, 仍根据之前屏幕的提示进行按键反应(例如, 之前屏幕提示的是按较远的按键, 此时对目标词仍按较远的按键)。目标词包括：使用时需要趋近身体的词, 例如“杯子” (用杯子喝水时需要将杯子移近口部); 使用时需要远离身体的词, 例如“锤子” (用锤子敲击物体时需要远离身体以防误伤自己)。这样, 之前启动的动作准备和目标词汇的行动语义可以组成两种水平, 即相容(趋近的动作准备后出现“杯子”); 或不相容(趋近的动作准备之后出现“锤子”)。结果发现, 如果之前的动作准备与客体行动语义相容, 被试的反应速度显著快于两者不相容的反应速度。说明行动的同时激活了行动语义, 词汇语义知识中也包含行动语义, 两者之间的重叠部分加强了两者的相互作用。

神经影像学研究也发现, 对行动相关词汇的加工与相关行动本身激活的脑区是有联系的(Pulvermüller, 2013)。具体来说, 当研究者给被试呈现分属不同语义类别的客体图片(例如, 动物和水果), 要求被试或观察客体, 或命名客体, 或想象使用客体。该研究发现, 仅观察客体的图片或词汇也导致了前运动皮层和辅助运动皮层的激活(Chao & Martin, 2000; Creem-Regehr & Lee, 2005;Grèzes & Decety, 2002; Grèzes, Tucker, Armony,Ellis, & Passingham, 2003)。然而, 尽管行为和神经神经影像学研究的证据都说明动作加工和语义加工之间存在相互作用, 但究竟是词汇语义本身(杯子是盛水的器皿)还是词汇中蕴含的行动语义(杯子的喝水功能所蕴含的抓握动作)与现实行动存在相互作用仍需要继续讨论。

其次, 行动语义可以从语义背景中单独提取出来, 与客体承担的动作姿势产生交互作用。这在van Elk等人(2009)的研究中得到了体现。他们同样使用图片刺激, 内容包括一个人物主体分别以正确或错误的抓握姿势、正确或错误的抓握目的抓握客体, 而客体分为可趋近客体(水杯, 也称为身体相关客体)和需要远离的客体(锤子, 也称为世界相关客体)。研究者要求被试在三个反应按钮上反应, 三个按钮距离被试的距离分为近、中和远。要求被试将利手放在中间的初始位置, 一半被试的任务是看到可趋近客体按距离自己最近位置的按钮, 看到需要远离的客体按距离自己最远位置的按钮, 另一半被试的任务相反。研究发现, 当用近距离按钮反应时, 被试此时需要将反应手从中间位置朝身体方向移动, 对身体相关客体(杯子)的判断更快; 当用远距离按钮反应时,被试需要将反应手从中间位置远离身体方向移动,对世界相关客体(锤子)的判断更快。结果说明, 行动语义的获取和行动表征的激活相伴而生。另外,当任务是要求被试判断客体是否是塑料制品时,在正确和错误抓握姿势条件下, 被试的反应时没有显著差异, 此结果提示, 视觉获得的姿势动作信息不影响对于客体材质的语义判断。以上内容说明, 行动语义可以从语义背景中提取出来调节客体自动激活的动作, 使主体人物产生有意义的行动。

综上, 行动语义知识对客体动作承载性有调节作用, 在客体动作承载性激活我们低层次的行动后保证我们用有意义的动作使用客体。当观察到一个客体时, 人类会根据对客体的恰当理解(比如, 需要抓握还是移动)做出最适宜的行动(van Elk et al., 2014)。因此行动语义知识扩展了客体动作承载性的内涵, 丰富了研究者对于知觉和行动的认识(Vainio, Hammarén, Hausen, Rekolainen, &Riskilä, 2011; van Elk, van Schie, & Bekkering, 2010)。

2.2 背景信息

客体动作承载性不仅受行动语义的影响, 而且也受客体所处的自然背景或社会背景的调节。自然背景的一种形式是由生活中常见的视觉场景构成的背景。例如, 将厨房使用的计时器置于灶台边, 周围的背景就会激活使用计时器的手的姿势; 将其置于抽屉中, 周围的背景则会激活移动计时器的手的姿势(Kalénine et al., 2014)。另一种形式是针对成对出现的客体而言, 相对于其中的某一客体, 另一客体就是自然背景。如, 相对于目标勺子, 碗是自然背景。这些成对客体间的关系也会调节针对目标客体的行动(Borghi et al., 2012;Natraj et al., 2013; Yoon, Humphreys, & Riddoch,2010)。研究者发现自然背景会影响客体动作承载性后, 开始探究在什么情境下, 自然背景会影响对目标客体的动作激活。其中, Xu, Humphreys和Heinke (2015)将成对客体分为消极客体(例如：碗)和积极客体(例如：勺子), 发现配对客体存在交互作用(勺子朝向碗)时, 被试对消极客体的反应速度慢于配对客体不存在交互作用(勺子竖直放于碗边)时; 配对客体存在交互作用(勺子朝向碗)时,被试对积极客体的反应速度快于配对客体不存在交互作用(勺子竖直放于碗边)时, 结果说明当被试知觉到两个客体存在交互作用时, 积极客体(勺子)抑制了对于消极客体(碗)的动作激活。可以推测, 在交互场景下, 相对于积极客体, 消极客体,更易受到其他客体动作激活的影响而被知觉为背景。

除了目标客体周围由其他客体构成的自然背景会影响客体动作承载性外, 由他人构成的社会背景也会影响主体本人对于目标客体的行动。González-Perilli和 Ellis (2015)发现, 呈现他人操作客体的动作会影响主体本人知觉客体后激活的行动。他们要求被试观察图片中的演示者使用右手或左手完成从伸够到抓握客体的完整动作, 结果发现演示者用右手伸够抓握客体时, 被试反应手和客体手柄朝向一致的反应速度快于不一致的反应速度, 出现了客体动作承载性; 但当被试仅观察到演示者有朝向客体的趋势, 并没有抓握到客体时, 客体动作承载性效应消失。有趣的是, 除了观察他人的动作会影响人们对客体的知觉外(Girardi, Lindemann, & Bekkering, 2010; Mizelle,Kelly, & Wheaton, 2013), Gianelli, Scorolli和Borghi (2013)发现演示者与他人的社会关系(朋友与否)也会影响知觉客体后的行动。竞争对象是陌生人时, 被试在与他人竞争抓握客体时移动更快。竞争对象是朋友时, 被试对于离自己近的客体的移动会较快, 进一步说明社会背景中的社会关系也调节了行动主体对客体的行动。当然自然背景和社会背景在环境中是共同存在的, 对于两种背景的叠加作用, Iacoboni等人(2005)采用fMRI进行了探究。他们呈现了三种刺激：置于背景中的客体; 没有背景、用手抓握的客体以及置于背景中用手抓握的客体。最后一种刺激条件下相较于前两种条件, 发现额下回后部和运动皮层腹侧的信号显著增强。结果说明客体存在的自然背景和作用于客体的手的姿势代表的社会背景, 会共同作用, 促进符合行动背景的抓握客体的行动。

总之, 行动语义知识和背景信息都会影响客体动作承载性(Ellis et al., 2013; Scorolli et al.,2014)。然而未来研究还需要探究行动语义知识中的操作知识和功能知识是依据何种机制灵活转换的, 以及这两种行动语义知识如何作用于行动主体, 从而使其在知觉客体后产生针对客体的有意义行动; 还需考察在生态环境中, 其他客体、他人影响主体知觉目标客体产生行动的因果机制。

3 客体动作承载性在不同判断任务中的特异性表现

有大量的证据发现自动和阈下的加工会受到任务设置的调节(McBride et al., 2012a)。研究客体动作承载性效应常采用刺激-反应相容范式, 主要包括三种判断任务：判断客体的位置方向(直立或倒立) (Cho et al., 2010, 2011; Tucker et al., 1998);判断客体的属性特征(颜色、材质和形状) (Loach,Frischen, Bruce, & Tsotsos, 2008)以及判断客体的类别(人造客体/自然客体, 或厨房用品/工具, 等)(Tucker & Ellis, 2001)。正如第二部分所述, 在发现行动语义知识调节客体动作承载性的研究中,采用的判断任务通常是带有语义性质的客体类别判断, 即判断客体是自然的(如, 苹果)还是人造的(如, 杯子) (Yu, Abrams, & Zacks, 2014)。而方向判断和属性判断经常被应用于单纯的客体动作承载性研究(Tucker & Ellis, 1998)。通过对以往研究证据的回顾, 文章将分析判断任务在不同研究中体现出的特异性。

3.1 类别判断

针对“知觉客体, 对客体进行类别判断能否激活对客体的行动”存在两种不同的声音：一方面有证据表明, 在类别判断中, 被试判断呈现客体属于厨房用具还是工具时, 出现了客体动作承载性效应(Ellis et al., 2013; González-Perilli & Ellis,2015; Goslin, Dixon, Fischer, Cangelosi, & Ellis,2012)。然而, 也有证据显示, 单纯的判断客体类别并不能激活对客体的行动(Lien, Jardin, & Proctor,2013; Netelenbos & Gonzalez, 2015)。其中,McBride, Sumner和Husain (2012b)要求被试分别用左右手抓握反应器来判断呈现在图片中的客体是厨房用具还是工具类用品。尽管客体承担的动作和任务无关, 相对于客体的把手和反应手的位置不一致, 被试在一致条件下的反应速度更快;有趣的是, 被试并不是采用普通的按键反应方式,而是采用一种抓握的方式, 这种姿势更加符合客体所承载的动作, 因而促进了一致条件下对于客体的行动。Lien等人(2013)使用的客体同样分为工具和厨房用品, 若客体是工具, 被试用左手按左键, 若客体是厨房用品, 被试用右手按右键。只有当客体把手的位置显著地呈现在注视点的左侧或右侧时, 才会出现动作承载性效应, 研究者称这样的效应并不是由客体所包含的动作信息引起的, 而是客体视觉突出部位吸引了被试的注意所引起的一致性效应。另外, Matheson等人(2014b)在要求被试采用双手按键判断客体是动物还是人造客体时, 研究发现了客体动作承载性的反转效应, 即客体把手位置与按键方向不一致的反应速度要快于一致的反应速度。Yu等人(2014)将人造客体和自然物(动物和水果)放在一起让被试进行类别判断时也出现了客体动作承载性效应的反转。在这些分类判断任务中, 都没有发现客体动作承载性效应。出现这种分歧的原因, 一方面可能是分类判断的水平仅停留在单纯的语义水平,没有激活客体的行动语义知识, 只有在知觉客体时将语义中的动作信息提取出来才能促进对客体的行动。另一方面, 可能是客体类别差异大(例如,将动物和人造客体或水果和工具放在一起分类)且没有其他背景信息的引导, 很难激活对于客体的行动(Matheson, Newman, Satel, & McMullen,2014a)。

那么是否当这种语义信息中的动作表征得到加工, 并且和客体承载的动作信息重叠时, 才能促进客体动作承载性效应？另外, 怎样的语义加工才能称为客体的行动语义加工？这些问题都值得进行深入的讨论和研究。

3.2 客体属性判断

在客体动作承载性研究中, 判断任务采用材质判断和形状判断时, 会出现客体动作承载性效应, 采用颜色判断时却不会出现客体动作承载性效应(Cho & Proctor, 2013; Symes, Ellis, & Tucker,2005; Tipper et al., 2006; Wilf, Holmes, Schwartz,& Makin, 2013)。其中, Tipper等人(2006)要求被试分别按A键和L键对应门把手手柄的圆形或方形,或者按A键和L键对应蓝色的门把手或绿色的门把手。当被试基于客体的形状做判断时, 出现了客体动作承载性效应, 而基于客体的颜色做判断时, 并没有激活针对客体的行动。研究者认为, 形状判断相较于颜色判断, 前者对客体进行了更深层次的加工, 更易激活对客体的行动。

另外, Loach等人(2008)采用的客体是门把手,使用没有花纹的门把手作为启动刺激, 之后呈现两种不同材质的探测刺激, 启动和探测朝向一致,但探测保持水平放置, 启动刺激旋转角度与探测刺激成 0°、20°、40°或 60°, 探测刺激与被试的反应手的方向要么一致要么不一致。实验一要求被试对客体的材质(花纹质的金属或木纹质)进行判断, 当启动和探测处于 0°位置时, 出现了客体动作承载性效应; 实验二要求被试判断门把手的颜色时, 没有出现客体动作承载性效应。与 Loach等人(2008)的结果一致, Bub和Masson (2010, 实验二)要求被试判断啤酒杯和茶壶的颜色(蓝色或绿色)时, 也没有发现基于颜色判断的客体动作承载性效应。Pellicano等人(2010)要求被试判断手电筒的颜色时, 也没有观察到客体动作承载性效应。以上结果说明对于客体属性的颜色判断似乎干扰了客体动作承载性效应的出现, 颜色判断作为一种表层属性的判断, 并不能激活对于客体的行动, 而对于客体形状和纹路的判断, 作为相对较深层次的加工可以激活对客体的行动, 说明对客体加工层次越深, 越易激活对客体的行动。

3.3 客体位置方向判断

针对客体动作承载性的研究采用方向判断任务已经有悠久的历史, 最初支持客体动作承载性的研究证据, 就来自位置判断任务(Grèzes &Decety, 2002; Iani, Baroni, Pellicano, & Nicoletti,2011; Riggio et al.,2008; Symes, Ellis, & Tucker,2007; Tucker & Ellis, 1998)。之后, Pellicano等人(2010)以及Cho和Proctor (2011)也都分别在被试对客体方向进行判断时观察到了客体动作承载性效应。但分析发现, 这类动作承载性研究中采用的刺激都相对单一, 客体中承担动作的部分(锅的手柄、茶壶把等)都有明显的突出特征, 这些显著的空间特征保证了客体动作承载性的出现。近年来, 研究者使用较复杂的材料(包括自然客体和动物), 发现材料的多样性会阻碍客体动作承载性效应的出现。比如, Matheson等(2014b)在实验一到实验三中都使用包括动物和人造客体在内的实验刺激, 要求被试判断客体的位置朝向(正立 vs.倒立), 结果发现被试不仅产生了基于客体把手的客体动作承载性效应, 同时产生了基于动物突出部位的刺激-反应相容效应。而Yu等人(2014)在实验中, 将人造客体和自然物放在一起, 同样让被试做位置朝向判断时(正立 vs.倒立)却没有发现客体动作承载性效应。这些实验证据表明在正立倒立判断任务中, 实验刺激仅仅使用人造客体时, 会较稳定地出现客体动作承载性, 当实验刺激包括自然物和人造客体时, 客体动作承载性会受到干扰。

4 总结与展望

针对上述研究中存在的争议, 我们认为未来可从以下三方面寻求突破。

4.1 行动语义调节客体动作承载性的发生机制

行动语义知识对于客体动作承载性的影响表现在行动语义知识为行动者提供了关于客体更完整和更全面的信息, 增强了人类对于客体的理解,指导人类在此基础上产生行动(van Elk et al.,2014)。然而, 针对行动语义知识如何调节客体动作承载性, 不同语义知识又如何影响人们的动作选择的探讨还较少。最近, Wulff, Laverick, Humphreys,Wing和 Rotshtein (2015)的一项研究尤为引人关注。他们使用图片刺激, 深入探讨了语义知识和行动语义知识对行动的影响。实验先呈现第一个客体图片, 间隔500 ms的注视点后呈现第二个客体的图片, 要求被试判断先后呈现的客体是否可以同时使用。研究操纵了三个重要条件：其一是主体人物抓握客体的姿势, 分为一致、不一致、指向和仅包含客体四种条件, 一致条件指采用合适的功能抓握姿势抓握客体手柄, 不一致条件指抓握客体手柄对向位置(例如抓住叉子的叉头),指向条件指主体的手有抓握客体的趋势但并没有抓握到客体, 仅包含客体条件指图中不呈现手,仅呈现客体。其二是前后呈现的客体间关系(有语义关系 vs.无语义关系), 有语义关系指两者可以出现在同一环境中(刀、叉), 无语义关系说明两者不能出现在同一环境中。其三是客体的性质, 类似于Xu等人(2015)的研究, 他们也将客体分为积极客体(例如, 刀)和消极客体(例如, 叉)。结果发现, 在三种有抓握手的条件中, 一致条件下积极客体出现在消极客体之前, 被试的反应速度最快。不一致条件下, 对无语义关系客体的反应速度快于有语义关系的客体, 说明在缺乏行动语义信息(没有针对客体的正确抓握)时, 有语义关系并不能促进对客体的行动。这项研究促进了人们思考行动语义知识在何种情境下会对客体动作承载性产生影响, 这也是未来研究需要进一步探讨的问题之一。

其次, Liberman和Mattingly (1985)提出言语知觉运动理论(motor theory of speech perception)。该理论认为运动系统参与了言语知觉的过程, 运动系统和言语系统之间有复杂的交互作用(Galantucci,Fowler, & Turvey, 2006)。最初, 研究发现, 当恒河猴在进行抓握的动作或是看到其他猴子进行抓握的动作时, 恒河猴脑中的F5区中的镜像神经元会被激活(Rizzolatti, Fadiga, Gallese, & Fogassi, 1996)。有证据显示, 猴脑中的F5区被认为与人类大脑中的Broca区具有相似性(Arbib, 2012), 而后者正是研究者辨识出来的第一个与语言有关的脑区。Broca区可以分为BA44区和BA45区, 之后有脑成像研究显示, BA45区在语言输出时(无论是说话还是示意)被激活; 非语言的运动功能, 例如,复杂的手部运动, 感觉运动学习会激活 BA44区(Binkofski & Buccino, 2004)。并且, 以聋人手语者为被试, 结果发现布洛卡区确实参与了手语的产生和知觉任务(Okada et al., 2016)。这些研究都说明运动系统和言语系统之间存在交互作用。

同时, 回溯前文可知, 在人类大脑中也存在经典神经元和镜像神经元系统, 人们观察他人的抓握动作也会激活镜像神经元(Fadiga et al., 2006;Kilner et al., 2009; Gazzola & Keysers, 2009;Mukamel et al., 2010)。而客体动作承载性是知觉客体后产生的对客体的行动, 也就是说, 知觉客体和运动系统之间也存在交互作用, 那么我们有理由推测行动语义影响人们知觉客体产生行动的机制在于言语知觉会影响客体知觉, 这符合双通路行动获取假设(dual routes to action hypothesis),该假设认为人类获取客体的行动知识可以通过两条通路, 一条是直接知觉客体产生行动, 被称为直接通路, 另一条是当观察到一个客体时, 该客体的视觉表征会激活结构描述系统, 此时, 信号可能会进入语义系统, 然后再进入动作系统。例如, 当我们知觉到斧头这一个客体, 会引起我们使用斧头的行动, 但是这种行动会指导我们抓握客体的任何一个部位, 这时, 对于斧头的言语知觉使信号进入语义系统, 从而使我们用正确的姿势抓握斧子的把手部位, 产生与斧头的正确的交互。从而引导人们产生更有意义的行动(Yoon, Heinke,& Humphreys, 2002; Yoon et al., 2010)。综上, 言语知觉的过程有运动系统的参与, 知觉客体后可能通过言语系统的参与, 最终到达运动系统, 完成最适合背景的行动。当然, 未来还需要进一步证明知觉客体时, 不仅知觉到客体的各种属性,同时激活了言语系统, 通过言语系统的调节, 完成了对于客体的行动过程。此外, Borghi和Riggio(2015)指出, 客体动作承载性不再是单一的维度。其中, 针对客体的动作维度非常多, 包括客体相对于身体的位置、手抓握客体时手腕相对于桌面的位置(平行桌面vs.垂直桌面)等(Bub, Masson, &Lin, 2013)。行动语义知识和动作的细化使我们认识到针对客体的行动并不是单层的, 而是一个复杂的系统。这些动作之间可能存在彼此独立的作用机制, 依赖不同的行动语义发生作用(Bub,Masson, & Cree, 2008)。因此, 需要进一步探讨不同的行动语义知识是如何准确激活针对客体的不同动作的。

4.2 来自背景的信息如何对客体动作承载性产生影响

当客体不能提供完整和准确的行动知识时,客体呈现的背景就至关重要了(Borghi et al., 2012)。以往研究显示, 客体加工过程中的言语背景会调节对客体的行动(Costantini et al., 2011; Lee et al.,2013); 分心客体的动作承载性也会调节对目标客体的行动(Caligiore et al., 2013; Ellis, Tucker,Symes, & Vainio, 2007); 其他客体或主体间的关系也会调节对目标客体的行动(Borghi et al., 2012;Ellis et al., 2013; Girardi et al., 2010; Yoon et al.,2010)。其中, Costantini等人(2011)在两种背景下(伸够范围内 vs.伸够范围外)给被试呈现客体的3D图片, 之后给被试呈现功能、操作或观察的动词(例如, 喝、抓、看), 要求被试判断该动词是否可以用于呈现的客体。发现, 在观察动词条件下,被试对置于两种背景下客体的反应速度没有差异。在功能和操作动词条件下, 相较于对伸够范围外的客体, 被试对伸够范围内的客体反应更快。有趣的是, 当被试读出功能动词且客体在可伸够范围内时, 反应速度最快。这个结果提示, 行动背景会限定主体对客体的行动。

以上研究说明, 无论是社会背景还是自然背景, 生态场景中提供的信息都会影响人们对于客体行动的选择; 在不同背景中, 对客体承载的动作信息的激活程度也是不同的。然而不同背景中的客体是如何激活相应行动的, 人类是如何根据背景选择针对目标客体的行动, 这些也需要进一步研究。

4.3 导致不同判断任务中客体动作承载性特异性表现的原因

上文针对影响客体动作承载性发生因素的分析发现, 客体动作承载性是多层次的, 动态的(Borghi & Riggio, 2015)。在第三部分, 通过梳理客体动作承载性研究中采用三种判断任务的研究结果, 可以看出判断任务在引发客体动作承载性效应中的特异性。特异性主要表现在以下几个方面：第一, 在类别判断中, 诸多研究均未发现客体动作承载性效应(Lien et al., 2013)。究其原因可能是类别判断需要将不同的客体混在一起, 由于针对自然客体和人工制造客体的动作维度不同, 导致了不同种类客体间的动作维度的混淆, 干扰了对不同客体的行动。第二, 在客体属性判断中, 颜色属性判断下不会产生客体动作承载性; 材质和形状判断下则可以产生。原因可能是, 颜色判断是对客体表层的知觉, 不能激活对客体的行动,材质和形状的判断相较于颜色判断对客体的加工更深, 进而可以激活对客体的行动(Tipper et al.,2006)。第三, 在客体位置方向的判断中, 对一类客体做判断时会稳定地出现客体动作承载性效应;当客体中混入两种不同种类的客体时, 对客体位置方向进行判断不会引起客体动作承载性(Matheson et al., 2014b; Yu et al., 2014)。重要的是, 当客体中混入两种客体时, 无论做分类判断, 还是做客体位置判断, 客体动作承载性效应都会消失。我们推测, 这可能是由于混淆的语义知识对客体动作承载性产生了干扰作用。但是两类客体语义的混合对于客体动作承载性效应的影响机制是什么还不得而知。所以, 还需要进一步探究判断任务中是什么因素影响了客体动作承载性效应, 对于客体的知觉程度又是如何影响了客体动作承载性,这对深入理解客体动作承载性的内涵有重要帮助。

最后, 未来研究还可以对比人造客体中的客体动作承载性效应和动物图片中激活的刺激-反应相容效应(Witt, Kemmerer, Linkenauger, &Culham, 2010), 找到这两种效应之间的差别, 寻求造成混合类别客体呈现中客体动作承载性效应不稳定的支持证据。

倪龙, 刘烨, 傅小兰. (2014). 可操作性在物体表征中的作用.心理科学进展,22(4), 625–639.

Arbib, M. A. (2012).How the brain got language: The mirror system hypothesis. New York: Oxford University Press.

Bach, P., Fenton-Adams, W., & Tipper, S. P. (2014). Can’t touch this: The first-person perspective provides privileged access to predictions of sensory action outcomes.Journal of Experimental Psychology: Human Perception andPerformance, 40(2), 457–464.

Binkofski, F., & Buccino, G. (2004). Motor functions of the Broca’s region.Brain and Language, 89(2), 362–369.

Borghi, A. M. (2005). Object concepts and action. In D.Pecher & R. A. Zwaan (Eds.),Grounding cognition: The role of perception and action in memory, language, and thinking(pp. 8–34). Cambridge: Cambridge University Press.Borghi, A. M., & Riggio, L. (2009). Sentence comprehension and simulation of object temporary, canonical and stable affordances.Brain Research, 1253, 117–128.

Borghi, A. M., Flumini, A., Natraj, N., & Wheaton, L. A.(2012). One hand, two objects: Emergence of affordance in contexts.Brain and Cognition, 80(1), 64–73.

Borghi, A. M., & Riggio, L. (2015). Stable and variable affordances are both automatic and flexible.Frontiers in Human Neuroscience, 9, 351.

Bub, D. N., & Masson, M. E. J. (2010). Grasping beer mugs:On the dynamics of alignment effects induced by handled objects.Journal of Experimental Psychology: Human Perception and Performance, 36(2), 341–358.

Bub, D. N., Masson, M. E. J., & Cree, G. S. (2008). Evocation of functional and volumetric gestural knowledge by objects and words.Cognition, 106(1), 27–58.

Bub, D. N., Masson, M. E. J., & Lin, T. (2013). Features of planned hand actions influence identification of graspable objects.Psychological Science,24(7), 1269–1276.

Caligiore, D., Borghi, A. M., Parisi, D., Ellis, R., Cangelosi,A., & Baldassarre, G. (2013). How affordances associated with a distractor object affect compatibility effects: A study with the computational model TRoPICALS.Psychological Research, 77(1), 7–19.

Chao, L. L., & Martin, A. (2000). Representation of manipulable man-made objects in the dorsal stream.NeuroImage, 12(4),478–484.

Cho, D. T., & Proctor, R. W. (2010). The object-based Simon effect: Grasping affordance or relative location of the graspable part?Journal of Experimental Psychology: Human Perception and Performance, 36(4), 853–861.

Cho, D. T., & Proctor, R. W. (2011). Correspondence effects for objects with opposing left and right protrusions.Journal of Experimental Psychology: Human Perception and Performance,37(3), 737–749.

Cho, D. T., & Proctor, R. W. (2013). Object-based correspondence effects for action-relevant and surface-property judgments with keypress responses: Evidence for a basis in spatial coding.Psychological Research, 77(5), 618–636.

Costantini, M., Ambrosini, E., Scorolli, C., & Borghi, A. M.(2011). When objects are close to me: Affordances in the peripersonal space.Psychonomic Bulletin & Review, 18(2),302–308.

Creem-Regehr, S. H., & Lee, J. N. (2005). Neural representations of graspable objects: Are tools special?Cognitive Brain Research, 22(3), 457–469.

Ellis, R., & Tucker, M. (2000). Micro–affordance: The potentiation of components of action by seen objects.British Journal of Psychology, 91(4), 451–471.

Ellis, R., Tucker, M., Symes, E., & Vainio, L. (2007). Does selecting one visual object from several require inhibition of the actions associated with nonselected objects?Journal of Experimental Psychology: Human Perception Performance,33(3), 670–691.

Ellis, R., Swabey, D., Bridgeman, J., May, B., Tucker, M., &Hyne, A. (2013). Bodies and other visual objects: The dialectics of reaching toward objects.Psychological Research,77(1), 31–39.

Fadiga, L., Craighero, L., Fabbri Destro, M., Finos, L.,Cotillon-Williams, N., Smith, A. T., & Castiello, U. (2006).Language in shadow.Social Neuroscience, 1(2), 77–89.

Ferri, F., Riggio, L., Gallese, V., & Costantini, M. (2011).Objects and their nouns in peripersonal space.Neuropsychologia, 49(13), 3519–3524.

Galantucci, B., Fowler, C. A., & Turvey, M. T. (2006). The motor theory of speech perception reviewed.Psychonomic Bulletin & Review, 13(3), 361–377.

Gazzola, V., & Keysers, C. (2009). The observation and execution of actions share motor and somatosensory voxels in all tested subjects: Single-subject analyses of unsmoothed fMRI data.Cerebral Cortex, 19, 1239–1255.

Gianelli, C., Scorolli, C., & Borghi, A. M. (2013). Acting in perspective: The role of body and language as social tools.Psychological Research, 77(1), 40–52.

Gibson, J. J. (1979).The ecological approach to visual perception. Boston: Houghton Mifflin.

Girardi, G., Lindemann, O., & Bekkering, H. (2010). Context effects on the processing of action-relevant object features.Journal of Experimental Psychology: Human Perception and Performance, 36(2), 330–340.

González-Perilli, F., & Ellis, R. (2015). I don’t get you.Action observation effects inverted by kinematic variation.Acta Psychologica, 157, 114–121.

Goslin, J., Dixon, T., Fischer, M. H., Cangelosi, A., & Ellis,R. (2012). Electrophysiological examination of embodiment in vision and action.Psychological Science, 23(2), 152– 157.

Grèzes, J., & Decety, J. (2002). Does visual perception of object afford action? Evidence from a neuroimaging study.Neuropsychologia, 40(2), 212–222.

Grèzes, J., Tucker, M., Armony, J., Ellis, R., & Passingham,R. E. (2003). Objects automatically potentiate action: An fMRI study of implicit processing.European Journal of Neuroscience, 17(12), 2735–2740.

Iacoboni, M., Molnar-Szakacs, I., Gallese, V., Buccino, G.,Mazziotta, J. C., & Rizzolatti, G. (2005). Grasping the intentions of others with one’s own mirror neuron system.PLoS Biology, 3(3), e79.

Iani, C., Baroni, G., Pellicano, A., & Nicoletti, R. (2011). On the relationship between affordance and Simon effects:Are the effects really independent?Journal of Cognitive Psychology, 23(1), 121–131.

Kalénine, S., Shapiro, A. D., Flumini, A., Borghi, A. M., &Buxbaum, L. J. (2014). Visual context modulates potentiation of grasp types during semantic object categorization.Psychonomic Bulletin & Review, 21(3), 645–651.

Kilner, J. M., Neal, A., Weiskopf, N., Friston, K. J., & Frith,C. D. (2009). Evidence of mirror neurons in human inferior frontal gyrus.The Journal of Neuroscience,29(32), 10153–10159.

Lee, C. L., Middleton, E., Mirman, D., Kalénine, S., &Buxbaum, L. J. (2013). Incidental and context-responsive activation of structure- and function-based action features during object identification.Journal of Experimental Psychology: Human Perception and Performance, 39(1),257–270.

Liberman, A. M., & Mattingly, I. G. (1985). The motor theory of speech perception revised.Cognition, 21(1),1–36.

Lien, M. C., Jardin, E., & Proctor, R. W. (2013). An electrophysiological study of the object-based correspondence effect: Is the effect triggered by an intended grasping action?Attention, Perception, & Psychophysics, 75(8),1862–1882.

Loach, D., Frischen, A., Bruce, N., & Tsotsos, J. K. (2008).An attentional mechanism for selecting appropriate actions afforded by graspable objects.Psychological Science, 19(12), 1253–1257.

Makris, S., Hadar, A. A., & Yarrow, K. (2011). Viewing objects and planning actions: On the potentiation of grasping behaviours by visual objects.Brain and Cognition, 77(2),257–264.

Matheson, H. E., Newman, A. J., Satel, J., & McMullen, P.(2014a). Handles of manipulable objects attract covert visual attention: ERP evidence.Brain and Cognition, 86,17–23.

Matheson, H. E., White, N. C., & McMullen, P. A. (2014b).A test of the embodied simulation theory of object perception: Potentiation of responses to artifacts and animals.Psychological Research, 78(4), 465–482.

McBride, J., Boy, F., Husain, M., & Sumner, P. (2012).Automatic motor activation in the executive control of action.Frontiers in Human Neuroscience, 6, 82.

McBride, J., Sumner, P., & Husain, M. (2012). Conflict in object affordance revealed by grip force.The Quarterly Journal of Experimental Psychology, 65(1), 13–24.

Mizelle, J. C., Kelly, R. L., & Wheaton, L. A. (2013). Ventral encoding of functional affordances: A neural pathway for identifying errors in action.Brain and Cognition, 82(3),274–282.

Mukamel, R., Ekstrom, A. D., Kaplan, J., Iacoboni, M., &Fried, I. (2010). Single-neuron responses in humans during execution and observation of actions.Current Biology, 20(8), 750–756.

Myachykov, A., Ellis, R., Cangelosi, A., & Fischer, M. H.(2013). Visual and linguistic cues to graspable objects.Experimental Brain Research, 229(4), 545–559.

Natraj, N., Poole, V., Mizelle, J. C., Flumini, A., Borghi, A.M., & Wheaton, L. A. (2013). Context and hand posture modulate the neural dynamics of tool-object perception.Neuropsychologia, 51(3), 506–519.

Natraj, N., Pella, Y. M., Borghi, A. M., & Wheaton, L. A.(2015). The visual encoding of tool-object affordances.Neuroscience, 310, 512–527.

Netelenbos, N., & Gonzalez, C. L. R. (2015). Is that graspable? Let your right hand be the judge.Brain and Cognition, 93, 18–25.

Okada, K., Rogalsky, C., O'Grady, L., Hanaumi, L., Bellugi,U., Corina, D., & Hickok, G. (2016). An fMRI study of perception and action in deaf signers.Neuropsychologia,82, 179–188.

Pellicano, A., Iani, C., Borghi, A. M., Rubichi, S., &Nicoletti, R. (2010). Simon-like and functional affordance effects with tools: The effects of object perceptual discrimination and object action state.The Quarterly Journal of Experimental Psychology, 63(11), 2190–2201.

Phillips, J. C., & Ward, R. (2002). S-R correspondence effects of irrelevant visual affordance: Time course and specificity of response activation.Visual Cognition, 9(4–5),540–558.

Pulvermüller, F. (2013). How neurons make meaning: Brain mechanisms for embodied and abstract-symbolic semantics.Trends in Cognitive Sciences, 17(9), 458–470.

Riggio, L., Iani, C., Gherri, E., Benatti, F., Rubichi, S., &Nicoletti, R. (2008). The role of attention in the occurrence of the affordance effect.Acta Psychologica, 127(2), 449–458.

Rizzolatti, G., Fadiga, L., Gallese, V., & Fogassi, L. (1996).Premotor cortex and the recognition of motor actions.Cognitive Brain Research, 3(2), 131–141.

Rizzolatti, G., & Craighero, L. (2004). The mirror-neuron system.Annual Review of Neuroscience, 27, 169–192.

Rueschemeyer, S. A., Pfeiffer, C., & Bekkering, H. (2010).Body schematics: On the role of the body schema in embodied lexical-semantic representations.Neuropsychologia,48(3), 774–781.

Scorolli, C., Miatton, M., Wheaton, L. A., & Borghi, A. M.(2014). I give you a cup, I get a cup: A kinematic study on social intention.Neuropsychologia, 57, 196–204.

Symes, E., Ellis, R., & Tucker, M. (2005). Dissociating objectbased and space-based affordances.Visual Cognition, 12(7),1337–1361.

Symes, E., Ellis, R., & Tucker, M. (2007). Visual object affordances: Object orientation.Acta Psychologica, 124(2),238–255.

Till, B. C., Masson, M. E. J., Bub, D. N., & Driessen, P. F.(2014). Embodied effects of conceptual knowledge continuously perturb the hand in flight.Psychological Science, 25(8), 1637–1648.

Tipper, S. P., Paul, M. A., & Hayes, A. E. (2006). Visionfor-action: The effects of object property discrimination and action state on affordance compatibility effects.Psychonomic Bulletin & Review, 13(3), 493–498.

Tucker, M., & Ellis, R. (1998). On the relations between seen objects and components of potential actions.Journal of Experimental Psychology: Human Perception and Performance,24(3), 830–846.

Tucker, M., & Ellis, R. (2001). The potentiation of grasp types during visual object categorization.Visual Cognition,8(6), 769–800.

Tucker, M., & Ellis, R. (2004). Action priming by briefly presented objects.Acta Psychologica, 116(2), 185–203

Vainio, L., Hammarén, L., Hausen, M., Rekolainen, E., &Riskilä, S. (2011). Motor inhibition associated with the affordance of briefly displayed objects.The Quarterly Journal of Experimental Psychology, 64(6), 1094–1110.

van Elk, M., van Schie, H. T., & Bekkering, H. (2009).Action semantic knowledge about objects is supported by functional motor activation.Journal of Experimental Psychology: Human Perception and Performance, 35(4),1118–1128.

van Elk, M., van Schie, H. T., & Bekkering, H. (2010). The N400-concreteness effect reflects the retrieval of semantic information during the preparation of meaningful actions.Biological Psychology, 85(1), 134–142.

van Elk, M., van Schie, H., & Bekkering, H. (2014). Action semantics: A unifying conceptual framework for the selective use of multimodal and modality-specific object knowledge.Physics of Life Reviews, 11(2), 220–250.

Wilf, M., Holmes, N. P., Schwartz, I., & Makin, T. R. (2013).Dissociating between object affordances and spatial compatibility effects using early response components.Frontiers in Psychology, 4, 591.

Witt, J., Kemmerer, D., Linkenauger, S. A., & Culham, J.(2010). A functional role for motor simulation in identifying tools.Psychological Science, 21(9), 1215–1219.

Wulff, M., Laverick, R., Humphreys, G. W., Wing, A. M., &Rotshtein, P. (2015). Mechanisms underlying selecting objects for action.Frontiers in Human Neuroscience, 9,199.

Xu, S., Humphreys, G. W., & Heinke, D. (2015). Implied actions between paired objects lead to affordance selection by inhibition.Journal of Experimental Psychology: Human Perception and Performance, 41(4), 1021–1036.

Yoon, E. Y., Heinke, D., & Humphreys, G. W. (2002).Modelling direct perceptual constraints on action selection:The Naming and Action Model (NAM).Visual Cognition,9, 615–661.

Yoon, E. Y. Y., Humphreys, G. W., & Riddoch, M. J. (2010).The paired-object affordance effect.Journal of Experimental Psychology: Human Perception and Performance, 36(4),812–824.

Yu, A. B., Abrams, R. A., & Zacks, J. M. (2014). Limits on action priming by pictures of objects.Journal of Experimental Psychology: Human Perception and Performance, 40(5),1861–1873.

Zwaan, R. A., & Taylor, L. J. (2006). Seeing, acting,understanding: Motor resonance in language comprehension.Journal of Experimental Psychology: General, 135(1),1–11.