具身模拟在汉语肢体动作动词理解中的作用*
2019-12-12李智睿伍丽梅张积家
王 斌 李智睿 伍丽梅 张积家
具身模拟在汉语肢体动作动词理解中的作用*
王 斌1李智睿2伍丽梅3张积家1
(1中国人民大学心理学系、国家民委民族语言文化心理重点研究基地、教育部民族教育发展中心民族心理与教育重点研究基地, 北京 100872) (2淮阴师范学院心理健康教育与咨询中心, 江苏 淮安 223300) (3暨南大学华文学院, 广州 510610)
通过3个实验, 考察具身模拟在汉语肢体动作动词理解中的作用。实验1考察在整字启动下具身模拟对运动通道中箭头方向判断的影响, 发现理解肢体动作动词在运动通道中存在着动作–汉字相容效应, 汉字的具身方向与箭头方向一致促进被试对箭头方向的判断。实验2考察在整字启动下具身经验对视觉通道中字母位置判断的影响, 发现理解肢体动作动词在视觉通道中存在着动作–汉字相容效应, 汉字的具身方位与字母方位一致促进对字母方位的识别。实验3采用义符启动范式考察义符与整字的具身模拟, 发现理解汉语肢体动作动词不仅在整字层次上存在着具身模拟, 在部件层次上也存在着具身模拟。义符在汉字加工中期被激活了, 并且持续到加工晚期。整个研究表明, 汉语肢体动作动词理解是一个跨通道的具身模拟过程, 具身模拟在汉语肢体动作动词的理解中起着非常重要的作用。
汉语肢体动作动词; 义符; 整字; 具身模拟
1 引言
语义信息在人的头脑中如何表征与加工？一直以来是认知科学的核心问题。持计算机隐喻观的第一代认知科学认为, 语义系统储存着类似字母、数字等抽象的符号, 语言理解是与身体、知觉经验无关的非模态系统。第二代认知科学中的具身语义学(Embodied semantics)提出了不同的观点, 认为语言理解是对语言所指情境的心理模拟, 这种模拟以身体的感觉运动经验为基础, 在概念表征中有负责感觉运动的脑区参与, 语言理解是基于身体感觉运动经验的认知活动(Barsalou, Simmons, Barbey, & Wilson, 2003; Glenberg, 1997; Horoufchin, Bzdok, Buccino, Borghi, & Binkofski, 2018; Winkielman, Niedenthal, Wielgosz, Eelen, & Kavanagh, 2015; Wu et al., 2017; Zwaan & Madden, 2005)。自从这一观点提出以来, 掀起了从具身角度研究语言认知的高潮。越来越多的研究结果支持语言理解是对语言所指情境的心理模拟的观点(Cardona et al, 2014; Horoufchin et al., 2018; Rodriguez, Mccabe, Nocera, & Reilly, 2012; 王继瑛, 叶浩生, 苏得权, 2018; Zwaan, 2014)。
在具身语言理解研究中, 有一类材料是表达人运用肢体进行机械运动的词汇, 称为肢体动作动词(Body action verb), 这一类词汇为很多研究者所青睐。Boulenger等(2006)采用手部、腿部和唇部的动作动词来考察语言理解与感觉运动之间的关系。在实验中, 通过视觉通道给被试呈现单词, 同时要求被试做手部的抓握动作, 发现相对于其它部位的动作动词, 手部动作动词对抓握动作的影响更加显著。这种现象被称为动词与动作执行的一致性效应(Action Word Compatibility Effect, ACE)。Juárez, Labrecque和Frak (2019)采用手部和脚部的动作动词为目标词, 以非动词作为比较材料, 采用听觉形式呈现。结果发现, 肢体动作动词比非动词诱发了更大的P200波幅。同时, 握力器测得的结果显示, 在动作动词呈现后的250 ~ 400 ms之间, 被试右手的握力值显著大于非动词呈现时的握力值。Strozyk, Dudschig和Kaup (2017)要求被试用手和脚对与手和脚相关的名词做词汇判断, 发现用手按键时对手部动作动词的反应更快, 用脚踩时对脚部动作动词的反应更快。这表明, 肢体动作动词的语义加工与身体部位之间存在着交互影响。脑成像研究的结果显示, 人在理解与肢体动作有关的动词和句子时, 会引起躯体感觉运动皮层的特异性激活。例如, 在理解“grasp (抓)”时, 负责手部感觉运动的脑区被激活; 在理解“kick (踢)”时, 负责脚部感觉运动的脑区被激活。这一现象被称为语言理解的具身效应(Aziz-Zadeh & Damasio, 2008)。Hauk, Johnsrude和Pulvermüller (2004)采用脑成像技术比较被试理解手部、脚部和面部动词时激活的脑区与动手、脚和舌的任务时激活的脑区, 发现与手有关的动词与手部动作均激活了左中央前回和右额中回, 与脚有关的动词和脚的动作均激活了前运动皮层后侧。这一发现证实了使用电流源密度测量得到的结果(Pulvermüller, Härle, & Hummel, 2001), 并且在Klepp等(2014)的脑磁图研究中得到了进一步的证实, 说明理解动作动词时大脑激活的运动皮层区域与个体做该肢体部位动作时激活的脑区显著重叠。
肢体动作动词为什么会引起感觉运动皮层的特异性激活？知觉符号理论(Perceptual Symbol Systems, PSS)认为, 语言理解需要感知运动系统参与, 是通过语言中一系列复杂的提示来建构所述情境的经验性模拟。读者是语言所述情景的经验者, 理解是对所述情境的各种具身体验的激活。在人的长时记忆中, 储存着由具有多模式性、类似性的知觉符号构成的模拟器。当再次激活时, 这种知觉记忆作为代表外界事物的符号进入了符号操作过程。大量的知觉符号集中起来就组成认知表征。因此, 认知表征在本质上是知觉性的, 认知表征与知觉、运动在认知和神经水平上享有共同的系统(Barsalou, 1999a; Barsalou, 1999b)。Feldman和Narayanan (2004)提出以动作理解为基础的语言神经理论(The Neural Theory of Language, NTL), 认为语言理解是人下意识地模拟或想象被描述情景的过程。语言理解通过想象和模拟来实现。这一过程需要动作的神经肌肉协同整合才得以完成。这种整合是多感觉通道的, 不仅用于控制动作, 也起着建构整合表征的功能, 即建构起包括动作、受动事物和动作方位的整合表征。例如, 抓握动作包含有一个动作成分(如何抓握)和不同的感知成分(人抓住物体时的样子以及被抓物体的样子), 同时也涉及其它的神经通路, 如抓握时的体觉成分(抓住物体的感觉) (Feldman & Narayanan, 2004; 鲁忠义, 高志华, 段晓莉, 刘学华, 2007; 曲方炳, 殷融, 钟元, 叶浩生, 2012)。由于这种模拟是知觉和运动状态的自动的、无意识的重新激活过程, 发生在身体的感觉−运动通道之中, 因而被称之为具身模拟(Emobodied simulation) (Gallese & Sinigaglia, 2011, 2012; 叶浩生, 曾红, 2013)。
基于知觉符号理论和语言神经理论, 研究者探讨肢体动作动词理解中空间方向和方位信息的表征。Glenberg和Kaschak (2002)让被试读一些含有手部动作的句子并做出相应的反应。例如, “Andy opens the drawer” (“Andy打开抽屉”, 暗含的方向是朝向身体), “Sam closes the drawer” (“Sam关闭抽屉”, 暗含的方向是远离身体), 被试的按键方向也分为朝向身体和远离身体。结果发现, 当句子中的暗含方向与按键方向一致时, 被试的反应较快; 当句子中的暗含方向与按键方向不一致时, 被试的反应较慢。这被称为“动作–句子相容效应” (Action- Sentence Compatibility Effect, ACE)。可见, 句子理解与按键动作之间具有一致性, 动作语句的理解不仅涉及大脑中负责语言的区域, 也涉及负责运动的区域。朱鸿凯(2018)采用相同的实验范式, 以汉语简单句为材料, 不仅证实了汉语句子也存在动作–句子相容效应, 而且这一效应不受句子的时态和类型(具体句子和抽象句子)影响。除了通过外显的行为推测内在的具身模拟外, 也有研究者尝试从内在心理加工的角度探讨动词理解与运动表征之间的关系。如果人们在动作动词理解过程中进行了动态模拟, 这种模拟不仅可以通过外显的具体动作来体现, 也可以通过内隐的具身模拟加工表现出来。Richardson, Spivey, Edelman和Naples (2001)发现, 在动词理解中隐含了空间方向模拟。研究采用单项迫选任务, 给被试视觉呈现包含具体动词(如“推开、举起”)和抽象动词(如“尊敬、冒犯”)的句子和4个以圆圈和方形组成的图形, 圆圈和方形分别代表动作的发出者和承受者, 并且以上下左右四个箭头来连接, 要求被试从4个图形中选择一个符合句子方向的最佳选项, 发现有2/3的被试选择了与句子的隐含方向一致的选项, 而且在包含具体动词和抽象动词的句子之间不存在显著差异。这说明, 对动词的表征包含了空间方向的信息。Richardson, Spivey, Barsalou和Mcrae (2003)进一步探讨动词即时理解中的空间方向表征, 研究采用双任务范式, 首先给被试听觉呈现一个含有方向动词的句子, 如“The strongman lifts the barbell (“这个强壮的人举起了杠铃”)”, 同时视觉同步呈现“强壮的人”和“杠铃”两幅图片, 在随后的图片记忆任务中发现, 被试对这两幅图片以竖直方向排列比水平方向排列反应更快, 这一现象在抽象句子的理解中也存在, 说明句子理解激活了空间方位信息, 促进了同方位排列图片的记忆。Yang (2016)采用图片启动范式考察英语动词短语中介词的空间方向表征, 启动图片包括三类：与介词方向一致的图片(如以箭头朝下的图片启动“The bridge has fallen down”)、与介词方向不一致的图片(如以箭头朝里的图片启动“The rubbish was thrown out”)、中性图片(以十字符号启动句子), 反应时的长短为：一致启动 < 中性启动 < 不一致启动。可见, 一致启动促进了包含同方向介词句子的理解和表征, 在具有方向性的动词理解中包含方向的具身模拟。除方向外, 定位(Stanfield & Zwaan, 2001)、形状(Zwaan & Yaxley, 2004)和空间位置(Dudschig, Souman, Lachmair, Vega, & Kaup, 2013; Dunn, Kamide, & Scheepers, 2014)等知觉特征也影响语言理解。因此, 语义概念可以基于多种感觉通道的身体经验来形成, 大脑进行不同感觉通道的语义加工时, 激活的区域既高度分化, 亦是多模式的神经回路(Fernandino et al, 2016; 王继瑛等, 2018)。
虽然已经出现了诸多对拼音语言肢体动作动词理解的研究, 但是, 对汉语肢体动作动词理解的研究近年来才有所涉及。Yang和Shu (2011)探讨了汉语动作动词的具身语义理解, 采用Go/No go词汇声调判断任务考察三类汉语动词的具身理解差异：第一类是不涉及工具的手部动词(如“掐、抚”), 第二类是涉及工具但强调手部动作的动词(如“搅、扫”), 第三类是强调工具的动词(如“削、绑”)。结果显示, 三类动词均激活双侧前运动皮层及左侧顶下小叶, 手部动作动词比工具动作动词激发的运动区的活动更明显。研究者认为, 生物信息和机械信息激活了不同的脑区, 后颞上沟区域负责编码生物运动信息, 颞中回后部区域负责编码机械运动信息(Beauchamp, Lee, Haxby & Martin, 2002; Beauchamp, Lee, Haxby & Martin, 2003; Martin, 2007)。Lin, Lu, Fang, Han和Bi (2011)以汉语生物运动动词(如“行走”)和机械运动动词(如“旋转”)为材料, 检验汉语动词是否引起神经机制的特异性激活, 发现汉语生物运动动词激活后颞上沟区域, 汉语机械运动动词未激活颞中回后部区域。苏得权、钟元、曾红和叶浩生(2013)选取描述手部、面部、口部发音和脚部动作的汉语成语及不包含动作的汉语抽象成语, 考察理解汉语动作成语时的脑激活。结果显示, 理解动作成语引起顶叶、额叶和颞叶等脑区活动, 描述手部、脚部、面部和口部发音动作的成语分别激活了前运动皮层、右侧额中回、背外侧前运动皮层等感觉运动区, 说明汉语中负责动作成语理解的脑区与负责相应动作的感觉运动区高度重合。这些研究均说明了汉语肢体动作动词及成语的具身效应, 然而却均未涉及汉语肢体动作动词所具有的最鲜明特性――用义符标明完成动作所用的肢体器官(张积家, 方燕红, 陈新葵, 2006)。
汉字是意音文字, 具有见形知意的特点。形声字是汉字的主体。在现代汉字中, 形声字的比例超过了80% (李燕, 康加深, 1993)。形声字由表义的义符(形旁)和表音的声符(声旁)组成。义符与被构字具有语义联系, 是汉字区别于拼音文字的最重要的特点。借助于义符来推测整字的语义, 正确率可以达60%~100% (Williams & Bever, 2010)。以汉语为第二语言的中高级学习者也利用义符路径来识别汉字(Williams, 2013)。研究显示, 义符具有表形、表义、表语法的多种功能(Law, Yeung, Wong, & Chiu, 2005; Liu et al., 2010; 陶云, 王晓曦, 马谐, 刘艳, 2017; Wang, Ma, Tao, Tao, & Li, 2018; Wang, Pei, Wu, & Su, 2017; 张积家等, 2006; 张积家, 彭聃龄, 张厚粲, 1991; 张积家, 张厚粲, 彭聃龄, 1990)。Wu等(2013)比较汉语描述手部、脚部和口部动作的两类动词的神经表征差异, 一类动词含有动作器官为义符(如“打、跳、喝”), 另一类词无动作器官为义符 (如“割、骑、尝”)。结果发现, 第二类词的激活量与拼音文字类似, 第一类词在不同部位的脑区出现了激活量的下降, 说明对有动作器官为义符的汉字, 读者已经形成了动作器官与动作之间的联结, 并且在长期的学习和阅读中得到了强化, 因而减少了这些汉字在相应动作器官的运动区所需要的语义激活量。可见, 有无义符提示影响汉语动作动词的具身效应大小。
在汉语中, 很多肢体动作动词是单字动词, 包含着丰富的语义信息。张道新和董宏(2017)为汉语肢体动作动词建立了词义结构模型：
肢体动作动词 = ｛[主体：人; 个体; 集体][肢体：头; 颈; 肩; 臂; 手; 腿; 足; 胸; 腰; 臀][动作形式：作用; 位移][作用点：某部分][方向：向前; 向后; 向内; 向外; 向上; 向下; 相向; 相反; 圆周; 平行][数量：动程; 力度; 速度][对象：物体][结果：变化][语法：动词]｝
此模型是汉语肢体动作动词各范畴语义特征的集合, 展示了汉语肢体动作动词词义结构的系统性、结构性和范畴性, 显示了不同动词是由哪些语义成分规定的, 可以作为分析的基本依据和语义特征的描述方式。在这一模型中, [方向]是肢体动作动词的共有语义特征, 是肢体动作作为机械运动形式的要素, 对指称对象起着规定作用。例如, “顶”含[肢体：头][方向：向上][对象：物体], “踩、踏、践”都含[肢体：脚][方向：向下][对象：物体]。肢体动作动词的方向特征反映物理空间方向, 能够被感知。结合知觉符号理论, 语言理解是基于感觉运动系统的具身模拟过程。因此, 笔者推测, 在理解汉语肢体单字动作动词时, 它的空间方位和方向的信息都能够被激活, 阅读汉语单字词时会促进同方向或同方位物体的识别, 并且这一过程在运动通道中和视觉通道中同时存在。已有研究虽然发现了句子理解对空间方向信息激活的影响, 但均属于句子层面的研究(Glenberg & Kaschak, 2002; Richardson et al., 2001; Richardson et al., 2003; Yang, 2016; 朱鸿凯, 2018), 缺乏词汇层面的研究。虽然有些研究目的是探讨单词理解是否能够引起空间方向信息的激活, 但却仍然置于句子语境下来考察(Meteyard & Vigliocco, 2009; Richardson et al., 2001; Richardson et al., 2003; Yang, 2016), 而一个完整句子也可以形成情境模拟, 因而使得研究结果不能够精确地归因, 即所激活的空间方向信息既可能源于对动词的理解, 也可能源于对整个句子情境的认知。因此, 拟采用汉字单字动词为材料, 分别从运动通道和视觉通道来验证这一假设。在汉语肢体动作动词呈现之后, 通过记录和比较被试对不同呈现位置字母的觉察速度来反映肢体动作动词对视觉注意定向速度的影响。如果被试对动作动词的表征激活了视觉通道中空间方位的意向图式, 那么, 当动词消失以后, 字母呈现位置与动作动词方位一致时, 就能够促进对字母的识别, 出现视觉通道的动作–汉字相容效应。对运动通道的观测需要借助于箭头指向这一视觉信息激活手部运动来完成, 如果被试对动作动词的表征激活了运动通道中的空间方向的意象图式, 那么, 当动词消失以后, 动词表征激活的运动方向与箭头朝向激活的手部运动相同时, 就会加速相应方向的手指按键运动; 反之, 就会减慢相应方向的手指按键运动。但是, 如果被试对动作动词的表征没有激活运动通道中的空间方向的意象图式, 对箭头朝向的判断就不会受到动作动词表征影响。
除了整字层面的研究, 一些研究还探讨了在整字加工中义符语义激活的时间进程以及与整字语义激活的交互作用。Feldman和Siok (1999a, 1999b)发现, 义符的词形激活发生在加工早期, 语义激活发生在加工晚期。张积家和章玉祉(2016)采用义符启动范式探讨义符语义在整字激活的时间进程, 发现就义符总体而言, 义符的语义激活从启动早期一直持续到启动晚期, 不成字义符和成字义符的语义激活存在着差异, 不成字义符的语义激活只在启动中期出现, 成字义符的语义信息却一直处于激活状态。陈新葵和张积家(2008, 2012)采用启动词汇判断任务考察义符熟悉性对高、低频形声字认知的影响, 发现义符激活与整字激活之间存在着动态的交互作用：对高频汉字, 整字的语义激活从加工早期持续到晚期, 义符的语义激活从加工中期开始; 对低频汉字, 整字的语义激活出现在加工晚期, 高熟悉义符的语义激活从加工早期一直持续到加工晚期, 低熟悉义符的语义激活在加工晚期出现。Zhou, Peng, Zheng, Su和Wang (2013)采用语义不透明的形声字为材料, 考察义符的语义激活和整字频率的交互作用, 发现只有在整字为低频词时, 义符的语义才能够得到激活。虽然这些研究加深了对义符加工进程的认识, 但均未考虑动作义符和整字的具身效应。义符具有较强的表示整字语义的功能, 汉语动词在义符语义线索提示下有可能表现出具身效应(苏得权等, 2013)。根据知觉符号理论和语言神经理论, 动词理解是具身模拟的过程, 这种具身模拟是只在整字层次上发生？还是在汉字的部件层次上也发生？由于义符具有较强的表义功能, 那么, 在部件(义符)水平上是否也存在着具身模拟？实验3拟从具身认知的角度探究义符的具身信息是否在整字识别中也得到了激活, 同时考察义符语义激活的时间进程。
2 实验1：汉语肢体动作动词启动影响对箭头方向的判断
2.1 被试
基于以往关于语言理解中空间方向表征研究的样本量(Yang, 2016)和相关研究中的效果量及期望功效值(0.80), 采用G*Power 3.1软件, 计算被试量为24人。在实验1中, 招募35名汉族大学生, 男生16名, 女生19名, 平均年龄18.83 ± 1.96岁, 皆为右利手, 视力或矫正视力正常。
2.2 实验设计
2 (启动词类型：动作方向向上的肢体动作动词/动作方向向下的肢体动作动词) × 2 (箭头方向：向上/向下)被试内设计。因变量为被试对箭头方向判断的反应时和错误率。
2.3 实验材料
挑选出动作方向向上和动作方向向下的汉语肢体动作动词各20个。98名不参加实验的汉族大学生评定动词表达的动作方向, 选取评定方向一致性高于80%的汉字。匹配两组汉字的字频和笔画数：统计分析表明, 笔画数差异不显著,(1, 38) = 0.01,0.91; 字频差异不显著,(1, 38) = 0.23,0.64。72名不参加实验的汉族大学生采用5点量表评定汉字的熟悉性, 熟悉性越高, 评分就越高。统计分析表明, 两组汉字的平均熟悉性差异不显著,(1, 38) = 0.78,0.38。86名不参与实验的汉族大学生用5点量表评定汉字的语义透明度, 语义越透明, 评分就越高。统计分析表明, 两组汉字的平均语义透明度差异不显著,(1, 38) = 0.09,0.76。实验材料的信息见表1。
2.4 实验程序
采用E-Prime 2.0系统编程, 用奔腾4型计算机呈现材料。被试端坐在计算机前, 左手食指放在F键上, 右手食指放在J键上。首先, 在计算机屏幕的中央呈现“+”注视点500 ms, 空屏300 ms, 接着在屏幕中央呈现启动汉字300 ms, 之后是一个方向向上或者方向向下的箭头, 要求被试判断箭头的方向：如果箭头方向向上, 按F键, 如果箭头方向向下, 按J键。被试间平衡按键规定。被试按键后, 箭头消失, 空屏500 ms后, 进行下一次实验。计算机自动记录被试的反应时和反应正误, 计时单位为ms,误差为±1 ms (下同)。方向向上和方向向下的汉字与上下箭头各组合一次, 每个汉字的每种组合形式先后呈现两次, 共有160个试次, 材料呈现顺序随机化, 但同一启动字不连续出现。在正式实验之前, 要求被试学习所有实验材料, 被试明白汉字的意思即可, 并用非实验材料进行6次练习。实验流程图见图1。
2.5 结果与分析
删除2名正确率低于90%的被试。反应时分析时删去错误反应和± 2.5之外的数据, 占6.3%。结果见表2。
反应时的方差分析表明, 只有启动词类型和箭头方向的交互作用显著,1(1, 32) = 4.81,0.036, ηp2= 0.13, 0.06 <ηp2< 0.14 [ηp2是反映实验中自变量和因变量关联程度的指标, ηp2越大, 说明自变量对因变量的影响越大。根据Cohen (1992)提出的标准进行换算可知, 0.01 <ηp2< 0.06, 效应量较小; 0.06 < ηp2< 0.14, 效应量为中等; ηp2> 0.14, 效应量较大],2(1, 38) = 4.55,0.041, ηp2= 0.13, 0.06 <ηp2< 0.14。简单效应分析表明, 在方向向上的肢体动作动词启动下, 被试判断方向向上、方向向下箭头的反应时差异不显著,(1, 32) = 0.001,0.97; 在方向向下的肢体动作动词启动下, 被试判断方向向下箭头的反应时显著短于判断方向向上的箭头,(1, 32) = 5.85,= 0.021, 95% CI = [3.56, 41.56]。错误率的方差分析表明, 只有启动词类型与箭头方向的交互作用显著,1(1, 32) = 9.21,0.005, ηp2= 0.22 > 0.14;2(1, 38) = 19.63,< 0.001, ηp2= 0.40 > 0.14。简单效应分析表明, 在方向向上的肢体动作动词启动下, 被试判断方向向上箭头的错误率显著低于判断方向向下箭头,(1, 32) = 7.74,0.009, ηp2= 0.20 > 0.14, 95%CI = [0.01, 0.06]; 在方向向下的肢体动作动词启动下, 被试判断方向向下箭头的错误率边缘显著低于判断方向向上箭头,(1, 32) = 3.95,= 0.055,ηp2= 0.11, 0.06 < ηp2< 0.14, 95% CI = [0.00, 0.04]。
表1 实验材料统计信息表
注：字频单位为每2000万字中出现该字的次数, 下载自www.cncorpus.org语料库在线网站, 下同。
图1 实验1流程图
表2 方向不同的汉语肢体动作动词启动下箭头方向判断的平均反应时(ms)和平均错误率(%)
注：括号内的数据为标准差, 下同。
2.6 讨论
实验1探讨汉语肢体动作动词的加工是否影响在运动通道中箭头方向的空间判断。反应时的结果显示, 在方向向下的肢体动作动词启动下, 被试对方向向下的箭头的反应显著快于对方向向上的箭头, 说明肢体动作动词的语义加工激活了运动通道中空间方向向下的意象图式, 大脑感觉运动脑区模拟出现的肢体动作动词, 从而加速了对方向向下的箭头的按键反应。所以, 当方向向下的箭头出现时, 被试的反应时更短, 错误率更低。在方向向上的肢体动作动词启动下, 虽然被试对方向向上、向下的箭头的反应时差异不显著, 但判断方向向上的箭头的错误率显著低于判断方向向下的箭头。可见, 方向向上的肢体动作动词促进对方向向上的箭头的认知。因此, 具有方向的肢体动作动词能够影响在运动通道中箭头方向的空间判断, 促进与动作方向一致的箭头方向的判断。那么, 这一效应在视觉通道中是否也存在？
3 实验2：汉语肢体动作动词启动影响对字母空间方位的判断
3.1 被试
基于相关研究报告的效果量及期望功效值(0.8),采用G*Power 3.1软件, 计算被试量为24人。在本实验中, 招募38名汉族大学生, 16名男生, 22名女生, 平均年龄为18.74 ± 1.83岁, 皆为右利手, 视力或矫正视力正常。未参加实验1。
3.2 实验设计
2 (启动词类型：方向向上的肢体动作动词/方向向下的肢体动作动词) × 2(字母位置：上/下)重复测量设计。因变量为被试对字母位置判断的反应时和错误率。
3.3 实验材料和实验程序
材料同实验1。首先在计算机屏幕的中央呈现“+”注视点500 ms, 空屏300 ms, 接着在屏幕中央呈现启动词300 ms, 之后在屏幕上方50%、25% (x, y)或在下方50%、75% (x, y)呈现字母Q, 要求被试判断字母的方位：如果字母在上, 就按下F键, 如果字母在下, 就按下J键。被试间平衡按键规定。被试按键后, 字母消失, 空屏500 ms后, 进行下一次实验。每一汉字与在上和在下的字母各组合一次, 每个汉字的每种组合形式先后呈现两次, 共有160个试次。材料的呈现顺序随机化, 但同一启动字不连续出现。在正式实验之前, 被试学习实验材料, 明白汉字的意思即可, 并用非实验材料进行6次练习。实验流程图见图2。
3.4 结果和分析
删除2名正确率低于90%的被试。反应时分析时删去± 2.5之外的数据, 占5.0%。结果见表3。
反应时的重复测量方差分析表明, 只有启动词类型与字母方位的交互作用显著,1(1, 35) = 12.93,0.001, ηp2= 0.27 > 0.14;2(1, 58) = 3.70,0.06, ηp2= 0.11, 0.06 <ηp2< 0.14。简单效应分析表明, 当字母位置在上方时, 在方向向上的肢体动作动词启动下的反应时显著短于在方向向下的肢体动作动词启动下,(1, 35) = 4.39,0.044, ηp2= 0.11, 0.06 <ηp2< 0.14, 95% CI = [0.37, 23.63]。当字母位置在下方时, 在方向向下的肢体动作动词启动下的反应时显著短于在方向向上的肢体动作动词启动下,(1, 35) = 6.92,0.013, ηp2= 0.17 > 0.14, 95% CI = [4.42, 34.35]。错误率的方差分析表明, 各种主效应及其交互效应均不显著,s0.05。
图2 实验2流程图
表3 不同汉语肢体动作动词启动下字母位置判断的平均反应时(ms)和平均错误率(%)
3.5 讨论
实验2探讨对汉语肢体动作动词的加工是否影响视觉通道中字母方位的判断。结果显示, 当字母位于上方时, 在方向向上的肢体动作动词启动下的反应时显著短于在方向向下的肢体动作动词启动下; 当字母位于下方时, 在方向向下的肢体动作动词启动下的反应时显著短于在方向向上的肢体动作动词启动下。这说明, 对汉语肢体动作动词的语义加工激活了视觉通道中空间方位的意向图式, 大脑感觉运动脑区模拟出现的肢体动作动词, 从而促进了对同方位字母的识别, 因而与肢体动作动词方位一致的字母的反应时就短。实验2与实验1的结果一致, 均发现对汉语肢体动作动词的加工能够促进对相同方向或方位的符号的识别, 说明理解肢体动作动词在视觉通道中也存在着动作–汉字相容效应, 汉字理解是一个跨通道的具身模拟过程。这种具身模拟仅仅发生在整字层次上吗？在部件(义符)层次上是否也存在着具身模拟？
4 实验3：义符启动范式下动作义符与动作动词整字的具身模拟
4.1 被试
基于相关研究报告的效果量及期望功效值(0.8), 采用G*Power 3.1软件, 计算被试量为13人。招募50名汉族大学生, 22名男生, 28名女生, 平均年龄为18.71 ± 0.90岁, 皆为右利手, 视力或矫正视力正常。未参加实验1和实验2。
4.2 实验设计
2 (启动类型：义符启动/控制启动) × 2 (汉字类型：义符方向与整字方向一致/义符方向与整字方向不一致) × 3 (SOA：43/72/243 ms)被试内设计。SOA的选择参照已有研究(陈新葵, 张积家, 2008, 2012), 反映汉字加工的早、中、晚期情况。汉字类型是指义符的具身方向与整字的具身方向的关系。让被试保持如图3左侧所示的姿势, 可以强化形成手在上、脚在下的具身经验。以“扌”为例, “扌”表示手部, “扬”的具身方向向上, 与“扌”的具身方向一致; “捶”的具身方向向下, 与“扌”的具身方向不一致。这样, “扌”就形成了与其具身方向一致和不一致的两类汉字。实验逻辑是：如果义符启动引起手部和脚部的语义激活, 在语义中包含有具身信息, 手部或脚部的具身信息也会激活。那么, 在义符启动下, 与义符方向一致和不一致的汉字的反应时就存在着差异; 在控制启动下, 两类汉字的反应时就无差异。如果手部或脚部的语义在汉字加工的某个阶段被激活了, 那么, 在这一阶段中, 不一致汉字的反应时就应该长于一致汉字; 如果义符的语义在整字的方向识别过程中未被激活, 那么, 在三种SOA下, 无论义符与整字的具身方向一致还是不一致, 两类汉字的反应时就应该无显著差异。通过比较, 就能够了解义符的语义在整字激活中的模拟情况和时间进程。
4.3 实验材料
挑选出方向向上和方向向下的手(臂)部或脚(腿)部的肢体动作动词, 要求98名汉族被试评定汉字的具身方向, 选取评定方向一致性高于80%的汉字。手(臂)部动词均含“扌”旁, 脚(腿)部动词均含“⻊”旁, 所有的汉字均为左右结构。方向向上和方向向下的汉语肢体动作动词各有20个, 在两类汉字中, 含“扌”旁和含“⻊”旁的汉字数量相同。匹配两组汉字的字频和笔画数, 统计分析表明, 两组汉字的笔画数差异不显著,(1, 38) = 0.02,0.88; 字频差异不显著,(1, 38) = 0.18,0.67。72名不参与实验的汉族大学生采用5点量表评定汉字的熟悉性, 熟悉性越高, 评分就越高。统计分析表明, 两组汉字的熟悉性差异不显著,(1, 38) = 0.09,0.77。86名不参与实验的大学生采用5点量表评定汉字的语义透明度, 语义透明度越高, 评分越高。统计分析表明, 两组汉字的语义透明度差异不显著,(1, 38) = 1.17,0.29。实验材料的信息见表4。
4.4 实验程序
步骤1：要求被试学习实验材料, 被试明白汉字的意思即可。
步骤2：主试将如图3左边所示的人物图片给被试看, 要求被试按照图片所示姿势保持1分钟, 确保被试的姿势准确。
步骤3：主试让被试坐在计算机前, 根据指导语要求反应。首先, 在计算机屏幕的中央呈现“+”注视点500 ms, 空屏300 ms, 然后出现义符启动或者控制启动“***”, 启动刺激的呈现时间由SOA确定, 分别为43 ms、72 ms和243 ms; 随后出现目标汉字, 要求被试判断目标汉字的具身方向：如果汉字的具身方向向上, 就按F键; 如果汉字的具身方向下, 就按J键。被试间平衡按键规定。被试按键以后, 词语消失, 空屏500 ms后, 进行下一次实验。实验流程见图3。实验包含240个试次, 每种SOA条件下的80个试次为一组, 三组材料随机呈现, 每一汉字在每种SOA条件下各出现2次, 同一个汉字不连续出现。在正式实验之前, 用非实验材料做了16次练习。
4.4 结果与分析
删除3名正确率低于80%的被试。反应时分析时删去± 2.5之外(占4.08%)数据。实验结果见表5。
反应时的重复测量方差分析表明, SOA的主效应显著,1(2, 45) = 5.07,0.01, ηp2= 0.18 > 0.14;2(2, 37) = 3.89,0.03, ηp2= 0.18 > 0.14。SOA =43 ms时反应时显著长于SOA = 72 ms时,0.013, 95% CI = [2.99, 24.26]; SOA = 43 ms时反应时显著长于SOA = 243 ms时,0.02, 95% CI = [1.88, 20.59]; 启动类型和汉字类型的交互作用被试分析显著,1(1, 46) = 6.43,0.015, ηp2= 0.12, 0.06 <ηp2< 0.14, 项目分析不显著,2(1, 38) = 0.79,0.38。简单效应分析表明, 在义符启动下, 一致条件下的反应时显著短于不一致条件下,0.006, 95% CI = [8.11, 45.86]; 在控制启动下, 两类汉字的反应时差异不显著,0.53。汉字类型和SOA的交互作用被试分析显著,1(2, 45) = 4.71,0.014, ηp2= 0.17 > 0.14, 项目分析不显著,2(2, 37) = 0.60,0.56。简单效应分析表明, 在SOA = 43 ms时, 两类汉字的反应时差异不显著,0.18; 在SOA = 72 ms和SOA = 243 ms时, 一致条件下的反应时显著短于不一致条件下,值分别为0.043和0.002, 95%置信区间分别是[0.63, 39.65]和[11.14, 46.69]。其它的主效应和交互作用均不显著,0.05。
表4 实验材料统计信息表
图3 实验3流程图
表5 不同启动条件下被试判断的平均反应时(ms)和平均错误率(%)
为了探讨在不同条件下两类汉字的启动状况, 分别对2种启动条件的反应时做2(汉字类型) × 3(SOA)方差分析。结果表明, 在义符启动下, 汉字类型的主效应被试分析显著,1(1, 46) = 8.28,0.006, ηp2= 0.15 > 0.14, 项目分析不显著,2(1, 38) = 0.11,0.74。均数比较表明, 一致条件下的反应时显著小于不一致条件下,0.006, 95% CI = [8.11, 45.86]。SOA的主效应被试分析显著,1(2, 45) = 4.22,0.021, ηp2= 0.16 > 0.14, 项目分析边缘显著,2(2, 37) = 2.97,0.057, ηp2= 0.07, 0.06 < ηp2< 0.14。均数比较表明, SOA = 43 ms时反应时显著长于SOA = 72 ms时,0.018, 95% CI = [3.02, 31.00], SOA = 43 ms时反应时显著长于SOA = 243 ms时,= 0.01, 95% CI = [5.74, 39.26]。汉字类型与SOA的交互作用被试显著,1(2, 45) = 3.43,0.041, ηp2= 0.13, 0.06 <ηp2< 0.14, 项目分析不显著,2(2, 37) = 0.37,0.70。简单效应分析表明, SOA = 43 ms时, 两类汉字的反应时差异不显著,0.58; 当SOA = 72 ms时, 一致汉字的反应时显著短于不一致汉字,= 0.005, 95% CI = [14.78, 77.74], 当SOA = 243 ms时, 一致汉字的反应时显著短于不一致汉字,0.003, 95% CI = [15.58, 73.09]。在控制启动下, 各种主效应和交互效应均不显著,0.05。这说明, 在义符启动中, 在不同SOA下两类汉字的反应时差异确实是由义符启动引起的。在义符启动的早期, 一致汉字与不一致汉字的反应时未出现显著差异; 到义符启动中期, 二者出现了显著差异, 而且持续到启动晚期。这说明, 义符的语义在汉字整字加工中期开始激活,并且持续到加工晚期。
错误率的重复测量的方差分析表明, 汉字类型的主效应显著,1(1, 46) = 21.4,< 0.001, ηp2= 0.32 > 0.14,2(1, 38) = 4.12,0.05, ηp2= 0.10, 0.06 <ηp2< 0.14。一致条件下的错误率显著低于不一致条件下, 95% CI = [0.02, 0.06]。SOA的主效应被试分析显著,1(2, 45) = 6.69,0.003, ηp2= 0.23 > 0.14; 项目分析边缘显著,2(2, 37) = 2.76,0.08, ηp2= 0.13, 0.06 <ηp2< 0.14。SOA = 43 ms时错误率显著高于SOA = 72 ms时,0.023, 95% CI = [0.002, 0.02]; SOA = 43 ms时错误率显著高于SOA = 243 ms时,0.001, 95% CI = [0.01, 0.03]。其它的主效应和交互作用均不显著,0.05。
4.5 讨论
实验3从具身认知的角度探究义符的具身信息在整字识别中是否得到了激活, 附带考察义符语义激活的时间进程。结果发现, 在义符启动下, 义符与整字具身方向一致的汉字表现出反应优势, 而在控制启动下二者却无显著差异, 说明是义符启动造成了两类汉字的反应差异。2(汉字类型) × 3(SOA)的方差分析也证实了义符启动的作用。在义符启动早期(SOA = 43 ms), 义符与整字具身方向一致的汉字和义符与整字具身方向不一致的汉字的反应时并无显著差异, 在义符启动的中期(SOA = 72 ms)和晚期(SOA = 243 ms), 义符与整字具身方向一致的汉字和义符与整字具身方向不一致的汉字出现了显著的差异, 说明义符语义在汉字加工中期得到了激活, 并且持续到汉字加工晚期。因此, 实验3表明, 汉语肢体动作动词的语义理解不仅在整字层次上存在着具身模拟, 在部件(义符)层次也存在着具身模拟。
5 综合讨论
本研究考察在汉语肢体动词的语义理解中整字和义符的具身模拟情况。实验1和实验2分别从运动通道和视觉通道探讨理解汉语肢体动词时其方向信息和方位信息是否也被激活了。结果显示, 在运动通道中, 汉语肢体动作动词的具身方向信息影响被试对箭头方向的判断; 在视觉通道中, 汉语肢体动作动词的具身方位信息影响被试对字母方位的判断。这说明, 在汉语肢体动作动词的理解中, 存在着动作–汉字相容效应。实验3采用义符启动范式考察义符的具身信息在整字识别中是否得到了激活, 并且考察义符的语义激活在整字的语义激活中的时间进程, 发现义符的语义在汉字加工的中期得到了激活, 并且一直持续到加工晚期。
5.1 关于汉语肢体动作动词的具身方向和方位的激活
对语言理解引起的感觉运动系统激活, 有两种观点：一种观点强调语言理解是记忆信息的提取过程, 动作语义理解是由于储存的动作语义知识激活了大脑的感觉运动区。理解具体概念与抽象概念时所激活的脑区不同。例如, 具体形象的动作语义能够引发更多的感觉运动区的活动, 而抽象概念的理解多激活额下回和颞叶等脑区。这说明, 抽象概念理解需要提取更多的语义信息(Bedny, Caramazza, Grossman, Pascual-Lene, & Saxe, 2008)。另一种观点认为, 语言理解是动作的复演, 语义是在与外界互动过程中以具身经验形式储存在大脑中, 语言理解是具身经验的重新激活。即, 语言理解是通过重新激活具身经验模拟所描述事件或情景的过程。感觉运动区在语言理解过程中负责心理模拟, 人们凭借心理模拟过程实现对动作语义的理解, 甚至理解动作的意图和表情的含义。语言理解是多通道的, 是通过语言区和感觉运动区的分散表征的整合实现的(Borghi & Riggio, 2009a; Borghi, & Scorolli, 2009b; Strozyk et al., 2017; Wu et al., 2017)。实验1和实验2的结果支持第二种观点。在语言理解时, 感觉运动系统参与其中进行了动作模拟, 在动作模拟过程中, 肢体动作动词的方向、方位等信息也被激活了。
知觉符号理论认为, 在语言表征中包含有知觉运动特征。动词的知觉符号聚合了许多具体的知觉与运动经验, 这些经验的共同性在动词表征中也得到了反映。由于知觉符号具有多模式性和类似性, 一旦某动词得到了激活, 与之相关的所有知觉信息(如方向、强度、位置等)也会得到自动激活。由此可知, 语言理解与知觉通道之间存在着交互作用(Zwaan, 1999; Zwaan, 2004; 伍丽梅, 莫雷, 王瑞明, 2007)。赫布学习观(Hebbian learning)认为, 个体通过将相同动作的观察经验和执行经验建立起联系以形成感觉运动经验, 人在习得动词过程中总是伴随着动作发生(Giudice, Manera & Keysers, 2009; Keysers & Perrett, 2004)。单词学习训练的研究表明, 将单词与儿童的感知经验和运动体验建立起一致联系可以显著地提高学习成绩, 将单词的运动信息与词汇训练方法结合是提高单词学习水平的优选方式(Hald, Nooijer, Gog, Bekkering, 2016)。例如, 儿童在做“蹲”的动作时, 能够感受到腿部肌肉的变化, 学习到“蹲”的含义。当“蹲”这个字再次出现时, 蹲的动作就会出现在脑海中。当多次看到“蹲”这个字时, 汉字“蹲”与蹲的动作的联系就得到巩固与联合, 形成了多通道的语言理解模式。因此, 当被试看到“蹲”字时, 大脑的语言区和运动区会出现同步的激活, 当出现向下的箭头或者位置在下的字母时, 被试的反应就更快; 若出现向上的箭头或者位置在上的字母, 由于呈现刺激与已经激活的具身经验方向相反, 因而导致被试的反应变慢。
因此, 语言理解是基于身体感觉和动作经验的认知活动, 是理解动词语义和动作意图共同的神经基础。镜像神经系统在加工动作语义时负责模拟(simulation)或者复演(re-enactment)语义材料中包含的动作, 让人在理解单词或句子时就能够拟合相应的动作概念, 以第一人称视角把感觉信息转换为动作图式, 产生感同身受的体验(Aziz-Zadeh & Damasio, 2008; Kemmerer & Castillo, 2010)。Wu等(2017)采用汉语身体部位词、动词和人造物体词为材料, 要求被试依次阅读、观察、模仿这些词汇, 发现三类词在模仿阶段对镜像神经系统的调节不同, 与其它词语条件相比, 在人造物词语呈现后的模仿会引发更强的右额下回、前运动皮层和顶小叶的激活。以汉语成语为材料的fMRI研究证实, 在汉语中描述动作的成语的语义理解脑区与负责相应动作的感觉运动脑区基本一致。这说明, 以镜像机制为基础的具身模拟在汉语动作成语的语义理解中发挥了重要作用(苏得权等, 2013)。
在本研究中, 被试在看到与汉字具身方向或具身方位一致的符号时反应更快, 表明感觉运动系统参与了肢体动词理解, 被试进行了空间具身模拟, 使得汉字的具身方向信息或方位信息得到了激活, 镜像神经元在其中发挥了模拟或复演具体动作的作用。
5.2 关于汉语肢体动作动词理解中义符与整字的具身模拟及其时间进程
作为表义部件, 义符是汉字独特性的体现, 也是汉字研究的重要切入点之一。张积家等(1990, 1991)发现, 义符对形声字的语义提取具有重要作用：当义符与词的上属一致时, 促进对汉字词类别语义的提取; 反之, 干扰对汉字词类别语义的提取。这一结果得到了Williams和Bever (2010)研究的证实, 在以汉语为第二语言的学习者身上也得到了证实(Williams, 2013)。研究还发现, 义符在汉字词特征语义提取(张积家, 彭聃龄, 1993)、动作动词意义认知(张积家, 陈新葵, 2005)、类别归纳推理(Liu et al., 2010; 陶云等, 2017; Wang, Ma et al., 2018)等方面均具有表示语义的功能。部分对形声字识别中义符和声符作用的比较研究发现, 义符在汉字识别中作用更大(佘贤君, 张必隐, 1997; Williams & Bever, 2010; Wang et al. 2017), 但也有研究表明, 在通达形声字语音、语义的过程中, 声符比义符更具有注意资源优势, 这种优势在语音提取任务中更明显：声符无需依赖义符的信息便可以相对独立地激活整字的语音, 但声符需要义符的配合才能够提取整字的语义(张积家, 王娟, 印丛, 2014)。尽管这些研究加深了对义符功能的理解, 但它们均是从整字或者义符的语义或语法角度来推断义符的作用, 并未将语言理解与具身认知相结合。由于语言理解是具身经验参与的模拟过程, 义符可以为语言理解提供一定的线索, 因此有可能在具身模拟中发挥一定的作用。以往研究多从整字的角度来探索义符的作用, 虽然整字呈现与平时阅读时相同, 却也存在着一定的局限性：(1)整字会对义符功能的认知产生干扰; (2)在整字情境中, 义符的作用被弱化, 义符的语义激活在很多研究中表现得并不突出(章玉祉, 张积家, 2017)。为了更纯粹地研究义符的作用, 使其更加凸显, 实验3采用了义符启动范式来进行探讨。
Feldman和Siok (1999a)发现, 义符的语义激活只出现在启动晚期。陈新葵和张积家(2008, 2012)发现, 义符的熟悉性和整字的频率存在着动态的交互作用：当整字频率高时, 高、低熟悉的义符的语义均在启动中期激活了, 高熟悉的义符的语义激活时间长, 持续到加工晚期, 低熟悉的义符的语义激活消退快。张积家和章玉祉(2016)采用义符启动范式探讨义符语义信息在整字语义激活中的时间进程, 发现就义符总体而言, 义符的语义激活从启动早期一直持续到启动晚期。本研究从具身认知的角度来探讨义符语义激活的时间进程。在实验初期, 要求被试按如图3所示的姿势, 强化被试形成手在上、脚在下的具身经验, 在随后的实验中, 这种手–上、脚–下的具身经验影响了被试对汉字具身方向的判断。义符语义在汉字加工中期得到了激活, 并且持续到加工晚期。这一研究结果与以往的研究结果基本一致。所以如此, 有两个原因：(1)根据陈新葵和张积家(2008)对义符熟悉性的评定结果, 本研究选取的义符(“扌”和“⻊”)均为高熟悉义符, 其语义更容易激活; (2)义符启动范式排除了整字语义的干扰, 使得义符的作用被放大和凸显, 能够更加直观地探讨义符语义的激活进程。
不同的研究者提出了一些义符在形声字词汇通达中的模型。张积家等提出的汉字形声字加工的“两个网络系统模型”认为, 汉字词加工涉及词汇网络系统和语义网络系统。词汇网络系统贮存词的笔画、部件、词素和整词等词形结构特征, 语义网络系统贮存词的语义, 包括概念结点和类别结点。在两个网络系统之间, 存在着以义符为中介的联结。汉字词呈现引起的义符激活可以沿着网络间的联结通路到达语义网络系统, 激活义符所代表的类别结点和概念结点, 进而启动自上而下的加工(张积家, 彭聃龄, 1993; 张积家, 王娟, 陈新葵, 2014 )。Ding, Peng和Taft (2004)提出了形声字的认知加工模型, 认为形声字认知包括特征、部件、合体字、概念四个水平, 汉字加工是由底到顶的过程。陈新葵和张积家(2012)将以上两种模型结合, 提出了义符在词汇通达中的表征模型。该模型认为, 汉字认知由下而上包括4个水平, 其中, 特征水平、部件水平和合体字水平属于词汇网络系统的变量, 概念水平属于语义网络系统的变量。义符联结着两个网络系统, 为整字的语义通达提供了特殊的通道。在汉字认知时, 既可以通过特征→义符→整字→概念的通道, 也可以在到达义符水平时直接激活与义符相联结的类别结点, 进而启动自上而下的加工。本研究结果也可以通过这一理论模型来解释。本研究采用的汉字均是由“扌”和“⻊”作为动作器官构成的, 具有较高的语义透明度, 两类汉字的差别在于义符语义的具身方向和整字语义的具身方向是否一致。研究显示, 在启动的中期和晚期, 一致的汉字与不一致的汉字的反应时差异显著, 因此可以推测, 差异是由义符的具身方向与两类汉字的具身方向是否一致引起的。根据这一模型, 当义符启动时间短(SOA = 43 ms)时, 只激活了义符的词形信息, 义符与整字的具身方向一致和不一致的汉字的反应时不会产生显著差异。但是, 随着义符启动时间的增加(SOA = 72 ms和SOA = 243 ms), 义符语义得到了激活, 使得两类汉字的反应时差异显著。因此, 可以推测, 在义符语义中包含了具身信息。即, “扌”在激活与手有关的动作时, 也激活了“扌”的向上的具身信息。当“扬”呈现时, 由于“扌”的向上的具身信息已经被激活了, “扬”的激活阈限就低, 对其语义的方向判断反应就快; 当“捶”呈现时, 由于其语义方向与“扌”激活的方向相反, 是反方向的激活, 反方向的激活提高了“捶”的反应阈限, 需要更多的能量才能够激活, 因此对它的语义的方向判断反应就变慢了。
根据Ding等(2004)的模型与章玉祉和张积家(2016)的研究, 成字义符的语义存在着类属义和本身义的双重激活, 不成字义符的语义却只有类属义的激活。例如, 义符“手”不仅可以激活与手有关的动作, 也可以激活手本身, 而“扌”只能激活与手有关的动作。实验3采用的义符“扌”和“⻊”均为非成字义符, 发现义符的语义在汉字识别中期得到了激活, 并且语义中包含有义符的具身信息。因此, 虽然“扌”不能够激活手本身, 但即使只激活了与手有关的动作, 手的具身信息仍然得到了激活, 说明被试在对义符语义加工时也进行了具身模拟。这说明, 汉语肢体动作动词的语义理解不仅在整字层次上存在着具身模拟, 在部件(义符)层次上也存在着具身模拟。汉语肢体动作动词的具身模拟发生得非常早。后续研究可以采用认知神经科学的技术对此问题做进一步的验证。
6 结论
(1)汉语肢体动作动词的理解在运动通道中和视觉通道中均存在着动作–汉字的相容效应。汉语肢体动作动词的理解是一个跨通道的具身模拟过程。
(2)义符语义从汉语肢体动作动词加工的中期开始激活, 并且一直持续到加工晚期。汉语肢体动作动词的理解不仅在整字层次上存在着具身模拟, 在部件(义符)层次上也存在着具身模拟。
Aziz-Zadeh, L., & Damasio, A. (2008). Embodied semantics for actions: Findings from functional brain imaging.,(1–3), 35–39.
Barsalou, L. W. (1999a). Language comprehension：Archival memory or preparation for situated action?(1), 61–80.
Barsalou, L. W. (1999b). Perceptual symbol systems.(4), 577–660.
Barsalou, L.W., Simmons, W. K., Barbey, A. K., & Wilson, C. D. (2003). Grounding conceptual knowledge in modality- specific systems.(2), 84–91.
Beauchamp, M. S., Lee, K. E., Haxby, J. V., & Martin, A. (2002). Parallel visual motion processing streams for manipulable objects and human movements.(1), 149–159.
Beauchamp, M. S., Lee, K. E., Haxby, J. V., & Martin, A. (2003). FMRI responses to video and point-light displays of moving humans and manipulable objects.(7), 991–1001.
M.,A.,E.,Leone, A., &R. (). Concepts are more than percepts: The case of action verbs.(44), 11347–11353.
Borghi, A. M., & Riggio, L. (2009a). Sentence comprehension and simulation of object temporary, canonical and stable affordances., 117–128.
Borghi, A. M., & Scorolli, C. (2009b). Language comprehension and dominant hand motion simulation.(1), 12–27.
Boulenger, V., Roy, A. C., Paulignan, Y., Deprez, V., Jeannerod, M., & Nazir, T. A. (2006). Cross-talk between language processes and overt motor behavior in the first 200 msec of processing.(10), 1607–1615.
Cardona, J. F., Kargieman, L., Sinay, V., Gershanik, O., Gelormini, C., Amoruso, L., …& Ibáñez, A. (2014). How embodied is action language? Neurological evidence from motor diseases.(2), 311–322.
Chen, X. K., & Zhang, J. J. (2008). Role of familiarity of semantic radicals in the recognition of highly familiar Chinese characters.(2), 148–159.
[陈新葵, 张积家. (2008). 义符熟悉性对高频形声字词汇通达的影响.(2), 148–159.]
Chen, X. K., & Zhang, J. J. (2012). Role of familiarity of semantic radicals in the recognition of lowly familiar Chinese characters.(7), 882–895.
[陈新葵, 张积家. (2012). 义符熟悉性对低频形声字词汇通达的影响.(7), 882–895.]
Cohen, J. (1992). A power primer.(1), 155–159
Ding, G. S., Peng, D. L., & Taft, M. (2004). The nature of the mental representation of radicals in Chinese：A priming study.(2), 530–539.
Dudschig, C., Souman, J., Lachmair, M., Vega, I. D. L., & Kaup, B. (2013). Reading “sun” and looking up: The influence of language on saccadic eye movements in the vertical dimension.(2), e56872.
Dunn, B. M., Kamide, Y., & Scheepers, C. (2014). Hearing “moon” and looking up: Word-related spatial associations facilitate saccades to congruent locations.(36), 433–438.
Feldman, J., Narayanan, S. (2004). Embodied meaning in a neural theory of language.(2), 385–392.
Feldman, L. B., & Siok, W. W. T. (1999a). Semantic radicals contribute to the visual identification of Chinese characters.(4)559–576.
Feldman, L. B., & Siok, W. W. T. (1999b). Semantic radicals in phonetic compounds: Implications for visual character recognition in Chinese. In J. Wang, A. W. Inhoff, & H.-C. Chen (Eds).(pp. 19–35)Mahwah, NJ: Erlbaum.
Fernandino, L., Binder, J. R., Desai, R. H., Pendl, S. L., Humphries, C. J., Gross, W. L., … & Seidenberg, M. S. (2016). Concept representation reflects multimodal abstraction：A framework for embodied semantics.(5)2018–2034．
Gallese, V., & Sinigaglia, C. (2011). What is so special about embodied simulation?(11), 512–519.
Gallese, V., & Sinigaglia, C. (2012). Response to de bruin and Gallagher: Embodied simulation as reuse is a productive explanation of a basic form of mind-reading.(2), 99–100.
Giudice, M. D., Manera, V., & Keysers, C. (2009). Programmed to learn? The ontogeny of mirror neurons.(2), 350–363.
Glenberg, A. M. (1997). What memory is for.(1), 1–19.
Glenberg, A. M., & Kaschak, M. P. (2002). Grounding language in action.(3), 558–565.
Hald, L. A., de Nooijer, J., van Gog, T., & Bekkering, H. (2016). Optimizing word learning via links to perceptual and motoric experience.(3), 495–522.
Hauk, O., Johnsrude, I., & Pulvermüller, F. (2004). Somatotopic representation of action words in human motor and premotor cortex.(2), 301–307.
Horoufchin, H., Bzdok, D., Buccino, G., Borghi, A. M., & Binkofski, F. (2018). Action and object words are differentially anchored in the sensory motor system- A perspective on cognitive embodiment.(1), 1–11.
Juárez, F. P-G., Labrecque, D., Frak, V. (2019). Assessing language-induced motor activity through event related potentials and the grip force sensor, an exploratory study., DOI: 10.1016/j.bandc.2019.05.010.
Kemmerer, D., & Castillo, J. G. (2010).The two-level theory of verb meaning: An approach to integrating the semantics of action with the mirror neuron system.(1), 54–76.
Keysers, C., & Perrett, D. I. (2004). Demystifying social cognition: A Hebbian perspective.(11), 501–507.
Klepp, A., Weissler, H., Niccolai, V., Terhalle, A., Geisler, H., Schnitzler, A., & Biermann-Ruben, K. (2014). Neuromagnetic hand and foot motor sources recruited during action verb processing.(1), 41–52.
Law, S. P., Yeung, O., Wong, W., & Chiu, K. M. Y. (2005). Processing of semantic radicals in writing Chinese characters: Data from a Chinese dysgraphic patient.(7), 885–903.
Li, Y., & Kang, J. S. (1993). Analysis of phonetics of the ideophonetic characters in modern Chinese. In: Y. Chen (eds.),(pp.84–98). Shanghai: Shanghai Education Press.
[李燕, 康家深. (1993).. 上海：上海教育出版社. ]
Lin, N., Lu, X. M., Fang, F., Han, Z. Z., & Bi, Y. C. (2011). Is the semantic category effect in the lateral temporal cortex due to motion property differences?(4), 1853–1864.
Liu, C., Tardif, T., Mai, X. Q., Gehring, W. J., Simms, N., & Luo, Y. J. (2010). What’s in a name? Brain activity reveals categorization processes differ across languages.(11), 1786–1801.
Lu, Z. Y., Gao, Z. H., Duan, X. L., & Liu, X. H. (2007). Views of embodied language comprehension.(2), 275−281.
[鲁忠义, 高志华, 段晓莉, 刘学华. (2007). 语言理解的体验观.(2), 275–281.]
Martin, A. (2007). The representation of object concepts in the brain., 25–45.
Meteyard, L., & Vigliocco, G. (2009). Verbs in space: Axis and direction of motion norms for 299 English verbs.(2), 565–574.
Pulvermüller, F., Härle, M., & Hummel, F. (2001). Walking or talking?: Behavioral and neurophysiological correlates of action verb processing.(2), 143–168.
Qu, F. B., Yin, R., Zhong, Y., & Ye, H. S. (2012). Motor perception in language comprehension: Perspective from embodied cognition.(6), 834–842.
[曲方炳, 殷融, 钟元, 叶浩生. (2012). 语言理解中的动作知觉：基于具身认知的视角.(6), 834–842.]
Richardson, D. C., Spivey, M. J., Barsalou, L. W., & Mcrae, K. (2003). Spatial representations activated during real–time comprehension of verbs.(5), 767–780.
Richardson, D. C., Spivey, M. J., Edelman, S., Naples, A. J. (2001). “Language is spatial”: Experimental evidence for image schemas of concrete and abstract verbs.(pp. 845–850).Erlbaum [poster presentation], Mahwah.
Rodriguez, A. D., Mccabe, M. L., Nocera, J. R., & Reilly, J. (2012). Concurrent word generation and motor performance: Further evidence for language–motor interaction.(5): e37094.
She, X. J., & Zhang, B. Y. (1997). The effects of semantic and phonetic clues in puctophonetic character mental lexicon.(2), 142–145.
[佘贤君, 张必隐. (1997). 形声字心理词典中义符和音符线索的作用.(2), 142–145.]
Stanfield, R. A., & Zwaan, R. A. (2001). The effect of implied orientation derived from verbal context on picture recognition.(2), 153–156．
Strozyk, J. V., Dudschig, C., & Kaup, B. (2017). Do I need to have my hands free to understand hand-related language? Investigating the functional relevance of experiential simulations.(3), 406–418.
Su, D. Q., Zhong, Y., Zeng, H., & Ye, H. S. (2013). Embodied semantic processing of Chinese action idioms： Evidence from fMRI study.(11), 1187−1199.
[苏得权, 钟元, 曾红, 叶浩生. (2013). 汉语动作成语语义理解激活脑区及其具身效应：来自fMRI的证据.(11), 1187 − 1199.]
Tao, Y., Wang, X. X., Ma, X., & Liu, Y. (2017). How semantic radical support inductive reasoning—evidence from ERP study.(2), 117–124.
[陶云, 王晓曦, 马谐, 刘艳. (2017). 义符促进类别归纳推理的ERP证据.,(2), 117–124.]
Wang, J. Y., Ye, H. S., & Su, D, Q. (2018). The correlativity of action and sematic processing: Perspect of embodied metaphor.(1), 15–19.
[王继瑛, 叶浩生, 苏得权. (2018). 身体动作与语义加工：具身隐喻的视角.(1), 15–19.]
Wang, X. S., Pei. M., Wu. Y., & Su, Y. J. (2017). Semantic radicals contribute more than phonetic radicals to the recognition of Chinese phonograms: Behavioral and ERP evidence in a factorial study.DOI: 10.3389/fpsyg.2017.02230.
Wang, X. X., Ma, X., Tao, Y., Tao, Y. C., & Li, H. (2018). How semantic radicals in Chinese characters facilitate hierarchical category–based induction.(1), 1–10.
Williams, C. (2013). Emerging development of semantic and phonological routes to character decoding in Chinese as a foreign language learners.(2), 293–315.
Williams, C., & Bever, T. (2010). Chinese character decoding: A semantic bias?(5)589–605.
Winkielman, P., Niedenthal, P., Wielgosz, J., Eelen, J., & Kavanagh, L. C. (2015). Embodiment of cognition and emotion., (4), 151–175.
Wu, H., Mai, X., Tang, H., Ge, Y., Luo, Y. J., & Liu, C. (2013). Dissociable somatotopic representations of Chinese action verbs in the motor and premotor cortex.(1), 1–12.
Wu, H. Y., Tang, H. H., Ge, Y., Yang, S. Y., Mai, X. Q., Luo, Y. J., & Liu, C. (2017). Object words modulate the activity of the mirror neuron system during action imitation.(11), 1–13.
Wu, L. M., Mo, L., & Wang, R. M. (2007). Dynamic mental simulation during comprehension of motion descriptions.(4), 605–612.
[伍丽梅, 莫雷, 王瑞明. (2007). 有关运动的语言理解的知觉模拟.(4), 605–612.]
Yang, J., & Shu, H. (2011). Embodied representation of tool-use action verbs and hand action verbs: Evidence from a tone judgment task.(3), 112–115.
Yang, T. F. (2016). Image schemas in verb-particle constructions: Evidence from a behavioral experiment.(2), 379–393.
Ye, H. S., & Zeng, H. (2013). Mirror neuron, embodied simulation and mind-reading.(4), 97–104.
[叶浩生, 曾红. (2013). 镜像神经元、具身模拟与心智阅读.(4), 97–104.]
Zhang, D. X., & Dong, H. (2017). The directional semantic features of Chinese body verbs and their derived sememes.,(5), 63–66.
[张道新, 董宏. (2017). 汉语肢体动词的方向语义特征及其衍生义位.(5), 63–66.]
Zhang, J. J., & Chen, X. K. (2005). The role of Chinese characters ‘yifu’ in cognition of Chinese action verbs meaning.(4), 434–441.
[张积家, 陈新葵. (2005). 汉字义符在汉语动作动词意义认知中的作用.,(4), 434–441.]
Zhang, J. J., Fang, Y. H., & Chen, X. K. (2006). The role of semantic radicals of Chinese characters in grammatical categorization of Chinese visual words.(2), 159–169.
[张积家, 方燕红, 陈新葵. (2006). 义符在中文名词和动词分类中的作用.(2), 159–169.]
Zhang, J. J., & Peng, D. L. (1993). Experimental study on the retrieval of feature meaning of Chinese words.(2)140–147.
[张积家, 彭聃龄. (1993). 汉字特征语义提取的实验研究.,(2), 140–147.]
Zhang, J. J., Peng, D. L., & Zhang, H. C. (1991). The recovery of meaning of Chinese characters in the classifying process (Ⅱ).(2)139–144.
[张积家, 彭聃龄, 张厚粲. (1991). 分类过程中汉字的语义提取(Ⅱ).(2), 139–144.]
Zhang, J. J., Wang, J., & Chen, X. K. (2014). Semantic radicals’ research in twenty years: Theoretical exploration, experimental evidence and processing model.(3), 381–399.
[张积家, 王娟, 陈新葵. (2014). 义符研究20年：理论探讨、实验证据和加工模型.(3), 381–399.]
Zhang, J. J., Wang, J., & Yin, C. (2014). The role of phonetic radicals and semantic radicals in phonetics and semantics extraction of phonogram characters: An eye movement study on components perception.(7), 885−900.
[张积家, 王娟, 印丛. (2014). 声符和义符在形声字语音、语义提取中的作用——来自部件知觉眼动研究的证据.(7), 885−900.]
Zhang, J. J., Zhang, H. C., & Peng, D. L. (1990). The recovery of Chinese characters in claasifying process (Ⅰ).(4), 397–405.
[张积家, 张厚粲, 彭聃龄. (1990). 分类过程中汉字的语义提取(Ⅰ).(4), 397–405.]
Zhang, J. J. & Zhang Y. Z. (2016). The time course of semantic radical’s semantic and syntax activation under radical priming paradigm.(9), 1070–1081.
[张积家, 章玉祉. (2016). 义符启动范式下义符的语义和语法激活的时间进程.(9), 1070–1081.]
Zhang, Y. Z., & Zhang, J. J. (2017). The effects of neighborhood size and category consistency of the semantic radical on semantic radical’s semantic activation under radical priming paradigm.(8), 1041–1052.
[章玉祉, 张积家. (2017). 义符启动范式下家族大小和类别一致性对义符语义激活的影响.(8), 1041–1052.]
Zhou, L., Peng, G., Zheng, H. Y., Su, I. F., & Wang, W. S. Y. (2013). Sub-lexical phonological and semantic processing of semantic radicals: A primed naming study.(6), 967–989.
Zhu, H. K. (2018).(Unpublished master’s thesis). Hebei University, Baoding.
[朱鸿凯. (2018).(硕士学位论文). 河北大学, 保定.]
Zwaan, R. A. (1999). Embodied cognition, perceptual symbols, and situation models.(1), 81–88.
Zwaan, R. A. (2004). The immersed experiencer: Toward an embodied theory of language comprehension.(1), 35–62.
Zwaan, R. A. (2014). Embodiment and language comprehension: Reframing the discussion.(5), 229–234.
Zwaan, R. A., & Madden. C. J. (2005).. New York: Cambridge University Press.
Zwaan, R. A., & Yaxley, R. H. (2004). Lateralization of object-shape information in semantic processing.(2), B35–B43.
Effects of embodied simulation on understanding Chinese body action verbs
WANG Bin1; LI Zhirui2; WU Limei3; ZHANG Jijia1
(1Department of Psychology, Renmin University of China; The State Ethnic Affairs Commission Key Research Center for Language, Cultural, and Psychology; Key Research Center for National Psychology and Education, the National Education Development Center of the Ministry of Education, Beijing 100872, China) (2Mental Health Education and Counseling Center, Huaiyin Normal University, Huaian 223300, China) (3College of Chinese Language and Culture, Jinan University, Guangzhou 510610, China)
Recent approaches on embodied cognition and theories of semantic and conceptual “grounding” have emphasized the role of perceptual and motor skills in language comprehension and action understanding. Evidence on the role of sensorimotor information in language processing has been obtained from behavioral and neuroimaging studies. These findings have been taken as a support for the claim that language is understood through sensorimotor simulations of actions and events being described. The theory on Perceptual Symbol Systems holds that the sensorimotor system participates in the language comprehension process, which is an empirical simulation of a situation through a series of complex language cues. Chinese characters may show different characteristics from English words because semantic radicals are linked with the meaning of these characters. These semantic radicals may affect the embodied effect of Chinese characters.
In the study, authors used single-character body action verbs in Chinese as experimental materials. Body action verbs are words that use body parts to perform mechanical movements. The directional semantic feature of body action verbs reflects the direction of physical space and can be perceived. Experiment 1 investigated the influence of semantic direction on the spatial judgment of an arrow direction in the motion channel under whole word priming. The repeated measurement design of 2 (Chinese character embodied direction: up/down) × 2 (arrow direction: up/down) was adopted. Thirty-five participants volunteered in this study. Experiment 2 investigated the influence of semantic orientation on the spatial judgment of letter orientation in visual channels under whole word initiation. The repeated measurement design of 2 (Chinese character direction: up/down) × 2 (letter position: up/down) design was used. Thirty-eight participants took part in this experiment.Experiment 3 investigated the embodied simulation of the semantic radical and whole character under the radical priming paradigm. Chinese body action verbs formed by semantic radicals “扌” and “⻊” were used as experimental materials. A within–subject designof 2 (priming type: semantic radical’s priming/control priming) × 3 (character type: consistent/inconsistent) × 3 (SOA: 43 ms/72 ms/243 ms)was used.Before the behavioral experiment, the participants were asked to hold their hands up for one minute to reinforce the bodybuilding experience of having their hands above and their feet below. Character type shows the direction and orientation between the character and its semantic radical. Consistent character type means that the character and its semantic radical have a similar direction and orientation.For example, the semantic radical “⻊” means “foot, ” which is below the body. Thus, “蹲” is a consistent character, whereas “跳” is an inconsistent character.
Results suggest the following: (1) When Chinese characters are in a downward semantic direction, the downward arrow is judged faster than the upward arrow. When characters are in an upward semantic direction, the direction of the arrow has a null effect. (2) Chinese characters with upward semantic movement can be used to recognize upper letters more quickly and characters with downward semantic movement can be used to recognize lower letters more quickly. (3) In the middle and late stages of Chinese character processing, the response of consistent and inconsistent Chinese characters is significantly different, indicating that the semantic radical is activated from the middle stage of the Chinese character processing until the late stage.
The present findings demonstrate the following: (1) An action–character compatibility effect is present in Chinese body movement verbs in the movement and visual channels. Understanding Chinese body movement verbs is a cross-channel embodied simulation process. (2) The semantic radical activation of the phonogram starts from the middle stage to the late stage of Chinese body action verb processing. A semantic understanding of Chinese body action verbs has an embodied simulation at the whole character and component (semantic radical) levels.
Chinese body action verbs; semantic radical; the whole character; embodied simulation
2019-03-27
* 国家民委民族研究重点项目“少数民族学生双语学习认知规律研究” (项目编号：2017-GMA-004)资助。
注：张积家为共同第一作者。
张积家, E-mail: Zhangjj1955@163.com
B842
10.3724/SP.J.1041.2019.01291
