交流手势的认知特征*

张恒超

(天津商业大学法学院心理学系,天津 300134)

1 前言

交流是以语言为核心媒介的社会人际互动过程,交流过程体现了交流者间认知和行为“冲突−协调”的相互作用特征(张恒超,2013;Hellbernd &Sammler,2016;Krauss &Weinheimer,1964)。交流认知是一种基于交流者心理状态和共享知识的推理过程(Clark,1996),特定情境下的交流认知反映了从脑加工到社会人际互动、语言使用等的一系列复杂过程(Airenti &Plebe,2017)。尽管交流媒介中语言具有显著代表性,但并不是唯一媒介,交流互动认知的复杂性也表现于非语言媒介的互动性和交流性,以及与语言媒介间的相互关系(张恒超,2017,2018;张恒超,阴国恩,2014;Buz,Tanenhaus,&Jaeger,2016;Levinson,2016;Pickering,McLean,&Krayeva,2015)。因而,人类的交流不仅表现于听觉形态也表现于视觉形态,典型的如手势交流,手势和语言的形式虽然不同,但是彼此在时间和语义上互相伴随和映射,共同表达相关的交流信息(De Marco,De Stefani,&Gentilucci,2015;Graziano &Gullberg,2013)。伴随语言发生的手势是交流中的一种视觉形态,其与语言的声音形态在交流信息互动过程中形成了一个紧凑的整体(Kelly,Özyürek,&Maris,2010),然而,其又不同于聋哑人使用的手语。手语是一种展现各水平语言结构并全面发展的自然语言,通过系统化和习俗化的手、面部、身体的移动进行语言表达,产生了严谨的语义,形成了完整的言语过程,手语的发生过程具有和口语类似的神经基础(Perniss,Özyürek,&Morgan,2015)。

现实生活中,当人们交谈时通常会做出一些手势,即便是电话交流方式下,人们也习惯性使用手势,尽管另一端的对方根本看不到;同样,交流中的信息接受者不会漠视互动中的手势信息,当语言和手势信息不协调时,人们将表现出疑惑不解而需要对方进一步澄清,甚至手势会像语言一样主导认知理解。比如,先天性盲人从未见过任何手势动作,在交流中仍然频繁使用手势交流(Iverson &Goldin-Meadow,1998);当询问“还有什么适合男人穿戴？”,同时“移动双手仿佛戴上帽子”,回答者将自觉关注“帽子”而非其他衣饰(Broaders &Goldin-Meadow,2010)。交流认知领域中,手势交流的探讨不仅是理论上的,其更具有现实研究意义,不同文化个体在交流中都会使用手势,手势因无处不在而为口语交流增加了想象空间,并且手势不必像口语那样以语法规则为基础线性发生,当语言传达信息困难时,手势观点表达的潜力更为凸显,总之,双手在人际互动沟通中扮演了重要角色。文章将围绕三方面内容对交流手势认知特征做出述评：首先,手势和语言交流的关系,手势虽然不具有完整连贯的交流特征,但是交流中手势的发生过程始终伴随并影响着语言的发生和理解过程;其次,手势相对独立的交流特征,鉴于手势不具有语言媒介完整和连贯交流信息的典型特征,这种交流性是“相对独立的”;最后,教育情境中的手势交流,这是以往研究探讨交流手势认知特征的主要领域,也是“手势和语言交流的关系、手势相对独立的交流特征”在教育情境中的应用体现。

2 手势和语言交流的关系

手势表达普遍存在于不同时空条件下的语言交流中,既可以表达语言未清楚表达或没有表达的思想和观点,又可以增进交流意图、期望的理解,有助于交流公共认知基础的形成,这使得手势成为语言交流之外,展现交流者思想的一扇窗户。交流语义协调观点认为手势克服了语言交流的困难,不仅表现在手势和语言的相伴发生,有时手势先于语言发生,激发语言理解的准备性,这尤其出现在模糊或过渡性知识的语言交流中(Nicoladis,Pika,Yin,&Marentette,2007;Pine,Bird,&Kirk,2007)。总之,手势和语言对于相关信息的共同表达,促进了语言发生的认知加工过程,同时,有助于语义的理解、整合和记忆。

2.1 手势和语言发生的关系

交流中手势使用对语言生成过程的影响性,归纳而言,表现于两个方面：一是手势和语言表达的联合性,即手势表达和语言沟通特征的一致性、共同性;二是手势和语言表达的互补性,即手势表达弥补语言交流的不足或缺乏。Graziano和Gullberg (2013)在实验中招募了儿童被试、母语成人被试、第二语言成人被试,实验过程中被试先听配有图片的故事,之后向同伴转述,结果显示：从手势使用的绝对量看,当交流者语言流畅交流时,手势数量更多,从手势表达自然性看,语言流畅时手势连贯,语言不流畅时手势表达中的停顿更多,而且在不流畅的语言交流过程中,手势几乎都不是完整性的表达,这两个特征跨被试组表现出一致性;但是,在第二语言成人被试的交流中发现,不流畅语言表述时手势动作显著更多,即在语言交流困难时手势表达的努力程度显著增加。可以说,一方面,从交流相关性上,手势是语言交流的辅助手段,表达特征上两者是相似的;另一方面,手势又是语言表意的一种补偿手段,相比于语言交流对词汇和语法的依赖,手势交流更多借助了视觉和模仿性想象,其表意方式更为直观而且是全方位性的。

围绕着手势和语言表达间的关系,研究者提出了不同的解释理论：“增长点理论”立足于手势和语言表达的共同性,“信息捆绑假说”立足于两者间的互补性;“词汇性手势生成模型”强调手势对于语言发生的激活性,而“模拟行为的手势框架理论”则强调语言发生时激活了手势表达。

McNeill和 Duncan (2000)的“增长点理论(growth point theory)”认为交流中手势和语言是一个单一的集成系统,彼此通过“视−空”和语音的分层形式组合成交流信息增长点或整体合成结构。该理论倾向于关注交流中手势和语言表达的共同性和关联性,多种媒介的共同表达不仅有助于交流意图的明确传递,而且有助于多角度增量解释和澄清交流对象;但是,“增长点理论”过于看重手势表达和语言表达的共同性,则产生了手势是语言交流附属的弊端,诚然,从表达的形式、机制以及意识性等特征上,手势和语言认知过程均有显著的差异性,因此从理论所强调的多媒介对于信息的“增量表达”角度,潜在接受了多媒介表达不等同于手势和语言简单的重复性表达。

Kita和 Özyürek (2003)则提出了“信息捆绑(information packaging)假说”,明确指出手势表达不同于语言沟通,交流中手势帮助语言表达者组织和封装了空间视觉信息,其与线性、顺序发生的语言模式相匹配,该理论强调手势表达的空间视觉表征不同于语言表征的认知加工,交流语言在描述复杂空间信息方面存在不足,如多种物品的摆放位置和不同的操作处置,此时信息的准确表达需要进行单元性分解和序列性描述,手势在选择和组织视空单元信息上表现了明显的便利性,可以即时适合和促进语言信息传递。检验信息捆绑假说的简单方式是创设视空操作条件,观察手势表达特征以及对语言交流的促进性,例如,Hostetter,Alibali和 Kita (2007)向被试呈现一些“点”,要求被试描述点系列的特征,发现当点明显可以连接为几何形状时,语言表述更容易,手势显著更少,反之,语言描述困难,手势量增加。简言之,语言表述过程简单容易时,与之匹配的手势表达也相应简单减少;反之亦然。

总之,信息捆绑假说对于手势方便于视空信息表达的解释是客观的,但是仅从视空信息角度出发略显狭隘,并且现实交流中,手势经常可以表达非视空方面的信息,如确定性态度、情绪特点等,进一步而言,即便是在语言流畅交流中手势表达也并没有消失,同时对于交流双方而言又并不显得赘余,另外,在视空交流情境下,手势和语言关系的复杂性还表现在,尽管手势方便于视空信息单元的分解,但是信息的序列性表达或组合仍离不开语言的线性表述,或者说,此时手势表达片段性,而语言描述表现出困难性和残缺性,手势对于语言交流的促进性表现于交流者对于不完整和不准确的语言描述做出了完整而准确的解码,手势语言间的这种契合机制是怎样的？也有待于进一步探查和解释。尽管 Özyürek等(2008)进一步指出,交流中手势是由行动发生器计划的,语言是由信息发生器计划的,手势和语言是由不同的系统产生的,当语言概念化和组织交流信息时,两个系统双向沟通和互动,但是仍然不能获得令人满意的解答。值得肯定的一点是,该理论已经摆脱了增长点理论所片面强调的手势和语言表达上的共同性,而重视两者间在信息表达中的互补性。

如果说“增长点理论”和“信息捆绑假说”是着眼于手势和语言的表意关系方面(即,交流信息的表达);那么“词汇性手势生成模型”和“模拟行为的手势框架理论”则是着眼于手势和语言发生时的认知沟通特征(即,两种交流媒介认知加工过程彼此沟通和相互作用的关系)。Krauss,Chen和Gottesman (2000)提出了“词汇性手势生成模型”(lexical gesture process model),认为交流中人们的手势使用影响语言词汇的选择和语句的复杂性特点,交流中手势对于语言表达产生激活作用,既易化语言发生过程,也易化了语言信息的理解过程。例如,交流者在表达“球滚下山”的同时,做出了一个圆形的手势,这将促进词语“滚”的激活和理解。在语言表达和理解变得困难时,交流者手势的发生频率相应提高(Morsella &Krauss,2004),相反,当禁止手势表达时,交流者语言将变得断续、赘余而不流畅(Rauscher,Krauss,&Chen,1996),即语言表达困难复杂时,手势的激活过程相应也困难和复杂,表现出发生频率的提高;当交流中禁止交流者的手势表达时,由于缺少手势的激活,语言相对变得不流畅。这为该理论提供了较充分的实验研究证据。

与此相对应,Hostetter和 Alibali (2010)提出的“模拟行为的手势框架理论” (the gestureassimulated-action framework)却认为,交流过程中,语言的发生自然激活了与之相应的感知状态、行为的心理表征和模拟,使得伴随语言的手势自然产生,交流语言影响手势表达的形式和内容,这是通过影响语言发出者的心理模拟特征而实现的,简言之,语言交流中包含了感知和行为的心理表征和模拟,而手势是心理表征和模拟的自然产物。

综合对照分析可以看出,这两种理论分歧的焦点在于“交流表征”的争论,语言作为思维的工具和思想沟通的媒介,典型具有抽象性特征,但这不是语言加工的全部特征,语言加工过程存在一定的感知动作心理表征的加工,这样语言加工才不会脱离具体的外界交流情境和事件。因此,从这一意义出发,不论是强调手势对于语言激活和表达易化,还是强调语言自然引发手势动作的发生,共同之处在于认可语言认知加工涉及到交流对象、事件等心理表征的联合建构,交流语言的发生和理解是在特定的具体化的情境下实现的,并伴随特定交流目的的最终实现(如执行某种动作),语言认知加工的行为预期性使得语言信息的传递和沟通处于一个可具体化的认知互动过程中,所以,手势的发生是这种可具体化认知互动的一种自觉的外在表现,其最终服务于交流目的的实现和交流行为的准确实施。概括而言,特定交流表征是抽象的又是具体的,交流的目的是实现交流者公共认知的具体化,交流语言加工过程可能是相对抽象的,但是交流语言的最终功能是具体的,是某种特定操作的成功实现,这是“词汇性手势生成模型”和“模拟行为的手势框架理论”的共通之处,因而,可以说这两种过程在具体的交流情境中可能均存在,而表现上的差异可能与具体交流特征、交流情境等存在关联。

具体化认知理论认为语言认知加工是以感知和运动过程为基础的,特定的交流情境涉及到某些具体化的感知和行为的执行,因此,语言将诱导感知运动神经的激活,该过程是相对自动实现的,在具体交流中即表现出语言和手势的同时发生(Glenberg &Gallese,2012);但是也有观点认为,这些感知运动区域的激活不单纯受语言的影响,也受交流语境特征的调节,例如,研究发现语言中的动作动词显著激活了运动区域,而非动作动词则表现出混杂的结果,即一定程度上也激活了运动区域,因此,感知运动区域的激活是自动关联于语言表达,亦或是也关联于交流的具体情境,则有待于未来研究具体辨别,这涉及到上述语言和手势关系的理论之争。但是有一点是明确的,在采用 fMRI的研究中发现,当语言明确表达动作行为信息时,运动区域的激活水平显著高于表达非动作信息的条件(Schuil,Smits,&Zwaan,2013)。Goldin-Meadow (2015)在儿童解决数学等式问题的情境中,要求被试使用语言表达策略或语言和手势同时表达的策略,fMRI的数据结果显示,使用语言和手势策略被试的感觉运动区域激活水平显著更高,并且该条件下的被试在迁移任务中即便不再使用手势,其感觉运动区域也表现出显著的重复激活。尽管这些结果尚无法明确说明,手势和语言的表意关系(“增长点理论”和“信息捆绑假说”之争),以及语言和手势的发生关系(“词汇性手势生成模型”和“模拟行为的手势框架理论”之争),但是可以明确证实,语言和手势交流的认知神经过程存在差异性,但在特定交流目的和情境下,彼此间又相互沟通和关联;未来认知神经研究的关键不仅需要区分彼此的差异,而且需要与两者共同发生时的认知神经过程相比较,这既有助于说明交流中语言和手势的关系,也有助于澄清上述的理论之争。这一过程是相对复杂的,正如 Newcombe (2010)研究发现,手势的发生不仅伴随感觉运动区的显著激活,而且前额叶区域也显著激活,而前额叶与高级思维相关联。

2.2 手势和语言理解的关系

交流认知研究逐渐发现手势表达影响同伴的语言理解过程,例如,当说“我的朋友正在戴帽子……”时,手同时做出握着帽檐的动作,同伴潜在地自然理解为那个人戴的是一顶“长舌帽子”。以往研究针对“手势对语言理解影响性”的探讨,从交流任务特点上,可以归纳为以下三类：一是观看剪辑视频,Koppensteiner,Stephan和Jäschke(2016)通过向被试呈现具有表情比较性的“政客演讲视频”,发现手势等表情因素的丰富性影响交流语言的理解性,具体表现为政见的支持和接受程度;二是参与交流互动,Cook,Duffy和 Fenn(2013)对比了在有无手势参与指导的学习情境下,学习成绩的显著性差异;三是交流互动情境真实性的比较,Yu,Schermerhorn和Scheutz (2012)对比了“真实交流”和“与等比例人形模型交流”的不同,语言、录像和眼动数据均表明,真人互动交流中交流者对彼此的表情细节更为敏感,Arnold,Kahn和 Pancani (2012)在使用研究者同谋的条件下,也发现同谋的特定手势动作影响被试的交流认知以及后续的语言表达和理解效率。各类研究的指标包括：回答与语言交流有关的问题,重申交流语言,通过评估被试下一交流回合中的语言表达来分析其对同伴语言的理解,评估被试的行为反应。

首先,从交流互动的功能性方面分析。手势对于语言理解的促进性,表现于：手势有助于降低语言信息的模糊性,传达一些语言不便于清楚说明的信息(Koppensteiner et al.,2016;Post,van Gog,Paas,&Zwaan,2013),手势沟通过程体现为一个无意识、非策略性过程,在某种程度上可以降低语言理解的认知负荷(Novack,Goldin-Meadow,&Woodward,2015;Ping,Goldin-Meadow,&Beilock,2014),手势可以配合语言互补性地表达某些语言未表达的信息,从而促进交流者对语言信息的完整理解(Trofatter,Kontra,Beilock,&Goldin-Meadow,2015)。概括而言,手势对于语言理解的促进性,一方面表现在手势表达和语言表达间的关联性和配合性,另一方面在于手势表达相对于语言表达的互补性,即当手势表达语言本身的信息时,手势有助于语言的准确理解,当手势表达语言未表达的信息时,可以弥补语言信息的不完整性,同时语言交流作为一种社会行为,具有意识性、策略性的特征,即通过深思熟虑的过程驱动,手势表达一定程度上弥补了这一不足。具体而言,手势对于语言理解的促进效果,受到交流内容特点、手势和语言的重叠性、交流者的年龄和身份等因素的综合影响(Hostetter,2011);语言交流过程中,手势对于语言理解的促进作用,最终源于多种共享信息的情境比单一语言信息情境提供了更丰富和更强的认知理解线索,使得交流效果显著更好。

其次,从交流语言理解的认知特征方面分析。手势对于语言理解的促进性,源于语言理解认知过程是抽象符号表征和具体化表征共存的混合认知过程。最初,语言理解的“抽象符号认知理论”假设,交流语言理解认知加工过程涉及到一系列解码规则的运用,这些规则操作的对象是抽象的语言符号(Turing,1950);之后,“具体化认知理论”假设,交流语言理解认知加工过程涉及到经验的重现和重组,这是通过大脑感知运动和情感系统建立起来,所以语言理解过程表征的符号是具体的(Glenberg &Gallese,2012);当前,交流语言理解的“双编码理论”进一步针对抽象性和具体化的理论之争做了协调性的解释,提供了一种多元化的观点,强调语言理解过程中抽象和具体化符号的共存性,语言理解认知过程不是单一过程,而是混合认知过程(Arbib,Gasser,&Barrès,2014)。

具体而言,语言认知过程不能单纯作为一组自由浮动的抽象符号和规则而存在;这些符号需要与感知动作、具体经验和情感等联系在一起,这是手势表达促进语言理解的前提。交流中语言符号表征的理解依靠概念联合加工和相应意义的激活,激活过程导致语言理解认知实现从抽象符号向具体化表征的转变。Mahon和 Caramazza(2008)指出该过程主要依赖于大脑中枢的感觉运动区。交流中手势为语言理解认知过程中多种心理表征的联合建构提供了一种机会和便利性支持,如在预测、推理、问题解决以及决策等交流互动过程中,手势和语言的伴随呈现,有助于交流者彼此间将抽象的思维过程具体化表征出来。比如理解一个简单的语句“把牛肉反复油煎后夹在面包中间”,概念的联合加工即时实现(红色的鲜牛肉、油、煎锅、面包等),当同时观察到语言发出者两手反复翻转的动作时,这有助于激活和易化人们对于烹饪过程的具体化理解。诚然,手势对语言理解过程的促进,不能否认语言抽象性特征的典型性,语言理解过程从抽象到具体化的转化,也不可能仅依赖于手势具体化或感知动作的片段表达;手势促进语言理解的关键在于视觉、听觉、触觉等多模式的综合表征,甚至包括特殊感受和情感的传递,使得语言解码过程联系于交流情境中的特定主体、对象和事件,并有助于指向于记忆系统中的特定相关知识经验。可以说,手势对

语言理解的促进基于客观世界中交流对象的多种共现模式(Louwerse,2011)。交流语言理解过程和个人私语认知过程不同,在现实交流语言理解过程中,人们产生大量的心理表征,这形成了一个交流的环境,超出了简单的词汇水平的理解,尽管语言中的动词词汇等一定程度上也可以引发感知运动区的激活,但是这种孤立的激活过程形象性相对减弱且具有跨越不同交流情境的一般抽象性,而交流情境中的手势等因素的共现使得人们集中关注特定交流细节的表征,这些表征可以伴随语言时间过程的发生和信息的纵向展开,而不断输入和即时更新,具体化表征激活的程度决定于语境的具体特点。研究者们指出手势表达和对于语言理解的必要性,决定于语言交流的情境特征,联系于交流者对于手势感知运动角色、语言理解的抽象性和具体性表征特点的某种潜在预测(张恒 超 ,2017;Christensen,Fusaroli,&Tylén,2016;Gahl &Strand,2016)。

3 手势相对独立的交流特征

在交流过程中手势不是语言表达时的附带现象,手势一定程度上具有独立的交流性。Kelly和Church (1998)采用了儿童讲解皮亚杰守恒任务的视频片段,要求儿童被试对语言表达的推理过程做肯否判断,在一个视频短片中,语言中提及到容器的高度,但手势表达的是容器的宽度,被试观看后一致认为讲解者在同时解释容器的高度和宽度,该结果证实听者将说者手势独自传达的信息合并进入了语言信息之中,即说者是同时使用语言和手势交流媒介表达信息,而听者也是同时根据语言和手势信息来理解说者的完整交流意图,该结论进一步得到Ping和Goldin-Meadow (2008)儿童交流实验研究结果的支持。

归纳而言,手势独立的交流特征,表现于三个方面：一是,当双方在彼此可见的交流情境中,交流者的手势更多;反之,手势显著更少(Hostetter &Potthoff,2012);二是,当要求语言表达者向不同的听者重复相同的交流信息时,其手势表达的频繁性并不下降,手势表达表现出服务于信息交流(Jacobs &Garnham,2007);三是,语言交流中手势经常表达一些语言不包含的信息(Melinger &Levelt,2004;O’Carroll,Nicoladis,&Smithson,2015)。这些研究结果和交流现象反映出交流语言和手势间在信息沟通过程中的“不匹配性”特点。

3.1 手势和语言的“不匹配性”反映了交流信息的变化性

手势和语言不匹配的现象是有趣且有意义的,因为这有助于了解语言明确表达信息的“言外之意”。但是手势自身不是语言,手势视觉信号离不开复杂语法结构,使得口语交流中手势和语义彼此形成了一个紧凑的信息整体(Green,Kelly,&Schembri,2014;Kelly et al.,2010);由于两者间表达方式的明显差别使手势不仅可以传达与语言信息相关的联合义,也可以传达语言之外的模糊义,如不确定性推测、直觉等,手势对可能性交流信息或交流信息变化性的表达反映了认知理解的不断深入和变化性。

手势揭示的交流信息变化性,可以更丰富深刻的展现交流者独到的思维过程。如上所提到的,儿童不能理解液体质量守恒的概念时,相信当把水从高的、细的容器中倒入短的、粗的容器里,水的数量变化了;当要求解释时,儿童可能会说“这个容器比另一个容器高”,但与此同时却也通过一个 C形手势来揭示了容器的粗细差异性,换言之,儿童在语言上强调了容器的一个维度(高度),但是手势清楚地表达了他正开始模糊思索的第二维度(宽度),传达了不同于语言的变化性信息。Novack和Goldin-Meadow (2015)指出,交流者通过使用手势传达了其思维中所理解的超出交流语言信息范畴的不同信息,这些信息通常是不稳定的、压缩式的和隐含性的,但是这些信息在明确的语言信息背景下可以为交流双方即时准确地捕捉到。然而,鉴于手势不受口语惯例和规则限制的特点,交流者可以通过手势灵活表达出不同于语言的新信息或新假设,这种信息的变化性是交流者知识理解过程中过渡状态的一种直观形象的表达,也是接下来可能准备明确进入语言内容中的相关信息,因此,对于交流者而言,手势表达出的变化性信息是一种标记,标示出交流者正处于交流推理中的某种重要思维过程中。

反观该问题,如果手势对于交流信息变化性的表达是交流认知过渡性的一种表现,而且这种过渡性倾向于成为语言认知深入发展的一种准备状态,那么,交流过程中有意识控制或指导被试交流手势的运用,是否可以对于语言交流过程产生促进作用呢？或者说,鼓励交流者使用手势是否可以促使那些隐含的观点浮现出来呢？Broaders,Cook,Mitchell和Goldin-Meadow (2007)的实验要求儿童解释他们不正确的数学问题解题思路,然后再要求解决一组相似的数学问题;鼓励一半儿童边解释思路,边使用手势。结果发现,要求使用手势的儿童采用了一些新的解题策略,但是这些策略只能在手势中观察到;未被鼓励使用手势的儿童没有在手势和语言表达中出现这些新策略;重要的一点是,使用手势增加独特新策略的儿童在相似数学问题中表现出更高的解题水平。Beaudoin-Ryan和Goldin-Meadow (2014)在研究中使用了道德推理问题,与未鼓励使用手势的儿童相比,鼓励使用手势的儿童在道德困境解释过程中,通过手势表达出了不同的复合观点,反映其对于多重因素具有更好的理解性,而且,任务结束后,当向被试再次提及类似道德问题时,其语言中的观点数量显著增加,观点的综合性更强,尽管此时其不再高频率使用手势。总之,不论是在适合于空间表征的知识领域(如数学问题),还是在非适合于空间表征的问题情境(如道德问题),手势均表现出有助于激活内隐而正确的观念,从而为进一步语言交流做了充分的准备和过渡;这也表明交流中手势的作用价值不是仅简单体现为对交流者注意的指引,手势的操作性行为可以将交流者的注意指引于问题对象的细节上,进而影响到问题的抽象概括,促进更深层次交流的发生发展。简言之,手势和语言间的不匹配性是交流者交流信息变化的良好指标,代表了交流互动认知的一种过渡状态。

可见,手势不是一个随意的挥手动作,是一个交流媒介和桥梁,是抽象思想沟通和发展的一个有力工具。其一方面表达了交流者对于交流情境、任务和问题的观念,另一方面改变了交流者的思想;手势促进交流思想的传达,并促进观点的萌生和发展,事实上,手势是一种特殊的直观动作,在特定交流情境下能使特定的动作元素突出,这些直观性元素进而促进抽象性思维的沟通和发展。有研究者也指出,手势的这一交流特征在现实中有时可能对交流产生不良的影响作用,Broaders和 Goldin-Meadow (2010)研究中模拟了目击者证人的询问过程,与一般交流情境比较,该情境的敏感性相对更高,研究者控制“讯问者”的语言内容不具有暗示性(因为暗示性问题可能鼓励“目击证人”报告出不真实和不正确的现场细节),但是“语言讯问”中使用了一些具有信息性的手势,比如,当问被试“他穿的什么衣服？”时,同时做了一个“戴帽子的手势动作”,结果发现手势将原本开放性的交流问题变成了目标性问题,被试显著表现出使用“帽子”回答了该问题,“讯问者”的手势提示并误导了“目击证人”;同时研究者也发现,“目击证人”交流期间也自发地产生了一些手势动作,但有趣的是,这些手势通常传达的是其交流语言中未传达的有关事件的真实信息,相反,在“讯问情境下”讯问者经常忽视被试的这些重要手势信息。

3.2 手势和语言的“不匹配性”导致交流认知的改变

手势和语言的“不匹配性”不仅反映了而且引发了交流者交流认知的改变,具体而言：

首先,手势可能表现为交流者对于交流问题对象的隐性知识,当交流者同时表达这种隐性知识和其他明确知识时,这些想法的激活可能会破坏他们原有的认知状态,从而更容易接受交流情境中的多元信息(语言和非语言的情境信息),导致解决问题策略的改变。Brooks和 Goldin-Meadow (2016)指出,手势不仅仅反映交流者拥有的初始想法,还有助于交流者发展和表达新想法,换句话说,交流者产生手势过程带来的认知变化过程多种多样,人们能通过简单地手势为认知的新发展奠定基础。交流中手势和语言两种形态的媒介可以加强交流者的问题表征,反过来这有助于交流者进一步利用手势的沟通优势;然而,两种形式的交流媒介并不是简单的形式并列,而是并列使用了两种不同类型的问题表征形式(语言的明确抽象表达和手势的形象模仿)。

Grenoble,Martinović和 Baglini (2014)认为,在多数语言交流情况下,交流者都会自觉使用双手来互动,其实人们在认知中很难将两种表征形式做出明确的区分。从这一意义出发,手势和语言的“不匹配性”与交流认知、交流效率效果直接相关,两种“不匹配”交流表征形式的并置,让手势成为一种有力的认知工具,因为手势的影响在于能添加第二个表征形式到交流者的认知技能中去,而不仅是一个动作形态;进而,这为后续的研究工作留下了开放性的思考,“不匹配”是交流认知敏感性和过渡性的良好指标,手势将“动作性表征”引入交流心理表征中,反映了其交流认知的一种倾向性,这可能是交流者在语言沟通之外向另一种意义上认知索引转移的标志。

其次,手势可以帮助交流者管理交流认知努力,手势有助于降低交流者的认知努力,节省的认知努力可能投入到交流问题的其他方面,从而促进交流认知的深入发展。Goldin-Meadow,Nusbaum,Kelly和 Wagner (2001)发现,当要求被试解释自己系列数学问题的解题思路,并同时记住一些无关联的刺激项目时,使用手势的被试比不使用手势的被试回忆得显著更多。Novack,Congdon,Hemani-Lopez和Goldin-Meadow (2014)通过数学等式问题研究发现,手势组被试能做到知识理解的一般化或概括化,能迁移性的解决问题;因此研究者强调手势对于认知节省性的影响源于手势本身是一种身体动作,实现了身体动作对抽象思维过程的表现。

关于手势表达的认知机制特征的探讨,行为数据的解释相对的间接而模糊,辅以脑成像技术的研究可以提供一种相对更为直观的理解。Goldin-Meadow (2015)要求儿童被试在解决数学等式问题过程中做出语言表达,如“我想要一边等于另一边” (等价策略),一组被试仅通过语言表达,另一组被试语言表达的同时,产生传达相同信息的手势(如,在等式的左边挥动手,然后在等式的右边做同样的手势),之后将两组中学会解决问题的被试筛选出来,并提供迁移任务,该任务不需要任何被试采用手势表达思维过程,结果 fMRI的数据结果显示,手势组被试感觉运动区域显著重复激活,表明手势促进认知的机制涉及到与问题情境相关的感觉运动表征,并且这些表征在之后不用手势解决相似任务过程中,也可以重复激活。Newcombe (2010)在fMRI观察中发现使用手势的被试不仅感觉运动区显著激活,而且前额叶区域也显著激活,前额叶与高级思维相关联,但是,无关动作不会激活被试的前额叶区域,因此手势对于认知的影响性不同于一般性的肢体动作。

归纳而言,手势交流对于认知的促进作用,以及认知节省性特征,可能源于手势表达的具体化、直观性能够促进认知的一般化过程：手势不仅使交流者集中注意于知识的具体细节,还能使交流者集中注意于知识的迁移过程。

最后,手势可以集中交流者注意于问题表征中的感知或操作性信息,而交流问题解决过程中这些信息更容易被利用。Alibali和Kita (2010)研究中要求儿童被试解决一系列皮亚杰守恒问题,允许使用手势的儿童比不允许的儿童表达了更多的对象感知状态信息;之后的另一项研究中,Alibali,Spencer,Knox和Kita (2011)发现,要求成人被试预测“如果第一个齿轮被转动到一个特定方向,齿轮组中的某一个齿轮将会怎样运动？”,允许使用手势的被试显著使用感知操作策略(表象和模拟各个齿轮的运动)来解决问题,几乎不使用抽象策略(基于齿轮的总数是偶数或奇数来推算某个齿轮的运动)。

尽管手势关联于语言系统,不是一个完全独立的视觉交流系统,但手势是一种表征性的行为,不同于针对对象的操作行为,操作行为体现的是执行功能而非表征功能,这种差别决定了手势对交流认知独特的作用特征。在现实交流过程中,人们产生大量的心理表征,形成一个交流的认知环境,这不是简单仅通过词汇水平来表达的,认知环境是调节抽象表征和具体表征相对影响作用的一个主要潜在因素。尽管当前研究对于交流表征类型的激活机制没有定论,但是有一点是明确的,手势表达集中关注于交流对象的具体化细节表征,这些细节通常无法从语句中获取,或者说,语言认知表征可以是具体化的,但不可能是过度详细的;同时,手势交流的易于利用性还在于,交流语境一般不会约束交流认知始终激活某特定表征,即交流具有动态性和发展性,手势的直观表达使得表征理解的轮替和分割变得形象可视。可见,有关交流抽象性和具体性表征之间交互作用的问题不能脱离交流语境孤立地回答。

总之,手势和语言的“不匹配性”导致交流认知的改变,涉及到不同的过程和机制。例如,在紧急情境中手势可以连接急于表达的断续的抽象概念(Alibali et al.,2014;Schuil et al.,2013),手势可以降低认知负荷(Hu,Ginns,&Bobis,2015),因为手势是身体的一个动作,它对交流认知的影响至少部分源于感知运动系统的认知资源(Ping et al.,2014),手势可以增强口语交流的表达性(Chow et al.,2014;Hostetter,2011)等。在具体交流过程中,手势的具体化表征和语言的抽象表征都很活跃,两者间的复杂关系,一方面是在一个立体网络结构中交互作用和制约,另一方面交流互动中存在从抽象表征到具体表征的不断转换,这些决定了两者间的某种“不匹配性”特征。

归纳以上,手势交流不同于语言交流,不具有完全的独立交流性和表意的完整性;同时,手势在交流中具有和语言不同的交流认知作用和特征：一方面,手势和语言以一种协调方式共同表达交流信息,手势表现出对于交流认知的增强作用,换言之,交流手势的发生部分源于说者增强交流的期望性。另一方面,手势不是语言交流的附属,其一定程度上具有相对独立的交流特征,即手势具有一定相对独立的认知过程和表达性;有研究者称其为“手势的自我认知导向功能”,交流中的手势互动是以肢体动作方式展现已存在的心理表征,该表征不同于语言心理表征,但与语言和思维中正在加工的心理表征密切关联(Chu &Kita,2016)。总之,交流手势的认知特征与语言认知相关,但又不局限于语言信息表达范畴;手势不仅可以表达与语言和思维推理有关的时空运动信息,也可以通过隐喻性方式表达某些抽象性交流信息,并启迪语言的外显性交流。

以往研究主要是在一般文化背景下探讨了交流手势的认知特征,但有研究者较早就指出文化背景或群体身份特征,如国籍、母语、民族、团体等,可以引导交流知识的推理过程,文化提供了针对交流者心理状态的有价值的参考性信息,其影响性具体表现于交流互动调整过程(Fussell&Krauss,1992)。Quinto-Pozos 和 Parrill (2015)研究发现英语交流者手势表达方式具有相似性;Perniss和 Özyürek (2008)发现德国人和土耳其人手势表达方式显著不同,认为这根源于手势交流依赖于语言交流,人们无法单一利用手势的视觉空间特征来表达完整连贯的交流信息。Brentari,Di Renzo,Keane和Volterra (2015)也发现美国和意大利交流者在使用手势表达静态对象和动态事件中均存在差异性,并且两国被试手势表达的差异一定程度上和语言表达差异相一致,文化背景影响交流者手势表达的习俗化特征。Perniss等(2015)认为文化背景影响交流者的交流认知基础,比如,和美国人相比印度人手势表达中手形的区分更加详细,表明丰富的文化使得印度人对手势的形式特征和含义具有更高的敏感性。尽管文化对交流手势的具体影响过程仍然不清楚,但是文化的影响性可能部分地通过基于文化和社会身份的记忆过程来实现。

4 教育情境中的手势交流

当前,关于手势对教学和学习过程的影响,逐渐受到研究者的关注,这也是现实手势交流在教育情境中的表现,手势交流在教育情境中的表现也具有一定的独特性,例如,有研究发现,教育情境下特定的手势表达会和先前的知识经验产生交互影响,有时手势是有效的,有时可能是无效的,甚至可能阻碍学习(Post et al.,2013;Wakefield &James,2015),手势的交流作用和特征可能随年龄而变化(Novack et al.,2015)。就教育角色而言,手势表达的主体可以是教师,也可以是学生,对于教师是教学工具,对于学生是学习工具。手势的方便灵活性特点,具有促进教学和学习的潜力。

4.1 教师手势交流的认知特征

从教师讲授的角度而言,教师的手势表达可以捕捉和引导学生的注意,并充分澄清语言讲解中的信息。

一方面,如前所述,手势表达的独特认知特征不仅辅助教师的语言表达,而且促进学生的语言理解,同时潜在丰富性表现语言讲解的深层内涵。例如,教师使用手势来模拟形状的对称,帮助学前儿童学习双边对称的概念,这种效用产生于手势实现了对抽象语言的形象表达(Valenzeno,Alibali,&Klatzky,2003);研究还发现,在教学对象未直观呈现的条件下,手势仍可以促进学习,Ping和 Golding-Meadow (2010)给 5～7岁的儿童讲授皮亚杰的守恒问题,实验条件分有手势表达和没有手势表达两种条件,手势条件下教师会使用手势模拟表现两个杯子的相对宽度和高度,结果发现,目标存在和目标缺失情境下,手势条件被试的学习效果均显著高于无手势条件被试,证实手势不仅可以引导和集中学习者的注意力,而且向学习者传达了学习观点。

另一方面,教师在教学中使用手势可以向学生提供多种解决问题的策略和方法。Singer和Goldin-Meadow (2005)研究发现教师讲授中同时使用两种交流策略(“语言+手势”)时,学生数学课程学习效果显著优于“语言→语言”策略(语言表达的两种策略是序列发生的),指出手势交流的作用至少部分源于其与语言的同时发生性。Congdon等(2017)的研究进一步发现,在手势表达和语言表达的关系上,手势和语言同时发生条件(“语言+手势”)下学习者对于学习内容的归纳概括和记忆保持效果均显著优于手势和语言序列发生条件(“语言→手势”),手势和语言序列发生条件(“语言→手势”)、语言和语言序列条件(“语言→语言”)间无显著差异,证实手势和语言同时发生时(“语言+手势”)对学习的促进作用高于手势和语言序列发生条件(“语言→手势”)。

许多研究也表明,教学中教师使用手势可以推动更深层次的学习(如,出现新的推理形式、更高的迁移能力以及知识记忆效果等方面),相比不使用手势的课堂教学,表现了更多的优势。例如,Church,Ayman-Nolley和Mahootian (2004)研究指出一年级学生学习皮亚杰守恒任务时,学生在“手势+语言”讲授课堂中学习得更为深入(相似问题理解水平更高),这一致出现于英语母语学生和西班牙母语学生被试中(均采用英语语言讲解)。教师的手势沟通能对学生的学习认知和行为产生重大影响,教师在较难内容的教学中使用手势,有助于易化学习内容。

由于教师的手势表达会影响学生从课堂学习到的知识,也由于教师可以根据自己的想法改变他们的手势交流方式,因此教学中教师有意识使用手势是有益的,有意识使用体现了有计划、有目的地强化教授内容的多样化方式。Stieff和Raje(2010)强调,在现实课堂教学环境中,当不能使用别的教学辅助手段时,手势显得尤为重要和有用,手势可以表达那些语言讲解中具有难度和挑战性的观点与问题。另外,教师手势的使用也会促进教学过程中学生手势表达的增加,即教师乐于在课堂上使用手势,学生也更倾向于使用手势,反过来,使自己从课堂学习中受益(Cook &Goldin-Meadow,2006)。简言之,教学过程中教师手势的使用不仅提高了课堂教学的讲授质量,而且也营造出使用手势的独特课堂文化和教学风格,这对于教与学的双方均是有益的。

4.2 学生手势交流的认知特征

从学生学习的角度而言,手势交流有助于促进学生的学习认知过程和水平。教师通过提问学生,并鼓励学生解释时使用手势,这为学生的手势表达提供了一个机会。

一方面,学生的手势往往可以显示他们未表达于语言中的思维信息,同时向教师传达了自身学习认知状态的重要线索。此时,教师需要留意学生手势传达的信息,据此改变向学生讲授知识的方式,如果老师只留意学生的语言信息,将错过学生手势传达的独特见解和知识,因此这一过程有助于教学更好地贴近学生认知实际(Goldin-Meadow &Singer 2003)。如前所述,手势和语言间的不匹配性是一个较为可靠的学习准备性指标,教学互动的交流情境中,使用不同于语言信息但又关联语言信息的手势并不罕见,有意义的是,手势和语言表达的不匹配性是预测学习者从学习任务中获益的一个良好指标,第一个原因在于,手势和语言表达的不匹配性导致学习者偶尔成功解决问题,这是学习过渡状态的一种表现;第二个原因在于,学习者是为了通过不匹配手势来辅助语言回应教学互动交流情境中的特定问题对象。

Goldin-Meadow和Singer (2003)的研究显示,在解释如何解决数学等式问题时,如果教师指导的学生是手势和语言不匹配的表达学习者,教师也自然会产生手势和语言不匹配的讲授方式,但是,教师的不匹配性和学生的不匹配性存在两点差异：一是,教师通过手势和语言传达的解题策略都是正确的;二是,教师在他们不匹配的手势中所表达的策略经常出现于高水平学习者的语言策略中,即该策略既适合于手势表达也适合于语言表达。与此相反,学生手势和语言表达的策略都不是完全正确的,并且,学生不匹配手势表达的策略因其不是完全正确或恰当,而不出现于语言解释中。

不论如何,学习者手势和语言的不匹配性表明,其能同时注意学习任务和对象的更多相关性信息,这些相关知识使得不匹配学习者处于一个有利的、准备性的并有助于促进的学习准备状态。同时,也可以看出,学生和教师互动中彼此出现的手势和语言不匹配现象存在本质差异,教师作为学科“专家”,其交流互动中的不匹配性反映了他们在回应和指导学生时的沟通调节能力,其目的是为了回应学生的认知需求和知识掌握,相反,学生教学互动中出现的手势和语言不匹配现象,反映的是他们为学习而做出的认知准备性特征,这种准备性是进一步学习和认知发展的一种推动力。

另一方面,学生手势行为本身可以促进自身的学习认知和行为,教师应鼓励学生自己主动产生手势和表达思想。手势是其隐性知识的重要表现,这种隐性知识的表达可以改变自身的认知输入和加工过程,进而改变原有的知识状态,即手势表达可能成为学生知识进一步发展的“脚手架或支架”,鼓励学生的手势表达在激活其隐性知识的同时,也使其更易于接受课堂讲授(Broaders et al.,2007)。Cook 和 Goldin-Meadow (2006)发现,学生会在数学课上模仿他们教师授课时的手势动作,反过来,手势的恰当表达表明他们成功掌握了相应的数学问题类型,教师的手势可以促进学生的手势表达,反过来又促进了学生学习认知和行为的改变。

手势促进学习认知中的“新想法”可能源于两个方面：一是,学习者可以从他们产生的手势中提取问题意义,这也是学习者对他们特定教学互动情境下的重要手势感到敏感的原因之一。二是,学习者因为做了手势或移动了他们的双手,而自觉促进了学习认知和理解,如前阐述,手势不仅反映学习者准备学习的状态,它也能促进学习过程,手势对认知变化的影响源于身体动作本身,其将动作表征引入人们的问题认知表征中,一定程度上同时兼顾了问题抽象性和表达性的特征,进而成为推动学习认知的有力工具。

为了进一步分析学习者自己的手势可能对学习认知产生的影响,需要在实验研究中对手势做出特定的控制,Broaders等(2007)研究中告诉儿童被试,当解释他们对数学等式问题的解题方案时移动他们的双手,结果发现,与没有被告知使用手势的儿童被试相比较,被告知的儿童通过使用手势产生了更多新的、正确的想法。有趣的是,被告知的儿童在手势上产生这些新的和正确想法的同时,继续错误性地语言解释问题解决策略,然而,之后当再提供类似问题时,与没有被告知使用手势的儿童相比较,这些做手势的儿童更好地解决了问题。因此,手势信息尽管未被语言明确而正确的表达,但是却能启发学习者的学习思维过程,进而引导和促进了学习认知过程和水平。后续的研究中,Cook,Mitchell和Goldin-Meadow(2008)进一步发现,通过告诉儿童如何移动双手来学习新问题能够提高他们的认知技能,而且根据指导移动双手的儿童对最近学习知识的保持效果显著更好,即手势指导增强了新知识的记忆。可见,手势表达的指导帮助学习者集中注意力于问题对象的关键特征上,有助于学习者提取解决问题的关键信息。

5 启示与展望

人们语言交流时会使用手势,手势在任何时间段的交流中均扮演了重要的角色,诚然,手势反映了交流者的思想,且经常是那些没有语言明确表达出来的思想,因此手势成为了解交流者认知和思想的一扇窗口。手势不仅是表达者自我认知表现和发现的过程,也帮助交流同伴更好的理解交流意图和期望;在交流的媒介中,手势提供了语言建构和沟通的前提,是语言创造过程的可靠基石之一,由于手势和语言交流的相辅相承性和相伴发生性,使其成为交流认知研究的一个重要方面。未来研究需要进一步探讨以下几个方面的问题：

首先,从手势和语言交流的关系看,语言交流中的手势互动不仅帮助语言发出者表达思想和期望,而且有助于语言理解者做出正确的交流认知推理和互动反馈,并且手势提供了可用于语言构造的信息组块,因此,未来研究需要进一步思考手势对于语言交流互动或交际功能的履行机制和程度等特点,比如,语言互动能力较低的儿童和成年人、专家和新手在交流中手势表达特征差异,以及利用手势为语言交流提供信息组块过程的差异性。

其次,从手势相对独立的交流特征看,手势是通过片段式动作的分割和组合来传递针对性的信息或对象的关键特征,因此,未来研究应关注语言交流过程中的手势交流优势特征,这是手势交流启蒙新思想和改变交流认知的关键切入点,但是手势表达的这种特有认知机制和影响因素均尚不清楚。

再次,从教育情境中的手势交流特征看,手势对于知识的讲授和学习具有重要的现实意义,但是,课堂教学中教师相同的手势,是否对于所有层次和不同特征的学生具有同等的意义和作用,比如,不同发展阶段学生的语言能力是不同的,而同阶段学生间也具有众多的学习认知差异。同样,手势表达是否受学习科目和任务的不同影响,如上所述,以往研究更多采用了空间任务或数学问题情境等,这些交流情境相对较适合于手势的表达和互动。另外,未来对于教学互动中教师和学生手势交流互动高效性认知机制的探讨,将有重要的现实借鉴和指导价值,甚至进一步影响到对教学认知心理、传统教学方法和经验的深入理解,以及是否可以探索建立教师有效使用手势进行教学表达的方法或建议。

最后,鉴于手势交流研究的相对复杂性,以往研究未对手势交流的影响因素做针对性的探讨和归纳,该领域的深入分析研究将有利于交流手势相关理论的建构和完整解释;进一步将涉及到交流手势的一般特征和个体差异问题,比如,交流中有的个体相对更容易产生手势交流;同理有些现实交流情境(如演讲)更容易出现大量的交流手势;还有像某些特殊儿童(如自闭症儿童)可观察的交流手势显著更少,这是否是其特异性表现亦或语言交流的关联性表现。

参考文献

张恒超.(2013).参照性交流中的“听者设计”.心理发展与教育,29(5),552−560.

张恒超.(2017).共享因素对参照性交流双方学习的影响.心理学报,49(2),197−205.

张恒超.(2018).交流语言认知特征.心理科学进展,26(2),270–282.

张恒超,阴国恩.(2014).参照性交流中的非策略性认知过程.心理研究,7(5),7−14.

Airenti,G.,&Plebe,A.(2017).Editorial: Context in communication:A cognitive view.Frontiers in Psychology,8,115.

Alibali,M.W.,&Kita,S.(2010).Gesture highlights perceptually present information for speakers.Gesture,10(1),3–28.

Alibali,M.W.,Nathan,M.J.,Wolfgram,M.S.,Church,R.B.,Jacobs,S.A.,Johnson Martinez,C.,&Knuth,E.J.(2014).How teachers link ideas in mathematics instruction using speech and gesture: A corpus analysis.Cognition and Instruction,32,65–100.

Alibali,M.W.,Spencer,R.C.,Knox,L.,&Kita,S.(2011).Spontaneous gestures influence strategy choices in problem solving.Psychological Science,22(9),1138–1144.

Arbib,M.A.,Gasser,B.,&Barrès,V.(2014).Language is handy but is it embodied?.Neuropsychologia,55,57−70.

Arnold,J.E.,Kahn,J.M.,&Pancani,G.C.(2012).Audience design affects acoustic reduction via production facilitation.Psychonomic Bulletin &Review,19(3),505–512.

Beaudoin-Ryan,L.,&Goldin-Meadow,S.(2014).Teaching moral reasoning through gesture.Developmental Science,17(6),984−990.

Brentari,D.,Di Renzo,A.,Keane,J.,&Volterra,V.(2015).Cognitive,cultural,and linguistic sources of a handshape distinction expressing agentivity.Topics in Cognitive Science,7(1),95–123.

Broaders,S.C.,Cook,S.W.,Mitchell,Z.,&Goldin-Meadow,S.(2007).Making children gesture brings out implicit knowledge and leads to learning.Journal of Experimental Psychology: General,136(4),539−550.

Broaders,S.C.,&Goldin-Meadow,S.(2010).Truth is at hand: How gesture adds information during investigative interviews.Psychological Science,21(5),623−628.

Brooks,N.,&Goldin-Meadow,S.(2016).Moving to learn:How guiding the hands can set the stage for learning.Cognitive Science A Multidisciplinary Journal,40(7),1831−1849.

Buz,E.,Tanenhaus,M.K.,&Jaeger,T.F.(2016).Dynamically adapted context-specific hyper-articulation: Feedback from interlocutors affects speakers’ subsequent pronunciations.Journal of Memory and Language,89,68−86.

Chow,H.M.,Mar,R.A.,Xu,Y.S.,Liu,S.Y.,Wagage,S.,&Braun,A.R.(2014).Embodied comprehension of stories:Interactions between language regions and modality-specific neural systems.Journal of Cognitive Neuroscience,26(2),279–295.

Christensen,P.,Fusaroli,R.,&Tylén,K.(2016).Environmental constraints shaping constituent order in emerging communication systems: Structural iconicity,interactive alignment and conventionalization.Cognition,146,67−80.

Chu,M.Y.,&Kita,S.(2016).Co-thought and co-speech gestures are generated by the same action generation process.Journal of Experimental Psychology: Learning,Memory,and Cognition,42(2),257−270.

Church,R.B.,Ayman-Nolley,S.,&Mahootian,S.(2004).The role of gesture in bilingual education: Does gesture enhance learning?.International Journal of Bilingual Education and Bilingualism,7(4),303−319.

Clark,H.H.(1996).Using language.Cambridge: Cambridge University Press.

Congdon,E.L.,Novack,M.A.,Brooks,N.,Hemani-Lopez,N.,O’Keefe,L.,&Goldin-Meadow,S.(2017).Better together: Simultaneous presentation of speech and gesture in math instruction supports generalization and retention.Learning and Instruction,50,65−74.

Cook,S.W.,Duffy,R.G.,&Fenn,K.M.(2013).Consolidation and transfer of learning after observing hand gesture.Child Development,84(6),1863−1871.

Cook,S.W.,&Goldin-Meadow,S.(2006).The role of gesture in learning: Do children use their hands to change their minds?.Journal of Cognition and Development,7(2),211−232.

Cook,S.W.,Mitchell,Z.,&Goldin-Meadow,S.(2008).Gesturing makes learning last.Cognition,106(2),1047−1058.

De Marco,D.,De Stefani,E.,&Gentilucci,M.(2015).Gesture and word analysis: The same or different processes?.NeuroImage,117,375−385.

Fussell,S.R.,&Krauss,R.M.(1992).Coordination of knowledge in communication: Effects of speakers’ assumptions about what others know.Journal of Personality and Social Psychology,62,378–391.

Gahl,S.,&Strand,J.F.(2016).Many neighborhoods:Phonological and perceptual neighborhood density in lexical production and perception.Journal of Memory and Language,89,162−178.

Glenberg,A.M.,&Gallese,V.(2012).Action-based language: A theory of language acquisition,comprehension,and production.Cortex,48(7),905−922.

Goldin-Meadow,S.(2015).From action to abstraction:Gesture as a mechanism of change.Developmental Review,38,167−184.

Goldin-Meadow,S.,Nusbaum,H.,Kelly,S.D.,&Wagner,S.(2001).Explaining math: Gesturing lightens the load.Psychological Science,12(6),516−522.

Goldin-Meadow,S.,&Singer,M.A.(2003).From children's hands to adults' ears: Gesture's role in the learning process.Developmental Psychology,39(3),509−520.

Graziano,M.,&Gullberg,M.(2013).Gesture production and speech fluency in competent speakers and language learners.Tilburg Gesture Research Meeting (TiGeR) 2013.Tilburg University.

Green,J.,Kelly,B.F.,&Schembri,A.(2014).Finding common ground: Sign language and gesture research in Australia.Australian Journal of Linguistics,34(2),185−192.

Grenoble,L.A.,Martinović,M.,&Baglini,R.(2014).Verbal gestures in Wolof.In Selected Proceedings of the 44th annual conference on African linguistics (pp.110−121).Somerville,MA: Cascadilla Press.

Hellbernd,N.,&Sammler,D.(2016).Prosody conveys speaker’s intentions: Acoustic cues for speech act perception.Journal of Memory and Language,88,70–86.

Hostetter,A.B.(2011).When do gestures communicate? A meta-analysis.Psychological Bulletin,137(2),297–315.

Hostetter,A.B.,&Alibali,M.W.(2010).Language,gesture,action! A test of the Gesture as Simulated Action framework.Journal of Memory and Language,63(2),245–257.

Hostetter,A.B.,Alibali,M.W.,&Kita,S.(2007).I see it in my hands’ eye: Representational gestures reflect conceptual demands.Language and Cognitive Processes,22(3),313−336.

Hostetter,A.B.,&Potthoff,A.L.(2012).Effects of personality and social situation on representational gesture production.Gesture,12(1),62−83.

Hu,F.T.,Ginns,P.,&Bobis,J.(2015).Getting the point:Tracing worked examples enhances learning.Learning &Instruction,35,85−93.

Iverson,J.M.,&Goldin-Meadow,S.(1998).Why people gesture when they speak.Nature,396,228.

Jacobs,N.,&Garnham,A.(2007).The role of conversational hand gestures in a narrative task.Journal of Memory and Language,56(2),291−303.

Kelly,S.D.,&Church,R.B.(1998).A comparison between children's and adults' ability to detect conceptual information conveyed through representational gestures.Child Development,69(1),85−93.

Kelly,S.D.,Özyürek,A.,&Maris,E.(2010).Two sides of the same coin: Speech and gesture mutually interact to enhance comprehension.Psychological Science,21(2),260−267.

Kita,S.,&Özyürek,A.(2003).What does cross-linguistic variation in semantic coordination of speech and gesture reveal?: Evidence for an interface representation of spatial thinking and speaking.Journal of Memory and Language,48(1),16−32.

Koppensteiner,M.,Stephan,P.,&Jäschke,J.P.M.(2016).Moving speeches: Dominance,trustworthiness and competence in body motion.Personality and Individual Differences,94,101–106.

Krauss,R.M.,Chen,Y.,&Gottesman,R.(2000).Lexical gestures and lexical access: A process model.In D.McNeill (Ed.),Language and gesture (pp.261–283).Cambridge,UK: Cambridge University Press.

Krauss,R.M.,&Weinheimer,S.(1964).Changes in reference phrases as a function of frequency of usage in social interaction: A preliminary study.Psychonomic Science,1,113−114.

Levinson,S.C.(2016).Turn-taking in human communication–origins and implications for language processing.Trends in Cognitive Sciences,20(1),6−14.

Louwerse,M.M.(2011).Symbol interdependency in symbolic and embodied cognition.Topics in Cognitive Science,3(2),273–302.

Mahon,B.Z.,&Caramazza,A.(2008).A critical look at the embodied cognition hypothesis and a new proposal for grounding conceptual content.Journal of Physiology-Paris,102,59−70.

McNeill,D.,&Duncan,S.D.(2000).Growth points in thinking-for-speaking.In D.McNeill (Ed.),Language and gesture (pp.141–161).Cambridge,UK: Cambridge University Press.

Melinger,A.,&Levelt,W.J.(2004).Gesture and the communicative intention of the speaker.Gesture,4(2),119−141.

Morsella,E.,&Krauss,R.M.(2004).The role of gestures in spatial working memory and speech.The American Journal of Psychology,117,411−424.

Newcombe,N.S.(2010).Picture this: Increasing math and science learning by improving spatial thinking.American Educator,34(2),29−35.

Nicoladis,E.,Pika,S.,Yin,H.,&Marentette,P.(2007).Gesture use in story recall by Chinese–English bilinguals.Applied Psycholinguistics,28(4),721−735.

Novack,M.A.,Congdon,E.L.,Hemani-Lopez,N.,&Goldin-Meadow,S.(2014).From action to abstraction:Using the hands to learn math.Psychological Science,25(4),903–910.

Novack,M.,&Goldin-Meadow,S.(2015).Learning from gesture: How our hands change our minds.Educational Psychology Review,27(3),405–412.

Novack,M.A.,Goldin-Meadow,S.,&Woodward,A.L.(2015).Learning from gesture: How early does it happen?.Cognition,142,138−147.

O’Carroll,S.,Nicoladis,E.,&Smithson,L.(2015).The effect of extroversion on communication: Evidence from an interlocutor visibility manipulation.Speech Communication,69,1−8.

Özyürek,A.,Kita,S.,Allen,S.,Brown,A.,Furman,R.,&Ishizuka,T.(2008).Development of cross-linguistic variation in speech and gesture: Motion events in English and Turkish.Developmental Psychology,44(4),1040−1054.

Perniss,P.,&Özyürek,A.(2008).Representations of action,motion,and location in sign space: A comparison of German (DGS) and Turkish (TİD) Sign Language narratives.Signs of the Time: Selected Papers from TISLR,8,353–378.

Perniss,P.,Özyürek,A.,&Morgan,G.(2015).The influence of the visual modality on language structure and conventionalization: Insights from sign language and gesture.Topics in Cognitive Science,7,2–11.

Pickering,M.J.,McLean,J.F.,&Krayeva,M.(2015).Nonconscious priming of communication.Journal of Experimental Social Psychology,58,77−81.

Pine,K.J.,Bird,H.,&Kirk,E.(2007).The effects of prohibiting gestures on children's lexical retrieval ability.Developmental Science,10(6),747−754.

Ping,R.M.,&Goldin-Meadow,S.(2008).Hands in the air:Using ungrounded iconic gestures to teach children conservation of quantity.Developmental Psychology,44(5),1277−1287.

Ping,R.,&Goldin-Meadow,S.(2010).Gesturing saves cognitive resources when talking about nonpresent objects.Cognitive Science,34(4),602–619.

Ping,R.M.,Goldin-Meadow,S.,&Beilock,S.L.(2014).Understanding gesture: Is the listener’s motor system involved?.Journal of Experimental Psychology: General,143(1),195−204.

Post,L.S.,van Gog,T.,Paas,F.,&Zwaan,R.A.(2013).Effects of simultaneously observing and making gestures while studying grammar animations on cognitive load and learning.Computers in Human Behavior,29(4),1450−1455.

Quinto-Pozos,D.,&Parrill,F.(2015).Signers and co-speech gesturers adopt similar strategies for portraying viewpoint in narratives.Topics in Cognitive Science,7(1),12–35.

Rauscher,F.H.,Krauss,R.M.,&Chen,Y.(1996).Gesture,speech,and lexical access: The role of lexical movements in speech production.Psychological Science,7(4),226−231.

Schuil,K.D.I.,Smits,M.,&Zwaan,R.A.(2013).Sentential context modulates the involvement of the motor cortex in action language processing: An fMRI study.Frontiers in Human Neuroscience,7(1),100.

Singer,M.A.,&Goldin-Meadow,S.(2005).Children learn when their teacher's gestures and speech differ.Psychological Science,16(2),85−89.

Stieff,M.,&Raje,S.(2010).Expert algorithmic and imagistic problem solving strategies in advanced chemistry.Spatial Cognition &Computation,10(1),53−81.

Trofatter,C.,Kontra,C.,Beilock,S.,&Goldin-Meadow,S.(2015).Gesturing has a larger impact on problem-solving than action,even when action is accompanied by words.Language,Cognition and Neuroscience,30(3),251−260.

Turing,A.M.(1950).Computing machinery and intelligence.Mind,59(236),433−460.

Valenzeno,L.,Alibali,M.W.,&Klatzky,R.(2003).Teachers’ gestures facilitate students’ learning: A lesson in symmetry.Contemporary Educational Psychology,28(2),187−204.

Wakefield,E.M.,&James,K.H.(2015).Effects of learning with gesture on children's understanding of a new language concept.Developmental Psychology,51(8),1105−1114.

Yu,C.,Schermerhorn,P.,&Scheutz,M.(2012).Adaptive eye gaze patterns in interactions with human and artificial agents.ACM Transactions on Interactive Intelligent Systems,1(2),Article No.13.