国际伴语手势研究:回望与展望

姚剑鹏

(宁波工程学院 外国语学院,浙江 宁波 315211)

0 引言

维果茨基(Lev Vygotsky) (1992)在论述手势与言语之间的关系时,曾打过这样一个比方,如果将氢和氧分开来研究水,那是毫无意义的,因为氢和氧都没有水的特性。唯有将两者结合起来,才能化合成水。这一比方同样适用于手势和言语的关系。它们“同属一个系统” (McNeill, 1992:2),是彼此相关联的意义表达媒介或言语伙伴,是言语模态资源中的主要组成部分。手势与言语互相依存,互为补充,因此得名为“伴语手势”(co-speech gesture,下称手势)。伴语手势顾名思义便是伴随言语产生而自发做出的手势,处于“Kendon连续体”(Kendon’s continuum) (McNeill, 1992:37)的左侧端,即手势(gesticulation)→类似语言的手势(language-like gestures)→形体动作(pantomimes)→象征手势(emblems)→手势语(sign language)。它在言语交际和外语教学中起着积极的作用。该连续体描写了言语交际过程中手势的类别,从非正式的、自发的伴语手臂动作到由社会调节的、标准的常规手势语,体现了手势的层次性,概括了说话者头脑中所映现的言语演变过程。

手势研究可追溯到德国心理学家、生理学家和哲学家威廉·冯特(Wilhelm Wundt)在1893年至1904年间对手势的系列研究(郑红苹 等,2017)。20世纪50年代,伯德惠斯特尔(Ray Birdwhistell) (1952)和阿伯克龙比(David Abercrombie) (1954)等人开展对手势的进一步研究,使手势研究不断趋向成熟。到了六七十年代,逐渐形成气候。自80年代起,发展成为新的手势研究潮流,重点研究手势与言语如何结合产生意义,通常称为“手势研究”派别。其代表人物有肯登(Adam Kendon)和麦克尼尔(David McNeill)等人。

鉴于手势在交际和外语教学中的重要性,本文拟从研究主题和研究方法两方面来讨论国外言语研究界几十年以来对手势的研究,并论述研究过程中产生的理论、假设和争议,展望今后努力的方向。

1 研究主题

与其他非言语模态形式相比,手势得到了西方学界的格外青睐。它是人类最早使用、至今仍很广泛的一种交际工具。在长期的社会交际中,它被赋予了种种特定的含义。人类手势中的99%属于伴语手势,在语义、韵律以及语用上与言语模态相结合,构成交际所需的多模态资源。它由三个阶段构成:准备(preparation)、摆出(stroke)和收回或缩回(recovery or retraction)。

大多数人在谈话时都会做手势,甚至盲人交流时也会付诸手势。手势的普遍性以及重要性自然引起了众多学者的关注。他们针对手势的分类、作用以及认知和语用特征等方面进行了深入的探讨。

1.1分类

冯特从表达理论视角、艾克曼和弗里森从作用视角、麦克尼尔从符号学视角对手势进行了分门别类。早在1893年,冯特依据表达理论的手势区分将手势分成“指征”与“描绘”两大类,并将描绘手势细分成“直接标记”“会意”和“象征”手势。1904年,在其《民族心理学》一书中,他将手势分成“指示”“表现”与“象征”三大类,并将表现手势分成“象形”与“会意”两类,将象形手势细分成“比画”与“定型”两类(郑红苹 等,2017:68-69)。1969年,艾克曼(Paul Ekman)和弗里森(Wallace Friesen)(1969)尝试将手势分成说明、调节、象征和情感。说明手势指的是手和身体动作,如手势、笑声、皱眉、用手指向等,用来说明观点,补充或突显言语信息;调节手势用来控制话轮转换和其他人际交流的程序性内容;象征手势替代言语用来传达信息,具有文化特有性,如澳大利亚人头部侧向移动表示否定等;情感手势表达情感,大部分通过面部表情来表达,如微笑、哭、大笑以及姿势,具有文化差异性。目前学界采纳的分类是麦克尼尔(1992)的分类。他将手势分为象征 (emblematics)、图式(iconics)、隐喻(metaphorics)、指示(deictics)和节奏(beats)。此外,其他分类有很多,恕不一一赘述。

1.2 作用

首先,手势具有充实(substantial)和语用(pragmatic)两大作用(McNeill, 1992; Kendon, 2004)。手势能充实言语信息内容,具有情态(modal)、施为(performative)、语法分析(parsing)和人际(interpersonal)等语用功能。苏珊·葛丁麦道(Susan Goldin-Meadow)等人(1993)指出,手势和言语相互作用使说话者和听话者能够理解言语中并不存在的互补或增补的语义特性,即互补手势和增补手势。前者指的是言语信息之外的手势信息,后者是除了言语信息之外的增补性信息。麦克尼尔(1992)认为,言语和手势遵循了语用同步规则(pragmatic synchrony rule)。也就是说,言语和手势同时发生时,两者起着同样的语用作用。然而,两模态的语用功能还是互补的,如当节奏手势或点头突显言语信息时,两者所表达的语用信息互为补充。同样,两个非言语模态之间如头部移动和凝视也存在紧密的语用和语义协同关系。

其次,手势能帮助说话者提取词汇并跨模态找寻词汇,故被称为“寻词手势” (word-finding gesture)。还可帮助说话者发音(Krauss, 1998);帮助说话者组织说话思绪,将空间表征组织成更为具体的说话包,帮助表达抽象概念(McNeill, 1985),如隐喻手势通过提供互补信息帮助说话者表达复杂的表征,即认知语言学所说的“管道手势”(conduit gesture) (McNeill, 1985);还可延续和转换话轮,改变话题和叙事,并具有指示功能(如McClave, 2000)。

因此,手势能促进言语产生和理解,尤其在外语表达中,它可以消除误解,是成功外语交流心理模拟的重要元素。丘奇(Breckinridge Church)和葛丁麦道(1986)认为,手势能提供线索使说话者理解言语主题组织以及对事件的看法,还能区分说话者无法表述的推理过程。

行动为基础的语言观对手势促进言语理解作出了解释:看到说话者做手势,听话者的镜像神经元就会产生共鸣,从而激活了他对相关概念的控制和预测。需要注意的是,一个手势不一定只激活一个模块。语言观假定,手势可以与说话上下文信息相结合,而这正是提高言语理解力并消除误解的关键。

再者,手势对外语教学和二语习得同样功不可没,它能提供额外的线索与提示来确定言语意义。在外语学习和表达过程中,它能提升学习者对言语的理解,降低认知负载和说话者的工作记忆负载,促进言语认知记忆过程。这从特列尔(Marion Tellier,2008)的实验中可见一斑。实验由20名法国儿童参与。他们需要学习八个英语单词。一组用图片教授,另一组则使用手势来教授,并要求他们重复这些手势和单词。结果显示,手势对二语词汇记忆和词汇知识学习影响较大,留下了很深的记忆痕,从而验证了手势对记忆的促进作用。

手势对于学习者的二语习得具有交际、认知和内省功能(杨晓琼,2011),还能助力学习者输入和输出以及师生互动,是教师帮助学习者更好了解学术语言和概念的众多策略之一。学习者能从功能的角度理解教师手势,并在学习和与教师的社会互动中运用这些手势和其他非言语信息和提示(Sime, 2006)。由于学习者二语水平有限,导致他们无法运用二语技巧来有效理解课堂话语,他们自然会借助手势尤其是教师手势来理解。因此,对于二语学习者而言,手势使输入变得可理解。此外,格尔伯格(Marianne Gullberg) (1998)研究了瑞典语和法语学习者在用本族语和外语复述卡通故事片时运用手势的情况,发现手势能克服言语表达困难。拉扎莱顿(Anne Lazaraton) (2004)分析了教师用手势解释词汇的案例。在18个场合中有14个场合,教师使用了非言语模态,其中12个是手势,两个是身体动作。结果表明,手势是教师解释词汇的重要工具,但她的研究并未涉及教师使用手势的动机。斯默(Daniela Sime) (2006)发现手势及其他非言语模态在语言学习过程中的作用,并总结了学习者认为的教师教育手势的三大功能,即认知(提升理解,引导注意)、情感(传达热情和鼓励)和组织(分配话轮)。

手势对于学习者习得词汇大有裨益。学习者借助手势弥补他们的词汇短板,确定语言难点,处理非流利问题。手势还帮助学习者增强词汇记忆,如艾伦(Linda Allen) (2000)采用前测和后测方法,研究了法语词汇学习过程中手势对学习者词汇记忆(recall of lexical items)的效应。后测结果显示,对实验组被试采用手势来解释词汇,其词汇记忆提升比对照组被试要快。

以节奏手势为例。带有韵律突出的节奏手势为二语词汇学习的最佳组合,被称为“语用手势”(pragmatic gesture)。它激活与语言有关的大脑区域,而不是仅仅激活大脑的视觉及知觉区域,还有利于提升注意力和语言信息编码,进而促进语言发展的认知进程。此外,节奏手势还能激活知觉和运动系统,“也许能使说话者更快地提取到词,仅仅是因为它们是运动行为,而不是因为它们本身是手势” (Lucero et al.,2014:901) 。因此,该手势本身就具有交际功能的运动行为。节奏手势还显示信息聚焦、言语节奏以及话语结构(如McNeill, 1992),具有语用功能,突出信息结构和话语结构(Kendon, 2004)。

手势还被视为交际策略(Gullberg, 1998; Lazaraton, 2004),能帮助学习者提升策略能力,提高交际有效性,促进学习者和交际者之间积极互动,产生共享的社会、物理和心理空间感, 创建最佳发展区。

手势还与会话修补有关联。苏美淑(Mi-Suk Seo)和科西克(Irene Koshik) (2010)基于话语分析研究方法,研究了ESL会话课中用手势来启动修补的现象,发现这些手势像言语修补启动词如‘‘huh?’’,其中包括使劲转头、头侧倾、持续凝视交际对方、瞪大眼等以及头或上身倾向对方。手势修补启动位在阻碍源之后的话轮转换处,会一直保持到问题解决。无独有偶,佐藤林太郎(Rintaro Sato) (2019)讨论了手势对于教师提供口头纠正性反馈的作用及其对学习者领悟(student uptake)的影响。研究发现,教师手势能促进学习者对教师纠正性反馈的注意,有助于学习者修补言语错误。研究还比较了说话者使用和不使用手势对交际的影响。他们发现,如果不使用手势,说话者的言语流利度就会下降,并出现间断语流(Krauss, 1998)。此外,手势使用还与教师的二语使用量有关联。佐藤 (2018)报道了三位日本教师在教授英语时使用手势的情况,发现当教师大量使用二语进行教学时,伴语手势就更有可能出现。

1.3 其他层面研究

(1)手势发生时出现的韵律变化,亦称视听韵律(audiovisual prosody)。这些韵律变化与言语紧密互动,表示具有较高注意力并指明信息聚焦。伯德惠斯特尔(1952)最早考察韵律和手势的相关性。

(2)学习者交际意愿(Willingness to Communicate, WTC),如彭剑娥等人(Peng Jian-E et al.)(2017)区分了教师话语、手势和凝视的语义特征在两种教学场景(高WTC和低WTC)中的细微差别,发现非言语模态的有效运用能促进学习者的交际意愿。

(3)师生的主体间性。研究得出,手势能建立交际双方或师生之间的主体间性(Matsumoto et al.,2017)。

(4)认知。手势是具身的一种表达方式(Hostetter et al., 2008), 是认知系统延伸的物理工具,为认知系统提供稳定的外部物理的和视觉的表征,为思维提供手段。手势的另一个理论分析视角是扎根理论(亦称定着理论和根基理论等)。手势产生符号,并使抽象表征的意义扎根。作为神经加工的概念,扎根理论描绘感觉运动经验是如何产生概念,也描绘思想与指代之间的映射,以便促进意义产生(Nathan, 2006)。这些研究成果为从认知视角尤其是具身认知和扎根理论视角研究手势指明了方向,奠定了基础。

(5)失语症等言语交流障碍问题。这是近几年出现的新动向。尽管学界对于手势在人际交流、言语组织、语误处理、二语习得和记忆等方面所起的积极作用作了大量研究,但手势对于失语症等神经源性交流障碍的康复潜力,仍很少有人问津。随着这几年语言康复研究的兴起,手势与言语障碍之间的关系研究已然成为新趋势,如手势对于失语症、大脑右半球损伤、 创伤性脑损伤和阿尔茨海默病等言语交流障碍所具有的干预作用(Clough et al., 2020)。研究者甚至结合精神分裂症采用功能性磁共振成像方法研究语义复杂性和手势的关系(Cuevas et al., 2021)。

2 研究方法

目前的研究方法主要有:

(1)语料库。20世纪60年代,随着美国Brown语料库的建成,语料库研究迅速崛起,并运用到多种研究领域。到了21世纪,语料库研究方法日趋实用和成熟,录像以及大数据存储技术不断革新,为研究手势提供了新的途径,如伦佐(Virginie Lauzon)和伯杰(Evelyne Berger) (2015)利用十节法语为二外的课堂录像语料建成小型语料库研究课堂互动中话轮分配时教师选择学生说话者的多模态组织,包括手势和凝视等。还可建设专门用途多模态语料库进行研究,如吕夫(Verena Ruf)和纳瓦雷塔(Costanza Navarretta) (2020)就美国前总统特朗普演讲中运用的手势建成专门用途语料库来研究手势和暂停预测听话者反应的功能。比较大型且具有研究价值的语料库有AMI、CLARIN-D和 HUMAINE等。

语料库研究推动了手势标注的研究。有的手势标注方案着眼于形式,有的则聚焦功能,更多的是两者兼顾。这些标注方案包括:1) NEUROGES,将形式和功能区别对待;2)MUMIN,处理手动手势和面部表情的语用功能;3)The Multimodal Score,系统分析手动手势和面部表情;等等。有了标注方案,标注软件自然应运而生,如ELAN、TASX和ANVIL等。

(2)计算机模拟技术。虽然计算机模拟方式并不能够为我们的言语产生模型提供相应的经验证据,但它可以通过对现有经验证据的拟和来为各种复杂理论的正确性提供证据,如小野哲夫(Ono Tetsuo)等人(2001)建立了人机交际中手势的具身交际模型。

(3)眼动、ERP和fMRI技术。这些技术提供了手势对于言语加工的有效性证据,能正确反映言语认知加工的大脑活动区域,更加科学地考察加工过程、特点与脑机制,帮助人们进一步了解手势与言语融合的问题,如伊巴内兹(Agustin Ibanez)等人(2010:48-52)凭借ERP技术,研究了手势对非本族语者比喻性语言加工的影响。

3 理论、模型、假设与争议

3.1 理论与模型

围绕手势建立理论和模型并提出假设是重要的研究内容。麦克尼尔(1992)提出了“增长点理论”(growth point theory)。这是第一个也是最具影响的手势产生理论。增长点即句子的概念起点,是连接语言和意象信息、启动动态认知过程并组织言语思维以产生伴语手势的最初思想单位。该理论主张手势和言语源自同一系统,是同一自组织过程中不可分割的一部分。

德鲁伊特(Jan de Ruiter) (2000a)基于言语产生模型,提出构图模型(Sketch Model)。有别于增长点理论,该模型认为,言语和手势互动源于共享的言语产生概念形成器,遵循平行但不同的产生路径,各自的交际意图相同,属于既相融又独立的系统。模型的概念形成器包含了言语的前言语信息和手势的时空构图。言语和手势在句法形成器作用之前是一同计划的,之后才各自分开,沿言语句法形成器和手势计划器(gesture planner)生成运动程序,并通过言语和手势产生言外动作。

喜多聪太郎 (Sotaro Kita)和奥兹约雷克(Asli Özyürek) (2003)拓宽了构图模型,提出界面模型(Interface Model)。该模型同样是言语产生模型的延伸。在这共享的概念形成器中还有两个不同的子成分即信息产生器(message generator)和动作产生器(action generator),前者形成言语的概念,制定言语命题,而后者产生手动动作和交际手势,激活空间和运动意象的行为图式。这样,手势与空间—运动原理联系在一起,同时通过两个子成分与言语互动。

2008年,霍斯泰特(Autumn Hostetter)和阿里巴里(Martha Alibali)提出了手势为模拟动作模型(Gesture as Simulated Action Model)。该模型认为手势产生于具身认知系统,反映行为和知觉模拟,激活动作,支持语言思维活动,由此产生外显手势。

在手势为模拟动作模型看来,手势产生是一种伴随言语的现象,但并不一定是为了交际,也不一定是便于言语加工,尽管当出现交际困难时,说话者可以调整手势产生以用于交际。该理论模型认为,手势和言语是基于同一个心理意象系统即基于具身认知范畴内的模拟行为和模拟知觉。通常,模拟行为是一个计划好的但没有实施的行为。如果该心理模拟有足够高的激活强度,激活会从计划阶段扩散到实施阶段,因此,便有了可观察到的动作即手势。

3.2 假设

在提出的言语—手势互动假设中,手牵手假设(Hand-in-Hand Hypothesis)(So et al., 2009)认为,手势能够反映同时出现的言语信息。词汇提取假设(Lexical Retrieval Hypothesis)(Krauss et al., 2000)指出,手势通过启动词汇提取直接参与言语产生过程,帮助说话者提取心理词汇中的词条,说明手势能帮助说话者进行言语加工和言语产生;但信息包装假设(Information Packaging Hypothesis) (Kita,2000)则认为,手势构成了视觉—空间表征的基础,有助于说话者选择、包装和组织言语中的视觉—空间信息,即用言语表达知觉或运动知识(perceptual or motor knowledge),说明手势不仅在言语产生而且在认知加工过程中均起着作用。它不仅与词汇提取有关,也与信息在概念层面上的计划有关。手势有助于说话者将空间信息包装成可用语言表达的单元。也就是说,手势在言语产生的第一个阶段即概念形成阶段起到了功能性作用,帮助说话者进行思维活动。

除了上述不同,词汇提取假设强调的是表面言语形式,而信息包装假设则强调视觉—空间信息的组织和编码;此外,在回答手势到底在言语产生的哪个点出现这一问题上,两者的看法各异。词汇提取假设认为,手势是在言语表面形式产生时出现,尤其是手势有助于提取心理词汇中的词汇;而信息包装假设则认为,手势是在信息的概念计划阶段出现,因为手势能帮助说话者将空间信息“包装”到言语单位。阿里巴里等人(2000)用实验支持了信息包装假设。

尚有其他假设值得关注,如喜多等人(2017)提出的手势概念化假设(Gesture for Conceptualization Hypothesis),主张动作图式中的手势根基不但组织言语,而且还通过激活、操纵和包装空间—运动信息来协调认知过程,具有说话和思想的自我导向功能。

3.3争议

围绕手势研究,引发争议如下:

争议1:谁主导?研究产生了语言主导论和手势语言平等论。前者认为,语言在交际中发挥主要功能而手势发挥辅助功能,手势是语言意义的工具,通过多种方式辅助语言表达, 《手势:二语习得与课堂研究》(Gesture:SecondLanguageAcquisitionClassroomResearch)(McCafferty et al., 2005)一书中的诸多研究为语言主导论提供了证据。也有一些研究对语言主导论提出疑问,倾向于认为手势具有独立于语言的属性,并认为语言和手势具有同样的认知起源,两者都是同一个交际目的的结果,在结构、符号和功能上都可以进行系统的区分及描写(如Gullberg, 2010)。

争议2:如何界定?目前,有从功能角度界定的 (如McNeill, 1992),有从具身认知角度界定的(如Hostetter et al., 2008), 还有通过实验界定什么条件下手部运动会被知觉为手势的 (如Novack et al.,2016)。

争议3:何时发生?即如何看待手势与言语之间的时间协同?手势在单词发音之前发生、还是之后还是同步(synchrony),至今尚无正解。麦克尼尔(1992)倾向于同步说,认为同步说明两模态之间在认知上互相依存。他还提出了同步三原则即语音同步原则、语义同步原则以及语用同步原则,并提出了增长点理论。有学者从神经生理学角度提出手势和言语在言语产生阶段的概念联系,还有从感觉运动角度研究手和嘴的互动(如Gentilucci et al., 2007)。然而,也有学者提出质疑(Butterworth et al., 1989),认为有关时间协同的性质尚未明确,动机尚未了解,同步说有待进一步考察。

争议4:是否同源?如果手势与语言是同一来源,即构图模型(de Ruiter, 2000a)所主张的来源于概念形成器,那么同步应事先计划,而后通过同一出口输出。但是如果按照界面模型所认为的那样,即手势来自动作发生器而语言来自概念形成器,那么,手势和语言是否在时间上协同?至今仍是未决问题。

争议5:引发因素?有观点认为,手势是由于说话者在言语产生过程中遇到加工困难所致,如在概念化过程或包装概念信息以便进行语言表达时(Kita, 2000)、提取词汇时(Krauss et al., 2000)或者空间记忆提取时(Morsella et al., 2004)。与困难说(difficulties view)相比,手势为模拟动作模型(Hostetter et al., 2008)主张将手势看作是心理意象的副产品。两者的分歧点在于当人们实施难度不等的任务时如何频繁运用手势。根据困难说,当说话者所实施的任务难度增加时,他就会频繁使用手势,但就手势为模拟动作模型看来,说话者只是在心理意象表征不断被激活时才会频繁使用手势。到底手势源自任务难度还是不断激活的心理模拟,为此,萨森贝格(Uta Sassenberg)和范德梅尔(Elke van der Meer) (2010)进行了地图描述任务实验,实验结果支持手势为模拟动作模型。

4 研究展望与结语

希望今后的研究在下列内容上有所突破:

(1)消除争议。针对上述争议,还需要通过尝试各种办法来求同存异,如开展进一步的实证验证;建立统一的语言—手势产生模型(unified language and speech production model);利用技术系统如虚拟人工智能体(virtual artificial agent)或具身人工智能(embodied artificial agent)等来消除争议。

(2)厘清关系。除了上述同步还是异步的争议,手势研究还产生下列争议:互补(complementary)还是增补(supplementary)、多余(redundant)还是非多余(non-redundant)、常规化还是非常规化(conventionalized or non-conventionalized)等。此外,手势与可视性、交际需求和听话者的关系,也需要进一步诠释。这些关系的理顺对于研究手势以及准确运用手势尤为必要。

(3)验证功能。本文具体讨论了西方学界有关手势作用的论断,但手势对于言语交际和二语习得到底有多大作用?在哪些方面有作用?还需要通过实验、长期历时或纵向个案法等方法来跟踪研究以便能真正地了解手势,使说话者和二语学习者学好并用好手势。

(4)挖掘认知。手势的认知价值还可以被深入挖掘,如手势的具身认知性,与词汇提取、记忆、注意和主体间性等的关系等。探究这些问题势必能对手势研究和非言语模态研究起到推波助澜的作用。

(5)推动实证。虽然这几年实证研究在数量上日益增多,但尚有进一步拓宽和加深的空间。未来的实证研究可在继续探究教师手势的同时,将目光投向学习者手势。可聚焦学习者手势的类型及其目的、学习者手势运用以及与言语的协调、小组活动或结对活动中的学习者手势等问题,开展多维度、跨学科交叉研究。还可研究二语课堂手势与日常会话手势的异同及其作用。

(6)建库求证。从研究成果来看,西方学界对手势的研究还停留在小型的语料库,因此,有必要建设大型的手势多模态语料库。随着语料库建设所需的技术支持条件不断现代化,达到这种目的已成可能。

(7)拓宽范围。虽然学界对手势进行了非常有益的探索,但是有关手势的语用、语义和句法等方面的特征尚需通过各种研究方法加以深入揭示,以便能全面了解这一重要的非言语模态。

综上所述,国外的手势研究已经取得了重大进展。研究结果一致表明,手势是一种行之有效的交际策略,有益于言语交际和二语习得,具有语言学、语用学、认知语言学和社会文化等研究价值。然而,对手势的研究仍有不少争议,还需要更多的实证研究以便能多视角、多维度地了解手势,因此,后续研究仍有很大空间。本文就国际伴语手势几十年以来的研究状况进行梳理,并提出未来发展趋势,希望引起国内学者和外语教师的重视,以期推动国内的手势研究,拓展国内二语习得领域的研究内容,使外语教师和学习者更好地运用手势促进二语发展。