视听理解中体态语功用的文献综述

高　翔

(中国矿业大学 外文学院，江苏 徐州　221116)

视听理解中体态语功用的文献综述

高翔

(中国矿业大学 外文学院，江苏 徐州221116)

摘要：目前，英语听力教学中，视频的有效性已经不言而喻，但如何让学习者了解和更好地使用视频资料成为我们亟待解决的问题。试通过分析视频语料，更细致地研究了视听理解中视觉信号的类别，尤其是体态语在视频理解中的功能，以期为学习者展示更全面的理解途径。

关键词：视听理解；视觉信号；体态语

作者简介：高翔，硕士，副教授，中国矿业大学。

基金项目：中国矿业大学课程建设与教学改革立项项目“支撑内容依托型课程的多媒体库开发应用与研究”(编号：2015YB41)。

文章编号：1672-6758(2015)11-0109-3

中图分类号：H319

文献标识码：标识码：A

Abstract：Now, English teachers have acknowledged that audio-visual materials have significant importance in listening instructions, but how to help learners understand and use visual signals is an urgent task to do. This article analyzes a wide selection of visual materials and carefully studies various types of visual signals, especially, the functions of body language. This may help language learners fully understand the ways of listening comprehension.

一引言

交际教学法主要特点之一就是强调文本和任务的真实性。在听力教学中，真实性不仅表现为文本、语速、语调等语言信息真实，而且意味着学生获取信息的模式应贴近目的语使用环境，即为学习者提供从声音、表情、动作、背景、人际关系等多角度协同构建意义的条件。因为“人们不仅借助声音，还使用整个身体和空间关系进行交流”，[1]所以，基于音、视频的多模态理解模式应成为课堂听力教学的重要组成部分。[2]

二视觉信号有效性之辩

正如Rubin对听力所作的定义，“听力过程是听者主动地选择和解释视觉与听觉信息，以确定所描述的事件或说话人希望表达的意图”。[3]可见视觉信号与听觉信号密不可分，共同构成理解的信息来源。

然而，二语学习者似乎还不习惯从视觉信号中获取信息。有的学习者在压力测试中选择观看视频，但认为干扰严重，而有的干脆闭上眼睛，“眼不见心不乱”。[4]这与学习者的观看习惯虽有一定关系，但似乎更与实验选择的材料有关。同样在对比视频测试与传统听力测试区别的实验中，视频的类型、主题和功能就存在以下差异。

首先，实验采用的视频刺激种类不同，有的采用静态图片[5]，有的使用动态视频[4]。

其次，在视频主题上存在差异，有的选择学术讨论和学术讲座[6]、也有的选择了电视新闻[7]。

再次，采用的视频在信息丰富程度上也存在差异，有的仅提供场景[6]，有的则提供包含场景、体态语和字幕等在内的多种信息。[7]

可见，这些视觉信号包含的视觉元素与声音的交互类型均不相同。因此，作为视听理解教学和研究的出发点，有必要系统理清多模态视听理解中视觉信号的类别与功用。本文将着重剖析视听信号中体态语的类别，及其对视听理解产生的影响。

三视觉信号体态语的类型

在教学和科研中，对视觉信号的关注刚刚萌芽。王萌，谢小苑曾将视听材料分为真实性视听材料和商业性视听材料两类。[8]这种分类是以视听材料的播放属性和加工程度为基础，如是否可以重复播放，或语言是否经过改编。这虽然显示了素材的难易程度，但没有揭示视频构成的成分，对教学的指导作用也就比较有限。高翔，官濛将音图交互型视频做了分类，[9]但没有涉及到人音同步型视频中体态语的类型。

视觉信号指眼睛所能接收到的各类信号，本文特指教学材料中伴随话语(verbal message)出现的影像信息(visual message)，如静态图片、电影中的人与景等。而根据伴随方式不同，视觉信号又可以进一步区分为两种类型：(1)音像同步型，如电影中正在对话或独白的人物；(2)画外音型，如配合播音员评论全屏播放的一段相关新闻录像。它们的最大区别在于视觉信息对意义构建所起的作用不同：音像同步型中，学习者借助说话人的体态语和环境信息构建意义，而画外音型中，学习者透过理清话语与影像的交互模式获取信息。在新闻访谈、电影和美剧等多种常见的视频中，最常见的还属音像同步型，因此，要能从视听多模态信息呈现方式中获益，有必要帮助学习者了解体态语的类别特征，与话语交互的方式，及其对意义构建起到的作用。

课堂教学中的音像同步型视听资料主要包括原版电影、英美肥皂剧、访谈节目等。其中体态语是主要的视觉信息来源，包括手势(gestures)、面部表情(facial expressions)、嘴唇运动(lip movements)和身体姿势(postures)等。[10]

目前，体态语研究已经涵盖体态语习得、跨文化对比和辅助口语表达等领域，本文着重论述四类主要体态语与英语视听理解的关系。

1. 手势语。

对手势的研究由来已久，其分类却错综不一。从视听理解的角度出发，我们更关注话语与手势的关系。将手势和话语视为一体进行分类和研究的是McNeill和他的同事。McNeill等人的研究重点是与话语伴生的手势(co-speech gestures)①，它以话语为边界，很少出现在话语消失以外，因为这类手势“不是外部世界的表现，而是折射出记忆、内心思维和心理表征，类似人的思想”。[11]McNeill根据手势与语言的关系将手势语分为4类：肖似手势(iconic)，比喻手势(metaphoric)，指示手势(deictic)和击节手势(beats)。[12]

肖似手势指配合话语中对实体形状、尺寸或运动轨迹、方向描述做出的手部动作。例如，说话人边说“he grabs a big oak tree and he [bends it way back]②”，边用手做出向后拉的动作。[11]这个例子显示，说话人借助视觉和听觉两个通道传递了同一个意图，此时，肖似手势传递着与话语基本相同的语义信息(semantic content)。那么，当从听觉通道合成的意义不完整时，二语学习者如能有效利用肖似手势，则能弥补缺失的信息。这一点在OcKey的视听测试中得到了验证，多位L2考生表示，通过看到说话人用手在空中划出圆形的轨迹，推断出话题与同心圆有关。[4]

比喻手势指配合话语中对抽象概念的描述做出的手部动作。例如，说话人边说“it [was a Sylves]ter and Tweety cartoon”，边用双手在胸前做出托起一个物体的动作。[11]这个例子中，说话人描述的是卡通节目这一抽象概念，但他却使用双手之间的空间赋予这个抽象意义一个实体界限，同时使这一概念凸显出来，形成说话人希望强调的一个重要信息点。因此，比喻手势在帮助听者将抽象概念具体化的同时，突出了所指概念在一个意群中的重要位置。同样在OcKey的实验中，有考生表示在看到说话人手抬起时，意识到重要信息的出现，于是将听到的信息立刻记录下来。[4]所以，比喻手势有提示重点的作用，但是它还不能完全取代声音信息，学习者有必要以此为重要信号和意义构建的辅助手段，把握说话人的意图。

McNeill将这前两类手势统称为图像型手势(imagistic gestures)，因为它们更具体地描述了物体的形状和动作的轨迹；而后两类手势(指示手势和击节手势)则被称为非图像型手势(non-imagistic gestures)，虽然它们传递的信息与内容关联性不如图像型手势密切，但它们在与话语结合后传递着宏观和微观的信息。

指示手势主要是配合话语中的指示词或不可及概念的指示性手指动作，例如，说话人边说“[where did you] come from before?”边用食指向下指了指说话人与听话人之间的空间。[11]这时说话人所指的并非对话中所说的真实地点，而是一个假想的听话人曾经去过的地方。类似的指示可以用于标识篇章中的结构关系，如位置(这里、那里)、时间(现在、过去、将来)、人物(你、我、他)等。[13]因此在视听理解中，学习者如能有效利用这类指示手势把握篇章的宏观对比关系和结构，会更好地预测说话人意图和主题的变化。

击节手势指手部配合话语的节拍做出的上下移动的动作。这类手势可以以音节为单位，在一个多音节词上做出多次击节手势，也可以以重音为单位，在单词或句重音上做出相应敲击。[13]说话人一般不会滥用击节手势，也就是说，只在话语中出现重要单词或词组，引入新的人物、背景信息时，才会运用。[13]因此，巧妙利用击节手势，二语学习者可以从微观角度辅助音节或意群的切分，提高自下而上处理信息的能力。

综上所述，手势语在意义构建中起到了多种功能，包括从宏观上标识篇章结构、表达态度观点，从微观上切分音节和意群、核实细节信息等。这使手势与话语在意义构建过程中变得密不可分，剥离视觉信号的纯听力教学和测试只能呈现给二语学习者不完整的交际意图(communicative intention)，因而也不能体现学习者在真实交际中的表现。

2. 面部表情。

早期研究指出，表达高兴、悲伤、愤怒、恐惧、厌恶和惊讶的面部表情在人类中具有普遍性，[13]它可以用于强化、预测、甚至取代语言信息。OcKey研究中的受试在访谈中表示，她发现讲课教师在表达不同意某观点时，面部表情发生了变化，这种表情验证了她对声音信息的理解。[4]Wagner的研究也发现参加视听测试的学生不仅可以使用面部表情审核理解的正确性(monitor their comprehension)，而且可以预测作者即将表达的信息。[6]甚至，一个表示困惑的表情就足以暗示对方对所说的要点作进一步解释或重述，[13]此时，面部表情起到了取代话语“I beg your pardon.”的作用。在视听教学中，应该鼓励学习者在将母语交流的经验迁移到二语理解中的同时，借助实例展示面部表情的上述功能。

3. 嘴唇运动。

人们在说话时自然伴随着嘴唇运动。研究发现这对切分音节和确认发音有着重要作用。McGurk and MacDonald通过给发音/ba/配上不同嘴唇运动/ga/发现，英语母语者往往会误认为听到的是/da/音，这说明观看嘴唇运动影响着听力理解的结果。[14]Hardison在EFL学习者中进行了与之相反的常态实验，即验证嘴唇运动是否能协助二语学习者确认原本不易区分的发音，结论证实了观看嘴唇运动的有效性。[15]OcKey进一步从定性角度采用有声思维手段获得了支持Hardison结论的有力证据。以上研究结论说明无论是母语者还是二语学习者都有可能从说话人的嘴唇运动中获得音节切分的信息，只是二语学习者在利用这一视觉信号的直觉反应较母语者偏弱，所以教师有必要在教学过程中帮助学生提高利用这类信号的意识，比如对比相近发音的口型差异、词汇连读时的口型变化等。

4. 身体姿势。

身体姿势包括静态的姿势和动态的身体运动。比如在社会地位差异悬殊的对话中，地位低的一方往往会使用前倾的姿势表示对对方的尊重，另外Kellerman也总结道“大幅度和缓慢的身体运动(如半个身位以上的转动)往往可以暗示话题或语篇结构上的变化”。[13]虽然，在二语学习者访谈中较少提及身体姿势辅助视听理解，但不代表这类信息没有发挥作用，其主要原因可能在于身体姿势在初期能提供较丰富的背景信息，而随后的信息贡献率会大幅下降，研究发现听者往往会在视觉记忆区记录肢体动作，但在汇报时主要陈述听觉记忆区的内容，这也会导致原本不甚丰富的身体姿势信息在听后的报告中较少出现。作为宏观语篇结构的一个标识方式，二语学习者仍应该提高对这类信息的识别能力。

四结语

虽然，上述体态语在二语学习者的口头汇报中有所提及，但这种偶然的报告表现出他们对体态语的理解缺乏系统性。Sueyoshi和Hardison的报告也指出美国人使用的手势要比东方人更多，[16]鉴于“来自低体态语文化的人往往不能解读高体态语文化中人所使用的手势”，[17]可以推测一些外文视听材料中出现的体态语不能为中国学生所理解，因此教师有必要在展示视听材料后，补充相关体态语与话语共同构建意义的知识。这不仅可以增加学生对视听材料的理解深度，而且可以培养学生的文化意识。

考虑到视听过程中，音像信息稍纵即逝的特点，我们不期待学习者在如此短的时间内分析并理解视频中的所有信息，辅助意义构建，但是，我们希望学习者通过了解肢体语这类视频的特点和对信息构建的作用，对视频形成正确的意识。应该说，充分了解多模态视听过程中音、视频信号的特点是有效开展多模态视听教学和相关研究的基础。

注释

①这区别于可以独立于语言存在的手势(emblem)，如表示OK的手势，和可以取代话语的手语(sign language)。

②括号指手势起止的位置。

参考文献

[1]Wylie, L. Beaux gestes: A guide to French body-talk[M]. Cambridge, Mass. 1977.

[2]高翔．英语多模态听力测试的现状与展望[J]. 四川教育学院学报，2011(8).

[3]Rubin, J. An overview to A guide for the teaching of second language listening[A]. In D. J. Mendelsohn & J. Rubin (Eds.), A guide for the teaching of second language listening (pp. 7-11). San Diego: Dominie Press. 1995.

[4]Ockey, G. Construct implication of including still image or video in computer-based listening tests[J]. Language Testing. 2007.

[5]Ginther, A. Context and content visuals and performance on listening comprehension stimuli[J]. Language Testing, 2002.

[6]Wagner, E. Are they watching Test-taker viewing behavior during an L2 video listening test[J]. Language Learning and Technology, 2007.

[7]Guichon, N. & McLornan, S. The effects of multimodality on L2 learners: Implications for CALL resource design[J]. System, 2008.

[8]王萌，谢小苑．视听材料对听力理解和词汇习得的影响[J]. 外语电化教学，2008(3).

[9]高翔，官濛．音图符号交互模式与多模态视听学习[J]. 牡丹江教育学院学报，2012(2).

[10]Knapp, M. L. Essentials of nonverbal communication[M]. New York : Holt, Rinehart and Winston, 1980.

[11]McNeill, D. Hand and Mind: what gestures reveal about thought[J]. Chicago:University of Chicago Press, 1992.

[12]McNeill, D. Gesture and Thought[M]. Chicago: University of Chicago Press, 2005.

[13]Kellerman, S. ‘I see what you mean’: The role of kinesic behaviour in listening and implications for foreign and second language learning[J]. Applied Linguistics, 1992.

[14]McGurk, H. and MacDonald. J. Hearing lips and seeing voices[J]. Nature, 1976.

[15]Hardison, D.M. Second-language spoken word identification: Effects of perceptual training, visual cues, and phonetic environment[J]. Language Learning, 1999.

[16]Sueyoshi, A., & Hardison, D. The role of gestures and facial cues in second language listening comprehension[J]. Language Learning, 2005.

[17]von Raffler-Engel, W. Kinesics and paralinguistics: A neglected factor in second language research[J]. Canadian Modern Language Review, 1980.

Literature Review of the Functions of Body Language in Audio-visual Comprehension

Gao Xiang

(School of Foreign Studies, China University of Mining and Technology, Xuzhou, Jiangsu 221116，China)

Key words：audio-visual comprehension; visual signals; body language

Class No.:H319Document Mark：A

(责任编辑：宋瑞斌)