多模态互动的大学英语视听说教学

韩颖

(广州医科大学 外语教研室，广东 广州 510182)

多模态互动的大学英语视听说教学

韩颖

(广州医科大学 外语教研室，广东 广州 510182)

鉴于听说能力培养在大学英语中的重要地位和信息化社会对人才培养的新要求，以多模态教学理论和建构主义学习理论为基础建立多模态互动的大学英语视听说教学模式。该教学模式较传统的英语视听说教学模式有突出的优势，具体的教学设计必须以教学模态的关系和教学模态选择的原则为依据进行，以达到模态协同提高听说能力的目的。

多模态；大学英语；视听说教学；模态配合；教学设计

一、前言

2007年教育部高教司颁布的《大学英语课程教学要求》对大学英语的教学目标作了如下规定：“培养学生英语综合应用能力，特别是听说能力，使他们在今后工作和社会交往中能用英语有效地进行口头和书面的信息交流。”[1]可见，听说能力是我国大学生英语综合应用能力培养工作的重中之重。目前，我国各地高等院校普遍开设了英语视听说课程，但由于教学理念落后和设备陈旧、授课班级规模大、教材编写以应试为主等因素的影响，英语视听说课程的教学效果往往不尽人意。比如说，某些高校开设的英语视听说课程实际只是英语听力课，教师在课堂上采用 “听录音材料——讲解练习答案——再听录音材料”的单一教学模式，学生在整个教学过程中处于被动和服从的地位，根本无法发挥主观能动性。教学的过程往往是机械的语言输入和输出，过程枯燥乏味，以至于学生缺乏兴趣和主动参与的热情。这种不利于学生英语听说能力发展的教学模式显然不再适应时代发展的新要求，亟待改革和创新。

鉴于目前大学英语视听说教学存在的教学内容单一、教学形式固定、教学方式多为单模态以及学生学习自主性受到限制等问题，本文以多模态话语分析和多模态教学的相关理论为基础，探讨大学英语视听说课堂的多模态化教学模式，从而提高大学英语视听说教学的效果,以达到当代数字化信息社会对大学生英语综合运用能力培养的实际要求。

二、多模态教学的理论基础

1.多模态话语分析

随着现代多媒体技术的飞速发展，人类交际活动中的多模态(multimodality)现象越来越普遍，影视、广告、图片、音乐等充斥着人们的生活，改变着人们的交流方式和意义表达方式。在当今信息化社会，人与人之间信息传递的模式不再局限于以语言文字为主的单模态形式，而是逐渐发展成为以文字、图像、画面、声音、色彩等共同传递信息的多模态模式。这样的背景下产生的多模态话语分析研究兴起于20世纪90年代，一批学者以Halliday[2][3]的系统功能语言学为基础，将语言作为社会符号的研究延伸到语言以外的其他符号系统，并将各种语言和非语言符号看作是各自独立而又相互作用的意义表达资源，强调在话语分析中重视语言特征的同时关注图像、声音和动作等视觉、听觉和行为符号模态在话语中的作用。该研究领域由O’Tool[4]和Kress & Leeuwen[5]开创，前者尝试将系统功能语法运用到视觉艺术的分析，后者系统解释了视觉语法，建立起视觉交流的多模态分析基础。

我国的多模态话语分析研究始于李战子[6]撰文介绍视觉语法，之后胡壮麟[7]、朱永生[8]、张德禄[9]等学者纷纷从社会符号学、多模态话语分析的理论基础与方法以及多模态话语分析综合研究框架等方面对多模态话语分析理论进行了探讨。除了理论研究，学者们还将多模态话语分析的基本理论与英语教学和英语教材编写结合进行研究。

2.多模态教学理论

信息和网络技术的发展不仅使公共交流领域的多模态应用日渐增多，也对大学生读写能力的培养提出了更高的要求。正如胡壮麟[10]所言，“在人类进入社会符号学的多模态化的新世纪，对多模态读写能力的培养应引起重视”。在这种情况下，多模态教学作为一种新的教学理念逐渐发展起来。

这里所说的模态(modal)就是人类通过感观(如视觉、听觉等)与外部环境(如人、机器、对象、动物)之间的互动方式[11]。单模态(mono-modal)学习是指学习者仅使用某一感官与外部环境互动；双模态(di-modal)学习是学习者使用两种感官与外部互动；多模态(multimodal)学习就是学习者使用三个或以上的感官与外界互动。根据顾曰国建构的多模态学习行为模型，多模态学习分为三个过程：(1)学习者与外部环境互动以获取信息。学习者获取信息的途径为视觉、听觉、触觉、嗅觉、味觉、空感和身体仿效等。(2)学习者对获取的信息进行处理和建构意义。建构意义时，学习者的大脑通过视、听、触、嗅和味五组感官处理与外部互动的信息。(3)学习效果通过外部行为表现，学习者获取实践能力。这里的实践能力不仅包括传统的听、说、读、写、译等技能，还包括正面交流互动时的体态语。[12]

多模态教学强调培养学习者的多元读写能力，主张利用网络、图片、角色扮演等多种管道和教学手段来调动学习者的各种感官，使之协同运作参与语言学习。在教学过程中，教师作为组织者通过优化和整合各种多媒体技术条件对学习者的各种感官进行刺激，促使学生对输入信息进行感知、理解、编码和储存。在这个过程中，学习者通过各种途径获取和积累的大量接受性知识能为之后有意识和自动化的产出活动奠定基础。在产出时，教师通过设计各种有利于模态转换的活动促使学生积极参与意义建构，从而提高学习者对所学内容的内化程度和记忆的持久性，强化学习的效果和提高学习的效率。

3.建构主义学习理论

建构主义学习理论(constructivism)认为学习者所获得的知识并非教师传授而得，而是在一定的情境下，通过人际间的协作活动和必要的学习数据而实现的意义建构的过程。学习环境中的四大要素为“情境”“协作”“会话”和“意义建构”。 情境是指学习环境中的情境必须有利于学习者对所学内容的意义建构，教学设计应该以创设有利于学生建构意义的情境作为主要的内容，并应将情境的创设与教学目标相结合。协作发生在学习过程的始终，既包括学习者与自己的协商，也包括学习小组内的协商以及学习者与教师的商榷、讨论和辩论。会话是协作过程的必要环节，学习小组的成员必须通过会话商讨如何完成规定的学习任务。会话也是达到意义建构的重要手段之一，通过协作过程中的会话，学习者的思维成果能在学习小组内共享。意义建构是整个学习过程的最终目标。学习者获得知识的多少取决于根据自身经验建构有关知识的意义的能力，而不是取决于学习者记忆和背诵教师讲授内容的能力。因此，在学习过程中帮助学生建构意义就是要帮助学生对当前学习内容所反映的事物的性质、规律以及该事物与其他事物之间的内在联系达到较深刻的理解。

在建构主义学习理论指导下教学模式是以学习者为中心的，学习者在这个过程中并不是简单被动地接受外部的刺激和输入，而是作为意义的主动建构者参与学习。教师在整个教学过程承担着组织者、指导者、帮助者和促进者的角色，利用情境、协作、会话等学习环境要素充分发挥学生的主动性、积极性和首创精神，最终达到使学生有效地实现对所学知识的意义建构的。而教学过程中使用的媒体也不再是帮助教师传授知识的手段、方法，而是用来创设情境、促进协作学习和会话交流的手段，也是学习者主动学习和探索的认知工具。

可以说，多媒体和网络技术的发展为基于建构主义学习理论的教学模式提供了更理想的认知工具，因而将构建主义学习理论作为多模态教学模式的理论基础之一，体现了教育技术和认知理论的优化结合。

三、多模态互动的大学英语视听说教学的优势

现代数字化社会的迅速发展对大学英语教学和大学生英语交际能力的培养提出了前所未有的新要求，大学英语视听说教学模式的改革因而是势在必行的。与传统的英语视听说教学模式相比，多模态互动的英语视听说教学模式在教学理念、教学手段和方法以及教学效果方面都具有优势。具体来说，多模态互动的视听说教学模式能从以下几方面促进大学英语教学：

1.有利于提高英语语言习得的效率

与传统的英语视听说教学模式相比，教师在多模态英语视听说课堂中能利用图像、画面、声音、视频等多媒体材料以多模态的方式刺激学生的各种感官，使学生与外部环境形成互动，促进信息的输入和加工。通过设计口语或书面形式的活动教师促使学生将输入的信息用外部行为表现出来，实现听觉和视觉模态输入向口语、书写等模态输出的转换。这种模态间的转换以及信息输入和输出处理的循环过程有助于语言知识的习得和记忆水平的提高。

2.有助于学生英语综合应用能力的发展

在多模态英语视听说课堂中，教师通过将与教学主题相关的听力材料、视频材料、口语材料和阅读材料进行有机整合，从而帮助学生在听、说、读的过程中储备了丰富的写作素材，以听促说、以听促读、以听读促写，使教学达到了输入和输出一体化和系统化。而且，围绕同一主题的循环反复输入与输出练习，能增加学生对语言形式的敏感度，也能有效解决学生英语口语表达和写作内容贫乏的问题。这种教学模式不仅促进了学生控制和内化语言知识的过程，而且切实提高了学生的英语综合应用能力。

3.有利于交际情境的创设和学习积极性的提高

在多模态的英语视听说课堂上，教师通过将大量丰富的语言信息通过各种媒体以形象生动的方式呈现给学生，为学生的英语学习创造出真实或接近真实的交际情境，使学生身临其境进行互动、协作和会话，从而有效地完成英语语言知识以及听力和口语技能的意义建构。并且，这种教学模式降低了学生在英语学习中产生的焦虑情绪，激发了他们的学习兴趣，使其享受学习的过程，从而提高学习的效率。而模态间转换的各种活动，如短剧表演、情景对话、主题辩论、小组讨论等不仅为学生的英语口语表达提供了锻炼的机会，也培养了他们的合作意识。同时，丰富的网络多媒体平台还能促使课内教学和课外自主学习的有机结合，提高他们的自主学习能力。

4.有助于学生文化意识的培养

不同文化的内涵不仅体现在语言文字里还体现在各种非语言的符号中。然而传统的视听说教学无法体现如动作、表情、身体接触、空间、色彩等非语言信号所传达的文化背景知识，但多模态视听说课堂里的各种可视材料却能真实、生动和形象地向学生展示说英语国家的人们在日常生活中进行语言和非语言交际的实际情况。这种文化的直观体验不但能提高学生英语听力理解能力和非语言交际能力，而且还能激发他们对相关文化背景知识了解的兴趣。

5.有助于学生良好的多模态交际能力的提高

随着多种模态在交际过程中的普遍应用，仅关注语言知识的英语视听说教学已经不能满足时代发展的需要。英语视听说教学也应该以培养学生的多元读写能力为目标，通过多模态化的教学方式帮助学生识别、理解和运用各种模态和交流方式，从而提升其多模态交际的能力, 使其适应现代数字化社会的要求。

四、多模态互动的大学英语视听说教学设计

教学设计是指教师依据教育教学原理、教学艺术原理，为了达到教学目标，根据学生认知结构，对教学过程、教学内容、教学组织形式、教学方法和需要使用的教学手段进行的策略。从多模态教学的角度说,设计就是所有模态和模态组合的运用，是在某个交际语境中实现话语的手段[13]。因此，在多模态互动的大学英语视听说教学涉及的关键问题就是如何选择不同的模态相互配合以获得最佳的教学效果。下面我们从教学模态间关系、教学模态的选择和配合以及大学英语视听说多模态教学设计三方面说明如何开展多模态互动的大学英语视听说教学。

1.教学模态间关系

张德禄[14]将教学模态间的关系总结为互相强化、互相协调、前景背景、整体部分 (抽象具体)等关系。强化关系是指参与交际的第二种或多种模态能让第一种模态表达的信息更加突出，例如通过多种模态同时刺激听话者的感官，可以提高交际的有效性。协调关系反映了社会交际的多模态特点，当一种模态不能独自完成交际任务时可以由其他模态来补充。前背景关系是指每一个交际事件都有处于前景的模态和背景位置的模态，例如在视听说教学中，听觉模态际处于前景，背景是由其他模态提供的。整体部分 (抽象具体 )关系是指语言模态在交际时未必能把所有的意义都表达出来，假如选择适合的模态提供具体的信息将有助于学生更清楚理解教学内容。

从教学模态配合的角度讲，如果不同教学模态存在相互矛盾、相互抵消、相互无关和互不衔接的情况，就会产生降低教学效果的可能。正如顾曰国[15]所说，多媒体、多模态教学像是一把“双刃剑”，处理好可以把学习者的注意力真正集中在知识点上，达到强化记忆力的作用，从而提高学习效果；处理不好反而会分散学习者的注意力，造成对知识点记忆的干扰，导致瞬间“热闹”而事后“空空”之感。因此，在多模态视听说教学设计中如何恰当地处理好模态之间的协同关系，使之更好地服务于听说能力的提高是至关重要的。

2.教学模态的选择和配合

根据系统功能语言学的语境理论，情景语境有三个变数：话语范围(field)、话语基调(tenor)和话语方式(mode)，分别表示交际的题材和内容，交际者之间的关系(地位、态度、情感等)和交际的管道。在英语教学中，这三个变量会体现为教学内容、师生特点和教学条件。具体来说，教学内容涉及课程的知识领域以及要培养的基本技能和素质，是制约模态选择和教学方法的主要因素。师生特点既包括教师的教学经历、教学理念、基本能力、知识掌握的情况甚至个人爱好兴趣，也包括学生的基本层次、基本特点和学习兴趣。教学条件包括空间条件、设备和用具、教学环境以及传播管道等众多因素。以上三个变量中，教学内容是制约模态选择和教学方法的主要因素，教学条件对教学的交际方式也有直接的影响作用。

英语视听说教学过程中的模态选择也应该遵循三个原则[16]：(1)为教学提供教学情境和便利条件，提高教学效率。教师应利用现代多媒体技术，将真实的语言学习材料以图片、录像、声音等形式呈现给学习者，为学习者的语言学习建构真实的语境。并且教学内容的输入应采用多模态的方式，充分调动学习者的多种感观以促进语言习得。(2)为教学提供辅助条件，提高教学效率。多模态的协同除了可从外部作为教师教学的工具，还能从内部为学习者提供学习的动力，吸引学习者的注意力和提高他们学习的兴趣。(3)为多模态话语交际提供多通道话语意义的表达方式。多媒体同时参与一个交际情景，不仅提高了学习者的学习积极性，而且促进了信息的吸收和不断强化。根据教学模态之间的关系，课堂教学中的模态的选择应以增加正效应为原则，选择的目标应为补缺、强化和吸引注意力。

应注意，这里所说的教学模态的配合是包括以下方面的广义的模态配合：多模态教学内容本身的模态配合，如视频材料本身就会有包括口语、声音、肢体语言等的各种模态；输入模态间的配合，比如由PPT 为载体的模态组合(图像、文字、录像和声音等); 输入模态和输出模态之间的配合，如视频模态输入和口头表达模态输出之间的协同；教师和学生的面部表情和肢体语言；甚至是教学物理条件，如教室的空间布局和教学设备等因素的配合。

3.多模态互动的大学英语视听说教学设计

在进行多模态教学设计的时候，我们可以遵循以下步骤：首先确定教学目标和内容，其次确定设计的依据(制约设计的基本理念)，再次为教学过程设计适合的阶段并根据每阶段的目标细化为具体的教学程序和步骤，最后为每个教学过程选择适合的教学方法并以此为依据选择适合的教学模态。

大学英语视听说课程的教学目标是培养学生英语综合应用能力，特别是加强听说能力，提高学生的文化素养和跨文化交际能力，从而适应我国社会发展和国际交流的需要，其主要的教学内容是英语语言知识与应用技能、学习策略和跨文化交际。因此，在大学英语视听教学过程中，听觉模态应该作为教学的主模态，视觉模态和口语模态为辅助模态，并且以上模态与书面语、图像、色彩、面部表情、手势、姿势和空间等模态形成补充和协同的关系。具体的模态配合应根据不同阶段的教学任务和教学方法做出相应的调整，以达到模态协同促进教学效果的目的。下面分阶段说明如何进行教学设计。

视听说准备或引入阶段的主要任务是根据教学内容让学生熟悉相关的背景知识，激发学生对视听说任务的兴趣，启动学生大脑中的相关图式。教师可运用ppt将相关话题的文字、图片和声音材料组合，对背景知识进行口头介绍。为了增加学生的参与程度，教师也可以预先布置学生准备相关主题的材料，并在介绍阶段让学生以小组的形式或者报告的形式进行展示。教师也可以让学生先观看或听学习内容的开头或结尾部分，然后以小组为单位对主体内容进行猜测讨论。在该阶段，应注意模态配合要以加强正效应和吸引注意力为原则，否则不但不能充分调动学生的感官和激发其学习的积极性，反而容易转移学生的注意力。

视听阶段的主要任务是帮助学生获得可理解的语言输入。在视听输入时，听觉模态是主模态，但视频、图片、面部表情、肢体语言、空间布景等模态能给学生提供理解所需的社会和文化背景信息，补充对话人物关系、人物的心情、对话发生场所和天气环境等各种细节。因此，各种模态的合理配合不仅强化了基本模态——听觉模态表达的信息，也更直观和完整地传达了视听材料的内容，使学生能更有效地理解输入的信息。为了促进学生对视听信息的理解还可以让学生对视听的内容中的重点信息进行记录，将视听模态转变为书面语模态，从而加深记忆和提高输入信息的内化和理解的效果。

视听后阶段的主要任务是巩固和强化视听阶段所内化的信息并进行意义建构。在该阶段教师可以结合学生的记录进行难点讲解，回答问题、内容复述、情景对话、对白模仿、主题辩论和短剧表演等口语活动，帮助学生对在视听部分储存在短时记忆中的信息进行重组、编码后储存到长时记忆，并通过一定的形式让学生将所获得的语言和非语言信息运用在实际交际中，以实现视听输入模态到口语输出模态的转换。通过这些模态转换活动，学生能在接近真实的交际情境中进行协作和会话，不仅能更有效地完成英语语言和文化知识的意义建构，也能提升他们的语言综合应用能力。 此时，课堂活动的主要模态为口语模态，教师和学生的语调、音量、身势、手势、表情、动作等模态为辅助模态。作为课后的作业，教师可布置学生进行摘要写作、事件评论、延伸阅读和相关视频和音频的自主学习等任务，进一步提高学生的视听能力。

五、结论

针对目前大学英语视听说教学在教学理念、教学模式、教学内容和教学手段等方面存在的问题，本文从当代数字化信息社会对大学生英语综合应用能力培养的实际要求出发，以国内外多模态话语研究和多模态教学的相关研究成果为基础，对大学英语视听说课程的教学模式进行了改革性探讨。现代多媒体技术辅助下的多模态互动英语视听说教学模式突破了传统英语视听说教学模式的诸多局限，符合了新时期大学生英语综合应用能力培养的要求，对改变大学英语视听说教学费时低效的现状有着积极的促进作用，值得重视和推广。

[1]教育部高等教育司.大学英语课程教学要求[M]．上海：上海外语教育出版社，2007．

[2]Halliday, M.A.K.Language as Social Semiotic: The Social Interpretation of Language and Meaning [M].London: Arnold, 1978.

[3]Halliday, M.A.K.An introduction to Functional Grammar.London; Baltimore, Md[M].US:Edward Arnold, 1985.

[4]O’ Toole, M.The Language of Displayed Art [M].London: Leicester University Press, 1994.

[5]Kress, G.& Van Leeuwen, T．Reading Images：The Grammar of Visual Design [M].London： Routledge, 1996.

[6]李战子．多模式话语的社会符号学分析[J]．外语研究，2003(5)：1-8．

[7][10]胡壮麟．社会符号学研究中的多模态化[J]．语言教学与研究，2007(1)：1-9．

[8]朱永生．多模态话语分析的理论基础与研究方法[J]．外语学刊，2007(5)：82-86．

[9]张德禄．多模态话语分析综合理论框架探索[J]．中国外语，2009(1)：24-30．

[11][12][15]顾曰国．多模态、多媒体学习剖析[J]．外语电化教学，2007(2)：3-12．

[13]Kress, G.& Van Leeuwen, T.Multimodal Discourse: The Modes and Media of Contemporary Communication[M].London: Arnold, 2001.

[14][16]张德禄．多模态话语理论与媒体技术在外语教学中的应用[J]．外语教学，2009(4):15-20．

InteractiveMultimodalofCollegeEnglishVisual-audio-lingualTeaching

HAN Ying

(Department of Foreign Languages Teaching and Research, Guangzhou Medical University, Guangzhou, Guangdong 510182, China)

In view of the significance of the cultivation of listening and speaking abilities in college English as well as the new challenges faced by undergraduates in the information age, an interactive multimodal college English visual-audio-lingual teaching model is constructed based on theories of multimodal teaching and constructivism. This model has distinct advantages compared to the traditional approach, and the specific teaching design should be based on relations among different modes and the principles of choice of modes so as to achieve the goal of improving listening and speaking abilities through synergy of modes.

multimodality; college English; visual-audio-lingual teaching; synergy of modes; instructional design

2014-07-28

广州医科大学科研青年基金项目《大学英语视听说多模态互动教学模式的研究及实践》(2012B19)

韩颖(1979-)，女，广东广州人，英语语言文学硕士，讲师，主要从事系统功能语篇分析和英语教学研究。

H319.3

A

1008-469X(2014)05-0085-05