信息技术下外语课堂的多模态协同研究

王丽锦

摘要：本文探讨了多媒体技术下外语课堂中的的多模态因素，各模态之间的关系，多模态选择的原则和决定因素，多模态的作用等，并以公开课为例阐述各模态之间如何协作对教学产生效果。研究总结，教师应充分利用多种模态和现有技术提高教学效果。

关键词：多模态 协同 媒体 外语课堂

中图分类号：H319  文獻标识码：A  文章编号：1009-5349（2019）09-0001-04

随着信息技术的飞速发展，人与人之间的沟通表达增加了文本、声音、图片的融合（Terry Royce，2002）。当下，如果不了解多模态符号在文中表意中的作用，是不可能真正搞清楚意思，即便仅仅是语言部分（Kress，2000）。我们把交际现象分成三种：单模态、双模态、多模态。单模态指运用视觉、听觉、触觉等的其中一种感觉，通过文字、图画、声音等其中一种符号资源进行交际。双模态指运用视觉、听觉、触觉等的其中两种感觉，通过文字、图画、声音等其中两种符号资源进行交际的两种模态。多模态指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。在多模态交际中，交际的模态不仅局限于语言，或仅限于和语言相关的非语言模态（如目光、手势、表情等），而是扩大为多种模态。即除了语言符号，其他符号系统如图像、声音、动画、气味、人的各种表情及肢体动作等均可用来表意， 而多种符号系统协同进行的表意，能更清晰更令人印象深刻（张德禄，2009）。

随着电脑、智能手机及网络的普及，过去长期以来“一个黑板、一本教科书”的传统书面为主的教学方式逐渐被生动的图像、动画、视频等多模态教学所替代。Jewitt（2009）认为课堂教学就是由多种模态来共同完成的，包括空间、手势、凝视、身势、移动、声音、腔调、音乐、三维事物、口语书面语 图形、表格、图画、动画等（转自张德禄，李玉香，2012）。至今为止，在多模态视觉语法上有所研究的学者主要有Kress，G.and van Leeuwen，T.，Clare Painter，J.R.Martin & Len Unsworth，冯德正等。分析信息技术下多种媒体多种模态的不同模态的形式特征和各模态间的配合，是目前比较匮乏的研究，也是本研究的重点问题。

一、多模态及模态协同

Kolb and Whishaw（2003：174）指出，视、听、触、嗅、味五个感官被认为是“五个模态”（five modalities）或“五组感官”（five groups of senses）。每个模态有各自的子模态（submodalities）。各个模态在大脑里有各自的首要专区分管，有的还有次要区域协助（Kolb and Whishaw，2003：81，转自顾曰国，2007）。

（一）各种模态之间的关系

多模态之间的关系有补缺、强化、重叠等。

当一个模态形式可以独立表达其特殊意义，则不需要其他模态的辅助;当一种模态不能清晰表义，需用另一种用更加具体和形象的模态来表达这种意义，即为补缺作用。例如，教师在讲解什么是智能车时，如果通过语言仍旧无法让学生明白时，则需要其他媒体的配合，比方说向学生展示智能车的图片、播放相关视频。例如在有其他因素干扰的环境中，譬如在周遭噪音大或者教室比较大、没有麦克风的环境中，教师口头讲授无法让后排的学生听清，此时通过播放PPT等，视觉模态对听觉模态起到补充作用;PPT展示中光提供图画，而没有文字，让受众看不明白时，口头话语能补缺意义。

当主要以一种模态表达意义，同时以另一种模态或若干种模态来突出强调重点意义，这就是强化作用。使用其他模态的目的不是为了提供信息，而是强调或突出第一种模态表达的信息，使得第一模态传达的信息更加准确。例如，在英语口语中用重读音节或重读单词强调重点词，用较大的嗓音、较慢音调、拉长的吐字、变音调、提高音高来强调信息，在PPT中以加粗的字体、不同颜色的字、有特色的艺术字来强调重点词句，在播放中以声音提醒、特设动画效果出现等方式提醒观众注意观看重点内容，在图画中把主要信息置于前景，这就使得重点意义突显。

两种或以上的模态出现时，表达的意义是一样的，相互间无明显地突出或强化作用某个模态，这种关系一般称为模态的交叠关系或重叠关系。例如，PPT画面上出现文字的同时，教师对着屏幕一字一词照读PPT上的文字，则屏幕文字的视觉模态与教师的口头话语模态则形成了重叠关系，两种模态中没有强调哪一个模态更重要，也没有弱化哪一个模态。

随着一个新的模态出现，把另一个模态的地位从主导地位变为次要地位，即第二个模态削弱了第一个模态的作用，这就是弱化作用。譬如，在上英文电影视听欣赏课时，教师先导入主题，此时教师的口头语言为主导地位。然后教师让学生观赏电影。此时，学生的注意力主要集中于欣赏电影及台词上，播放的电影的视听模态占主导地位，教师对电影背景介绍的口语模态成为电影视听课的辅助模态。

（二）多模态选择的原则和决定因素

多模态选择的总原则是最优化组合，即利用有限的教学条件，以多种模态最大限度地表意，取得最佳表意效果。不同模态往往不凭单一模态实现表意功能，而是要与其他模态一起配合共同来完成交际目的。不同的环境适用于不同模态，而且不同的场合情境下，各模态的地位作用是不同的，譬如在电视广告和漫画中，视觉模态为主要模态，语言起辅助作用。在一般的课堂教学中，教师的语言（即听觉模态）处于统治地位，其他模态在不同程度地起着辅助、补充、强化的作用。课堂环境中，多数情况下，视觉模态能补充听觉模态所缺失的信息，能强化突显重要信息。但是，教师的语言并不总是处于统治地位，如电影欣赏课的课堂中，对电影画面的视觉和对对话的听觉处于主要模态。由于外语课堂中不同模态往往不能以单一模态实现表意功能，而是要与其他模态一起配合共同来完成交际目的，因此，最关键的是如何将不同模态最优化组合。

张德禄（2010：48-75）认为，在总原则指导下，多模态选择还有其他原则，例如经济原则、适配原则、有效原则。经济原则指的是要尽量简化模态的使用，能用一种模态表义，就尽量用一种模态表意，如若不能，则参与的其他模态应该要尽量简洁易懂。适配原则表示在同时选用两个或以上模态时，各种模态之间要相互协调。从模态之间的配合的角度讲，如果不同模态相互无关、互不衔接、互相矛盾、相互抵消等，会产生负效应，降低教学效果。有效原则意味着要有效地使用模态，避免无效或重复使用，模态的正效果应等于或者大于负效果。对学生问卷调查表明，PPT屏幕呈现语言字符的同时，播放背景音乐可能会干扰学生的注意力;PPT屏幕上过多的内容、过于密集的排版、过小的字体、过多的信息量、多余的模态干扰会带来一定负效应。如果负效应过大，其授课效果可能为零。

多模态选择的决定因素还有文化背景、场所、媒体设备条件、具体情景语境、受众、学习资料、课程等。文化背景包括社会风俗习惯或政治规约，受意识形态支配的观念价值观等。对模态的选择需要放在具体的情景语境中来看。

二、案例分析

（一）模态因素及多模态协同

模态用来实现在特定交际场合下具体话语意义。至于要选择哪种模态实现话语意义，要看设计（design）（Kress，G. & van Leeuwen，T.2001）。本研究教学内容选用大学英语课“UNIT 6 Learning to Work Together”的一次课，该课围绕团队合作精神为主旨展开。节选的此次课为45分钟的公开课授课，教学步骤分别为导入、提问、学生单词竞赛活动、篇章段落大意、难句重点词句分析、学生讨论、总结及课后作业。教师结合教材、黑板文字符号、PPT上的语言符号及音频视频进行教学。

张德禄（2009）从系统功能语言学角度出发，把课堂教学中多模态的选择主导因素划分为教学领域（话语范围），教学对象及与教师的关系（话语基调），教学条件和场所（话语方式）。教学场所整个场所布局属于视觉模态，如讲台、黑板、投影、桌椅、墙壁、电脑。讲台、投影屏幕、黑板处于中心地带，讲台桌子的位置明显高于课桌，学生坐下后需仰视才能看到教师，该空间位置布局关系暗示了教师的权威和主导地位，也表明了教师口头模态的主导地位。教师的活动区域主要在讲台、黑板、电脑桌、投影屏幕之间等中心区域，偶尔下来走动与学生互动。学生固定在座位上，偶尔上讲台参与课堂活动。教师的视觉范围主要是学生，学生的视觉范围主要是教师、PPT、黑板。

教学对象是大一非英语专业的学生，英语基础比较差，英语口头表达能力偏弱。教师为年轻女教师，着装正式，个性活泼，英语口语流利。课堂上，教师授课方式轻松自如，师生互动较多，表明师生关系良好。课程中穿插师生互动环节，如学生上台表演、参与课堂活动等，以及交际过程中教师提问和学生回答。工具性媒体有电脑及网络设备，麦克风，一套音响，两个音箱，投影设备。教师借助工具性媒体主导教学活动，这些媒体起到了辅助教学的作用。

从表1中例子看出，教师的口语为主要模态，其他模态如PPT上的图片、文字符号等起了对主要模态的补缺或强化作用。黑板和PPT等工具性媒体都可以既对教学内容进行重现和强化，又对其进行补缺。口语不能提供的信息，如著名运动员和球队图片，可由图片补充。图片除了强化和补缺重要内容，还可以吸引学生的注意力及加深学生的印象。学生的视觉模态包括观察教师的肢体动作、表情、目光、移动等。在教学中，教师有时侧着身子，有时走到投影旁，有时打手势，有时点头示意。教学设计中的后半部分有学生表演环节，这涉及听觉和视觉角色的转化，学生由听教师口语授课转化到教师和学生观看部分学生表演的视觉模态角色转化。

课堂上的模态主要为视觉模态和听觉模态。从视觉模态上看，教师的视觉对象主要是学生，而学生的视觉对象主要在教师、投影屏幕、黑板;从听觉模态上看， 教师的口语和课上播放的音频视频为学生听的内容，学生课堂发言又成为教师听的内容。教师的口语授课往往是听觉的主要模态。教师使用的工具性辅助媒体为电脑、投影仪及屏幕、黑板，听觉模态的工具性辅助媒体为麦克风和音响。

教师口头语言模态为课堂教学的主要模态，同时协同的模态有视觉和听觉模态，如PPT和黑板承载的文字、图案、图形、图片、音频和视频等。PPT上承載的以视觉模态为主。从视觉模态上看，学生看黑板、PPT、教师的表情和肢体动作等。教师口头语言存在稍纵即逝、不够形象具体的缺点，而黑板的板书能弥补停留时间不长这一缺陷，PPT所承载的图片、视频能弥补文字和口语不够形象具体这一缺陷，并且PPT中的多模态呈现内容能强化重点内容、加深记忆，使复杂内容简单易懂。综上所述，教师口头语言、黑板板书、PPT之间就形成了一种协同关系。

部分授课内容节选及模态解析如表1所示。

（二）对教学的启发

当今科技发展下，教师使用各种现代技术来提高教学效率是必然的趋势，譬如当今采用PPT结合多模态进行教学已是外语课堂教学的常态。根据《大学英语教学大纲》的要求，教师要以有限的教学时间内完成教学目标，而教学操作过程中往往存在教学内容大、时间不足的问题。传统的黑板板书速度慢、信息呈现手段单一，而PPT融合丰富的视觉和听觉，信息呈现的速度快且多样化，能有效达到教学效果。

研究认为：

（1）教师应充分利用学校现有资源、平台、现代工具性媒介来提高教学效果。教师要学会使用现代工具，尤其应学会制作PPT。调查显示，很多英语教师存在的问题有：PPT制作不熟练，不了解学校现有电子资源和网络平台，不善于利用网络和手机进行教学等。

（2）教师除了注意提高英语语音流利标准、音量、语速、节奏等口语模态问题，还应注意利用其他模态，如手势、身势、表情、眼神等与学生交流。问卷调查显示，学生比较喜欢教师以手势、表情、目光等非语言形式表情达意，但多数英语教师在课堂上未能经常利用肢体语言和表情语言来提高教学。

（3）在视觉模态方面，教师应注意自身着装打扮要得体，PPT和黑板上的多模态符号呈现方式应符合视觉感官的要求。譬如PPT上的字体大小适中、内容不过多、排版美观、重难点以红色标出等，黑板板书列出内容概要和重难点。

（4）教师应注意与学生建立良好的人际关系，以情感影响学生的观念和看法。研究发现，师生间的人际关系也影响教学效果。教师授课时应表情亲切，课间或下课前走入学生中间与学生交流，语言尽量幽默生动，这样能拉近与学生的距离，使得课堂互动效果好。

三、结语

教师如何利用信息技术下多种媒体多种模态的模态间的配合达到最佳教学效果是本研究的最终目的。笔者结合课堂实例，阐释了多种模态如何协作。本研究认为，教师应利用各种模态最优化组合，如充分利用学校现有资源、平台、多媒体等现代工具性媒介，利用自身口语模态和眼神、手势、着装等视觉模态，达到教学最优化。

参考文献：

[1]Clare Painter，J.R. Martin & Len Unsworth.Reading Visual Narratives[M].Equinox Publishing Ltd，2013.

[2]Halliday，M. A.K. Language as Social Semiotic[M].London：Edward Arnold，1978.

[3]Kress，G.Multimodality：Challenges to Thinking about Language[J].TESOL，2000（34）：337-340.

[4]Kress，G.& van Leeuwen，T.Multimodal Discourse：The Modes and Media of Contemporary Communication[M].London：Arnold，2001.

[5]Kress，G.and van Leeuwen，T.Reading Images：The Grammar of Visual Design[M].Second edition.London：Routledge，2006.

[6]Terry Royce.Multimodality in the TESOL Classroom：Exploring Visual-Verbal Synergy[J].TESOL Quarterly，2002（2）：191-205.

[7]Weston，Trevor.Atlas of Anatomy[M].London：Marashall Cavendish Books Limited，1992.

[8]Jewitt，C.The Routledge Handbook of Multimodal Analysis[M].London：Routledge，2009.

[9]Kolb，Bryan，and Ian Q.Whishaw.Fundamentals of Human Neuropsychology[M].New York：Worth Publishers，2003.

[10]馮德正.视觉语法的新发展：基于图画书的视觉叙事分析框架[J].外语教学，2015（3）：23-27.

[11]顾曰国.多媒体、多模态学习剖析[J].外语电化教学，2007（114）：3-12.

[12]张德禄.多模态话语理论与媒体技术在外语教学中的应用[J].外语教学，2009（4）：15-20.

[13]张德禄.多模态外语教学的设计与模态调用初探[J].中国外语，2010（3）：48-75.

[14]张德禄，李玉香.多模态课堂话的模态配合研究[J].外语与外语教学，2012（1）：39-43.

Abstract： This article discusses multimodal factors， the relationship among various modalities，the principle of choosing modality and the deciding factors behind it， and the function of multimodalities in foreign language classroom. An open class is used to illustrate how different modalities cooperate to achieve teaching objectives. In conclusion， teachers should employ multimodalities and existing technology to improve teaching.

Key words： multimodality;synergy;media;foreign language classroom

责任编辑：刘健