多模态视觉下课堂教学话语配合研究

夏卫华

（合肥师范学院外国语学院，安徽合肥230061）



多模态视觉下课堂教学话语配合研究

夏卫华

（合肥师范学院外国语学院，安徽合肥230061）

[摘要]新媒体时代，图片、动画、声音等越来越多的参与到课堂话语意义的建构，通过对课堂教学实例的研究发现：同一教学阶段需要文字、图片、身体语言或多媒体等多种模态协同作用，共同配合来完成课堂语义的建构以达到最佳教学效果;同一阶段，同一种模态可能发挥着迥然不同的作用，而其中教学目标对模态的选择起着根本性的决定作用。

[关键词]多模态话语；模态配合；教学目标

1　多模态话语分析与语言教学

多模态话语分析是近二十几年来发展并活跃于西方的一种新的话语分析方式。是O’Toole（1994）[1]，Kress和Van Leeuwen（1996/2006）[2]在Halliday的系统功能语言学（Halliday 1994）[3]的理论基础上，提出的一种新的话语分析方式。在分析语言特征的同时强调图像、动作、颜色、声音等视觉、听觉和行为方面的符号模态在话语中的作用[4]。不同的模态在不同的组织规则（语法）指导下，共同作用，互为补充，形成“合力”，有效地强化，补充，调节话语意义，使话语意义得以充分地表达，使听话者有效地理解话语。

课堂话语研究是话语研究的一个方面，过去多集中在语言研究上。而随着现代化教学手段的飞速发展，网络，多媒体和PPT越来越多的占据课堂的主导地位。教学话语的多模态已成为一种趋势。课堂教学不仅包括空间、手势、眼神交流、身体语言，移动、而且包括声音、腔调、口语、书面语、音乐、动画，图形、表格、图画等[5]因而本文在Kress & van Leeuwen（1996/2006）视觉语法理论的基础上通过常态课堂的观察探讨了课堂教学话语中不同模态之间的相互配合。

2　研究语料来源及研究方法

本文的语料来自于一节常态的高级英语课堂教学，总长45分钟。教学环境是按传统模式安排的教室，前面是讲台，下面是几排规则分布的桌椅。配有PPT投影设备。教学过程是学生根据老师的要求到讲台上展示其作业，老师则在讲台下观察，间杂有与其他学生的双边交际活动，而后老师根据学生提供的内容在讲台上点评和补充。

语言模态和文字模态仍旧是整个教学过程中重要的模态，但以PPT为载体的模态组合，包括图像、图表、文字、动画、视频和声音等也发挥着非常重要的作用；此外教师和学生在教室的活动，教师和学生的肢体语言，面部表情，教室的空间布局，周围的相关环境等等同样对课堂话语意义的建构起着必要的补充和调节作用。

本文以定性的方式探讨不同的模态在实现话语意义中的作用以及各种模态如何协同作用来实现话语的意义。

3　课堂话语描述

教学的主题是美国使用原子弹轰炸广岛（the atomic bombardment of Hiroshima）。教学的目的一方面是帮助学生了解原子弹爆炸时的情况以及原子弹带来的严重后果，从而提供一个可讨论的话题并深刻认识作者的写作意图，训练学生的语言能力和社会认知能力；另一方面是锻炼和培养学生搜集和整理资料的能力，并引导学生如何利用背景资料的补充来更充分地分析和理解课文。在这堂课中，老师和学生是交际者，老师控制并组织整个课堂，而学生则是学习者。双方通过面对面的口头交际，包括手势，动作，表情，口气，腔调等，以及PPT提供的图像，视频，动画、声音等进行交流。

这堂课的教学过程包括以下六个教学阶段：（1）课堂热身，教师和学生互相问候，活跃气氛并引导学生进入学习氛围。（2）导入阶段，通过钓鱼岛事件，引入话题，明确这节课的主要教学任务，讨论日本的军国主义思想和美日关系；（3）主题揭示：通过观看美国使用原子弹轰炸日本时的情况以及带来的严重后果的视频，引导学生找出课文的主题；（4）发展主题：美国为什么要使用原子弹而不是常规武器来轰炸日本，结合课文讨论作者的写作意图和对我们的启迪；（5）重点回顾：综述该节课知识的要点，帮助学生反思；（6）结束：布置作业。

该堂课一共展示了11张PPT和一段视频。按照内容分成四个类别：图片，显示文字，图片和文字，图像和动画。

幻灯片1由文字加图片构成，展示其作为标题的语篇功能，标题是一个介词短语（About Atomic Bombs）和一幅原子弹爆炸后产生的蘑菇云图片，其为名词短语构成的标题提供更为详细的信息，再配合展示者的口头语言，多种模态配合使标题信息非常突出，幻灯片2和幻灯片1差不多，只是将总标题进一步细化成4个小标题（即原子弹研制的历史，广岛和长崎爆炸的原子弹，爆炸后的场景以及影响）进一步为学生提供更多的信息。

幻灯片3、4、8、9和10完全由文字组成，它们都具有标题、作者、主题、发展、结尾等语篇特征。因而可以将其视为一个个独立的小语篇，为课堂话语提供更加具体的文字信息，是师生对信息的共同确认。

幻灯片5、6、7则提供了四幅图片，分别是原子弹爆炸后的废墟和原子弹爆炸受害者畸形的图片。通过对学生的视觉的冲击来传达其潜在的话语：战争给人们所带来的灾难和创伤，从而加深对课文的感性认识和深刻理解。

幻灯片11则为一段视频链接。这个录像片用一系列的画面展示了原子弹爆炸后广岛的满目疮痍和受害者的可怕景况。录像是按照时间连续播放的。要想确定这段录像的意义，可以考虑以下三个因素：（1）从语篇整体上讲，作为话语单位主要切分单位的语篇主题的发展与各种因素的关系，是如何表现的。（2）从经验意义的角度讲，过程（参与者和情景成分）是否发生了实质性的转变。（3）重点描述的与主题相关的处于前景的事物和特征，从而找到话语的信息结构，在模态的形式上发现有意义的区别特征，用来构建语法单位，并进而体现语篇特征[6]。

根据这三个条件，这个视频片段可以做如下分析：

图1　视频语篇的意义分析

这个视频大体可以分成三个阶段：引言阶段由一个老人的讲述引出话题——广岛的原子弹爆炸；第二阶段是爆炸后整个城市的情况的展示；第三个阶段则是受害者的惨状。根据上述张德禄等提出的的三个条件，在每个阶段截取多个录像截屏图片，包括有意义区别性录像片段（即在视频内部表现出一定的一致性），将其视为一个事件，在语法上分析为一个功能结构（见图1）。而每个事件又表现出行动过程（原子弹爆炸和建筑物等被摧毁）、反应过程（人们对原子弹爆炸整件事所做出的反应）、心理过程（人们对原子弹爆炸有可能带来的可怕的后果的思考和想象的过程）、分类过程（人们对原子弹爆炸带来的后果进行分类）和象征过程（即原子弹队广岛及世界的未来的影响）。

在这个视频中，录像，配音，音乐和其他的声音等三种模态协同作用，共同创建语篇的话语意义。其中配音最为明析，明确阐明了话语的整体意义和不同阶段之间的联系和具体意义。图像则是对配音的直观展示和补充，参与话语建构，对语言话语进行强调和补充。音乐则主要是烘托主题，抒发情感和切分不同的阶段。

视频的第一部分是从一个日本老人回忆开始，主要使用录像，老人的话语和配音三种模态。向观众展示原子弹爆炸时的可怕场景。

第二部分则使用了录像，音乐和配音三种模态。录像展示的是原子弹轰炸过后所遗留下来的废墟般的城市，给观众造成一个强烈的视觉冲突，突出原子弹带来的巨大破坏性。这部分的配音，是由一个沉痛的女声概要介绍原子弹爆炸而造成的人员死伤情况，配的是一段，低沉而缓慢的音乐，渲染出人们悲伤的情绪。

第三部分仍然是由录像，音乐和配音三种模态共同构成。录像展示给观众的是很多在原子弹爆炸中受伤的人们，他们身上的外伤给观众一种触目惊心的感觉，直观地显示出原子弹的巨大危害。配音则继续介绍两次原子弹爆炸所造成的人员伤害，尤其突出了辐射所带来的后期影响。音乐仍旧悲伤而低沉，让人觉得心情十分沉重。

每个事件是由一个内部有一定一致性的图段体现，每个图段即为一个过程，过程中有矢量，参与者（老人，受害者等）和情景成分（断壁残垣），每个这样的单位又可包括一到多个图素。[6]因而，这段录像可以作进一步分析（见图2）：

图2　事件构成分析

4　课堂话语中的模态配合

通过以上分析，我们可以看出在整个课堂话语中，语言模态是最主要的模态，老师用他来指导，驾驭和控制课堂，而学生则通过这种模态来学习知识，表达思想。但口语不能长期留存，无法提供形象和具体的信息等，因而课堂话语中PPT，图像、动画和录像则成为口语模态的强有力的支持，再辅以教师肢体语言，和学生之间的互动，共同完成话语意义的建构。下面我们来简略分析一下各种模态是如何协同作用来实现课堂话语意义的建构的。

这堂课的主要目的是借用知识讨论来训练交际能力，加深对课文的理解。口语虽然是一种主要的模态，但单凭口语无法有效地完成交际和知识的传输，需要借助图像，声音，背景，空间环境等模态共同完成这课的教学任务，这样各种模态之间就形成协同关系。

虽然各种模态在教学的各个环节都有参与，但每个环节根据自己的需要又都有所侧重，与其他的阶段有所不同。下面我们就这节课使用的六个环节来分析探讨多种模态是如何协同作用完成教学任务的。（1）课堂热身阶段主要通过语言模态来完成交际，同时伴随有老师和学生间的动作和互动来有效地帮助学生调整其注意力，完成课堂的组织工作。（2）导入阶段以引入新知识和调动学生的兴趣为主，所以教师不仅使用了语言模态，通过展示关于钓鱼岛事件的图片来激发学生的学习兴趣和听说愿望，文字和口语共同提出纲要性的重点信息和背景知识，完成对美日关系的探讨。（3）主题揭示阶段比较繁杂，所以教师不仅使用了口语模态还动用了视频，声音，图片和文字模态展示美国使用原子弹轰炸日本时的情况以及原子弹爆炸后的严重后果，引导学生通过讨论找到课文的主题，认识到战争的危害性。（4）发展主题阶段教师主要利用口语和文字模态来帮助学生找到美国为什么要使用原子弹而不是常规武器来轰炸日本的原因，引导学生寻找作者的写作意图，更深理解课文。（5）教师利用口语和文字模态，简单的再次呈现本节课的知识要点。（6）最后教师使用口语模态和书面文字布置作业。

5　　小结

实验心理学家Treicher[7]通过大量的实验证实:人们一般能记住自己阅读内容的10%，自己听到内容的20%，自己看到内容的30%，自己听到和看到内容的50%，在交流过程中自己所说内容的70%。这就是说，如果既能听到又能看到，再通过讨论、交流用自己的语言表达出来，知识的保持将大大优于传统教学的效果。这说明多种模态结合，不仅能充分调动学生视觉（文字、图形、图像、动画等），听觉（解说，背景音乐和逼真的效果）等各种感官处理功能；还能通过交互式操作刺激学生的触觉，促进感官和想象力的互相配合，非常有利于知识的获取和保持。

总之，话语的多模态化已经成为现代话语的一个突出的特点。教师在组织教学的过程中，各种模态之间互相协同，互补，强化，共同构建了课堂语篇意义。但在上述常态课堂的教学观察中，我们也发现虽然一节课中会使用到很多种模态，但并不是从始至终都是各种模态混用。模态的选择和使用受到了交际目的和授课阶段的制约。交际目的不同，所选择的模态会有不同，阶段不同，所需要的模态也会产生变化。只有根据需求，选择了合适的模态，才能充分地强化语言信息的输入，有力的促进语言教学的发展，从而取得最佳的教学效果，提高外语教学水平。

参考文献：

[1]O’Toole.The Language of Displayed Art [M].London: Leicester University Press,1994.

[2]Kress,G.Reading Images: The Grammar of Visual Design [M].London: Routledge，2004.

[3]Halliday,M.A.K.An Introduction to Functional Grammar [M].2nded.London: Edward Arnold,1994.

[4]张德禄.多模态话语分析综合理论框架探索[J].中国外语,2009（10）:24-30.

[5]Jewitt,C.The Routledge Handbook of Multimodal Analysis [M].London: Routledge,2009.

[6]张德禄，李玉香.多模态课堂话语的模态配合研究[J].外语与外语教学,2012（1）:39-43.

[责任编辑：余义兵]

作者简介：夏卫华（1974-），女，安徽金寨人，合肥师范学院外国语学院讲师，硕士，研究方向为系统功能语言学和语篇分析。

基金项目：合肥师范学院一般教研项目（2014jy17）；安徽省哲学社科项目（AHSK11－12D260）。

收稿日期：2015-07-19

DOI:10.13420/j.cnki.jczu.2016.01.036

[中图分类号]G642

[文献标识码]A

[文章编号]1674-1102(2016)01-0148-03