多模态在英语“教”和“学”中的优势

左红霞

(河南牧业经济学院外语系，河南郑州450044)

多模态教学法始于20世纪90年代，它的理论基础是多模态话语分析理论。近年来，多媒体网络技术迅猛发展为高校外语多模态教学模式的应用搭建了技术平台，其理念在现代信息技术高度发达的背景下得到广泛应用。国内学者大都把它应用到各种语篇话语分析中，也有一些学者开始把该理论引入“教”和“学”的研究之中。

一、多模态话语分析研究现状

多模态话语分析的研究最早可追溯至1952年由美国语言学家Harris提出的话语分析理论。随后，国外学者纷纷撰稿发文从不同理论视角对多模态话语进行了研究。其中Halliday的社会符号学，当属最具代表性的理论视角之一，他将语言的社会符号特性扩展到图像、动作等方面，对多种模态的交际手段展开系列研究。Kress＆Leeuwen以韩礼德的功能语法和其比照系统功能语法的纯理功能理论为基础，从社会符号学角度建立了对图像进行多模态语篇分析的理论框架，主要分析了图像、声音和颜色等在语篇中的作用;Iverson从历时研究的角度，探究人类多模态交际的发展轨迹;Martin＆Stenglin则探讨了空间设计等。

国内研究中最早将这一理论的分析框架引介中国的南京国际关系学院的李战子教授，于2003年发表了题为《多模式话语的社会符号学分析》的论文，她不仅向中国学者介绍了基于系统功能语言学的多模态话语分析框架，而且探讨了多模态话语分析的教学意义。2007年复旦大学朱永生教授发表的《多模态话语分析的理论基础和分析方法》论文，从系统功能语言学角度开展多模态话语研究并提供了理论基础和分析方法［1］。此后，国内多模态话语的研究逐渐增多，如韦琴红、辛志英、张德禄、郭万群、等，他们先后对多模态语篇分析理论、方法和应用等方面开展了研究，主要从语言符号系统的各个层面对话语进行分析研究，且多集中于对多模态话语的意义构建、模态之间的互补协同等问题的研究［2］［3］。国内第一部题为《视觉环境下的多模态化与多模态话语研究》的多模态话语研究方面的专著于2009年6月出版［4］，多模态语篇分析已成为一个引人瞩目的研究领域。

伴随多模态话语分析研究的不断深入，有学者梳理话语研究成果发现“迄今为止的话语分析基本上局限于语言本身，即只注意语言系统和语义结构本身及其与社会文化和心理认知之间的关系，忽视了诸如图象、声音、颜色、动漫等其他意义表现形式”［1］。那些传统意义上一直被人们视为处于辅助位置的副语言符号，诸如图像、颜色和动作等，在现代社会交流中已完全改变其角色，与语言符号一起共同参与意义构建，以往那种单纯语言的单模态语篇表达方式已经被多模态的符号系统所代替。因此，以单一语言文字符号为中心，帮助学习者掌握读写技能等语言基本技能的识读认知能力(literacy)，也无法满足人们对信息摄入的需要，单纯从语言的角度研究话语分析的思路也存在一定的局限性，已经不能引领话语研究向纵深方向做更进一步全面深入的探究，这些不仅催生新媒体、新视角、新思路的不断产生，而且引导人们开始关注话语研究的新视角，即多模态话语(multimodal discourse)。

二、多模态话语分析相关概念的意涵解读

在多模态话语分析中，经常涉及模式(mode)、媒介(medium)与模态(modality)三个词语，他们彼此之间意义上有一定的联系，但界限并不十分明确，且易造成混淆和误解。

(一)模式

模式即系统功能语言学所指的话语模式(mode of discourse)，意指交流渠道(channel of communication)，通常包括口头模式(spoken mode)、书面模式(written mode)、电子模式(electronic mode)等。模式的选用和变化会对信息的流动(information flow)产生一定程度的影响，最终影响语篇具备的特征亦即语篇特性(texture)。

(二)媒介

媒介亦即交际媒体，指人们交际中直接接触和使用的工具，诸如教师实施教学过程使用的黑板、计算机、电视机、扩音器、投影仪、录音机、录像机等，是符号分布印迹的物质手段。如语篇生成采用的印刷或书写的手段，说话时发出的声音，肢体动作或计算机显示器上的光脉冲等都是媒体。当今信息化社会，媒体具有多元化特征，大量新闻、信息除了通过传统的报刊、杂志等书面媒体发布，还通过网络、移动设备等多种模态形式的新媒体传播外，以往那种单纯语言的单模态语篇表达方式已经被多模态的符号系统所代替，也孕育了新媒体、新视角、新模态的不断产生。

(三)模态

所谓模态实际上是一种感知模式。从生命科学研究角度看，生命体在历经世代残酷的物竞天择演化过程中逐渐获得视觉、听觉、嗅觉、味觉、触觉等五种不同的感知渠道(sensory channel)。这些感知渠道相互作用，对周围的一切刺激做出迅速而有效的反应，并由此产生5种交际模态，即视觉模态(visual modality)、听觉模态(auditive modality)、触觉模态(tactile modality)、嗅觉模态(olfactory modality)和味觉模态(gustatory modality)，其中与话语分析关系最为密切的是视觉模态和听觉模态。由于科学技术的发展，人们凭借一种名为数据手套(dataglove)的方法，传递手指弯曲的不同角度，可以打出各种各样的三维手势，这种语言和手势的结合，使人机对话的效果更接近自然的人际对话，便是触觉模态应用的典型范例。因此，模态是指人类生命体运用视觉、听觉、触觉、味觉、嗅觉等多种感知渠道，借助语言、图像、声音、肢体动作等多种手段和符号资源，与外部环境中诸如人、动物、机器、物件等之间进行交际的现象或互动方式。仅用单个感官进行互动的方式称为单模态，借助两个感官互动的方式视为双模态，涉及三个或更多个感官进行互动的情况就称其为多模态，常态下这种互动都是多模态的。

三、多模态在英语“教”和“学”中的优势

人类进行信息交流的方式具有多样性，即口头的、书面的，也有语言的、非语言的。在英语课堂教学的口头交际中，交际者除了使用语言，还会运用语调、语速及眼神、手势、面部表情等肢体语言来传意。英语课堂教学中书面方式传意则除了文字，还有图表、图像、颜色、版式等，因此，人与人之间的交际不仅仅是用一种模式进行的，而是运用视觉、听觉、触觉等多种感觉器官，同时借助语言、图像、声音、动作等多种手段和符号资源进行的，是多模态的互动方式且模态之间还会在一定程度上对信息起到修正、补充、强化等作用。

(一)多模态在英语课堂教学中的优势

语言课堂教学实际上就是老师与学生、学生与学生之间的一种交流形式。从模态的视角考察，传统的课堂教学主要涉及视觉和听觉两种模态。有些教师为了强化教学效果，还会借助一些肢体语言或其他符号资源来实施课堂教学。但就整体而言，传统的课堂教学模态单一，趣味性差，作用于学生感官的刺激较小，教学效果不够理想。在高度信息化的今天，这种单一模态的教学势必会让位于以现代信息技术高度发达为背景的多模态教学。

“多模态教学”则指运用视觉、听觉、触觉等多种感知，通过图像、声音、动作、语言等多种手段的辅助实施交际能力培养的教学模式。现代英语课堂的多模态化表现为同时使用两种或两种以上的模态或符号系统。它以基于网络平台的多媒体技术辅助语言教学的普及为基础，以其独特的优势和效果广泛地运用到外语教学的听、说、读、写、译等各个方面［5］。在超文本的时代，媒体是模态的物质基础，充分发挥多模态的协同作用，借用网络平台帮助人们进行广泛的信息交流活动。为达到最佳教学效果，搭建多媒体为主体的教学平台便成为首选的现代教育技术手段，多媒体技术辅助下的多模态外语教学也自然成为外语教学的必然趋势。该教学模式集视、听、图、文、动画于一体，可以呈递图、文、声、像并茂的教学资源，同时或交替对学生的听觉、视觉产生刺激，吸引其注意力，激发其学习兴趣，有助于培养学生的观察能力、思维能力和自主学习能力，提高学生学习的效率，日渐凸显出独特的教学优势，为英语课堂教学带来了全新的教学理念、教学方式及教学效果。随着对多模态话语理论研究的深入，越来越多的语言教学工作者意识到单一模态的课堂教学已无法满足外语人才培养的需要，而多模态的外语课堂教学模式在提高教学效果、学生运用知识的能力、自学能力及进行个性化教学等诸多方面更具优势。

(二)多模态在课下英语自学中的优势

认知学习理论认为，人的认识是外界刺激与人的内部心理过程相互作用产生的。作为知识接受者的学生必须发挥自身的主动性、积极性，才能获得有效的认知。因此学生自身的学习动力和参与程度是成功学习的关键。

在课下进行的英语自学中，学生在领会多模态理念的基础上，在多媒体技术的辅助下，以集视、听、图、文、动画于一体的教学资源及各种手段为已所用，已达到事半功倍的学习效果。学生可利用教师的多模态文本所输出的信息，通过再次的观看、回忆、讨论、各种感官模态训练语言表达能力和思维能力等方法进行知识的巩固。另外，学生可通过网络教学平台适当搜集整理一些学习资源或根据自身实际水平选择适当的等级和学习内容，与所学的课堂知识相辅相成，以提高英语的学习效果。基于多媒体资源的多模态输入初衷，英语学习者也应从被动参与者，转换为主动参与者。最终，学生要综合运用多模态认知能力，内化英语运用能力，转化为外显行为，如参加英语角，英语小品大赛，英语歌曲大赛、英语辩论赛等各种课外活动，相互交流，以求锻炼和提高。

四、结语

目前，多模态技术辅助在英语的“教”和“学”两个方面已逐渐展示出了它的优势。这种新的“教”和“学”的模式以现代技术为支撑，将教师的课堂教学和学生课下的自我学习中的抽象的内容具体化，深奥的内容浅显化，枯燥的内容趣味化，提高了教学和学习的效率。多模态协同作用下的英语“教”和“学”的优势在培养应用型人才方面呈现了广阔的前景。

［1］朱永生.多模态话语分析的理论基础与研究方法［J］.外语学刊，2007，(5).

［2］张德禄.多模态话语分析综合理论框架探索［J］.中国外语，2009，(1).

［3］张德禄，王璐.多模态话语模态的协同及在外语教学中的体现［J］.外语学刊，2010，(2).

［4］韦琴红.视觉环境下的多模态化与多模态话语研究［M］.北京:科学出版社，2009.

［5］梁玉.多模态话语对外语课堂教学的启示［J］.中国科技教育·理论版，2012，(6).