关于英语多模态理论的认识与思考

张 楠，崔艳辉

(长春工业大学，长春 130012)

多模态话语分析，可以在很大程度上帮助人们克服当前研究的困境，更加关注语言结构与意义系统等方面的研究，实现了对图象、声音、颜色、动漫等表现形式的整合，能够为语言的研究发展提供有利支持，对人类社会发展，以及人类交际有着显著的促进作用。

一、话语多模态理论研究

传统的语篇分析一般只注重对语言文字本身的分析，而忽略了对其他符号如图像、声音、颜色的研究。

自上个世纪90年代，英语的相关学者以韩礼德系统功能语言学作为相应的英语教学基础，把原有的英语研究范围进行一定程度上的扩充，原有的仅分析语言文字的教学模式已被摒弃，包括语言、音乐、图像、视频等多内容的模态化英语已成为主流。而所谓的多模态英语，是指除了英语文字以外，还通过各类其他表达形式突出语言内容，让人们感受多元化的语言表现方式[1]。同时，在实际生活中的表达与交流，也绝非片面化与单一化，各种表达方式并存才是合理的叙述手段。举例而论，在交流中人们常运用不同的手势加以辅助，在高度发达的互联网上时常能看到图片与音乐辅助文字的表达等。因此，尽管语言是人类交流的最重要手段，但并非仅有的表达方式。

在Kress和Van Leeuween看来，多模态的交流是利用两种及两种以上的表达方式来阐述，因此区分多模态和单模态的表述方法最简便的方法即为找寻不同的表达方式[2]。而顾曰国却认为，区分模态不能仅以表达方式作为方法，应当结合主客观的因素来进行甄别[3]。具体而论，人类的主观感官即听力、视力、嗅觉等与客观环境因素即交流对象、动物或物件等共同组成模态。单感官互动的体验称为单模态，同样多种模态的交流称为多模态，在顾曰国理论中感官的数量决定了模态的形式。综上所述，无论哪一类理论，多模态的语言手段应当是多感官或多表达方式所组成的。

二、英语多模态理论的认识

(一)英语多模态分析的理论基础

尽管多模态分析理论是建立在皮尔斯的媒介、对象、解释的三位一体理念上进行升华，但其主要理论概念基础却是来自于Halliday创立的系统功能语言学。具体而论，所谓的英语多模态化理论是建立在系统功能语言学中语言是社会一类符号的概念基础之上的，同时也保有了一定语言是社会符号与意义的价值观点[4]。其次，英语多模态化理论吸纳了系统理论与纯理论功能假说，即语言是一类系统性的概念，但其同时也拥有一定的功能性。再次，英语多模态理论也涵盖了语域理论，即多模态的英语分析离不开其语境的支持，只有结合语境才能更好地将语言理解。综上所述，由于英语多模态分析离不开系统功能语言学与符号学的支持，因此也可以将其称为系统功能符号学。此外，系统功能语言学应当是功能符号学的一个下属分支。

(二)英语多模态分析的内容、方法与意义

在符号学上研究语言学理论已有很长一段时间的历史，举例而论，电影、美术等艺术创作类的研究工作，就利用了语言学理论中的布拉格“前景化”概念。其次，巴黎学派将语言、指代等语言学理论中的概念高度凝练，并运用于摄影与服装设计之中。

除了艺术创作以外，更贴近实际生活领域的各项行业也能运用语言学理论，如新闻报道、音乐创作与文学纪实等，其中基于语言学派和系统功能符号学派的Halliday系统发挥了很大的作用。学者Simpson在一次权威的世界性语言学理论讨论会中总结，多模态的英语分析存在如下的功能。首先，在媒体的表现手法与内容陈述上可运用不同的表达方式即多模态化的具体呈现。其次，为更好提高教育质量，保障人们学习的兴趣，烘托不同层次的教育主旨，可采用多模态化的教学手段。第四，在识读实践上多模态化也能给予一定的帮助。再次，语料库的建立离不开语言多模态化的支持。最后，多模态化能够切实丰富语言方式与其背后的理论问题，帮助学者展开学习与讨论。Baldry & Thibault也在会议上提出了一定的课题以供讨论研究。首先，英语多模态语篇的定义与实践运用。其次，在高度发达的电子信息时代，如何将多模态与多媒体有机结合。最后，多模态分析能够如何进一步帮助教学工作展开[5]。

三、研究的意义

语篇的多模态性是现代人的一种需要。现代语篇的多模态性表现在其同时使用两种或两种以上模态、两个或两个以上符号系统。模态有视觉模态、听觉模态、触觉模态、嗅觉模态和味觉模态。符号系统除了语言文字之外，还有音响、音调、字体、布局等伴语言符号，也包括眼神、面部表情、手势等身体语言符号及由PPT、音响扩放、网络等现代科学技术所构成的非身体符号。例如，现代电视广告话语不仅涉及听觉模态，还涉及视觉模态，是一种多模态话语；而现代杂志中的广告话语虽然只涉及视觉模态，但既有语言文字，又有图画，也是一种多模态话语。阅读现代多模态语篇要求读者必须具有多模态识读能力，朱永生称之为多元读写能力。Williamson认为，多模态识读能力指阅读各种媒体和模态提供的信息的能力。简单地说，多模态识读能力就是阅读各种多模态话语的能力。

英语多模态的意义在于它可以将语言和其他相关的意义资源整合起来，它不仅可以看到语言系统在意义交换过程中所发挥的作用，而且可以看到诸如图像、音乐、颜色等其他符号系统在这个过程中所产生的效果，从而使话语意义的解读更加全面、更加准确，进而发现人类如何综合使用多种模态达到社会交际的目的。可以说，这类话语分析既可以推动我们对语言学的研究，同时也可以加深对符号学的认识。

四、英语多模态理论要求

(一)提高学生感官参与

随着科技的发展，近些年在教学界微课和幕课备受关注，然而大学生学习英语的主战场还是英语课堂。教师想要提高教学质量，就应该选择使用多样化的教学方式来帮助学生获取更多知识。根据多模态理论，在大学英语课堂中应该将互联网等技术充分应用，在课堂中建立一个真实的情境，利用音频、文本等为学生创建一个轻松学习的环境[6]。比如在学生对英语课文进行朗读时，可以为学生配上一些轻柔的背景音乐，教师在讲解课文时，可以为学生展示出一些相关的画面和音频，通过感官刺激来提高学生的学习效果。

(二)思想意识的提高

从学生的整体素质来看，多数学生的识读能力还比较弱，这与学校将考试作为需求导向有密切的关系，学校将高考作为一切教学的目标，力争利用最短的时间最大化地提高学生的分数。这样的教学过程就会影响学生语言能力的培养，多元化语言文化教学更是距离学生较远。面对这样的一种情况，高校教育所面临的责任更加重大。

多元识读是以多种模态出发对文章内容进行解析理解，这种模态超过了文本所带来的信息资源。所以，教师要能够对现代科技发展具有实时的了解，能够很好地掌握现代教育技术，进而将这种技术应用到实际教学中，结合教学内容来确定使用何种模态形式进行文章内容的学习，进而将教学效率提高到最大化。对于学生，不仅仅是知识的接受者，更是知识的主动学习者。培养学生养成多元识读的习惯，学习借助新时代教育来提高学习效率，进而更好地吸收教学内容中所蕴含的文化信息。

(三)教材的完善

课堂教学中必备的工具就是教材，教材是整个课堂教学的一个核心，所以想要对学生进行多元识读能力的培养教学能够取得良好效果，必须要编制出多模态的教材。

首先，针对多模态教材，设计时需要符合基础教育原理和准则，根据学生的学习规律和认知水平进行教学内容和结构的设计，同时也要将学生的个性化培养和共性化教育进行结合，进而使得教材内容能够不断地激发学生主动学习，学生发挥其在学习中的主体地位，教师发挥其引导作用。

其次，多模态教材的整体设计要具有时代特点，其中包含的内容要与社会共同进步，将一些落后的信息进行更新，将更多多元化的资源引入，使得学生能够将自己所学应用到实际生活中，进而能够学有所悟。

最后，多模态教材要具有技术性。随着科技的进步，现代社会已经成为互联网时代，传统的课堂教育被打破，没有了时间和空间上的严格限制，所以教材的设计应该能够将一些大数据进行引入，进而能够做好知识的拓展。教材的内容设计要更新传统的单一图片化，根据研究表明，学习人员在学习的时候受到各种感官上的刺激时，能够对知识有更好的掌握[7]。所以教材的内容应该加入一些图片和动作，可以借助多媒体来进行一些声音和影像的播放，进而为学生营造一个良好的体验环境，学生在这个环境中学习到的内容更加真实直接，进而能够收获更好的成果。

五、多模态理论下英语课堂设计的改进

调研小组针对如何开展多元识读教学进行总结，最终得出结论，其中包括了以下几种方法：

(一)情景操练

情景操练是将课堂中的学生分为几个小组，根据教材内容所给的主题来创建一个语言场景，利用不同身份角色来对课堂的意义进行阐明。比如，在《新编大学英语》中“新的开始”这篇文章，主要讲述了作者入学时遇到的两次尴尬经历，虽然语言表达很生动，但是这种单模态很难给读者一个直观的感受，这时候可以让学生模拟文章中的情况，以生活中的食堂为基础来将故事进行演绎，学生们可以根据自己的理解来选择角色进行演绎。经过情境操练之后，学生能够很自如地将文章的语言进行应用，进而对语言进行真正意义上的识读，这也就将识读教育的内涵体现出来。

(二)明确指导

明确指导是将教师的主导地位突出出来，教师在教学的过程中要积极干预，引导学生对现有的知识进行积极探索，进而完成对新知识的拓展学习。目前在教育行业中比较受欢迎的教学方式是主题式教学，这是一种多元识读学习方式。教师根据文章的主题，让学生自由组成小组，小组制作出一个与文章主题相似的灯片，并且在班级中进行展示。在学生分组制作灯片的过程，教师不可以完全大放手，而是应该积极地走进各个小组中，在学生需要帮助的时候给予指导，引导学生不断地思考和探索，进而使得学生能够展示出一个良好的灯片设计效果。

(三)批评性框架

批评性框架是一种学习人员将自己所掌握的社会、文化等多方面的知识进行应用，展开一种批评性的讨论和诠释，比如，在大学英语教学中，精读文章就可以将这种批评性框架进行应用，进而帮助学生进行深层次的识读能力的培养。首先第一个层次就是对文本文字的识读，其次是对文章语言结构的识读，最后是围绕着主题结合语境来进行讨论，在这个过程中学生能够将自己的意见发表出来，进行多方面的深层次的批评性分析，进而不断锻炼学生的分析、解决问题能力，养成一种批评性思维。

(四)转换性操练

转换性操练是指教师将设计原则进行应用，进而为学生构建出一个新的理解意义。这是以前面所说的三种方法作为基础的一种升华。在这里是以模态符号的应用能力作为核心，在文章主题的基础之上，帮助学生做一些拓展迁移，在原本的设计上加入一些内容，进而将知识引入到一个新的情境中。这里主要使用的是改写和改编来创造新的主题，同时学生能够产生多元化识读的意识。

(五)明确策略指导

多模态教学主张学生进行学习设计，自主创作，而教师要用通俗的语言解释不同模态的意义潜势及意义构建作用，给学生提供帮助。教师在学生进行学习设计前应该对学生进行系统培训，培训内容涉及学习资源获取渠道、学习设计具体步骤、学习方法等。教师在对学生表现进行评价后，要及时给出改进建议，并为学生现场示范，让学生有更直观的感受。例如，学生对Love Without Limitation中的情节进行改编表演后，教师应该对学生进行进一步引导、给出具体改进建议。

(六)关注文化语境

教师对学生的多模态作品的评价不应局限于表面的符号，更应关注其文化语境与内涵。在学生进行学习设计前，教师可以通过头脑风暴让学生了解新课题涉及的文化背景；教师可以通过文化对比、语言应用情景分析，指导学生对影响意义产出的各个因素进行批判性思考。如，在该课中，教师可以带领学生对中西文化中，人们对爱情、亲情、友情以及生老病死的观点进行对比分析，以帮助学生理解文章，引导学生思考如果自己遇到类似的事情，该如何积极应对。

六、不足之处与今后走向

多模态话语往往由多种系统构成，而每个系统中又有很多单个的成分。这些成分当中，哪些对解读有价值，哪些没有价值，也是不容易确定的因素。

迄今为止，从事多模态话语分析的绝大多数是系统功能语言学家，而多模态话语分析是跨学科的，仅仅依靠语言学的一个流派是远远不够的。只有其他学科的学者共同参与，多模态话语的意义才能得到更加全面而正确的解读。

研究英语多模态，为英语语用功能研究以及对英语的多元认知提供了理论依据。当前经济发展背景下，我国与其他国家的经济、文化交往更为密切，英语作为世界通用语言，无论是其语言多元化的发展与普及，还是其作为国家交流的唯一通用工具，英语多模态研究都显得十分必要。本文首先对话语多模态理论进行研究，基于这个研究之上，对英语多模态理论、研究方法、意义以及不足进行了剖析，希望能够为相关学术研究者提供一些建议和参考。