国内多模态话语研究动态述评

2014-03-28初春玲

重庆三峡学院学报 2014年4期

初春玲

(上海海关学院，上海 201204)

一、引言

多模态话语分析理论兴起于20世纪90年代，近年来呈蓬勃发展之势，成果迭出，成为语言学界令人瞩目的热点之一。自美国语言学家Harris于20世纪50年代提出话语分析理论以来，话语分析理论一直聚焦于话语篇章结构、语法规律、语句之间的关系及话语的社会价值取向分析等，并对语言教学的计划制订、方案设计、课程规划提供了重要的理论和框架。然而，随着现代信息技术的飞速发展，单纯的语言话语已经不能满足人们的交际需要，很大部分话语意义是由非语言因素体现的，如身势、语势、实验室、计算机、网络、周围的环境因素等。交际不再是利用一种模态进行，而是用两种或者多种模态同时进行。而传统的话语分析由于忽略了声音、符号、图像、颜色、空间，动作、声音等伴语言因素在表义中的作用及其之间的关系，在分析话语意义构建方面已捉襟见肘，为了弥补这一缺陷，多模态话语分析理论应运而生。

二、多模态话语分析的理论基础

多模态话语分析的主要理论基础是韩礼德创建的系统功能语言学[1]。具体说来，多模态话语分析的理论基础是:语言是社会符号(social semotic)和意义潜势(meaning potential)，语言具有系统性[2]。韩礼德在索绪尔的语言符号学基础上进一步拓展了交际符号的范畴，即把语言看成是一个社会符号系统(social semiotics)，即一个表义系统，语言外的其他符号系统如音乐、绘画、雕刻、舞蹈等，也可以实现社会意义，这些观点是系统功能语言学理论基础，也为多模态话语分析理论发展奠定了理论基础[3]。

系统功能语言学认为，语言是意义潜势。而多模态话语分析以此为基础，认为除语言以外的其他符号系统也是意义潜势。韩礼德[4]认为语言系统实现三大意义，即概念意义、人际意义和语篇意义。概念意义指人们对现实经历或内心世界进行表达，人际意义指说话者运用语言进行社会活动，语篇意义指语言用于组织信息。语言的三大意义不仅存在于语言符号中，还延伸到语言之外的声音、图像、颜色和动作等视觉、听觉和行为方面的符号模态。各种模态之间既各自独立又相互协作，共同参与意义的构建。在计算机技术、信息技术与多媒体技术迅猛发展的当今社会，人们的话语不再是单模态交流，多模态交流已经成为主流。

系统功能语言学指出语言具有系统性，故我们可以对语言进行系统的研究[2]。多模态话语分析接受了系统的概念，认为语言之外的其他符号也是系统的，可以进行研究的。以此为基础，Kress &Van Leeuven[5]第一次系统建立了视觉语法概念。在将图像看成是社会符号的前提下，Kress &Van Leeuven在20世纪90年代中期，把系统功能语法中的元功能理论拓展到视觉模式，创建了以“再现意义”、“互动意义”和“构成意义”为核心的视觉图像分析语法理论，该理论从图像、颜色、构图情态、印刷版式等视觉交流的各个方面来研究多模态活动，能对图像进行相对全面系统的分析。

三、国内多模态话语分析发展概述及成果介绍

多模态话语理论的发展虽然只有二十年，但其迸发的旺盛生命力，早已吸引了目光敏锐的国内语言学者。自李战子教授于2003年首次引入“多模态”概念以来，多模态话语分析研究层出不穷。笔者在知网上搜索含有关键词“多模态话语”文章，共计376篇，笔者选取了发表在核心期刊和知名学报的有代表性的文章42篇，经梳理其脉络，浓缩其要旨，多模态话语理论在国内大致经过三个重要发展时期。

(一)多模态话语理论介绍传播阶段

李战子[6]首次向国内介绍了还未被充分认识的多模态话语的社会符号学分析以及韩礼德的功能语法。顾曰国[7]对多媒体学习和多模态学习进行逐一剖析，并区分单媒体、单模态、多媒体、多模态等概念。朱永生[1]分析了多模态话语的理论基础、系统功能语言学的社会符号观点及语言元功能理论，认为多模态话语与只包含语言符号的话语一样，也具有多功能性。文章还探讨了多模态话语的定义、多模态话语的分析内容、方法和意义，并根据现有研究预测了多模态话语分析未来发展趋势。胡壮麟[8]探讨了多模态符号学和多媒体符号学的区别，介绍了具有媒体和模态双重特性的计算机符号学、多媒体符号设计以及在课堂环境中由话语参与者实现的连贯，并指出未来对多模态识读能力的培养应引起重视。朱永生[9]进一步诠释了多元读写能力的概念，并详细介绍国外培养多元读写能力的具体尝试，并据此提出多元读写能力对我国教学改革的启示。张德禄[10]系统分析了多模态话语理论基础。

(二)多模态话语理论与实践相结合阶段

1.静态图文关系语篇的多模态研究

韦琴红[11]从语言元功能角度分析了《泰晤士报》上的一多模态媒体语篇，说明除语言之外的其他符号系统也是意义的源泉，具有和语言符号一样的多功能性。孙毅[12]运用多模态话语理论分析了2011西安世园会会徽，从图像、颜色和版式设计等方面论证被传统语法视为副语言的各种符号资源与语言符号一样参与意义构建，并反映和重塑历史、文化及社会的真实。袁艳艳、张德禄[13]从Kress&Van Leeuven的视觉语法角度，对电影唐山大地震海报从再现意义、互动意义和构图意义进行系统分析，论证三者在多模态与片中如何协同、照应、彼此强化以构建语篇的整体意义。

2.动态视频语篇的多模态研究

洪岗[14]对北京奥运会开幕式主题曲《我和你》的视频声音和截取的图片进行意义构成的分析，说明图像和声音在多模态语篇意义构建中的作用。张德禄、袁艳艳[15]以电视天气预报多模态话语为例，探讨了动态多模态话语之间的配合及协同的基本原则。王莹[16]用多模态话语分析理论，以反映日本婆媳关系题材的影视作品为例，从图像文字、色彩、结构等不同的层面对影片进行分析、解构、整合。

3.多模态话语理论与外语教学实践相结合

张德禄、王璐[3]探讨了两个教学案例中，模态之间的相互作用，尤其是强化、补充、协同作用，总结出六点教师应该注意和改进的地方。张德禄[17]探讨了制约教学设计的主导因素及教学设计在实际教学过程中的体现。文章探讨了外语教学可能的教学阶段和各个阶段可选择的教学步骤和方法。张德禄、张淑杰[18]探讨了多模态外语教材的基本特点、编写的制约因素和编写原则等。张德禄[19]在已有研究的基础上发展了多元读写能力的学习和教学模式，建立了多元读写的理论框架，并探讨了多元读写能力的学习模式及教学培养框架。张德禄、李玉香[20]探讨了课堂教学中口语模态和PPT模态组合的相互配合及其在词汇语法层面上的体现以及词汇、语法与语篇的关系。文章深入探究了同一模态在不同教学阶段的作用，多模态话语单位的确定标准、课堂模态选择依据等问题。刘秀丽[21]等建立了一个在外语教学中运用合适的多模态话语来激发学生的学习积极性的理论模式。研究发现外语教师多模态话语类别和形式与学生学习积极性关系密切，提出如何更加有效地使用各种教学理念、措施、方法和模态来提高教学效果的建议。曾庆敏[22]探讨了大学英语教学的多模态性及其作用，为大学英语教学中多模态使用提出了合理的建议。

4.多模态话语理论与其他领域相结合

张德禄、穆志刚[23]在功能文体学理论研究基础上，以图文连环画为例，提出通过探讨不同模态的突出特征、模态之间的协同、组合、意义建构、语境、体裁和文化多个层面探讨图文连环画的文体。王改娣、杨立学[24]从文化、意义和模态三个层面对英诗进行多模态话语研究，研究发现在英诗的模态层面，模态语法和语言语法一样具有规律性。

(三)多模态话语理论再梳理、蓄势突破阶段

多模态话语理论在中国方兴未艾，已经历了整整十年的发展时期，研究取得了一系列丰硕成果，也引发出一系列值得思考问题，一些专家学者在已有的研究基础上，重新审视多模态话语理论并深入探究，多模态话语理论蓄势待发，有望在下一个十年更上一层楼。李战子、陆丹云[25]回顾了以往多模态研究，主要包括符号语法的构建，多模态语类特征研究等，并指出作为一门新兴的学科，多模态符号学在多种模态的系统语法构建，模态间关系研究，批评性多模态研究融合方面均具有探索空间。张德禄[26]重新探讨了符号资源及其媒体系统的类别，并细致阐述了媒体与模态的关系，从语言与非语言、符号的维度、符号的感知几方面谈了符号媒体的分类，有助于加深认识，解决媒体与模态之间长期以来概念不清问题。代树兰[27]将多模态理论与本土文化相结合，指出多模态话语并非新现象，中国古代的诗歌、绘画、书法等作品常常是多模态并存。此外，文章还对多模态话语研究成果进行梳理，并展望多模态话语研究的未来趋势。

四、多模态话语分析理论发展之反思

(一)多模态话语分析理论缺乏

虽然多模态话语分析有系统功能语言学最强有力的理论基础，但缺乏具体的理论构建。Kress和Van Leeuwen (2006)在十几年前提出的“视觉语法”的确是一个重要的理论成果，但其适用对象主要是静态的图像。如今，十几年已经过去，多模态话语分析的对象很多涉及动态的图像，但目前此方面还缺乏具体的理论支持。此外，如今多模态话语分析还涉及很多其他模态，如听觉模态，可是相对“视觉语法”来说，“听觉语法”的理论构建显然比较薄弱。更不用说对触觉，味觉等其他模态的理论构建了。这些理论上的匮乏很大程度上限制了多模态话语分析的进一步发展，让其很难在其他模态话语的分析上取得长足进展。

(二)多模态话语分析主观性强且不够深入

相对传统的语言层面的话话分析，多模态话语分析主观性强且不够深入。不管是传统话语分析还是多模态话语分析，一般都仰仗语法进行。传统语法一般都可以提供严格意义上的语法依据，但多模态话语分析依据的语法，如视觉语法、听觉语法等，带有很强的主观性和模糊性，在很大程度上依靠学习者本人对符号系统内部不同成分的语义理解，因此，不同学科背景或文化背景的人完全有可能得出迥异的分析结果。

此外，目前的多模态话语分析不够深入。一般是采用对各个符号系统进行依次分析，然后再合起来探讨的方法，目前还很难区别多模态词汇语法系统和意义系统，各模态之间的互动关系和互补作用还难以确定。

(三)多模态话语分析缺乏技术支持

如前所述，多模态话话的出现很大程度上得益于技术的进步，让人们的交流不再依赖于语言，而是多种符号系统。在此基础上，对这种技术推进的多模态的话语的分析，也需要高科技的支持。比如，对视频或音频的分析，如果有先进的技术支持，对语料进行客观的分析，势必能降低多模态话语分析的主观性。而要做到这一点，需要多学科的合作。多模态话语分析由于涉及符号的多样性，已经同传统的语言学不同，不能够再只依赖语言学家的努力，而是需要其他学科的共同配合。要获得技术上的支持，语言学可以同计算机学科进行合作。要对动态电影等语篇进行分析，可以同电影学进行合作。对图像的分析，也可以同艺术学进行配合。将来，如果多模态分析要扩展到诸如触觉、味觉等模态的分析，更是少不了其他学科的支持。所以，目前的多模态话语分析研究急需加大同其他学科的交叉与融合。

五、结语

本文分析了国内多模态话语理论近十年主要的研究成果。从上述分析可见，多模态话语研究经历了多个重要发展阶段，从对多模态话语理论基础的关注到对各模态特征的研究；从单一模态的探讨到多模态协同关系的探讨；研究对象也从简单的二维静态图文关系到三维动态视频等；从对成品语篇的分析到互动性话语进程探讨等。但总的来说，多模态话语研究尚处于初级阶段，多数研究还只局限于对多模态进行描述和说明。“要合理解读多模态符号如何生成意义以及构建一部使用的多模态语法，要做的工作很多。”在今后的研究中还应注意研究方法的创新以及吸收语言以外的营养要素，对多模态语篇的分析应依靠多学科的交叉与融合[25]。总之，对多模态的研究能更有利于我们深入理解话语的内在机制，是语言研究领域极具潜力和社会价值的课题，对于帮助人类认识自我与符号、文化与社会，拓展语言能力具有十分重要的意义!

[1]朱永生.多模态话语分析的理论研究基础与研究方法[J].外语学刊，2007，(5):82-86.

[2] Hal l iday, M. A. K. & C. Mat thiessen. An introduction to Functional Grammar(third edition)[M]. London: Arnold, 2004.

[3]张德禄，王璐.多模态话语模态的协同及在外语教学中的体现[J].外语学刊，2010(2):97-102.

[4]Hal l iday,M. A. K.Language as Social Semiotic[M]. London: Arnold, 1994.

[5] Kress, G & Leeuwen. Reading images: the grammar of visual design (second edition) [M].London: Rout ledge, 2006.

[6]李战子.多模式话语的社会符号学分析[J].外语研究，2003(5):1-8.

[7]顾曰国.多媒体、多模态教学剖析[J].外语电化教学，2007(4):3-11.

[8]胡壮麟.社会符号学研究中的多模态化[J].语言教学与研究，2007(1):1-10.

[9]朱永生.多元读写能力研究及其对我国教学改革的启示[J].外语研究，2008(4):10-14.

[10]张德禄.多模态话语理论与媒体技术在外语教学中的应用[J].外语教学，2009(4):15-20.

[11]韦琴红.论多模态话语的整体意义构建——基于一个多模态媒体语篇的话语分析[J].天津外国语学院学报，2008(6):16-21.

[12]孙毅.多模态话语构建——以2011西安园艺博览会会徽为基点[J].外语与外语教学，2012(1):44-47.