多模态语篇研究的理论探索

董志友

(黑龙江外国语学院 英语系，黑龙江 哈尔滨 150025)

一、引言

语篇分析研究的历史由来已久，然而现代语篇分析始于Z. Harris，他在1952年发表了“Discourse Analysis”一文，采取形式化的方法来分析语篇的结构[1](P1-30)。Mitchell(1957)用语义分析法来分析语篇，并将语篇分为若干阶段。此后，多种语篇分析理论逐渐形成并发展起来，具体有会话分析(conversational analysis)、语篇人种学(ethnography of speaking)、互动社会语言学(interactional sociolinguistics)、变异理论(variation theory)、言语行为理论(speech act theory)、语用学(pragmatics)、语类分析(genre analysis)、叙事分析(narrative analysis)、系统功能语言学(systemic functional linguistics)、批评语篇分析(critical discourse analysis)、语料库语篇分析(corpus approach to discourse analysis)等[2]。上述语篇分析方法无一例外所关注的主要都是口头或书面语言，而忽视了非语言因素，如手势、身势、目光接触、音乐、图片、影像等，也是构成语篇意义很重要一部分的事实。人们逐渐发现仅仅从语言的角度分析语篇是不充分的，因为语篇的意义很大一部分是由非语言因素体现的，如音高、语调、语速等声音特征，手势、身势、表情、动作等身体特征，音响、图片、视频、网络等工具和环境特征等。交际也不仅仅只是通过单一感官实现，而可能会涉及听觉、视觉、触觉等多种感官共同实现，这样由多种交际方式共同产生的语篇就是多模态语篇。由此可见，运用视觉、听觉、触觉等多种感觉，通过语言、图像、声音等多种手段和符号资源进行交际的现象就叫多模态语篇[3]。多模态语篇是集语言与非语言因素于一体进行交际的话语，是现代社会最为普遍的交流形式。

二、多模态语篇研究的起源与发展

在多模态话语分析方面最早的研究者之一是R. Barthes，他在1977年发表的《图像的修辞》(Rhetoric of the Image)中探讨了图像在表达意义上与语言的相互作用[4]。多模态研究从20世纪90年代开始得到语言学界的广泛关注。O’ Toole (1994)对绘画、雕塑和建筑等艺术作品进行符号学分析；Kress, G. & van Leeuwen, T. (1996; 2001; 2003)从社会符号学角度以Halliday的功能语法理论为基础，建立了图像分析的多模态话语分析框架，主要分析图像、颜色等在语篇中的作用；Lemke(1998, 2002, 2009)研究了科技语篇、超文本的多模态特征并对新媒体时代的读写教育提出新的观点；O’Halloran, K.L. (& Jewitt 2004, 2005, 2007, & Smith 2011)在探讨了多模态的理论建构的同时，还就数学语篇中的多模态现象进行深入的研究，并尝试设计多模态分析软件；Martinec (2000) 则通过对杰克逊音乐的分析提出自己的“音乐语法”；Royce,T. (2002, 2007)在研究中重点关注多模态话语中不同符号之间的互补性以及多模态话语的协同性在第二语言课堂教学中的体现等。近年来，多模态研究者在探索更多社会符号的同时(如电影语篇，Bateman & Schmidt 2012)，开始注重不同学科视角的融合(Forceville & Urios-Aprarisi 2009)；就研究方法而言，研究者开始应用数字技术对复杂的多模态语篇进行注解和模拟(Lim 2001; O’Halloran, et al. 2012)；并建立多模态语料库，开发多模态检索软件(Baldry & Thibault 2008)；还有通过问卷调查、眼动实验、甚至脑成像技术等考察读者对多模态语篇认知的实证研究[5](P88-89)。

我国相关领域的研究始于21世纪，李战子教授于2003年把多模态话语研究引介到国内。2007年，朱永生教授撰文从系统功能语言学角度探讨了多模态话语分析的理论基础和分析方法。近年来，我国多模态话语研究发展迅速，多模态分析已广泛运用到符号学、哲学、社会学、人类学、政治学、新闻学、心理学、法学、美学和医学等领域，研究对象也从语言文字扩展到音乐、图片、影像、网页设计等多种社会符号系统。我国学者对于多模态的研究主要集中在以下三个方面：一是理论研究。如李战子(2003)探讨多模态话语的社会符号学分析；朱永生(2007)从系统功能语言学视角为多模态话语研究提供了理论基础和分析方法；张德禄(2009)探索了多模态话语分析的综合理论框架；李华兵(2013)总结了多模态研究的常用方法和研究领域等；冯德正(2014)等综合梳理了多模态语篇分析的研究进展，并探讨了该领域研究的前沿问题。二是多模态语篇分析。多模态应用于语篇分析的研究主要有多模态与广告语篇、多模态与诗歌、多模态与政治漫画、多模态与电视新闻、多模态与网络视频等。三是多模态与外语教学研究。多模态与外语教学相关研究主要包括：多模态在听、说、读、写、文学、翻译教学方面的应用，多模态与教材编写，多模态学习模式培养研究等[6]。

三、多模态语篇研究的理论框架

通过前文不难看出，多模态语篇研究日益深入，研究的理论视角和研究方法多样，归结起来，其理论框架主要有以下四个方面：

(一)多模态语篇的系统功能语言学和社会符号学分析

系统功能语言学和社会符号学理论把语言看作一种“社会符号”,具有意义潜势(Halliday:1978)[7]。多模态研究借鉴系统功能语言学和社会符号学的理论，认为不仅仅“语言是社会符号”，图片、颜色、建筑、音乐、视频等也都是社会符号，具有意义潜势。因此，既适用于语言的理论和研究方法，也适用于其他可以构建意义的社会符号。多模态研究还接受了系统功能语言学关于语言具有概念功能、人际功能和语篇功能等三大元功能的观点，如O’ Toole(1994；2011)在针对绘画、雕塑和建筑等陈列艺术建立的视觉语法中，提出视觉艺术作品具有再现意义(representational meaning)、情态意义(modal meaning)和构图意义(compositional meaning)等三种元意义[8]。Kress & van Leeuwen(1996；2006)构建的视觉语法框架中用再现意义(representational meaning)、互动意义(interactive meaning)和构图意义(compositional meaning)来对视觉图像进行分析[9]。

(二)多模态互动分析

交际互动分析以语篇分析、交际互动语言学和中介语篇分析为理论基础。Norris(2004)认为任何交际都是多模态的，语言只是众多交际模态之一。交际中除了语言以外，体距、姿势、手势、眼神等也起到同等重要的作用，都能构建互动意义[10]。一是介入行为：她发展了Scollon(2001，2004)介入语篇分析理论[11]，把介入行为作为多模态互动分析的基本单位，并把介入行为分为低级行为、高级行为和冻结行为。高级行为由低级行为构成，低级行为是多模态互动分析的最小单位，低级行为由某一种模态完成，而高级行为可能会由多种模态相互作用来共同完成。冻结行为是指交际互动行为发生的环境及环境中的物品。二是模态密度和模态结构：模态密度与模态强度和模态复杂度相关；模态结构是指在完成某一高级行为时不同模态间各自的重要程度和彼此间的相互关系。三是注意、意识和前景——背景连续体：在现实的交际活动中，常常会几种高级活动同时进行，但交际主体给予各种高级活动的注意程度各不相同。受注意程度最高的高级活动被称为前景高级活动，中景高级活动受到的注意程度次之，背景高级活动受到的注意程度最低。这种活动主体对多种不同高级活动给予不同程度注意的现象被称为前景——背景连续体。四是模态结构：社会活动具有多模态性。模态结构是指各种模态在高级活动中的相互关系。确切而言，就是某一高级活动中都涉及哪些模态、各种模态间的重要程度排序，以及不同模态彼此之间的相互关系等。

(三)多模态语篇的认知隐喻分析

认知语言学观点认为，隐喻是人的思维方式，是人类认识世界的手段。认知语言学最初关于隐喻的研究主要关注的是语言层面，而人类认识世界的手段显然并非只有语言，而是多方面的。随着多模态研究的深入，隐喻被用于研究语言之外的图像和其他模态，从而引发多模态隐喻研究的热潮。作为多模态隐喻研究的代表人物，Forceville(2009:22-23)探讨了单模态隐喻和多模态隐喻的概念，二者的主要区别在于其源域和目标域是通过同一种模态来体现的隐喻，还是通过不同模态来体现的隐喻[12]。在此基础上，隐喻理论被用来研究广告、政治漫画、音乐与声音、电影以及手势等多种符号资源，不但使人们能从新的视角来分析多模态语篇，而且打破了以往概念隐喻仅仅局限于语言层面研究的局面，更好地诠释隐喻的体验哲学的本质，丰富了认知语言学的概念隐喻理论。

(四)多模态语篇的语料库分析

随着现代数码科技的发展，交流方式日益多模态化，多模态语篇也越来越复杂化，如何对多模态语篇进行记录、加工，并采用科学的手段加以分析，成为许多学者关注的重要课题。为了解决这一问题，一些学者开发了多模态语料库标注和检索软件，建立多模态语料库。多模态语料库分析在原有单模态文本语料库理论基础上，建立包括文本、图片、音频、视频等多模态符号资料在内的多模态语料库，以系统功能语言学和社会符号学为理论基础对多模态符号进行标注，通过语料库语言学的研究手段分析多模态符号的意义建构，为多模态语篇分析提供了科学、高效的研究方法。

四、结语

以上对多模态语篇分析几种主要的理论进行简要归纳和梳理。首先，通过上文不难看出，多模态语篇研究的理论日渐丰富。对于多模态语篇的研究，除了采取上述提到的系统功能语言学、社会符号学、互动社会学、认知隐喻和语料库语言学等理论视角以外，近年来还有学者以语用学、文体学和修辞学为基础进行多模态语篇研究。在多模态研究中，各种理论视角相互借鉴、相互融合。同时，多模态语篇研究的范围不断拓宽。从最初研究静态的语言和图片的社会符号意义，逐渐扩展到对动态的音频、视频意义的探讨，以及对于日常对话、课堂教学等方面的研究。此外，多模态语篇研究的方法呈多样化趋势。对典型实例和少量文本在某一理论框架内进行定性分析，挖掘文本深层次的语篇特征，建立大型多模态语料库，并对多模态符号进行定量分析，发现其普遍的语篇特征。还有通过心理学实验分析受试者对多模态语篇的认知和理解。总之，多模态多模态语篇的研究理论框架和研究方法日益融合，研究范围越来越广。

[1]Harris, Z. Discourse Analysis[J]. Language, 1952(28).

[2]McCarthy, M., Matthiessen, C., Slade, D. “Discourse Analysis” in Schmitt, N. (eds)[C]//An Introduction to Applied Linguistics.London: Arnold, 2002.

[3]张德禄. 多模态话语分析综合理论框架探索[J]. 中国外语, 2009(1).

[4]Barthes, R. Image-Music-Text[M]. London: Fontana, 1977.

[5]冯德正, 张德禄, O’Halloran, K. 多模态语篇分析的进展与前沿[J]. 当代语言学, 2014(1).

[6]潘艳艳, 李战子. 国内多模态话语分析综论(2003—2017)——以CSSCI来源期刊发表成果为考察对象[J]. 福建师范大学学报：哲学社会科学版, 2017(5).

[7]Halliday, M. A. K. Language as Social Semiotic: The Social Interpretation of Language and Meaning[M]. London: Edward Arnold, 1978.

[8]O’ Toole, M. The Language of Displayed Art[M]. London: Leicester University Press, 1994.

[9]Kress, G. & van Leeuwen, T. Reading Images: The Grammar of Visual Design[M]. London: Routledge, 2006.

[10]Norris, S. Analyzing Multimodal Interaction: A Methodological Framework[M]. London: Routledge, 2004.

[11]Scollon, R. and Levine, P. Multimodal Discourse Analysis as the Confluence of Discourse and Technology[C]//In P. Levine and R. Scollon (eds.) Discourse and Technology: Multimodal Discourse Analysis. Georgetown: Georgetown University Press, 2004.

[12]Forceville, C. and E. Urios-Aparisi[C]// Multimodal Metaphor. Berlin: Mouton de Gruyer, 2009.