功能语言学视阈下的多模态语篇分析

李菁菁 纪羽茜

（1.通化师范学院 大学外语教学部，吉林 通化 134002；2.东北师范大学 外国语学院，吉林 长春 130024）

一、引言

美国结构主义语言学家Harris（1952）第一个明确提出“语篇分析”。［1］自这一术语的提出至今，符号学、心理学、人类学、社会学、文学等学科的观点和分析方法已被广泛地应用于语篇分析的研究。

传统语篇分析的研究对象是大于小句的实际话语（口头的或书面的）。而话语只是意义系统中的一种符号。随着电子时代的到来，图像、动画、颜色、声音、印刷版式等多模态表意符号越来越频繁地参与构建交际意义。交际意义资源的多模态化使语篇分析研究必然朝多模态转向。

二、多模态语篇分析

20世纪90年代，西方兴起了多模态语篇分析（multimodal discourse analysis）。“模态”这一术语源自生命科学。生命科学的研究成果表明，生命体在演化过程中，逐步获得了视觉、听觉、嗅觉、味觉、触觉等5种不同的感官通道。这些通道是生命体与周围环境进行信息交换的界面和路径。［2］这5种感知渠道的获得分别激发5种交际模态的产生：视觉模态（visual modality）、听觉模态（auditive modality）、触觉模态（tactile modality）、嗅觉模态（olfactory modality）和味觉模态（gustatory modality）。只使用一种模态的语篇叫做单模态语篇（monomodal discourse），如：盲文、广播等。同时使用两种或两种以上模态的语篇叫做多模态语篇（multimodal discourse），如：影视作品、可视电话等。如果一个语篇只涉及一种模态，但包含两个或两个以上的符号系统，也可以视作多模态语篇，如，漫画。虽然漫画只涉及视觉模态，但既有文字又有图画。

对多模态语篇进行的语言学研究被称为多模态语篇分析。多模态语篇分析的理论基础是功能语言学。本文将从功能语言学派的语言观、层次观、语境观三个方面描写和解释多模态语篇的特征、运作机制和分析方法。

三、功能语言观和多模态语篇分析

功能语言学家韩礼德认为，元功能是语言符号的普遍特征。［3］（P11）语言具有表达说话人在动态交际过程中对外部世界和内心世界经验的概念功能；语言具有体现说话人与听话人之间亲疏关系、社会地位的人际功能；语言具有在语境中组织和生成具有完整意义的语篇功能。

语言是社会符号（social semotic）的一部分。社会符号是由许多意义系统（符号）构成的文化或社会现实，如建筑、美术、舞蹈、音乐等。［3］（P9）语言只是其中的一种典型的符号系统。因此，有关语言的理论同样适用于解释和分析其他符号系统。许多学者受到韩礼德的符号观和元功能思想的影响，认为各种模态的符号都是能够表达概念功能、人际功能和语篇功能的意义资源。O’Toole以悉尼歌剧院为例，以功能语言学的元功能为理论框架对三维建筑物的多模态特征进行了分析。［4］Kress和van Leeuwen将元功能理论拓展到对视觉模态的专门研究，并创建了视觉语法（visual design grammar）体系。［5］此外，还有Martinec的动作符号学和van Leeuwen的声音符号学。［6］［7］

目前，在多模态语篇分析中，对视觉符号的研究占主流地位。应用得最广泛的分析方法是Kress和van Leeuwen的视觉语法。受功能语言观的启示，视觉语法建立了视觉符号观——视觉符号是一种意义资源，并且同语言符号一样能够表达外部世界和内心世界经验；体现交际参与者之间的人际关系；并且在语境中组织和生成具有完整意义的语篇。

Kress和Leeuwen相应地提出了三大意义：再现意义（representational meaning）、互动意义（interactive meaning）、构图意义（compositional meaning）。［5］再现意义对应元功能中的概念功能，主要探讨不同视觉符号系统之间或者同一视觉符号系统内部的各成分之间的关系。互动意义对应元功能中的人际功能，主要探讨视觉符号的设计者的交际意图，视觉符号的解读者与视觉符号之间的关系。构图意义对应元功能中的语篇功能，主要探讨不同视觉符号之间或同一视觉符号系统内部的不同成分的排列和分布方式（如居中、环绕、前景、背景等），以及它们如何控制语篇信息的流向。

以功能语言观为视角，观察多模态语篇，可以发现不同模态存在着相同的符号原理。关于语言的社会符号性、意义潜势和元功能的理论同样适用于解读多模态符号的本质特征。

四、功能层次观和多模态语篇分析

功能语言学层次的思想与多模态语篇分析也有着密切的关联。功能语言学认为语言是一个多层次的系统。可以自上而下地分为语境层、内容层和表达层三个层次。其中，语境层属于言外层次，内容层和表达层则属于言内层次。宏观上，言外层次由言内层次实现；微观上，上一级系统由下一级系统实现（realization）。如下图所示：

Matthiessen认为可以从语境层、内容层和表达层这三个层次观察语篇的多模态特征。［8］从语境层看，包括语言在内的各种模态的符号系统都需要在语境中共建意义。需要指出的是，各种符号各自生成的意义在于语言生成的意义并不是从属或者辅助的关系。它们既是各自独立的意义资源，同时又相互联系：可以相互重叠、互为补充甚至相互冲突。从内容层看，语义层由词汇——语法层实现。而词汇——语法是语言符号所特有的。所以，其他模态的符号特征无法在这一层次上得到解释。从表达层看，语言符号生成的意义是通过对音系和字系的选择实现的。其他符号系统是借助除口语和书面语以外的其他媒介表达意义的。选择口语还是书面语或是其他媒介，取决于语境层中的情景语境（语域）。

以上分析表明，语言符号的意义实现层次可以用于描写和解释其他模态符号的意义生成机制。多模态符号系统也可以划分为语境层、内容层和表达层。并且各个层次之间也是逐级实现的关系。

功能层次观体现了语言的内在本质是多模态的。同时也解释了语言以外的其他符号系统的多模态特征。一种符号不能够充分地展现交际全貌。在多模态时代，语言不再是交际的中心，而是跟其他模态的符号“合力”互补、共建交际意义。

五、功能语境观和多模态语篇分析

语境属于言外层次，可以划分为文化语境和情景语境两个层次。功能语言学派认为任何言语活动（语篇）都产生于语境之中。［9］（P6）换言之，语篇受制于语境。

首先，语篇产生于某种文化语境（context of culture）之中。每个言语社团都有自己的历史、文化、思维模式、道德观念、价值观念等。这些反映特定言语社团特点的方式和因素构成了语篇的文化语境。在特定文化语境中，人们可以在特定的时间、场所，就特定的话题，依据交际双方的关系，即情景语境中通过进一步的意义选择生成语篇。情景语境是语篇的直接语境。情景语境由语场（field）、语旨（tenor）和语式（mode）三个变量构成。语场指交际的环境，包括谈论的话题等整个交际活动。语旨指说话人的交际目的，以及说话人与话题参与者之间的社会关系。语式指话语活动所选择的交际媒介或通道，即口头的或是书面的。对于语言符号而言，口头的话语方式包含了声音、节奏、语气、语调以及伴随的身体语言等等，书面语言则包含了字体、段落的缩进、版式等。

在具体的语篇中，文化语境对应语类，情景语境对应语域。情景语境的三个变量则分别对应概念功能、人际功能和语篇功能。韩礼德指出：语域还有开放式和封闭式之分，开放或封闭的程度制约着语域的预测功能。［10］本文认为，与传统的单模态语篇一样，多模态语篇也是人们在语境中做出的意义选择，是语言使用的实例。但多模态语篇的意义资源更加丰富，表意形式更加复杂，由视觉、听觉、嗅觉、触觉和味觉等多种渠道呈现。语篇的开放程度更高。因此，可以根据语类和语域来预测语篇的概念意义、人际意义和语篇意义。反之，也可以根据语篇中各种模态符号的配置、分工来预测可能产生这个语篇的语境。

总的来说，我们可以从两个视角分析多模态语篇。可以从语境出发，描写和分析在同一情景语境下三个变量中各种模态的符号系统之间的关系和单个的符号系统内部各成分之间的关系，以及它们如何“合力”共建语篇的整体意义。同时，也可以从语场、语旨和语式入手，反向预测语篇的语境。

六、结语

交际本身是由多种模态共同实现的。多模态语篇分析关注的是各种模态如何在交际中“合力”互补、共建意义。本文以功能语言学的语言观、层次观和语境观为视角，探讨了多模态语篇的特征、多模态语篇意义的实现机制以及多模态语篇分析的途经。在同一语境下，语言符号与其它模态的符号系统之间的意义关系，以及这些多模态的实际话语成分如何形成意义组合共同表达交际意图，有待以具体的语篇为实例，做进一步的研究。

［1］姜望琪.Harris的语篇分析［J］.外语教学，2011，（7）.

［2］朱永生.多模态话语分析的理论基础和研究方法［J］.外语学刊，2007，（5）.

［3］胡壮麟，等.系统功能语言学概论［M］.北京：北京大学出版社，2008.

［4］O’Toole，M.The Language of Displayed Art［M］.London：Leicester University Press.1994.

［5］Kress，G.＆T.van Leeuwen.Reading Images：The Grammar of Visual Design［M］.London：Routledge.1996.

［6］Martinec，R.Cohesion in Action［J］.Semiotica，1998.

［7］Van Leeuwen T.Speech，Music，Sound［M］.London：Macmillan，1999.

［8］Matthiessen，C.The Multimodal Page：A Systemic Functional Exploration［A］.in T.Royce and W.Bowcher（eds）.New Directions in the Analysis of Multimodal Discourse［C］.New Jersey and London Lawrence Erlbaum Associates.2007.

［9］朱永生，严世清.系统功能语言学多维思考［M］.上海：上海外语教育出版社，2001.

［10］常晨光，陈瑜敏.系统功能语言学语域研究［J］.北京科技大学学报，2011，（9）.