多模态文化语篇的人际意义构建研究

吕行

摘 要：多模态语篇的人际功能为语篇编写者与读者之间搭建了沟通的桥梁。多模态语篇通过语言、图像、字体等模态传递人际意义。近年来，多模态语篇的意义构建一直是研究的重点和难点。本文通过对一篇多模态文化语篇的分析，阐释了各符号系统人际功能的具体体现形式，同时探讨了两个系统如何通过符际互补性构建人际意义。

关键词：多模态语篇；人际意义；符际互补性

中图分类号：H05 文献标识码：A 文章编号：1009 — 2234（2018）07 — 0168 — 03

一、引言

随着科学技术的发展，各种符号资源如声音、图像、动画等已融入到了我们生活的方方面面。语言学研究者们也逐渐将研究重点由传统语言语篇分析转向了多模态语篇分析。多模态语篇与传统语言语篇一样，具有三大元功能：概念功能、人际功能和语篇功能。胡壮麟（2007）指出，这类语篇分析既可以推动我们对语言学的研究，同时也可以加深我们对符号学的认知。不可否认，伴随着越来越多的多模态语篇的出现，人类的互动也逐步多模态化。那么除了多模态语篇的概念意义，在人类互动过程中符号资源如何相互协作来构建意义也是研究的重点。本文将以一篇文化语篇为例，探讨语篇中图像与语言系统通过互动整合构建人际意义。

二、多模态语篇分析理论基础

经过实践，许多语言学家（Matthiessen，2007；OHalloran，2004；胡壮麟，2007）都认为，分析多模态话语，最合适的理论模式是系统功能语言学理论。因为它不需要为适应新的目的而对理论框架本身进行改造，可以有效地为研究者提供理论支撑。

1.语言的人际功能

语言的人际功能是讲话者作为参与者的意义潜势。通过这一功能，讲话者使自己参与到某一情境语境中，来表达他的思想和推断，并试图影响别人的思想和行为（胡壮麟，朱永生等，2017：110）。人们在交际过程中，使用语言完成最基本的两个任务：给予或求取，所涉及的内容分为信息、物品或服务。以上四个变项组成了四种最重要的言语功能：提供、命令、陈述和提问。它们由语言的语气系统体现。人际意义的另一重要组成部分是讲话者对自己的命题的成功性和有效性所做的判断，或在命令中要求对方承担的义务，或在提议中表达的个人意愿，这一部分由情态系统体现（胡壮麟，朱永生等，2017：146）。

2.图像的互动功能

Kress &van; Leeuwen（2006）指出视觉交流是一个复杂的过程，这期间涉及到两类参与者：表征参与者和互动参与者。前者指的是在图片中出现的人物、事物或地点等；而后者指通过图片交流的人们，也就是图片创造者和图像观赏者。图像系统的人际功能主要涉及的是图像互动者之间的社会关系以及这些互动参与者对彼此和语篇的评价取向。互动意义主要通过四个语义系统来实现：接触（contact）、社会距离（social distance）、态度（attitude）和情态（modality）。

接触指图像参与者与图像互动者目光对接，从而引起图像互动者一定情感体验的虚拟行为。需要指出的是，在接触过程中图像互动者的主觀能动性对于互动意义的识读至关重要。与语言的即时对话不同，图像交际时互动参与者之间并没有直接的接触；读者（观看者）和作者（图像创作者）都是独自与图像本身接触的，因此两者的接触是平面的而不是立体的。在视觉交流中有一种互动关系是普遍存在的，即一个读者与多个该图像的创造者互动。接触分为提供和求取，两者之间的区别在于图像参与者和互动者之间目光是否可以实现对接。当图像进行“提供”时，通常提供的是信息；当其“求取”时，则索取的是物品和服务或者来自读者的回应。接触具体由“注视”（gaze）体现，即直接或间接形式的投向读者的目光接触。注视由一个或多个来自图像内有生命的表征参与者的视线以向量的投向读者方式体现，同时伴随着一些姿势，如图像中一人注视着同时用手指指向读者。图像内表征者所“求取”的东西取决于其面目表情，可能是一个微笑或一个怒视等。

除接触外，人际功能也由社会距离（social distance）体现。社会距离的远近与图像的取景有关。一般来说，远景表示社会距离较远，近景表示社会距离较近。Kress & van Leeuwen（2006）对取景和社会距离做了划分，即个人近距离：头部至肩部的近距离取景；个人远距离：腰部以上的距离取景；社会近距离：个体或人物的全身距离的取景；社会远距离：整个人并且周围有空间环绕；公共距离：至少有四至五个人的距离。取景的远近决定对读者介入要求的强弱，即越近距离的取景对要求读者介入的程度越强烈，反之亦然。

另一个体现人际功能的语义系统是视点。态度通过视角（angle）来体现，表达对参与者所持的主客观态度。图像根据创造者的态度和意图分为主观图像和客观图像。主观图像（subjective）创造者通过对视角系统的选择表达出希望图像参与者与读者在阅读过程中采取的角度。大部分图像都采用多样化的水平视角和垂直视角的主观图像；从水平角度看，正面角度给读者带来感同身受、融入其中的感觉（involvement），而倾斜的角度则表现出作为旁观者的漠然与事不关己（detachment）；从垂直的视角看，让读者俯视代表读者的强势（viewer power），平视表示读者和表征参与者关系相对平等（equality），仰视则表示参与者处于强势的地位（representation power）。客观图像（objective）中，图像创造者并没有给出自己预设的理解角度，而是尽可能完整地向读者呈现信息。这类客观图像多见于科教语篇中的图形、图表、以行动或指示为导向的地图等。许多这类图像以水平或垂直的角度呈现，以最客观的方式展现。有时候在对立体图形进行展示时可能会有侧面或倾斜的角度，这并不表示图像使用者的任何主观态度，而是通过透视法展现图形的一种手段。

图像符号系统的情态语义系统与语言的情态系统类似，是指人们对关注的世界所做出的陈述的真实度或可信度，即视觉符号表现出的与真实世界存在的现状相一致的程度，是一个变化区间，其体现资源丰富，被归纳为高、中、低三类。决定情态程度的体现资源被称作情态标记，包括色彩、语境化、再现程度、深度、照明和亮度。色彩包括饱和度、色彩区分度和色彩调谐度，以区间的形式进行衡量，色彩的值与真实世界越接近则；语境化指从没有背景到意味细致的背景的变化尺度；再现指从最抽象的表达到对细节最大限度的再现；深度指从没有纵深到最大程度的透视的变化区间；照明指从对光和影的最大程度的再现到没有光和影的变化；亮度指从最大数量的不同明亮程度到只有明与暗两种对比的变化。这些情态标记用来衡量情态高低的标准实际上取决于是否最大程度地对要表征的世界做了真实再现。必须指出的是，我们需要区分图像是属于自然化（naturalistic）的还是科技化（scientific）的。以上的情态标记的变化标准只限于衡量表征自然化世界，因为在不同的语境下，真实度的标准不尽相同。自然化的图像指的反映真实世界的图像，例如图画、照片等。而科技化的图像是用来表征科学世界的，相对抽象。由于人们习惯性地认为科学世界是抽象的，从而对其越是抽象、与真实世界相反的表达越是对科学世界相对真实的反映，越是具有高情态，这点与自然化的图像相反。除了自然化图像和科技化图像，还有以展现不同感官感觉为目的的艺术化图像以及抽象化图像。根据不同的语境，Kress & van Leeuwen （2006）提出另外三种不同的衡量情态的标准，称为“真实度原则”，又叫作“编码取向”（coding orientation），具体为：

科技化编码取向：有效地展现作为解释和描述概述大纲或蓝图的图像，除必要时，色彩的衡量区间越趋于最小化，情态程度越高；感观化编码取向：在以艺术、时尚或美食视觉语境下为以给读者提供充分的感官压力为主要原则，色彩的区间越趋于最大化，情态程度越高；抽象化编码取向：以能够总结共性和简化细节为原则，存在于科学和教育语境下，再现区间越趋于最小，情态程度越高。

以上我们总结了体现人际功能的几个语义系统，包括接触、社会距离、态度和情态。然而需要指出的是，对这些语义系统的分析并不是绝对的，例如对科技语篇和自然语篇的情态分析就不能使用同一标准，要根据具体语境做出具体的判断。

三、语言与图像的互补性

各种符号系统通过互动和协商共同构建一个有意义的连贯的语篇。符号间是如何共同协作、互动协商构建意义的一直是多模态研究的关键点。Lim （2004）提出视觉符号资源和语言符号资源在语篇内容层进行互动和协调从而产生的语义扩展，即这两个符号资源所制造的大于各自制造的意义之和。这个整合的过程发生在语篇内容层，由三个元功能组织。根据Royce（2007）的观点，这一过程主要由符号间的互补机制体现。分析多模态语篇符号通过以下两个符际互补性构建人际意义：即不同模态之间在语气方面相互加强与否；在传递的态度方面存在一致或相反。前文提到，视觉图像系统和语言系统一样，在交际中最基本的角色是给予和求取。而交际物又可分为物品和服务、以及信息。因此符号系统的交际角色和交际物两个变项组成了四种最主要的符号功能：提供、命令、陈述和提问。在分析多模态语篇中语言系统的言语功能时主要依靠对语气系统的分析；对视觉符号系统的交际功能分析主要依靠对接触系统的分析。在对两个符号系统展现给读者的交际功能分析后，则要分析两者展现的功能是否相互加强。对态度趋向整合机制的分析则要两个符号系统的情态系统。说话者对自己通过语言系统表达意义的成功性和有效性的判断，或在命令中要求对方承担的义务，或在提议中要表达的个人意愿都由情态系统实现。语言在交换信息时的表现形式是命题，而在交换物品或服务时的表现形式是提议。在命题中，意义的归一性表现为肯定和否定。在这两极之间有不同值的概率和频率，前者相当于“可能是—可能不是”，后者相当于“有时是—有时不是”，两者都有不同程度变化的值，即情态。对语言系统表现的态度趋向分析时对此情态系统的值的分析，然而视觉图像符号系统的情态主要取决于语篇的编码取向。前文提到，不同编码取向的语篇的情态值的高低有不同的标准。通过分析两个符号系统的情态值的高低来判断两个符号系统表达的态度趋向一致或不一致，从而构建不同的人际意义。

四、多模态语篇的人际意义构建

本文选取的语料来自由国家汉办编著的HSK（汉语水平考试）标准教程第五册中的文化语篇《中国人对年龄的询问方法》。该教材中的文化语篇主要的交际目的是向外国学习者传递有关中国文化的信息。编写者以两种模态（图像和文字）呈现语篇，使语篇能够丰富地表达意义。

语料中语言符号系统表现的言语功能为陈述、提供和提问。在提供部分建议（对于10岁一下的孩子，一般问“你今年几岁了？”）盖然性中等，情态值居中；而在提供另一部分建议时（询问年长的人的年龄则一定要用“您今年多大年纪了”）确定性高，情态值高。

语料中图像符号系统是一张以绿色植物为背景的六个不同年龄段的中国人（两位老年人，两位青年人，两位儿童）的合影。图像符号的表征参与者是六位中国人及绿植覆盖的公园背景。表征参与者平视的目光则表现其与阅读者不存在权力差异，而照片中微笑的表情意味着表征参与者在邀请阅读者与之形成友好的密切关系。表征参与者的目光直视镜头，与阅读者有明显的目光接触，体现了求取功能，即表征参与者在强烈建议读者参与到他们的幸福世界中。从态度这一语义系统来分析，该语料视觉符号的作者以水平角度，客观正面地给读者带来感同身受、融入其中的感覺，体现了表征参与者与读者平等的关系。照片的色彩饱和度很高，自然主义地表现在了六位中国人愉悦的生活状态，因而情态值高。从照片的色彩区分度看，色彩对比比较明显，红色和白色的衣服与背景的绿色形成了鲜明对比。从照片的色彩调谐度来看，照片的色彩搭配有序，深浅有致，这些标记都体现了高情态。另外在语境化这个标记方面，该照片的背景也极为丰富：近处的长椅，修剪过的花草及远处的绿树，错落有致，最大限度地再现了周围环境，说明作者采用了高情态的表现手法表达意义。通过以上对情态标记的分析，我们知道该语料中视觉符号系统表征的是高情态。

语言系统和图像系统通过协作构建人际意义。具体来看，构成该语料的两个符号系统通过语气和情态相互协作，语言系统给予信息，图像系统求取信息或服务，因此两个系统在语篇内容层并没有通过相互加强。另外，两个系统都通过高情态值表达了人际意义，因此在内容层通过态度一致性构建意义。

五、结语

人际意义是多模态语篇构建的搭建在读者与语篇编写者之间的桥梁。本文阐释了语言的人际意义与图像系统的人际意义构建方式。本文通过分析一篇选自《HSK标准教程》的多模态文化语篇的语言及图像符号系统，探讨了多模态语篇的人际功能的具体体现形式，即两个系统各自通过具体的语义系统构建，并在语篇内容层上通过语气加强与否和态度一致或相反两个谋篇机制相互协作构建意义。目前，学术界对多模态语篇的意义构建研究还处在地定性研究阶段，需要大量的语篇分析来验证。

〔参 考 文 献〕

〔1〕胡壮麟. 2007. 社会符号学研究中的多模态化. 语言教学与研究，（1）：1-10.

〔2〕Matthiessen， C. M. I. M. 2007. The Multimodal Page： A Systemic Functional Exploration. In T. D. Royce & W. L. Bowcher （eds.）. New Directions in the Analysis of Multimodal Discourse. pp：1-62. New Jersey and London： Lawence Erlbaum Associates.

〔3〕OHalloran， K. L. 2004. Multimodal Discourse Analysis. London： Continuum.

〔4〕胡壮麟，朱永生，张德禄，李战子. 2017. 系统功能语言学概. 北京：北京大学出版社.

〔5〕Kress， G. and van Leeuwen， T. 2006. Reading Images： The Grammar of Visual Design. 2nd Ed. London： Routledge.

〔6〕Lim Fei， V. 2004. Developing an Integrative Multi-semiotic Model. In K. L. OHalloran （ed.）. Multimodal Discourse Analysis. pp： 220-246. London： Continuum.

〔7〕Royce， T. D. 2007. Intersemiotic Complementarity： A framework for Multimodal Discourse Analysis. In T. D. Royce and W. L. Bowcher （eds.）. New Directions in the Analysis of Multimodal Discourse. pp： 63-110. New Jersey and London： Lawence Erlbaum Associates.

〔責任编辑：杨 赫〕