多模态语篇建构中的符际间互动研究

尚喜梅

(长治学院 外语系，山西 长治 046011)

多模态语篇建构中的符际间互动研究

尚喜梅

(长治学院 外语系，山西 长治 046011)

以Kress amp; van Leeuwen 视觉语法理论和Lim综合多符号模式为理论框架，以2012年伦敦奥运会会徽语篇为语料，分析了语篇中图像、文字、颜色和印刷版式等各种符号资源在建构语篇概念意义过程中所发挥的作用。在阐明语篇意义建构过程中符际间通过互动和协商不仅建构了语篇的意义，还体现了语篇背后所暗含的意识形态。

视觉语法；综合多符号模式；概念意义；意识形态

现代科学技术的迅猛发展使语篇的概念得到了延伸，传统意义上的以语言文字符号为单一模态的语篇日益呈现多模态化( multimodality )，各种符号资源(如语言、视觉图像、声音、颜色、空间结构等)共同参与语篇建构、完成意义表征和交际。正如Halliday[1]所指出，“语篇”这个词，就像一切跟学术研究活动有关的术语常常发生的那样，其涵义已大大超出了当初所谓的篇章，现在已包含了其他各种模式的符号，各种表格、图标、图表、示意图、平面图、统计图等。这些符号经常和流动的语篇结合在一起，作为对文字篇章的补充，甚至是不可或缺的一部分。传统的以语言文字符号为核心的单模态分析方法，即只关注语言系统和语义结构本身及其与社会文化和心理认知之间的关系的分析方法,对准确解读现代多模态语篇的意义生成和交际已显得力不从心，这使得多模态语篇分析的产生成为必要。同时，现代科技的发展也为多模态语篇分析提供了新的分析工具，这使得多模态语篇分析在技术上成为可能。

一 研究背景

1996年，Kress amp; van Leeuwen的《阅读图象》一书的问世标志着多模态语篇分析的正式到来。该书整合语言文字和其它表意资源，不仅看到语言系统在意义交换中发挥的作用，而且注意到其它符号资源在意义建构中产生的效果，为信息时代的语篇分析提供了一个崭新视角，为多模态话语分析提供了理论依据和研究方法，使语篇意义的解读更加全面准确。这类话语分析既可以推动我们对语言学的研究，同时也可以加深对符号学的认识。[2]

在西方，多模态研究在2l世纪得到了空前迅速的发展。主要代表人物有：Baldry, Kress amp; van Leeuwen, Lemke ，O’Toole, 0’Halloran，Royce，Jewitt等。在我国，目前对多模态话语分析的研究虽尚处于起步阶段，但也取得了丰硕的成果，主要以顾曰国、胡壮麟、朱永生、张德禄、李战子、王红阳、韦琴红等为代表。就研究方法来讲，国内多模态语篇分析停留在对西方研究理论的应用上；国外学者专家，因受Halliday的语言层次思想、语篇、语境思想和意义潜势等观点的影响，在研究方法上主要采取了“自上而下”的语境法和“自下而上”的语法研究法。例如，Kress amp; van Leeuwen[3]使用 “自上而下”的语境法从意识形态的角度出发，探讨了视觉设计的普遍原则；而O’Toole[4]则采用了“自下而上”的语法研究法对诸如绘画、建筑设计和雕塑等多模态语篇进行了研究。Iedema[5]认为，两种研究方法是互补的，因为它们都吸收了Halliday在语篇、社会和文化研究上的社会符号学的方法，即依据以下三个主要原则，把语篇分析置于具体的社会实践框架下。

1.语言是有层次的，至少包括语境层、语义层、词汇-语法层和音系层。其中，语义层实现为词汇语法层，而其本身又实现了更高一层的语境层(包括情景语境和文化语境)。

2.语言具有概念功能、人际功能和谋篇功能三大元功能。

3.情景语境与文化语境之间是一种示例关系。

纵观国内外迄今为止的多模态语篇分析研究，我们不难发现，从1996 年至今，研究者对于多模态语篇分析的研究价值给予了充分重视， 研究领域不仅涉及多模态语篇分析理论的建构和完善，对图像、超文本电子语篇、影视作品、广告、海报等的详细分析，汉语多模态口语语料库的建设，还把多模态语篇分析应用到了教学实践和隐喻等领域的研究。但是，大部分研究，尤其是国内相关研究，主要关注的是多模态语篇中的各种模态传递的概念意义、人际意义和语篇意义，而对于不同符号资源之间的符际间性(intersemiosis)却没有给予应有的重视 , 即对不同符号资源在产生意义的过程中是如何相互作用、相互协调, 从而共同建构出一个和谐的具体的多模态语篇的没有做出相应的阐释。

鉴于此，本文以2012年伦敦奥运会会徽为语料，尝试运用Kressamp; van Leeuwen的视觉语法框架理论和Lim的综合多符号模式来诠释多种符号资源是如何相互协调和作用，并最终成功地结合在一起共同揭示多模态语篇中所暗含的意识形态的。

二 理论基础

Kressamp; van Leeuwen[6][3]指出图像作为社会符号学的一种, 同样是一个选择的系统。图片包括什么, 不包括什么, 都是一个选择的结果, 而这些选择体现了他们的意义潜势, 在不同的社会语境下实现不同的社会功能。图像中的视觉符号不仅可以反映客观世界和主观世界发生的各种事件, 而且可以表现各种各样的人际关系, 与此同时视觉符号内部也是一个有机的连贯的整体。Kressamp; van Leeuwen 接受了Halliday的系统功能思想，认为语言之外的其它符号系统和语言系统一样具有三大元功能，并对照功能语法中的概念意义、人际意义和语篇意义，提出了“再现意义( representational meaning) ”、“互动意义( interactive meaning) ”、和“构图意义( compositional meaning) ”。 Kressamp; van Leeuwen不仅研究了视觉交流中占主导地位的图像、颜色，还研究了长期以来一直被人们认为是处于交流边缘位置的印刷版式。他们指出，印刷版式和颜色都是符号资源，它们与语言文字和图像等符号系统一样具有意义潜势和三大元功能。

Lim[7]认为，视觉图像和语言系统一样由表达层、内容层和语景层三个层面构成。各个层次之间为 “体现”(realisation)关系，即对语境的选择体现于对“意义”的选择(内容层)，体现于对“形式”(词汇-语法层)的选择；对“形式”的选择又体现于对“实体”(音系层)的选择。其中，内容层由语义和语法两部分组成，语境层包括语域、体裁和意识形态。介于语言系统和图像之间的部分为综合空间，它是不同符号资源相互语境化后得以存在的理论平台。综合空间的凸起部分表征不同符号资源相互作用和协商之后产生的语义扩展。两者不同的是，在语言系统中，表达层体现为音系或印刷版式，本身又是对词汇-语法的体现，而在视觉图像中，制图的表达层则体现的是视觉语法。不过，在上述两种符号系统中，读者和语篇都是通过表达层才得以联系在一起。表达层对具体媒介和语篇具体体现形式的选择不仅使自身得以体现，使内容、语域和体裁成为一个有机的整体，同时也体现了特定的意识形态。因此，在由语言和图像构成的多模态语篇中对印刷版式和制图的研究就显得非常重要。其中，印刷版式主要涉及字体(版式、大小写、字样、字号、字体颜色、)和布局(间距、对齐)；制图主要涉及视角(深度空间和角度)和形式(颜色、形状、线条等)。

三 语料选择

奥运会会徽是奥运会的“图腾”，也是奥运会最具权威性的标志。会徽在设计上要体现会议的主旨、举办地、举办时间、举办国(地区、单位)等。会徽语篇中既有图像、文字又有颜色，结构上也极具有代表性，为典型的多模态语篇。与往届奥运会会徽不同，2012年伦敦奥运会会徽设计打破了传统，它采取了完全现代和西化的设计理念，将会徽主图形、举办城市及年份、五环这几项元素完全打散重新排列。对该会徽语篇的分析不仅能够使我们了解各种符号模态在语篇的各个层面上是如何运用各自的模态资源和表达方式，帮我们把握符际间的互动和协商过程及符际间互动和协商之后产生的意义上的扩展或增加，还有助于我们更好地解读会徽语篇所蕴含的精神和文化内涵。限于篇幅，本文将重点分析会徽语篇中概念意义构建中的符际间互动和协商。

以下为2012年伦敦奥运会会徽和伦敦奥运会官方网站上有关伦敦奥运会会徽的文字解释。

2012年伦敦奥运会会徽以数字“2012”为主体，包含了奥林匹克五环及英文单词伦敦(London)。这一设计抓住了2012年伦敦奥运会的实质，即鼓励全世界的年轻人参加体育运动，体现奥运价值，清晰地传达出伦敦奥运会的理念——“伦敦2012年奥运会将是所有人的奥运会、所有人的2012” 。

四 语料分析

Kressamp; van Leeuwen[6][3]指出，再现意义是概念功能在图像中的再现与拓展，它在视觉上建构了图像中的事件，参与者以及环境的本质，由图像的尺寸、构图中的位置、与背景的对比、色彩饱和度、聚焦程度以及“心理凸现程度”(如人形，尤其是人脸对观看者来说都具有心理凸现性)等方面来实现。在视觉语法中，参与者分为互动参与者和表征参与者两种。互动参与者是实际口语交际过程中的说话者和听话者，书面语交际过程中的作者和读者，或是图像的制作者或观看者；表征参与者是交际过程中互动参与者所谈论或表征的主题，即言语交际中被谈论的对象，或图像中所刻画的人物、地点和事物等。根据图像的特点，再现意义被分为叙事再现和概念再现两种。矢量( vector)是区分叙事图像和概念图像的标志，由图中的元素构成，是这些元素形成的斜线，通常是强烈的对角线。在叙事图像中，参与者之间通过矢量连接在一起，对相互做某件事，通过相互作用来体现他们之间的关系，而概念图像中一般是没有矢量的。

1.语篇布局分析。

伦敦奥运会会徽语篇中，首先引起观看者注意的是由几块变形的、夸张的2012数字经过打散后的重组构成的会徽主图形，它构成了该语篇的核心图像。布局上，会徽把举办年份“2012”拆解成“20”和“12”上下组合，以图像的形式将它们呈现在观看者的面前。其中，“2”和“0”分别出现在图像的左上方和右上方，上面还分别嵌有“London”字样和奥运五环标志；“1”和“2”各出现在左下方和右下方，数字和图像融为一体，交相辉映。一方面，图像中的语言文字(数字“2012”和英文单词“London”)语境化了图像，限定了图像的解释范围，约束了图像的可能产生的意义，避免了观看者对图像产生的理解上的偏差；另一方面，图像奥运五环标志也反过来使语言文字所表达的内容得以语境化、具体化。

2.语篇过程分析。

这些不规则的数字看似松散，却有着非常强烈的结构感，尤其是两个数字“2”的图像，犹如在跑道上赛跑的两个年轻人，都充当着叙事再现行动过程中的动作者，两个动作者变换的身体姿势与动作者本身构成了矢量，体现了现代社会中的年轻人不再处于静止状态，而是用新技术和新媒体网络武装起来工作。同时，在此会徽的语篇中，数字“2”图像所代表的两个年轻人的视线也构成了矢量。其中，左上方标有“London”字样的数字“2”图像，代表伦敦年轻人(或全英国人民)，其视线投向隐藏的第三方观看者，体现了伦敦向全世界发出的分享、参与2012年奥运会的邀请。右下方数字“2”图像，代表全世界年轻人(或全世界人民)，其视线投向左上方标有“London”字样的数字“2”图像和右上方标有“奥运五环”字样的变形数字“0”图像，形成强烈的对角线，表达了全世界人民积极参与，共同分享和点燃伦敦奥运的激情与梦想。介于“2”“0”“1”“2”四个图像中间的正方形，将图像的主体内容包含进去，象征着年轻人可以跨越体育和地域的界限，手拉手相聚在奥运的五环旗下。

3.语篇所使用的颜色分析。

Kressamp; van Leeuwen[3]认为，颜色也具有概念功能，它可以用来表征人物、地点和事件，或更为抽象的概念。例如，国旗的颜色既反映了不同的政治、经济、文化、宗教和民族精神。伦敦奥运会会徽颜色一共有四种，分别是粉色、橙色、蓝色和绿色，可根据不同场合的需要使用不同颜色的会徽。粉色是介于“黄色”和“绿色”之间的一种颜色，代表着甜美、浪漫、纯真、健康、高贵和极致；橙色极为明亮，它传递给观看者一种健康、兴奋、温暖、欢乐的感觉，同时也象征着智慧、繁荣、壮严和尊贵；蓝色非常纯净，通常让人联想到海洋、天空、水和宇宙，是永恒的象征；绿色是大自然的代表色，象征和平与友善，人类与自然环境协同发展、和谐共进。这四种色彩色调高，纯度高，饱和度高，明度高，给观看者带来强烈的视觉冲击，它在向观看者显示出生命的自由、奔放、无限活力和人们参与奥运会的无限激情时，也呈现出一个崭新的、丰富多彩的世界。特别是会徽中蓝色和绿色的使用，体现着现代年轻人的朝气蓬勃、自强不息。这与伦敦奥运会所倡导的通过奥林匹克精神吸引人们参与奥运，用奥运精神感召和影响全球的年轻人的理念不谋而合。此外，图像中平淡的纯色大背景体现了Kressamp; van Leeuwen[6]所提到的现代化理念，这也是伦敦奥组委主席塞巴斯蒂安·科在伦敦奥运会会徽发布会上所提到的伦敦奥运会理念之一。同时，白色的文字和明亮的色彩形成了强烈的对比，彰显了伦敦奥运会的主旨。

4.语篇中的语言文字版式分析。

伦敦奥运会会徽语篇采用了国际化的设计语言，即几何形状的数字和国际通用语言英语。这种设计不仅体现了“开放概念”，即全世界人民(不论民族、国籍、种族、宗教、年龄、语言)都能一目了然、并准确地解读其意义，也体现了文化的包容性，即它可以是属于任何国家、任何人的，而不仅仅是伦敦的，这也是历届奥运会和伦敦奥运会的奥运精神所在：和平、友谊、进步、自强不息。

五 结语

综上所述，在奥运会会徽这样的多模态语篇中，图像、颜色和印刷版式等符号资源与语言文字符号一同都参与了概念意义的建构，并且成为概念意义中的不可或缺的一部分，忽视其中的任何一种符号资源都会引起对语篇概念意义理解的偏差或对语篇的不完整、错误的诠释。各种符号资源之间不只是简单的并列关系，而是在各个层面上相互补充和协调，相互语境化，共同完成整体语篇的建构。除此之外，语篇的理解依赖于语境，只有将语篇中的各种符号资源置于社会文化这样的大背景之下，我们才能准确解读它们的内涵。同时，对多模态语篇的分析，不能只局限于语义层面的分析，还要通过对语义层面的分析来挖掘隐藏在语篇背后的意识形态。

[1]Halliday M A K.篇章 语篇 信息——系统功能语言学视角[J].北京大学学报， 2011(1):137-146.

[2]胡壮麟.社会符号学研究中的多模态化[J].语言教学与研究,2007(1):1-10.

[3]Iedema R. Multimodality, Resemiotization: Extending the Analysis of Discourse as M ultisemiotic Practice[J].Visual Communication,2003(1):29-57.

[4]O’Tool, M. The Language of Displayed Art. London and New York: Rouledge, 1994．

[5]Kress, G. amp; Van Leeuwen, T．Reading Images[M]．London：Rouledge，2006．

[6]Kress, G. amp; Van Leeuwen, T．Reading Images[M]．London：Rouledge，1996．

[7]Lim, F. V. Developing an Integrative Multi-Semiotic Model[C] O’Halloran K L ( ed. ). Multimodal Discourse Analysis: Systemic-Functional Perspectives.New York:Continuum,2004:220-246.

ClassNo.:H313DocumentMark：A

(责任编辑：郑英玲)

IntersemiosisintheConstructionofMultimodalDiscourse

Shang Ximei

This paper takes Kress amp; van Leeuwen’s visual grammar and Lim’s interactive multi-semiotic model as its theoretical basis, London 2012 Olympic Logo as its data and analyzes the function played by semiotic resources like image, words, color and typographies in the making of ideational meaning by which it aims to demonstrate how multimodal resources function inter-semiotically to make meaning, more importantly to create large patterns of social context, culture and ideology.

visual grammar；interactive multi-semiotic model；ideational meaning；ideology

尚喜梅，讲师，长治学院外语系。研究方向：功能语言学及第二外语教学。

1672-6758(2012)12-0056-3

H313

A