多模态化与语义构建机制研究——以第十届中国—东盟博览会宣传片为例

郑小惠

(广西大学外国语学院,广西南宁530004)

多模态化与语义构建机制研究
——以第十届中国—东盟博览会宣传片为例

郑小惠

(广西大学外国语学院,广西南宁530004)

多模态话语分析理论是近年来语篇分析领域的研究热点,它突破静态书面语的限制,将研究领域拓展到多模态互动的动态性语篇,彰显了强大的阐释力。基于多模态话语分析理论,以第十届中国—东盟博览会宣传片为例,从图片的再现意义、互动意义和构图意义三个角度研究多模态化宣传片语义构建机制中文字、图片、颜色等模态的意义创生功能。

多模态话语分析;语义构建;宣传片

随着多媒体技术的普及,图片、声音、颜色、动作等非语言符号开始在人类的交际活动中扮演重要角色,而传统的话语分析基本上局限于文字本身,即只注意语言系统和语义结构本身及其与社会文化和心理认知之间的关系,忽视了其他意义表现形式[1],因此其局限于静态文字研究的语篇分析的理论适应性及阐释力遭到质疑。针对这一问题,多模态话语分析理论主张从视觉、听觉和触觉等多模态相结合的角度分析多媒体语篇[2]。国内外研究者也逐渐意识到现代交际语篇的多模态化态势,开始转向多模态语篇中文字结合其他模态的意义创生机制研究。Kress&van Leeuwen首次诠释了视觉语法,将语言、声音、图像等模态的语义潜势定义为相互联系的意义构建性系统,为该领域奠定了理论基础[3]。胡壮麟则探究了多模态化和意义的多模态构建的理论和实践意义[4-5],代树兰对多模态话语研究的缘起与进展进行了探讨[6]。目前国内学界的探讨多集中于平面媒体中图片、颜色、文字等元素的多模态意义构建机制,而对于数字化动态多模态语篇的研究还不多见。

电视宣传片是典型的动态多模态语篇,图像、音乐、文字等符号在持续性联动过程中进行整合,构建语篇的整体意义。2013年正值中国—东盟博览会举办十周年,近年来这一国际盛事影响力的不断提升,引发外界广泛关注。本文基于Kress &van Leeuwen的视觉语法框架[7],以第十届中国—东盟博览会宣传片为例,从多模态角度研究宣传片中图像、颜色和文字等符号的动态互联及意义创生功能,有利于更加全面深入地了解其语篇的整体意义构建机制,对于提高其宣传效果有一定的实践指导意义。

一、多模态话语分析理论

多模态话语分析是指把单一对文字的研究延展至对文字、图片、象征、手势、动作、音乐和声音等多模态意义表达方式的研究[8]1。

多模态话语分析的理论出发点是系统功能语言学。多模态话语分析借助Halliday的系统功能语言学,主张语言是社会符号(social semiotic),认为文字以外的其他社会符号也是意义的源泉,并把文字作为社会符号所具有的三大元语言功能扩展到文字之外其他社会符号(图像、科学象征、手势、动作、音乐和声音等)。由于多模态话语分析深受系统功能语言学和社会符号学的影响,因此,其也可以称之为系统功能符号学(systemic-functional semiotics)[1]。

Kress&van Leeuwen的视觉语法理论框架是本文研究的理论基础。在《图像解读:视觉语法》一书中,Kress&van Leeuwen提出视觉语法能够对地点、事件和动作发出者进行组织,正如语法整合词语句子。视觉语法把Halliday的三大元语言功能即概念意义、人际意义和语篇意义延伸至除文字之外的其他符号,在视觉模态分析中这三大功能则被解释为再现、互动和构图功能[7]。再现、互动、构图是视觉语法的重要内容。

图像的再现意义也就是概念意义,基于系统功能语法Kress&van Leeuwen把图像的再现意义分为两大类:叙事性再现和概念性再现[7]59。图像的人际功能体现为一种互动,指的是图片的设计者、图像本身(包括人物、物体和背景)和读者之间的关系。Kress&van Leeuwen指出,图像的互动意义通过相互交流来实现[7]59。图像的构图意义则是图像的各个组成部分按照一定的顺序组合起来构成有意义的整体。信息值、显著性和取景是图像构图意义的三要素。Kress&van Leeuwen指出,元素所处的位置不同体现意义也不同[7]168。

二、案例分析:以第十届中国—东盟博览会宣传片为例

本文选取的第十届中国—东盟博览会宣传片(下文图1至图7)来自优酷网,它包含文字、图片、声音、颜色、动漫等多模态意义表现形式,是很有代表性的多模态语篇。本研究侧重于视觉模态的探讨,从再现意义、互动意义、构图意义对宣传片中图片、颜色、文字的多模态意义构建机制进行研究。

(一)第十届中国—东盟博览会宣传片的再现意义

根据图片的不同特征,Kress&van Leenwen把再现意义分成叙事再现和概念再现两大类。叙事再现的特征是有向量的存在,而概念再现则没有向量。在图像中向量是指元素构成的斜线,通常是强烈的对角线[7]59。图1-4都不存在向量,属于概念再现。概念图像呈现的是概括的、稳定的和没有时间限制的精华[7]59。

图1 河水相聚

图1的背景是南宁市地标性的建筑——南宁国际会展中心,其屋顶挂着一些国家的国旗,告知观众中国-东盟博览会的成员国是:中国、越南、老挝、泰国、柬埔寨、缅甸、印度尼西亚、菲律宾、文莱、马来西亚、新加坡。图中,取自博览会成员国母亲河的河水汇聚在一起,设计者以南宁国际会展中心,东盟博览会的永久举办地为背景,突出河水相聚的场景,呈现出图像的概念意义:相聚。中国和东盟十国的人民汇聚在中国广西南宁,齐心协力把中国—东盟博览会办成一个繁荣的国际盛会。

图2 中国-东盟博览会会徽

图3 相聚到永远

设计者在宣传片中还选取了中国—东盟博览会的会徽(如图2所示),再一次陈述了图像的概念意义:相聚。中国和东盟十国将相聚到永久。11条彩带分别代表着美丽的中国和旖旎的东盟十国,他们齐聚于南宁,通过密切的合作和广泛的交流,实现优势互补、共同发展的美好愿望。

此外,紧紧束在一起的彩带犹如一枝有绿叶相伴的鲜花。上半部分是盛开的花朵,其形状宛如南宁市市花:朱槿花。下方是绿色的,宛如朱槿花的枝叶,其形状又像南宁国际会展中心屋顶的缩影,而绿色恰好与绿城南宁相呼应,传达出朝气蓬勃的气息。色彩艳丽的花瓣,辅之以醒目的文字CAEXPO和晴朗的天空,传达给世人的概念意义是中国—东盟博览会是一个在中国南宁举办的有美好未来、充满希望、不断繁荣的国际盛事。

图3是“盛聚”的完美诠释,设计者选取中国的国粹书法而不是单调的文字,并采用艳丽的颜色来书写“相聚到永久”这几个大字,非常有审美效果,引人注目,辅之以英文对照,让中外观众一目了然。

图4 双边贸易成就

图4由4张相似的图片组成,黄色的字体在蔚蓝天空的映衬下吸引着读者的眼球。第一张图片传达的意义是中国和东盟的双边贸易额年增长率达20%以上,随后的几张图片列出其中一些年份的双边贸易额:2004年1000亿美元,2007年2000亿美元,2012年4000亿美元。这些数据足以说明双边贸易额年增长率高达20%的真实性。设计者以晴空万里下的南宁地标性建筑——南宁国际会展中心的朱槿花厅作为背景,表明这些成就都得益于中国—东盟博览会的举办。通过整合图片的多模态符号,可以得出他们所传达的概念意义是中国—东盟博览会作为发展的加速器,将把中国和东盟国家之间的贸易合作推向一个更大的平台。

(二)第十届中国—东盟博览会宣传片的互动意义

互动意义指的是设计者、物体(包括人、事物和背景)和读者之间的相互交流,具体通过接触、社会距离和态度来体现。

1.接触。图2中的11条彩带像无数双挥舞的手臂,成千上万的广西人民团结一心,积极参与到中国—东盟博览会中来。他们挥舞着双手,读者能够感受到他们热忱的欢迎,这个过程就是接触交流的过程。而这种接触所传递的图像行为是一种索求,索求的是读者投身于博览会的热情与切实行动。

图5 投资合作

图5也是一个接触交流的过程,不断向上升的箭头映入眼帘,明确表示出中国东—盟博览会所带来的投资合作火速发展,给世人提供了大量的机遇。箭头不断地变大,表明机遇越来越多,我们可以把这一接触交流的过程看作是一种提供,提供的是机遇和机会。设计者达到了吸引人们参与东盟博览会的目的。

2.社会距离。由于相机有近焦距和远焦距,我们能够得到近距离的图片(即近景),也能够获取远距离的图片(即远景)。所以,在视觉分析中,我们可以把社会距离划分为近景和远景。远的社会距离带给人们一个广阔的视野,预示着广阔的平台。图6是南宁美丽景色的远景,更确切地说是南宁著名的南湖公园的景色。一条彩虹高挂空中,其七彩的颜色正表现了文字的内容:多领域的合作。中英文,加上彩虹和广阔的土地传递出的信息是中国-东盟博览会是一个支持各领域合作的巨大平台。

图6 多领域合作

3.态度。态度,也可以理解为情态,指的是图像表达手段的使用程度,如颜色、色彩饱和度、细节,等等。态度有三种,分别为高饱和度色彩的高情态、不太饱和色彩的中情态与单纯的黑白色的低情态。

2013年中国—东盟博览会宣传片是一个高情态的多模态语篇,其中使用的颜色都是艳丽显眼的,绝大部分图片都采用蓝天作为背景。高饱和度的色彩正是中国—东盟博览会现状的最好诠释:具有美好未来的国际盛会。

(三)第十届中国—东盟博览会宣传片的构图意义

信息值、显著性和取景是图像构图意义的三个组成部分。

图7 文化交流

1.信息值。根据Kress&van Leeuwen的研究,信息值的分布有三种形式:左右、上下、中间与边缘[7]177。通过分析我们可以知道,图7属于中间与边缘的分布方式。处于中间部位的信息是具有决定意义的核心信息,其他处于边缘地方的信息则是辅助信息[7]194。

图7是百花齐放的景象,颜色各异的花,如同东盟多样的文化,从远处不断地飘进屏幕中央,呈现出核心信息:文化的相聚与融合。处于边缘的是文化交流(Cultural Exchange)和南宁国际会展中心,这些辅助信息交代了相聚的目的和相聚的地点。整幅图片所传达的信息是中国和东盟十国各地区的文化齐聚于中国南宁。

2.显著性。显著性是由大小、强调和色调对比度这些因素的复杂关系显现的[7]177。

显著性跟信息值有着密切的联系。图7中的花占据图片的大半部分,对比其他地方的色调,这些花更加显眼,也就说明这部分的信息值和显著性最高,得以强调。如上所述,颜色各异的花,如同东盟多样的文化,从远处不断地汇聚屏幕中央,其显著性不言而喻。而处于边缘的信息文化交流(Cultural Exchanges)和南宁国际会展中心道出了汇聚的目的和地点,同样是显著的内容,但就颜色跟所处的位置而言,其显著性明显低于汇聚于屏幕中央的花朵,所以花是图7中的显著内容。

3.取景。取景中的各个元素之间的关系有些情况下是相互分离、互不联系的,但绝大部分是紧密联系在一起的[7]177。

图7中,背景、中央和边缘构成一个统一的整体,紧密地联系在一起。图片中,在蔚蓝的天空下许多鲜花齐聚于南宁国际会展中心,加上位于边缘的文字说明,构成一幅和谐而完整的画面。不同种类色彩各异的花朵正如中国和东盟各国多元的文化,它们齐聚于南宁国际会展中心也就意味着中国—东盟博览会是文化交流的巨大平台。

第十届中国—东盟博览会的宣传片是结合了各种多模态社会符号(如文字、图片、声音、颜色和动漫)的多模态语篇,这些社会符号对宣传片的意义构建起到重要的作用,整合这些符号所传达的意义要远远超出单纯的文字符号所传达的意义。多模态话语分析是一门新兴的研究学科,其理论和研究方法都有待完善和改进。随着科学技术的进步,我们应该坚信人们对多模态话语的认识会不断地完善。

[1]朱永生.多模态话语分析的理论基础与研究方法[J].外语学刊,2007(5):82-86.

[2]O’Toole,M.The language of displayed Art[M].London:Leicester University Press,1994:8-20.

[3]Kress G,van Leeuwen T.Reading images:The grammar of visual design[M].London:Routledge,1996.

[4]胡壮麟,董佳.意义的多模态构建[J].外语电化教学, 2007(6):3-12.

[5]胡壮麟.社会符号学研究中的多模态化[J].语言教学与研究,2007(1):1-10.

[6]代树兰.多模态话语研究的缘起与进展[J].外语学刊, 2013(2):17-23.

[7]Kress G,van Leeuwen T.Reading images:The grammar of visual design[M].2nd ed.London:Routledge,2006.

[8]O’Halloran K L.Multimodal discourse analysis[M]. London and New York:Continuum,2011:1.

Analysis of multi-modality and meaning construction mechanism: A case study of the 10th CAEXPO publicity

ZHENG Xiaohui
(Foreign Languages College,Guangxi University,Nanning 530004,China)

Multimodal discourse analysis,expanding its research domain to multimodal interactive discourses featured by dynamicity,is proved to be exhaustive in the interpretation of multimodal discourse.This paper,with the 10th China ASEAN EXPO Publicity as a typical case,aims to explore the meaning construction mechanism of multimodal interactive discourses from the perspectives of representation meaning,interaction meaning,and composition meaning.

multimodal discourse analysis;meaning construction mechanism;publicity

H0

:A

:1671-9476(2015)01-0064-04

10.13450/j.cnkij.zknu.2015.01.017

2014-11-21;

2014-12-10

郑小惠(1990-),女,广西桂林人,硕士研究生,主要从事认知语言学研究。