多模态语篇理论在大众传媒中的应用

马 霞

（北京航空航天大学，北京 100191）

引 言

随着多媒体技术和计算机技术的飞速发展，人类交际活动中出现多种符号，话语已不仅仅以文本模式体现，而且以图像、动画、声音、图表、颜色、编排等多模态同时出现。近年来,国内外学者对多模态话语分析开始了广泛的探索。克瑞斯和勒文在《图像阅读》一书中,根据韩礼德的系统功能语法中的三大纯理功能,提出了第一个系统全面的视觉语法分析框架,从构图视角、色调、图片架构等多方面讨论图像的意义表达方式。由于目前多模态话语分析深受系统功能语言学和符号学的影响,朱永生（2007）提出将这方面的研究称之为“系统功能符号学”。广告作为一种语篇体裁，一个最显著的特征就是多种符号模态——语言、图像、音乐的混合使用。传统的广告语篇分析注重分析广告语言符号系统和语义结构本身，如词汇、语法、文体、修辞特点和语言的社会功能，忽视了对其他符号系统，如图像、声音、颜色、动漫等的探究。对此，本文以“蒂花之秀”洗发水广告为例，运用多模态语篇的社会符号学分析方法，从语言、图像、声音方面对其进行解读，以说明广告语篇分析的多维性。

1.多模态语篇分析的理论基础

1.1 多模态语篇及多模态语篇分析

语篇的多模态观（multimodal perspective）指的是各种符号资源（如有声语言、形象、声音、设计、动作等）共同参与我们日常的人际交往活动。在这种语境下，模态可以定义为参与交际的所有渠道和媒介，除了传统的语言符号，它还包括图像、颜色、音乐、技术等符号系统。这些模态的选择和使用可以形成一种合力，共同引导读者理解语篇和语境意义。

多模态语篇分析方法兴起于20世纪90年代，以克瑞斯和凡利文（Kress&van Leeuwen）为代表。多模态语篇分析方法以系统功能语言学理论为基础，尝试把系统功能语言学对于语言研究的方法应用到其他的一些符号资源（如面部表情、手势、图像、音乐等）的研究上。多模态语篇分析是对一个语篇或交际事件（如一则杂志广告的文本和形象，或者一部电影的影像、音乐和有声文献等）的几个或所有不同符号模态的分析。多模态分析的目的在于把由这些不同交流模态所体现的再现意义、互动意义和构成意义融合起来考虑，分析它们是怎样共同协作，创造出一个完整的语篇或交际事件。

1.2 多模态语篇分析的功能语言学基础

多模态话语分析从系统功能语言学那里接受了语言是社会符号 （social semiotic）和意义潜势（meaning potential）的观点，认为语言以外的其他符号系统也是意义的源泉；系统功能语言学对于语言研究的方法同样也可以应用到其他符号资源（图像，音乐，手势）的解读，其他符号资源同样也具有语言的系统性和功能性。在多模态语篇分析方法中，Kress&van Leeuwen的研究最为突出和具有代表性。在将图像也看作社会符号的前提下，他们将Halliday功能语言学中的纯理功能思想延伸到视觉模式，创建了以“再现意义”、“互动意义”和“构成意义”为核心内容的分析图像的视觉语法（the grammar of visual design）。其中再现功能（representational metafunction）对应于概念功能，包括叙事的再现 （narrative representations）和概念的再现（conceptual representations）；互动功能（interactive metafunction）对应于人际功能，涉及接触、社会关系、态度三要素和情态（modality）；构成功能（compositional metafunction）则相当于语篇功能。由此，系统功能语言学的理论开始被运用到除了各种语言语篇以外的符号资源，如对视觉图像、声音、印刷体式、建筑设计、身体动作、电子媒体和电影等多模态交际手段的研究。

2.案例分析：对一则“蒂花之秀”广告的多模态解读

2.1 语言符号系统分析

首先，标题“蒂花之秀，青春好朋友”就吸引了那些渴望头发变得柔顺亮泽的女士们的眼球。爱美之心，人皆有之。这无可厚非，聪明的广告商抓住消费者爱美的心理，运用一些夸张的词语煽动消费者购买商品，这是纯理功能中的概念功能。其次，“尤其是头发，我是不能忍受一点点的头屑的”以聊天的形式引起消费者注意，然后又说：“蒂花之秀特效去屑洗发露。”此处与消费者之间产生对话，告知解决方案，激发消费者购买欲，这是人际意义。然后紧接着解释：“去除头屑，保持柔润”、“去屑升级，无懈可击”，进一步阐释本洗发露的效果，如此衔接，达到了语篇连贯功能。

2.2 图像符号系统分析

Kress&van Leeuwen（1996）从社会符号学的角度解读图像的再现意义、互动意义和构图意义，阐释了图像中的人物、地点、情景如何与语言互动构建语篇，传递意义。

2.2.1 再现意义（representational）

Kress&van Leeuwen（1996）根据图像的特点，把再现意义区分为叙事的再现（narrative representations）和概念的再现（conceptual representations）。叙事图像相当于一个命题，叙事的再现意义又包括行动过程、反应过程及言语和心理过程。概念的再现意义包括关系过程和存在过程。而将叙事再现与概念再现区分开的唯一要素则是判断图像中有无矢量的产生。电视广告要吸引观众，引起观众对产品的观看欲望，实现对产品的消费这些最终目的，需通过主题鲜明突出、造型简洁明快、色彩艳丽、对比强烈等艺术形式的视觉语言冲击，才能达到效果。在图像中，一位满头飘逸黑发的当红女星刘若英在图像中很显著，首先映入眼帘的是她美丽的秀发，柔顺亮泽，给观众带来强烈的视觉冲击，激起观众对她头发的羡慕。然后，图像中随即以水平箭头方向出现一支色彩鲜艳精致的“蒂花之秀”，其出现与美女的反应形成了矢量（vector），告诉观众秀发保养好的秘诀就在于此。在图像中，矢量是代表过程与方向的力量，图像中的参与者被矢量这条无形的线条相连，观看者则可通过图像中的矢量关系判断参与者之间的互动关系。矢量是叙事图像的标志。在叙事再现的行动过程中，动作者即为发出矢量的参与者。在图像中，参与者通常处在最突出的位置。此广告中，明星刘若英置于最突出的位置，通过使用洗发露使头发显得年轻润泽，这个矢量关系构成了叙事再现中的行动过程（action process），美女是参与者（actor），而洗发露就是行为的对象（goal），广告商的目的就在于推销这种产品。

2.2.2 互动意义（Interactive）

互动意义是关于图像的制作者、图像中的事物和图像的观看者之间的关系，以及观看者对图像中的事物所持有的态度。图像通过接触、社会距离、态度和情态四个要素来实现互动意义。Kress&Leeuwen（1996/2006:117）指出，图像在传达意义时都有一个图像行为 （image act），这种图像行为是由表征参与者的凝视系统（system of gaze）实现的，这种凝视表达分为两种：（i）索求（demand），（ii） 提供（offer）。如果图像的参与者与观看者有直接的目光接触，则表明图像中的参与者向观看者有所“索求”，如信息、意见、评论、看法等，要求观看者深度介入并参与到图像表述的事件与活动中来。反之，如果图像的参与者与观看者没有直接的目光接触，则认定他们之间不存在想象中的人际关系，是“提供”类图像。整个广告中，刘若英面带自信的笑容，直视观众，与观众形成一种平等的交流，让观众倍感亲切，这是“索求”类图像，呼吁观众购买欧莱雅新生活力抗皱紧肤霜试试效果。与语言中的情态不同，图像分析中的情态指的是“某种图画表达手段（色彩、再现的细节、深度、色调等）使用的程度”（Norris 2004:256）。情态以感官的编码倾向为出发点，基于色彩的饱和程度。与功能语法一样，情态可分成高、中、低三类。情态的标志有色彩饱和度、色彩区分度和色彩调谐度（Kress&van Leeuwen 2003）。按照Kress&van Leeuwen对情态量值高低的分类标准，本文所讨论的“蒂花之秀”广告属于高感官情态，这可从情态的几大视觉标记看出。首先，从色彩饱和度来看，该图像使用了高饱和度的色彩：在大红的背景下，明星刘若英身穿一袭大红衣服出现在画面上，洗发露也是用淡红色外壳包装，表现出一种愉悦的情感意义，因而其具有高情态。其次，从色彩区分度来看，该图像的色彩区分度非常大，大红明亮的背景和乌黑的秀发形成鲜明对比，给读者带来强烈的视觉冲击力，达到了最佳效果。同时，图像中的文字部分也是位于大红的背景之上，白色的文字和黑色的头发突出对比，同样起到了最佳视觉效果，也充分体现了护肤品广告的宣传主旨。再次，从色彩调谐度来看，图像中各种颜色的搭配非常协调，深浅有致。此外，色彩的搭配也蕴含着文化意义，如红色表示热情，给人以积极向上的情感反应。黑色亮丽的秀发给人以健康青春的气息。

2.2.3 构图意义（compositional）

构图意义有三种资源：信息值（information valuation）、取景（framing）和显著性（salience）。信息值通过图像中人、事物放置的位置实现。图像中的任何成分在图像中的位置，是上、下，左、右，中心、边缘等，都具有不同的信息值。Kress&Leeuwen（1996/2006）认为，图像上方的元素是“理想的”，具有理想化、概括性的实质；下面是“现实的”，带有特定的信息，如细节等，更具实际意义；左边是“已知的”，右边是“新的”，如同在功能语法中，已知信息是常识性的、显而易见的，而新信息则是有问题的、可争议的。处于中心位置的是重量的平衡点，在此视觉成分获得权势，帮助中心区以外的物体团结在一起并稳定下来。显著性指的是元素吸引观看者注意力的不同程度，可通过被放置在前景或背景、色调值的对比（或色彩）、相对尺寸、鲜明度的不同来实现。显著性通过图像中线条的粗浅、颜色的浓淡等实现。线条粗的、颜色浓的，显著度高；反之则显著度低。取景指通过造成分割线条、或实际分割框架的线条，割断或连接图像中的元素。通过有无这种取景手段，在某种意义上可表示它们是所属还是非所属关系。在图像中，刘若英的秀发一直处于中间位置，向观众呈现出年轻、时尚、性感的形象。然后，“蒂花之秀”洗发露在右边出现，告诉观众一种新产品的诞生。再次，对刘若英乌黑亮泽的秀发进行特写，占据整个画面，十分显著，表现出“蒂花之秀”洗发产品对塑造完美秀发的无敌效果。最后，在图像最上方标注“蒂花之秀，青春好朋友”，说明“蒂花之秀”就是观众理想的护发产品。标题“去屑升级，无懈可击”全部用大字体，且特别用红底衬托，显著性高，图像下方居中位置出现“添加草本植物精华”，是现实具体的信息，广告商巧妙地使用图像和产品名字构成一个整体多模态语篇，达到更佳的电视广告宣传效果。

3.结束语

电视广告作为大众熟悉的广告宣传模式，具有亲切、生动、传神的特点。我们生活在一个多模态的社会，社会互动是多模态的，多模态无处不在(Norris 2004）。本文介绍了多模态相关理论和Kress&van Leeuwen的视觉语法框架，并以“蒂花之秀”洗发露电视广告为例，对广告语篇的再现、互动、构图三大意义的构建进行多模态分析发现图与文，物与人，位置、色调与信息都是广告的有机组成部分，共同构建意义，吸引观众的兴趣，从而达到最佳宣传效果。

Kress，G.&Leeuwen，Theo Van (2003).Multi-modal Discourse： The Modes and Media of Contemporary Communication[M].London：Arnold.

Norris.S.(2004).Analyzing Multimodal Interaction：A Methodological Framework[M].London：Routledge.

李战子（2003）.多模式话语的社会符号学分析 [J].外语研究（5）。

朱永生（2007）.多模态话语分析的理论基础与研究方法[J].外语学刊（5）。