关于视觉语法的几点思考

张敬源 贾培培

(北京科技大学,北京,100083)

1. 引言

随着科学技术的日新月异,特别是多媒体技术的广泛应用,产生于20世纪90年代的多模态话语分析(multimodal discourse analysis)引起了国内外学者尤其是功能语言学家们浓厚的兴趣。如O’Toole(1994)对三维建筑物(悉尼歌剧院)进行了多模态分析；Kress和van Leeuwen(1996)将功能语法的三大元功能延伸到视觉交际模态中,构建了视觉语法；van Leeuwen和Jewitt(2001)将多模态话语分析延伸到人类学、心理治疗、民族志以及影视作品等领域。除此之外,还有Unsworth(2001),Iedema(2001:183-204；2003:29-57),Lemke(2002:299-325),Martin(2002:311-338),O’Halloran(2004),Martinec(2005:337-371),Royce和Bowcher(2007),Bateman(2008)等。这些研究成果极大地推动了多模态话语分析的理论发展及其应用。

与国外的研究相比,国内研究尚处于起步阶段。尽管如此,中国学者还是创造性地探讨了多模态话语分析的理论框架,如李战子(2003:1-8)、朱永生(2007:82-86)、胡壮麟(2007:1-10)、张德禄(2009:24-30)等。也有一些学者运用视觉语法来分析特定的语篇,如广告语篇(王红阳2007:31-34)、诗歌(胡丹2007:16-19；张旭红2010:85-90),或电影(李妙晴2008:50-52)等。

不过到目前为止,从理论层面上探讨视觉语法可取和不足之处的论述相对较少,也较为零散。鉴于此,本文首先从视觉语法和系统功能语言学的关系入手,然后在探讨视觉语法理论框架的同时,基于系统功能语法对其进行补充完善；最后形成一个更加合理完善的视觉语法理论框架,进而使得越来越多的语篇可置于视觉语法的视角下进行分析。

2. 视觉语法的理论基础

视觉语法的提出主要是基于Halliday的语言观,特别是他的元功能思想。这主要体现在以下两个方面:第一,视觉语法以Halliday所提出的语言的社会符号性和意义潜势为前提。早在1978年,Halliday在《作为社会符号的语言——对语言和意义的社会解释》一书中全面论述了语言的符号性。他(1978:39)认为,语言是一种社会符号,是一个“意义潜势”的系统；语言的语法“不是一套用来参考的规则,而是制造意义的资源”(192)。这就表明:1)语言只是文化这套意义系统中的一种符号。换言之,表达意义的符号除了语言之外,还有图像、声音、色彩等。所以,语言的社会符号性引起了语言学家们对非语言符号的关注,这也就为解读图像意义提供了可能性；2)语法赋予了语言制造意义的潜势。如果语言作为一种社会符号可以通过其语法来产生意义,那么其他类型的社会符号为何不具有这种潜势呢?正是基于对这个问题的考虑,Kress和van Leeuwen构建了视觉语法。第二,视觉语法以Halliday的元功能思想为切入点。Halliday在功能语法中特别强调了语言的三大元功能:概念功能(ideational function)、人际功能(interpersonal function)和语篇功能(textual function)。概念功能是“表达讲话者的亲身经历和内心活动的功能”；人际功能是“表达讲话者的身份、地位、态度、动机和他对事物的推断、判断和评价等功能”；语篇功能指语言具有组句成篇、组织和传递信息的功能(胡壮麟等2005:115)。虽然“这些元功能是首先基于对语言的研究提出来的,但这并不意味着它们仅仅局限于语言”(李战子2003:1)。因此,这些元功能在视觉模式中是以怎样的方式传递什么样的意义便成为Kress和van Leeuwen(1996)研究的重点。从这个意义上来讲,Kress和van Leeuwen构建的视觉语法是对Halliday元功能思想的继承和创造性延伸。

在接下来关于如何进一步完善视觉语法的论述中,系统功能语法将仍然会是本研究的理论支撑点。因为“系统功能语法不只是语言符号系统的语法,也是可以描述和解释所有社会符号系统的语法”(辛志英、黄国文2010:2)。

3. 对视觉语法的继承与发展

正如Halliday在系统功能语法中提出了语言的三大元功能,Kress & van Leeuwen在视觉语法中也相对应地提出了三大意义:再现意义(representational meaning)、互动意义(interactive meaning)和构图意义(compositional meaning)。这三大意义的构建为分析图像提供了可靠的理论视角,但这并不说明这样的视角是穷尽的、完善的。

3.1 再现意义

再现意义分为叙述再现(narrative representation)和概念再现(conceptual representation)。区分两者的标准是:叙述性结构中存在着由图像元素之间的斜线构成的矢量(vector),而概念性结构中不会有。叙述再现又可进一步分为动作过程(action process)、反应过程(reactional process)、言语和心理过程(speech and mental process)。在动作过程中,发出矢量的参与者是动作者(actor),矢量指向的参与者是目标(goal)。当矢量不再由动作而是由眼神或者目光构成时,就形成了反应过程。由于反应过程主要体现的是参与者眼神的交流,所以反应过程中的参与者不再是动作者和目标,而是反应者(reactors)和现象(phenomena)。言语和心理过程中的矢量主要是由参与者和思维泡或者对话泡相连接而形成:思维泡的内容是间接地通过感觉者(sensor)来呈现,而对话泡的内容则是通过言语者(speaker)来体现(Kress & van Leeuwen 1996:67)。

不难发现,Kress和van Leeuwen对于叙述再现结构的分析已形成初步的体系,而且他们提出的三类主要过程正是借鉴了Halliday在经验功能中提出的六大过程。例如,Kress和van Leeuwen对行动过程的界定与功能语法中的物质过程(material process)就有异曲同工之妙。这主要表现在以下两个方面:1)这两个过程的参与者都是“动作者”和“目标”,只不过动作过程是通过矢量将动作者与目标连接起来,而物质过程是通过一个过程(常用动态动词表示)来表示动作者和目标之间发生的事件。2)另外,动作过程和物质过程都可以没有目标。换言之,两者的结构皆可以是及物的或不及物的。如果说Kress和van Leeuwen所界定的行动过程类似于功能语法中的物质过程,那么叙述再现中的反应过程、言语和心理过程大致相当于功能语法中的言语过程(verbal process)和心理过程(mental process)。

其实借鉴本身并无大碍,问题是视觉语法所区分的三类主要过程不具有互补性,特别是反应过程和言语心理过程间存在交叉。因为根据Kress和van Leeuwen(1996:64)的观点,反应过程是由参与者目光的传递方向所构成的。这种对反应过程的界定只是停留在目光传递、眼神刻画这个表层结构上,却忽略了这个表层结构之下的深层结构。其实这类过程往往是通过对反应者眼神的刻画来展现其内心世界的变化。反应者的目光可以直接或间接地告诉我们他们处于什么样的心理状态(害怕、高兴、平静等)。此外,系统功能语法也明确指出心理过程是“表示‘感觉’(perception)、‘反应’(reaction)和‘认知’(cognition)等心理活动的过程(a process of sensing)”(胡壮麟等2005:76)。换言之,反应属于心理过程,是心理过程的一种。基于此,我们将反应过程和言语心理过程中的心理部分整合为心理过程,进而叙述再现也就分为动作过程、心理过程和言语过程三大类。当然,视觉交际中不只存在这三种过程,还会涉及其他的过程。但是我们提出的这三种过程是最常见的过程,尤其是动作过程和心理过程。可如下表1所示:

表1 叙述再现的三类主要过程

如果说叙述再现是解读其现象,那么概念再现就是反映其本质。对于概念再现,Kress和van Leeuwen将其划分为分类过程(classificational process)、分析过程(analytical process)和象征过程(symbolic process)。其中,分类和分析过程都着重研究了参与者是以何种关系相互联系起来,这与功能语法中的关系过程(relational process)极为相似。分类过程有两种参与者:从属者(subordinate)和被从属者(superordinate)。如果被从属者没有出现,这是隐密性分类(从属者尺寸相近,近距相等,对称构成)；反之是外显性分类。同样,分析过程中也涉及两类参与者:表示整体的承载者(carrier)和表示部分的承载者所拥有的特征(possessive attributes)(Kress & van Leeuwen 1996:108)。简而言之,分类过程研究的是上下级或同级(从属者)之间的关系,而分析过程研究的是整体与部分的关系。象征过程,顾名思义,研究的问题是“参与者是什么或者意味着什么”(同上)。当象征过程只涉及一个参与者(承载者)时,被称为象征暗示(symbolic suggestive)。而当象征过程中涉及两个参与者时,被称为象征属性(symbolic attribute)。与叙述再现相比,Kress和van Leeuwen对于概念再现的分析逻辑上比较清楚,分类上也比较具有说服力。具体如下图1所示:

图1 “再现意义”结构图

3.2 互动意义

与系统功能语法中的人际关系相似,视觉语法中的互动意义旨在探讨图像制作者、图像所呈现的世界与图像观看者之间的关系,同时表达图像观看者对表征事物应持的态度。互动意义的实现主要依赖于四个要素:接触(contact)、社会距离(social distance)、态度(attitude)和情态(modality)。其中,接触是指图像中的参与者与图像观看者通过目光建立起来的一种想象中的关系。当图像参与者注视观看者,仿佛在向观看者索要什么时,就形成了索取(demand),构成接触；当观看者是观看事件的主语而非宾语时,参与者似乎在向观看者传递信息或者是展示什么时,就形成了提供(offer),不构成接触(Kress & van Leeuwen 1996:124)。而且,“索取”或“提供”的对象既可以是信息,也可以是物品或服务,这与功能语法中四大言语功能的交流物基本一致。

虽然Kress和van Leeuwen对互动意义中“接触”进行了详细的分析,但不可否认,他们套用了Halliday功能语法中“给予”(giving)和“求取”(demanding)的概念(胡壮麟等2005:115),而“这种概念的套用在这里显得生硬,‘索取’和‘提供’的分类不能充分概括图像和观看者目光接触中的多种复杂情况”(李战子2003:5)。而且,将“提供”与“索取”在视觉交际中加以区分的事实已经违背了系统功能语法中“给予”和“求取”的初衷。因为在系统功能语法中,“‘给予’意味着‘请求接受’；‘求取’意味着‘请求给予’。这就是说,讲话者不但自己做事,同时还要求听话者做事’”(116)。同理,视觉语法中的“提供”意味着“索取”,“索取”隐含着“提供”。这也与实际情况相符合,因为多数情况下“提供”不是为了提供而提供,“提供”旨在从观看者那里得到情感认同,对观看者施加影响；也可具有一定的政治、经济目的等。

至此,我们可以看到:提供与索取不是非此即彼的关系,而是一对对立统一体:提供是索取的基础,索取是提供的目的。为了能够较为全面地涵盖视觉接触中的多种复杂情况,我们索性将接触分为两大类:直接接触(图像参与者直视观看者)和间接接触(除直接接触之外的所有其他情况)两种。不管是直接接触还是间接接触,都具有双重功能:1)图像的参与者旨在向观看者传递一定的信息或服务(即“提供”)；2)图像的参与者也希望从观看者那里得到一些东西或者使观看者受到影响(即“索取”),比如情感目的(包括情感诉诸、情感认同和情感愉悦)、政治目的和经济目的等。索取常表现在观看者由于与图像参与者产生了接触后而被激发了同情心、罪恶感、责任心或者购买欲等。如果说提供是为了通过目光向观看者进行客观的展示,那么索取则是为了更好地实现图像参与者和观看者间互动关系的维护和发展。当然上述的分析有一个前提:那就是图像中的参与者是有生命的(人、植物、动物等)而非无生命的(流程图、地形图、交通图等)。那么当图像的参与者是无生命、无感情的事物时,他们与图像的观看者之间只形成间接接触,因为无生命的事物不会主观地直视观看者,也不会能动地索取什么。此外,在这种间接接触中,只能是观看者作为接触的主语；而且只是提供没有索取。上述关系可如下图2所示:

图2 “接触”的结构示意图

社会距离决定了图像参与者和观看者之间的亲疏关系,进而展示了一种社会关系。这种亲疏关系主要是通过镜头取景的框架大小得到体现。图像参与者和观看者之间的关系越是亲密,那么镜头取景的框架越小。一般近镜头或者特写揭示一种亲近的个人关系；而长镜头则取景的框架较大,被摄入框架的内容较多,揭示了一种疏远的社会关系(Kress & van Leeuwen 1996:130)。我们可以看到,Kress和van Leeuwen对于互动意义中社会距离的界定是十分恰当且符合实际的。因为“当我们帮一个陌生人拍照时,很少给她/他照一个头部的大特写,而更多是给她一个‘社会的远距离’”(李战子2003:5)。

互动意义中的态度指图像观看者对图像参与者的态度,这主要是通过视角来体现的。对于水平的角度,如果是正面直观,会带给观看者身临其境的感觉；如是侧面斜视,则会让观看者显得对图像呈现的世界漠不关心。对于垂直角度,如果是俯视,那么图像的观看者地位较高；如果是仰视,则图像参与者处于强势；如果是平视,那么显然参与者和观看者之间是平等的关系(Kress & van Leeuwen 1996:140-146)。简而言之,水平的角度体现的是观看者介入图像世界的程度,而垂直的角度则体现他们之间的地位差异。

系统功能语法中,“情态是指语言系统中讲话者对事物的或然性(probability)进行判断和事物的必要性(necessity)标明态度的语义系统”(朱永生2007:83)。而视觉语法互动意义中的情态则强调了图像世界反映现实的真实度。日常生活中,用Photoshop处理过的图片趋向于太过真实。个人的艺术照就属于这一类,因为它融合了太多的色彩和细节,把个体展现的太过完美,这也就是超真实的体现。然而这种超真实是相对于自然主义而言的。除了自然主义的编码取向,还有科学技术性、抽象性和感官性的编码取向。科学技术性编码取向认为色彩是低情态的体现；在学术语境中常采用抽象性编码取向,内容越概括、越抽象,情态越高；感官性编码取向多用于广告、艺术设计中,色彩是高情态的体现。但不管采用的是哪种编码取向,他们的情态都与色彩饱和度(color saturation)、色彩区分度(color differentiation)、色彩协调度(color modulation)、语境化(contextualization)、再现(representation)、深度(depth)、照明(illumination)和亮度(brightness)息息相关(Kress & van Leeuwen 1996:165-171)。这一系列的情态标记是判断情态真实度的重要依据。

与系统功能语法中的情态相比,视觉情态较为复杂。比如,情态标记的划分就有些过于繁琐。不难发现,色彩饱和度、色彩区分度、色彩协调度和色彩亮度都是对色彩的刻画,只是从不同的角度入手,分别强调了色彩的浓淡程度、差异度、配合度和亮度。语境化和再现都表示从抽象到具体的程度,只是侧重点不同:语境化是指“比例尺从无背景到最明确详细表现的背景”(同上:222),再现是指“从最大抽象摘要到最小图画式细节表明”(223)。为了简化情态标记系统,我们可以将色彩饱和度、色彩区分度、色彩协调度和色彩亮度纳入到“色彩”中；将语境化和再现纳入到“细节”中；此外,由于视觉情态的真实度在很大程度上“源于文化和历史的真实的标准”,是由“特定的社会群体”所界定的(李战子2003:5-6)。换言之,视觉情态真实度的判断离不开社会的、历史的、文化的因素。这样,情态标记大致包括五大刻度:色彩、细节、深度、照明和社会因素。值得一提的是,情态标记只是情态的一个维度。情态的另一个维度是情态“取向”(orientation) (Halliday & Matthiessen 2004:619)。

在功能语法中,“情态可从主客观两个角度来表达”(胡壮麟等2005:148)。同理,视觉情态的取向也可分为主客观两种,只是功能语法的情态取向是通过小句来表达,而视觉情态的主客观取向可根据图像参与者的属性进行判断:当图像参与者为人或有生命的物时,多为主观取向,因为生命体具有主观意识,能够在不同程度上实现“提供”和“索取”的功能,实现与图像观看者之间的互动和交流；而当图像参与者为无生命的物(比如地图或流程图)时,多为客观取向,因为在这种情况下,对于图像的观看者来说,图像参与者不具有主观能动意识,只是在客观地提供一些信息或服务。与系统功能语法的另一个相似点是,视觉情态也可分为高、中、低三类,这也就构成了情态的第三个维度,情态值。此外,上述的编码取向是对情态属性的一个分类,可归为第四个维度。具体如下图3所示:

图3 情态系统

3.3 构图意义

与系统功能语法中的语篇功能相对应的是Kress和van Leeuwen(1996)提出来的构图意义。简而言之,构图意义指的是图像如何整合其再现意义和互动意义,从而形成一个有意义的整体。根据Kress和van Leeuwen的研究,构图意义的实现依赖于三种资源:信息值(information value)、显著性(salience)和取景(framing)。其中,取景指的是通过造成的或者实际的分隔线条或者分割框架来连接或者割断图像中的元素,以表示他们在表达某种意义时是属于的还是不属于的。信息值是通过图像中元素的位置安排来实现的。通过元素的位置我们可以判断图像中元素的地位、角色和重要性(Kress & van Leeuwen 1996:183-218)。通常情况下,对于左右分布的元素,居左的是已知信息,居右的是新信息。这与语篇功能中信息单位的构成形式相近,因为Halliday表示“‘已知信息+新信息’是最常见的信息单位结构”(胡壮麟等2005:173)。对于上下分布的元素,居上者所展示的是理想的或者是概括性的；居下者所体现的是真实的或者具体的。

对于中心与边缘的格局,Kress和van Leeuwen认为置于中心位置的元素可凸显其中心地位和重要性,而那些环绕在其四周的元素则一般处于次要的地位。然而,随着Derrida的解构主义对逻各斯中心主义的冲击,对传统中心的颠覆以及对边缘和他者的关注渐渐成为一种社会文化(Tyson 1999)。这种由中心向边缘的转变也适用于图像元素的分布情况中:有些图像的重点不存在中心位置,而存在于容易被忽视的边缘地带。因为这样既凸显了边缘元素相对的弱势地位,又能唤起观看者对其怜悯与同情之心。这就使得中心和边缘的信息值取向需要和社会文化导向相联系。

此外,不同元素在图像中的比重大小也为解读各元素重要性提供了一定的信息,这就是构图意义的另一个维度显著性。不同比重的元素对于观看者的吸引程度是不尽相同的。一般情况下,比重较大的元素往往吸引更多的眼球。所以根据显著性,我们可以判断元素间的重要性次序。在判断元素重要性的问题上,Kress和van Leeuwen(1996:212)特别突出了透视(即前景与后景的比重对比)的地位。但由于显著性的判断主观性较强,加之没有客观的测量方法,这种依靠视觉的反应来判断比重大小的方法还有待进一步提高。在此,我们要强调的是:一般情况下,置于前景且尺寸较大的元素比较重要,但不排除特殊情况下,置于背景且尺寸较小的元素的重要地位。而这种特殊情况,通常是将图像的社会意义纳入考虑因素后出现的。有些元素虽然置于不重要的位置,且尺寸偏小,但一旦将他们与社会文化背景相联系,便凸显出了之前未有的意义。这也就是为什么我们在判断图像元素的重要性时,除了要考虑元素的自我属性,即元素的位置和比重,还要考虑元素的社会属性。这样才能对元素的重要性有一个比较全面的把握。具体可如下图4所示:

图4 图像中元素重要性的判断

本文主要从以下四个方面对Kress和van Leeuwen所构建的视觉语法进行了探讨:1)对叙述再现进行了重新分类,主要包括动作过程、思维过程和言语过程。2)以图像参与者的属性为标准,对“接触”进行了划分:当参与者是人或有生命的物体时,可形成直接或间接接触,这两种接触均包括了“提供”与“索取”；当参与者是无生命的物体时,只构成间接接触,且只实现了提供功能。3)对于情态系统,主要有四个维度:情态取向、情态标记、情态值和情态编码。其中情态标记大致可归为五类:色彩、深度、照明、细节和社会因素。4)对于图像元素的重要性,我们从图像社会属性和自身属性进行了探讨,这样比仅依靠显著性和信息值来进行判断更合理。

Bateman, J. 2008.MultimodalityandGenre:AFoundationfortheSystemicAnalysisofMultimodalDocuments[M]. Basingstoke: Palgrave Macmillan.

Halliday, M. A. K. 1978.LanguageasSocialSemiotic:TheSocialInterpretationofLanguageandMeaning[M]. London: Edward Arnold.

Halliday, M. A. K. & C. M. I. M. Matthiessen. 2004.AnIntroductiontoFunctionalGrammar(3rdedition) [M]. London: Edward Arnold.

Iedema, R. 2001. Analyzing film and television: A social semiotic account of hospital: An unhealthy business [A]. In T. van Leeuwen & C. Jewitt (eds.).HandbookofVisualAnalysis[C]. London: Sage. 183-204.

Iedema, R. 2003. Multimodality, resemiotization: Extending the analysis of discourse as multi-semiotic practice [J].VisualCommunication2(1): 29-57.

Kress, G. & T. van Leeuwen. 1996.ReadingImages:TheGrammarofVisualDesign[M]. London: Routledge.

Lemke, J. L. 2002. Travel in hypermodality [J].VisualCommunication1(3): 299-325.

Martin, J. R. 2002. Fair trade: Negotiating meaning in multimodal texts [A]. In P. Coppock (ed.).TheSemioticsofWriting:TransdisciplinaryPerspectiveontheTechnologyofWriting[C]. Turnhout: Brepols. 311-338.

Martinec, R. 2005. A system for image—Text relations in new (and old) media [J].VisualCommunication4(3): 337-371.

O’Halloran, K. L. (ed.). 2004.MultimodalDiscourseAnalysis:SystemicFunctionalPerspective[C]. London: Continuum.

O’Toole, M. 1994.TheLanguageofDisplayedArt[M]. London: Leicester University Press.

Royce, T. & W. Bowcher. 2007.NewDirectionsintheAnalysisofMultimodalDiscourse[M]. London: Routledge.

Tyson, L. 1999.CriticalTheoryToday:AUser-FriendlyGuide[M]. New York & London:Garland Publishing, Inc.

Unsworth, L. 2001.TeachingMultiliteraciesacrosstheCurriculum:ChangingContextsofTextandImageinClassroomPractice[M]. Buckingham: Open University Press.

van Leeuwen, T. & C. Jewitt (eds.). 2001.HandbookofVisualAnalysis[C]. London: Sage.

胡丹.2007.Emmett Williams诗“She loves me not”多模式话语分析[J].外语与外语教学(11):16-19.

胡壮麟.2007.社会符号学研究中的多模态化[J].语言教学与研究(1):1-10.

胡壮麟、朱永生、张德禄、李战子.2005.系统功能语言学概论[M].北京:北京大学出版社.

李妙晴.2008.复调的狂欢——多模态话语分析《阳光灿烂的日子》[J].电影评介18:50-52.

李战子.2003.多模式话语的社会符号学分析[J].外语研究(5):1-8.

王红阳.2007.多模态广告语篇的互动意义的构建[J].四川外语学院学报(6):31-34.

辛志英、黄国文.2010.系统功能语言学研究方法论[J].外语研究(5):1-5.

张德禄.2009.多模态话语分析综合理论框架探索[J].中国外语(1):24-30.

张旭红.2010.视觉诗Meup at does多模态意义的构建[J].外语学刊(1):85-90.

朱永生.2007.多模态话语分析的理论基础和方法[J].外语学刊(5):82-86.