视觉语法视角下图画书的多模态研究

张丽娜

摘 要： Kress和van Leeuwen提出韩礼德的语言三大元功能同样适用于视觉语法的研究，并将其延伸为再现意义、互动意义和构图意义。本文在研究其理论基础之上，以图画书The Man Whose Mother Was a Pirate为例分析图画如何传达意义。视觉语法运用于图画书的分析上，不仅为儿童和成人阅读图画书提供新角度，而且为图画书作家精准传达意义开辟新途径。

关键词： 视觉语法 多模态 图画书 功能符号学

一、引言

进入二十世纪以后，随着科学技术发展进入新的阶段，多媒体的广泛使用丰富和便利了人们的生活，也改变了人们的交流方式：从以语言、文字为主到如今的文字、图片、声音等并存。顺从时代的发展，学者不再仅仅专注于传统的单一语言话语分析，越来越多的目光转向图片、文本、动作、声音等多模态分析。以图片为主、文字为辅传递信息和情感的儿童读物，是典型的多模态文本。然而国内的多模态研究领域对其关注度并不高，图画书是极其重要的儿童文学组成部分，对儿童的身心健康具有重要作用，研究图画书的意义构建和接受有利于更好地培养儿童的思想、道德和审美。从视觉语法角度分析The Man Whose Mother Was a Pirate的图画如何传达意义，希望引起更多学者对图画书多模态研究的注意。

二、多模态的研究

李战子认为多模式是复合的话语，也就是说除了最基础的文本之外，往往还包含图像、图表等模式（李战子，2003）。多模态的研究角度有多种，常见的有交互社会学角度、语体学角度等。而在本文中我们将从功能符号学出发，对多模态进行探讨和研究。Micheal OTool发表于1994年的The Language of Displayed Art是多模态领域为数不多的一部开创性作品，完全致力于艺术作品的分析和解釋。这本书探讨了绘画、雕塑和建筑等艺术的视觉语法，提出三种意义：再现意义、情态意义和组合意义。1996年，Kress和van Leeuwen在《图像识读：视觉设计的语法》（Reading Images： The Grammar of Visual Design）一书中提出了视觉语法的理论研究和分析框架。而在中国知网上第一篇介绍多模态话语研究的是李战子于2003年在《外语研究》上发表的《多模式话语的社会符号学分析》一文，这篇文章对Kress和van Leeuwen的视觉语法理论体系做了较系统的介绍。在此之后，胡壮麟、张德禄等学者在多模态研究上有突出贡献。张德禄在论文《多模态话语分析综合理论框架探索》中尝试构建了多模态话语分析的理论框架，主要有四个层面：文化层面、语境层面、内容层面和表达层面。他认为对于多模态话语选择来说，最关键的是让多种模态之间相互配合，这样才能达到最好的交际效果。另外他还提出，模态间的配合主要体现在内容层面下的形式层面，特别是其中的语法层面（张德禄，2009）。本文所重点研究的视觉语法系统则是其所指的语法层面之一。

三、视觉语法

Kress和van Leeuwen是视觉语法研究的集大成者。他们于1996年发表的《图像识读》构建了视觉语法研究的框架，并配有大量实例加以佐证其解释力。Kress和van Leeuwen强调视觉语法中的“语法”不同于传统意义的语法，他们所说的“语法”关注各种元素如何结合并生成有意义的整体。语言的语法描述词语怎样组成小句、句子和篇章，同样的，视觉的语法描述各种元素——人、地点和事物——怎样组合为视觉上意义，这种意义具有不同的复杂程度和延展度的状态（Kress & van Leeuwen 2006）。同时，他们提出视觉结构不是对现实结构一种简单的再创作，相反这些图片与产生、传播和识读与其所处的社会机构紧密相关，即它们是具有意识形态的。视觉结构不仅是形式的，更重要的是具有意义维度。韩礼德提出语言的元功能包括概念功能、人际功能和语篇功能，Kress和van Leeuwen认为这三大功能可以用于视觉系统、触觉系统等。而在视觉语法中主要延伸为再现意义（representational meaning）、互动意义（interactive meaning）和构图意义（compositional meaning）三大意义。因此，Kress和van Leeuwen的视觉语法被认为是对韩礼德元功能思想的继承和创造性延伸（张敬源，2012）。

1.再现意义

视觉语法中的再现意义对应语言中的概念功能。根据矢量的有无，再现意义可分为叙事再现（narrative representations）和概念再现（conceptual representations）。当参与者由矢量连接，表示为对方或者对对方做某事时，表达叙事过程。在叙事过程中包含至少一个矢量，而在概念过程中没有矢量。矢量在视觉语法中的概念类似于语言系统中的动词，通常同斜线等表示。根据矢量和参与者的数量及种类的差异，叙事过程可进一步分为动作过程、反应过程及言语和心理过程。在动作过程中参与者有动作者和目标之分：矢量的发出者为动作者，其构成矢量的整体或部分；动作行为的对象是目标，目标在动作过程中可有可无。动作者一般是图像中最显眼的参与者，可通过肉眼观察它在构图中的大小、位置、与背景的对比或者色彩的饱和度等。根据目标的有无，动作过程可分为及物性和不及物性过程。以图一为例（Mahy & Chamberlain 1985），图片中有至少四个参与者：瘦小的男人、手推车、海盗妈妈和弯刀，表达出多个动作过程。一个过程为瘦小的男人推手推车，瘦小的男人为动作的发出者，即动作者，手推车为动作的对象，是目标；一个过程为海盗妈妈坐在手推车上，海盗妈妈是“坐”这一动作的发出者，是动作者，手推车是目标；还有一个过程为海盗妈妈举着弯刀，海盗妈妈是动作者，弯刀为目标。在这三个动作中目标现身属于及物性动作过程。我们仔细观察，看到海盗妈妈右手和左脚在空中挥舞着，这是一个动作过程，动作者为海盗妈妈，而动作目标缺失，因而是不及物的动作过程。整幅图片显得生动活泼，富有张力，正是由于这些动作过程意义的传递，使得儿童阅读者仿佛看到动态的画像，深深吸引他们的目光。

反应过程体现的是参与者目光的交流，其矢量由目光表示，与动作过程不同，这里的参与者分别为反应者和现象。反应者一般为人或类人的动物，用眼观察事物。而现象则是反应者观察到的人、事物等，也就是被观察者（Kress & van Leeuwen 2006）。同样的，反应过程分及物性和不及物性。仍以图一为例，瘦小的男人看向了他的妈妈，瘦小的男人是反应者，他的妈妈则是现象，整个过程是及物的。而从海盗妈妈的角度看，她所看到的现象并未在图中展示，给读者留下想象的空间和余地，她的反应过程是不及物的。

言语和心理过程中在漫画中较常见。其矢量的特殊性表现在思考者/说话者的思维/话语和思维气泡/对话气泡由倾斜的突出连接起来。这本图画书为图文结合的一类，因而图画中没有涉及直接的言语和心理过程，而是通过另一模态——文字语言体现。

与叙事再现相比，概念再现在时间空间概念上更稳定，包含三类过程：分类过程、分析过程和象征过程。在分类过程中，连接参与者的是他们的分类关系。其中必然有一组参与者扮演从属角色，而至少一个参与者扮演统领角色（ibid）而统领角色的“现身”与否，将分类关系划分为显形分析和隐形分析。在隐形分析中，从属通过构图上的匀称实现其平等地位。在分析过程中，参与者被放置在整体——部分的结构当中。这个过程共涉及两类参与者：一类为载体（整体），另一类为任意数量的所有属性（部分）。分析过程在宏观上可分为结构性分析过程和非结构性分析过程。象征过程与参与者是什么或意味着有关。由于概念再现在这类图画中运用较少，受篇幅所限，本文不做详细介绍。

2.互动意义

在研究图像的互动意义之前，我们首先需要区分两种参与者：再现参与者（represented participates）和互动参与者（interactive participates）。再现参与者是图像中所刻画的人物、场所和事件；互动参与者则是指通过图像交流的双方——图像的绘画者和观看者。参与者之间的互动关系可以分为三类：a. 再现参与者之间的关系；b. 再现参与者与互动参与者的关系（互动参与者对再现参与者的态度）；c. 互动参与者的关系（通过图片互动参与者之间对对方或者为对方做了什么）。

接触、社会距离和态度是形成互动意义的三个主要因素。当再现参与者的目光投向观看者时，作为矢量的目光连接两者形成接触。需要说明的是，在这一过程里观察者的主观能动性对于互动意义的识读至关重要。接触具有两种功能：一种为直接向观看者传递信息；另一种构成一种图像的行为。图像行为包括索求（demand）和提供（offer）两类。索求就是说图像对观看者做出某事。当再现参与者的目光与观看者接触时，索求建立一种虚拟的关系。如图二（Mahy & Chamberlain 1985）中，瘦小的男人和海盗妈妈是图片的再现参与者，两者的目光看向读者，表达一种索求的功能。其中海盗妈妈面带微笑地看向读者，具有亲和力和感染力，她的索求是要同读者建立一种友好的关系，拉近同读者的距离。当再现参与者与观看者无目光交流时，表达“提供”的功能，即提供信息内容和注视对象。如图三（ibid）所示，再现参与者海盗妈妈与读者完全没有目光的接触，图片提供给读者注视的对象，和海盗妈妈这一人物形象的信息——海盗妈妈正大步前行，擦亮她的老银枪。

第二个维度社会距离表达亲密关系，它与图像取景的大小有关，可分为近景、中景和远景等，社会距离随着取景增大而疏远。Kress和van Leeuwen对近远景做了具体的划分：近景显示人物的头和肩部，任何少于近景的为超近景；中近景显示人物的腰部以上部位，中景到人物膝部之上，中远景显示整个人物；远景为整个人及约一半的取景空间，而超远景是比远景还要更宽阔的空间（Kress & van Leeuwen 2006）。图四（Mahy & Chamberlain 1985）中，我們可以看到瘦小的男人待在公司里，我们基本可以看到瘦小男人的整个身影，同时还有其他五个人的身影。从取景看是超远景，表达出疏远的社会距离，拉远了瘦小男人与小读者的距离，体现在工作中瘦小男人是冷漠的，侧面表达了作者对瘦小男人带海盗妈妈去看大海这件事的赞颂之情。

视角表达再现人物与观察者的关系，展现出对图像参与者、人物等的个人态度。从水平的维度看，正面直视让观看者仿佛置身于再现参与者之间，侧面斜视让观看者脱离再现情景之外，站在旁观者的位置上。从垂直的维度看，如果图像描述的是仰视角度，就是说图像参与者被俯视，那么参与者的地位低于观察者，反之高于观察者，如果图像为平视角度，那么给人以两者地位平等的感觉。在图五中，图像的再现参与者包括瘦小的男人、海盗妈妈和一只彩色的鸟。从水平角度看，这幅图为正面直视的角度，拉近读者与人物的距离，仿佛参与到他们欢快的舞蹈当中，让儿童感受到他们此刻的愉悦和快乐。从垂直角度看，再现人物与观察者处于同一水平线，两者地位平等，进一步使得儿童同儿童产生亲切感。

3.构图意义

构图意义指整体的布局，是通过整体构图将再现因素和互动因素相联系，从而形成整体的意义（Kress & van Leeuwen 2006）。其实现方式包括信息值、凸显和框架，这三者是相互联系、相互作用的。其中信息值可以通过元素的空间位置，如上下、左右等体现出来。凸显是指各个元素吸引观察者注意力的程度，一般通过观察元素位于前景或背景地位、相对大小及色调的对比等实现。框架通过框架手段如分割线、框架线等的运用告诉观察者图像之间的关系，或为同一幅图片，或各位一幅图片。从水平坐标看，在习惯从左往右书写的文化中左边的信息为已知信息（given information），右边的信息为新信息（new information）。从垂直坐标看，图像的上面多带有情感上的号召，告诉我们事物理想的状态。而图片的底部则多提供事实信息，告诉我们事物的现实状态。中间位置一般为整个构图的中心和焦点，而边缘位置的图像多为重复或近似的元素，使得图像呈现对称状态。如图五所示，图像具有多种元素，如海边的沙滩、沙滩中的螃蟹、石子、海盗妈妈、瘦小的男人和彩色的鸟。而海盗妈妈、瘦小的男人和彩色的鸟无疑是图像的前景，因为其位于图片较为中心的位置，色彩突出、浓郁。而沙滩、螃蟹、石子等则是背景，位于边缘位置，颜色浅淡。整幅图像虽然没有明确的框架线，但通过与周围的留白对比，标明图像为同一整体，而非分裂的。

四、结语

本文对当前国内外多模态话语分析和Kress和van Leeuwen的视觉语法研究的主要观点进行扼要整理、分析，通过对图画书The Man Whose Mother Was a Pirate进行多模态分析，发现他们的视觉语法理论虽有不完美之处，但就目前而言仍是解释图像意义的最有力工具。运用该理论一方面可以使得图画书的作者更好地呈现思想和审美，同时为读者欣赏图画书提供更开阔的视角。由于篇幅限制，本文对其中的概念过程、情态等没有做详尽阐述。在之后的研究中，将就这两部分做更详尽的研究。

参考文献：

[1]Kress， G & Leeuwen， T. v. Reading Images： The Grammar of Visual Design[M]. Routledge，2006.

[2]Mahy， M & Chamberlain， M. The Man Whose Mother Was a Pirate [M]. Orion Childrens Books，2013.

[3]OToole， M. The Language of Displayed Art [M]. Taylor & Francis Ltd，2010.

[4]张德禄. 模态话语分析综合理论框架探索[J].中国外语，2009（1）：24-30.

[5]张敬源，贾培培. 关于视觉语法的几点思考[J].当代外语研究，2012（3）：38-42.