多模态视觉叙事语篇的意义建构框架

王文峰 赵晓瑞

（西安石油大学外国语学院，陕西 西安 710065）

传统意义上的语篇分析注重分析语言系统本身，忽略对其他语义符号系统，如图像、声音和颜色的探究。随着科技创新的不断发展和多媒体技术的广泛应用，多模态文本已经成为了当今信息交流的常态化方式。Kress & van Leeuwen(1996)基于韩礼德的社会符号学理论观点，开创了多模态话语研究领域，构建了视觉语法框架，详细阐释了多模态语义分析模式。

儿童绘本在幼儿的生活和教育等诸多方面发挥着重要的作用，绘本阅读是儿童识字以及未来的学校教育的必要准备。[1]绘本通常由图画配以简短的文字构筑出多个故事，是儿童教育的重要工具和载体，绘本阅读已经成了儿童教育的重要方式。绘本主题内容主要涉及童话故事、科普知识、儿童哲学启蒙等。叙事类儿童绘本是儿童社会化的工具之一，是有关世界和社会价值中的意识形态信息的来源。儿童绘本中的较大篇幅是图片，所以图画部分与语言同等重要，在儿童幼年发展时期起着同样重要的作用。本文以儿童绘本为例考察视觉叙事中的意义的构建模式，详细阐释Painter等[1]构建的多模态语篇叙事的意义建构分析框架。

一、多模态语篇的概念意义建构

概念意义包含两种语义，即经验意义和逻辑意义。[2]与语言的经验意义的表达类似，视觉叙事语篇概念意义的建构也涉及参与者角色、事件本身和相关环境成分。相对于语言而言，儿童绘本的视觉符号表征更容易识解。

（一）参与者角色表征

视觉叙事不同于文本叙事，视觉叙事中没有与语言系统中等同的“指称(Reference)”概念。语言中的代词可以避免人名和描述的重复而实现指称。视觉叙事语篇中，当人物的显著特征在后续的图像中出现，就常被认为是同一参与者。读者可通过身体的一部分或者影子或轮廓等辨认出一个人，这是视觉叙事语篇实现指称的重要手段。下面图1是视觉叙事语篇中参与者角色的表征模式：

图1 多模态叙事语篇中人物的表征模式

（二）事件关系

视觉叙事语篇主要表达的及物过程包括（1）含单个或者多个参与者的行为过程；（2）通过有矢量指示的“言语泡”表达言语过程；（3）包括认知过程和感知过程的心理过程。儿童在阅读绘本时，不仅要理解单页的图画，而且还需要清楚多个连续图像之间的关系。在语言文本中，小句之间的联系依赖的是小句之间的“扩展”(expansion)和“投射”(projection)两种逻辑语义关系。然而，在图像中并不存在能够明确表示事件之间关系的资源，读者通过比较相邻的或先后相连的图像，然后从图像之间的殊同之处推断出事件之间的关系。“比较”(compare)和“对比”(contrast)是读者在理解图像中描述的两个事件之间关系的必备的语义策略。Painter等[1]对图像中的事件关系进行了总结，见图2。在图像表征的事件间关系中，先后顺序指的是多个连续的图像描绘相同的参与者的行为。同时发生指的是不同参与者的行为。投射关系中，第一种为真实所见的视觉投射，通常是前图显示人物在思考，后续的图像显示的是人物看到的内容。第二种是图像中人物所思考的或者想象的事物，称之为想象的投射。

图2 多模态叙事语篇中事件关系的表征模式

（三）环境成分

从概念功能来看，背景环境可以为事件过程提供发生场所。视觉叙事语篇中对背景的描绘可以提供图像中参与者角色的行为的物质环境。语言可以借助词汇语法资源明确提供多种环境成分，如地点、方式、原因、条件、范围、角色等。[2]然而在视觉叙事语篇中，这些环境成分中的大多数并不能通过视觉方式直接表征出来。尽管图像中的钟表、灯光和月亮可以用来表示时间，然而其主要意义在于指明空间位置的细节信息。如果图像中没有环境成分的描绘，那注意力就一定聚焦于图像中的人物或者动作本身。[1]

如果事件发展过程中情景没有发生改变，图像可以选择相同的背景，或者可以使用不同视角变化如仰角-俯角、远景-近景等的变换。如果情景发生变化，图像可以使用新背景或者进行去背景化，多模态叙事语篇中及物性过程的环境成分的表征模式详见图3。

二、多模态语篇的人际意义建构

Halliday[3]认为提供(giving)和求取(demanding)是交际中最重要的言语功能。借鉴韩礼德对语言的描述思想，Kress 和 van Leeuwen[4]指出图像中人物的眼神注视读者表明图像要求读者与图像中的人物建立某种关系。反之，则表明图像在向阅读者提供某种信息。然而，Painter等[1]则认为图像不能像语言那样表达明确的提供或者求取关系。鉴于此，Painter等提出了针对视觉叙事语篇的新的聚焦系统(focalization)来考察图像和读者间的互动关系。

图3 多模态叙事中及物性过程的环境成分呈现方式

Kress & van Leeuwen[4]构建了图像中表现人际意义的语义系统，如社会距离(social distance)、态度(attitude，包含参与和权力)、联系(contact)和情态(modality)。其中，社会距离是由图像人物框架的大小来体现的，即通过特写(close up)、中景(mid shot)和远景(long shot)三种方式对人物进行表征。Painter等[1]对Kress & van Leeuwen的互动意义和情态意义系统进行了修正和补充，提出了表征视觉图像中人际意义的语义系统：

（一） 聚焦 (Focalization)

“聚焦”系统是对Kress & van Leeuwen[4]的“接触”系统(contact)的重新阐述和详述，它关注的是图像中人物的描写。该系统主要有两个关注点，其一，图像中的人物与读者之间是否存在互动；其二，图像为读者提供了何种阅读视角。关于图中人物和读者的互动关系，Painter等[1]区分了两种不同于Kress & van Leeuwen(2006)的图像类型，即“接触”和“旁观”两种主要视角：接触类可细化为直接接触和被邀请接触两类。旁观类图像使读者在故事之外观察和了解视觉叙事语篇中发生的事。当图像仅显示故事参与者的身体的一部分时，通常是双手或者双脚在外面而整个身体隐藏，读者就可以从人物的视角进入人物角色。就图像为读者提供的视角而言，Painter等区分了有中介(mediated)和无中介(unmediated)两种图像，前者是指引导读者通过图中人物的视角来阅读图像；后者是指读者的阅读视角和图像中的人物不相关。

（二）情感系统

情感系统是人际意义的一个重要的子系统。儿童绘本是儿童教育的重要途径，因此重视对阅读者情感体验的培养。儿童绘本中人物描绘方式大致分为三种风格：最简风格(minimalist)、类化风格(generic)和自然风格(naturalistic)，见图4。最简风格指用圆圈或椭圆表示人物的头部特征，用点或者是小圆圈表示眼睛，此风格不需要保持精确的面部和身体比例。最简风格表达人物快乐或者悲伤的程度最强，希望读者做相对不带感情的旁观者来阅读故事。类化风格对人物特征描绘较为详细，其情感表达技能可以扩展到更多行为表达的情感，也就是说，这些情感和观察、行动、集中注意力等相关。类化风格可创造所有类型的人物，绘本中该风格多表示本质上具有指令性，含蓄地希望读者将自己视为主人公，按照其所作所为行事。类化风格常促使儿童与图中人物持相同立场，使读者感同身受，设身处地体验主人公的处境及其内心世界，从而达到感受和理解其情感，培养阅读者的共情能力。自然风格在人物特征刻画上最为详细、细致入微，情感表达多为真实人物的情感，最容易引发读者的感情，进入对方的生命，感受对方的观念和体验，产生共情。

图4 多模态语篇中人物描写的不同风格类型

Painter等区分了两种读者和图像人物情感关系的表达方式：介入(engaging)和异化(alienating)。介入指图像希望读者和图像中的人物产生情感介入。异化中读者并无过多情感投入，读者常不带情感，客观地阅读图像。见图5。

根据读者情感投入程度的不同，Painter等区分了三种不同的介入方式：鉴赏类常选择最简风格描述人物，图像人物较为抽象，读者的情感介入较少；移情类则常选择类化风格描述人物，图像人物不易确定，其情感较易识别，易引发读者一定程度的情感介入；个体类常选择自然风格描述人物，多为真实人物，能最大程度地引发阅读者的情感体验。

图5 图像人物情感的介入与异化

（三）色彩渲染(Ambience)

语言文本语篇中情态(Modality)体现手段在图像语篇中通过色彩渲染得以实现。研究为产生特定语气对背景的描绘和颜色使用，考察如何通过颜色渲染创设情感气氛。Kress & van Leeuwen[4]指出多数人认为颜色主要与情感有关，但颜色作为一种视觉交际资源，和其它模态一样，具有多功能性，亦可表达概念意义、人际意义和组篇意义。Painter等提出了颜色资源分析的理论框架，其核心系统主要包括:

色度(vibrancy)主要取决于色彩的饱和度。鲜亮色彩常用来构建兴奋的、充满活力的情感。柔和色彩则用来构建温和、冷静的情感。颜色饱和度的深度体现图像的鲜亮程度。但饱和度不是一个独立变量，它和色值（颜色的明暗程度）有着密切联系。

色调(warmth)是画面中呈现的色彩总和，指画面给人的总体色彩感觉，即画面的整体色彩效果。色调对时间、环境、气氛等都有较大的渲染作用。暖色调图像常表现为红黄基调，给人以温暖、亲切之感；冷色调图像则以明亮的蓝色为基调，给人距离感。

熟悉度(familiarity)由图像中色彩区分度的量值体现。其基本原则是人们体验的现实世界五彩缤纷，因此图像呈现的颜色种类越多，图像的自然度越强。如果图像仅仅限于一两种色彩或者一种颜色的不同调制，创设的世界与现实世界则相去甚远。色差的不足会降低所描绘的事物的确定性和现实性。

（四）级差 (Graduation)

级差是借用Martin & White[5]的评价理论中的术语，指的是加强或者减弱人际意义的策略。Painter等将该概念推广到了视觉图像中，提出了视觉级差(visual graduation)概念。极差重要的体现方式就是力度(force)，细分为数(number)、量(mass/amount)和面积范围(extent)。这三种维度不同量值的选择对读者的态度反应发挥着重要作用，见下表。

下面，我们通过图6来详细讨论视觉级差的不同表征形式：

力度特点 （Force feature）数（number）量（mass/amount）面积范围（extent）强化(up-scaled)↑较多数量的同一事物相对其他成分比例较大概念成分占较大篇幅降低弱化（down-scaled）↓较少数量的同一事物相对其他成分比例较小概念成分占较小篇幅

图6 视觉级差的不同表征形式

数(number)：图6(a)若呈现一个人也可表征对熊的侵犯行为的反应，但增加参与者数量加强了人们反抗性的表达。量(mass/amount)：图6(b)运用了极差中系统中的“量”，图中占超大尺寸的将军在比例上与其他成分不相称，凸显了其权威性和权力。图6(c)是面积范围(extent)的运用，即使欲表征的概念内容是中性的，增加数量仍可以增强某种情感态度，如吃香肠行为本身并不易引起消极评价，但因其在面积上占据较大空间，所以容易引起读者的消极评价。再如图6(d)中笑脸占据了图像三分之二的面积，强化了图中人物的快乐心情。

三、多模态叙事语篇的语篇意义建构

语言语篇中有多种组篇机制可供使用来创造话语之间的衔接，如代词指称(prenominal reference)、 省 略(ellipsis)、 篇 章 重 复(textual repetition)等。此外，言语者还可以通过其他方式引导读者，如通过主位的选择引起一个小句。同时，还可以通过语调(intonation)、词序展开(unfolding word order)、标点符号等把语篇切分为多个信息单元。每一个信息单元又包含一个“信息焦点”，信息焦点又表示为读者最关注的重要新信息。

视觉图像常使用“空间维度”来控制读者的注意力。绘本通过图像的版面设计、页面和图像本身等要素将意义“打包”(packaged)成容易理解的信息。借鉴语言语篇，视觉图像语篇中的信息单元也可以被称为“焦点群”(focus group)。Kress & van Leeuwen[4]指出，视觉材料整合或者分离的方法是运用不同的图像框架。Painter等[1]指出图像中横跨两页的图像可视为一种宏观框架，其内部可有其他框架。

绘本可以通过投射或者扩展这两种方式将话语和图像整合成一个视觉整体。当话语出现在“语泡”中时，二者就形成了由“投射体”和“被投射内容”组成的双模态图像。被投射的内容可以是“言语”或“思想”。此外，一些非语言的声音如“Bang！”或者“ Pow！”都可以被投射。图文之间的投射关系是图中人物和言语融合的一种重要方式，因此要完全理解图像表达的意义就必须将二者结合起来去解读图像。另一种重要的融合式布局方式是扩展(expanded)，其中最常见的是包含(subsumed)，即文字内容覆盖在图像上成为图像的一部分，可实现图文的最强融合，引导读者把二者视为整体理解。此外，并置(colocated)也是一种实现方式，图像中的人物或行为整体或者部分脱离背景，图像和文字通常共用一个白色背景。复位(reinstated)指文字出现在图像上，但不被图像包含起来，与图像有清晰界限，而文字有背景框。

（一）图文关系：图文互补分布表明图文这两种模态在意义的建构中起着不同的作用。在儿童绘本图像按照水平轴分布中，文字居左是最常见的分布情况。Kress & van Leeuwen[4]指出图片的左右位置拥有不同的“信息价值”，左侧常代表已知旧信息，右侧常代表新信息。左侧通常提供背景和引导性信息，右侧常提供重点信息和新信息。在图文的上下关系中，构图中的上面要比下面更为重要。在视觉构图中上半部分是“理想的”(ideal)，即理想化的、非具体化的信息，下半部分是“真实的”(real)，即较为具体的、实际的信息。此外，还存在一种“三明治式”，即“文字+图像+文字”或者“图像+文字+图像”。

（二）重要性：如果图像和文字占据相等的空间，说明这两种模态承载着同样重要的信息和语义。两种模态哪个占据较大的图片空间说明哪个模态在语义表达上更为重要。据此，互补分布除图文相等之外可以分为两种不同的构图模式：图像优先型(image privileged)和文字优先型(verbiage privileged)。

（三）位置关系：主要分为相邻式和插补式。前者指图像和文字在一个页面分别独立又相邻地呈现出来。插补式是指本文插补在一个完整图像中间或者图像插补在一个整体文本中间。

四、结语

本文主要介绍基于视觉语法的图像类叙事语篇元功能的建构框架，该理论框架突破了以往以分析单个图像为主的局限。本文考察了连续视觉叙事语篇的语义构建分析框架，聚焦于视觉叙事语篇概念意义、人际意义和组篇意义的建构模式，详细讨论了多模态语篇的概念意义建构过程中的参与者的表征、事件间关系和环境成分的呈现方式等， 人际意义建构中聚焦、情感系统、色彩渲染和级差相关要素，组篇意义建构过程中图像的布局模式，介绍了语篇叙事过程中图文互动时的投射与扩展等融合情况。