基于视觉语法的多模态叙事语篇图文关系研究

刘晓华

(安徽农业大学 外国语学院，安徽 合肥 230036)

随着科技的发展，非言语模态越来越成为构建意义、实现交际的重要载体。随着话语分析理论研究的不断深入，非语言模态作为意义表达模态，逐渐受到学者的关注。多模态话语指的是运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象[1]。在话语分析中，如何把言语模态和非言语模态结合起来进行分析解读，并建立一个综合分析框架，是多模态话语分析研究的重要内容。

多模态语篇指的是“所有通过一种以上符号编码构建意义的语篇”[2]。在多模态语篇中，文字和图像，作为两种截然不然的符号系统，用不同的表达方式，共同作用，构建同一个意义。因此，多模态叙事语篇中图文之间的互动与整合关系不仅会影响语篇意义的构建，同时还会影响语篇的识读和理解。

1 多模态话语分析

在多模态话语分析方面，Barthe最早关注到多模态语篇中，视觉符号与语言符号相互作用，产生意义[3]。他从社会符号学的角度给图文关系进行分类；其对图文关系的分析是从语篇的宏观层面展开的；在系统功能语言学的理论基础上，国外一些学者从微观层面开展了对多模态语篇中图文关系的研究：Schriver[4]从信息视角提出五种图文关系模式；Carney和Levin[5]和Marsh和White[6]分别从功能视角下对多模态语篇的图片功能进行研究并分类；Martinec和Salway[7]在Barthes理论的基础上提出了多模态语篇图文互动关系。国内的研究主要集中在两个方面：一是理论建构方面，李战子[8]肯定了系统功能语法理论对多模态话语分析的重要意义，胡壮麟[9]指出了社会符号学研究的多模态趋势，并区分了多模态符号学和多媒体符号学，朱永生[10]全面阐释了多模态话语分析的理论基础、研究方法以及研究意义，张德禄[1]建立了一个多模态话语分析的综合框架；二是个案分析，主要集中在特殊的静态多模态语篇，如会徽中的文字与图像、颜色及版式设计等符号的互动关系[11]，交通标志牌的图文互动与整合[12]，《格林童话》中的插图与文字之间的逻辑语义扩展关系[13]，多模态小说的图文关系[14]；也有对动态多模态语篇的分析，如易霞[15]从一则电视新闻入手，分析了多种模态资源之间的内在关系。这些对不同类型的语篇，进行的多模态话语分析，对现有多模态话语分析理论，做了验证及理论的补充，但多模态语篇分析还缺乏一个普适性的分析工具。Kress & van Leeuwen[2]在系统功能语法的基础上，研究了人类学、文化研究、心理治疗、民族志研究、影视作品等领域的视觉分析[8]，提出了多模态语篇分析的理论框架，为系统阐释广告、教材、漫画等多模态语篇的意义建构提供了有力的工具，确立了多模态语篇分析的学科地位[16]。

2 视觉语法理论框架

Halliday[17]在系统功能语法中提出了语言的三大元功能，即概念功能、人际功能和语篇功能。这些元功能是基于语言作为交际和再现意义的符号编码提出来的，但并不仅仅局限于语言符号。Kress和van Leeuwen[2]把语言的三大功能延伸到视觉图像，他们认为：“和语言的语法描写，比如，词如何组成小句，句子如何组成语篇一样，视觉语法也可以描写视觉图像中人物、地点和事物如何组成复杂的视觉陈述。”他们从三个方面，即视觉图像的再现意义、互动意义和构图意义，提出了视觉语法的分析框架，分别对应着功能语法概念、人际和组篇的三大元功能。Kress根据图像的特点，把再现意义分成叙事再现和概念再现两类，是否有矢量是叙事图像和概念图像的唯一区别。叙事再现主要分为行动过程、反应过程、言语和心理过程；概念再现分为分类过程、分析过程和象征过程。视觉图像能建立读者与图像表达的世界之间的特定关系，并与读者互动，激发读者应有的态度和情感，这是视觉图像的互动意义，主要由距离、接触和视点这三个要素共同作用，创造出读者对语篇的独特观感和体验。与功能语法的语篇意义相对应，Kress & van Leeuwen[2]也提出了视觉图像的构图意义，并分析了构图意义的三种资源：信息值、取景和显著性。信息值是通过图像元素在构图中的放置位置实现的；取景是指通过线条割断或连接图像中的元素，来表达意义上的从属或不从属；显著性是指图像元素对读者注意力的吸引程度[8]。下图1为其总结的视觉交际中的叙事结构图[8]。

图1 视觉叙事结构框架

本文拟采用视觉语法的理论框架，从图像模态意义构建，言语模态意义构建、图像与言语模态意义互动和整合三个方面，对多部叙事绘本的视觉叙事进行多模态话语分析。

3 多模态叙事语篇的语篇分析

3.1 图像模态和言语模态的再现意义

3.1.1叙事再现

Kress认为图片的叙事再现是通过图像元素形成斜线，一般是对角线，形成矢量，把参与者连接起来，完成叙事。参与者之间互动，形成事件的过程。他们把视觉叙事和语言叙事的过程进行对比，并一一罗列出来。 下面参照Kress等人[2]视觉叙事的结构框架，从行动过程、反应过程、言语和心理过程，对叙事绘本进行多模态话语分析，重点考察图像模态如何构建再现意义，并与言语模态呼应。

首先行动过程中，矢量的参与者通常有单个或者两个。叙事再现中如果有两个参与者，那么一个是动作者，即矢量的发出者，动作者本身也是矢量；另一个是目标，也就是矢量所指向的参与者，动作者和目标之间相互作用，构成事件的发展。动作者在图像中占有显著位置，可以通过尺寸、构图中的位置，与背景的对比、色彩饱和度、聚焦程度，以及心理凸显程度等手段表现出来[8]。例如，绘本《小老鼠亚历山大》中，小老鼠亚历山大被猫哈茨叼住的插图，如图2a，猫哈茨，是矢量的发出者，即行动者，老鼠亚历山大是矢量的指向，即动作的目标。行动者占据了这张图片最突出的位置，把读者的视觉焦点聚焦在哈茨身上，同时用猫身形的巨大尺寸和老鼠弱小身形的尺寸形成强烈对比，叙述弱小的老鼠不幸被强大的猫抓住的事件。这与插图相对应的文字：“哈茨张开大嘴，用牙齿叼住了亚历山大的大熊装。”在物质过程叙事上保持了一致。“亚历山大吓得捂住眼睛，几乎透不过气来。”这段文字所表达的情态意义，在图片中是通过色彩饱和度来实现的。Kress & van Leeuwen[2]认为图画可以借助色彩、色调等表达手段，传递情态意义。在这张图片里，黑色的猫和白色的地毯背景，形成黑与白的视觉对比，黑色和白色的使用达到了最高情态，营造恐怖的气氛，把老鼠被猫抓住这一事件在细节上做了最大程度的再现。

有时，矢量指向的参与者，即目标，也会在图片中处于显著位置，实现叙事再现。例如，绘本《警察和强盗》中，警察皮尤被四个强盗攻击的场面，如图2c。这个图片里有多个参与者，处于图片显著位置的是矢量的指向参与者，分别从四个方向构成斜线的是矢量的发出者，即行动者。四个方向的斜线构成对角线，并把目标置于图片的中心位置，来再现警察被四个强盗攻击的事件。同时，也和言语模态中“掀掉警盔”“扯下领带”“踩住警棍”“踢泥巴”四个物质过程相对应，共同再现叙事情景。

和语言中的不及物动词一样，图像叙事再现中也有不及物结构，也就是行动过程中没有参与者，也没有目标。例如，叙事绘本《向左走 向右走》中，见图2b，刮起了冷风，寒流来了，这里没有行动者，也没有目标。图像与言语模态的物质过程完全对等之外，又用了乌云、雨滴、阴郁的色调等图像元素补充了言语模态的意义，让“寒流”更具象化，营造低落、惆怅的故事氛围。

图2 行动过程分析图例

其次，反应过程主要是行动过程，只是矢量是由参与者的目光构成。因此，“反应者”和“现象”是反应过程的两大要素。反应过程也分为及物结构和不及物结构。及物结构是从一个参与者的目光或多个参与者汇聚在一起的矢量反应过程，如图3a，所配的文字是“妈妈跑到洞口，探出头，就在那一瞬间，她看见了哈茨！在哈茨的后面，不仅跟着三只小猫，还跟着一只可爱的小熊。妈妈放心了，她知道儿子很安全”。图片中，妈妈是反应者，她的目光落在穿着大熊服的小老鼠亚历山大身上。妈妈凝视儿子的反应过程，一是与言语模态中“跑”、“探”、“看见”的物质过程彼此呼应，二是补充了妈妈由担心儿子到看见儿子安全而安心的心理转变过程。再如图片3b中，反应者的目光有时并没有落在具体的现象或物体上，而是落在画框外的某个地方。图中的反应者并未投入所处的环境里，而是沉浸在个人的内心世界里。这种不及物结构可以使读者与图中刻画的人物达成内心的统一，产生共鸣。

图3 反应过程分析图例

最后，在言语和心理过程中，叙事绘本的图片里，还有一种特殊的矢量，即图中的说话者或思考者所说的话或所想到的内容通过对话泡或者思维泡表现出来。Halliday把这种结构叫做“投射”，及物反应的“现象”没有直接表达，而是通过反应者的中介，即对话泡中的“言语者”或思维泡中的“感知者”传递意义。如图4a，强盗比利被警察皮尤抓住，比利觉得皮尤像一头熊一样强壮，又想起小时候妈妈对自己的教导而后悔。这个思维过程在图像模态里，用思维泡投射出思考者的整个思维过程。同样地，如图4b，叙事绘本《爷爷变成了幽灵》中，男孩艾斯本的爷爷去世了，艾斯本很伤心，妈妈告诉他，爷爷去了天堂。艾斯本努力想象天堂的样子，爷爷变成天使的样子。这个想象的过程也是用投射的结构表现出来，与言语模态相对应。

图4 投射结构分析图例

3.1.2概念再现

和系统功能语法中关系过程和存在过程相对应的是视觉模态的概念再现。叙事再现通过矢量构建空间来表现发展中的行为和事件，形成叙事的时间性。概念再现的时间意义减少，主要表达类别、结构或者意义[8]。视觉模态和言语模态相同的地方在于视觉模态概念再现的分类，分析结构类似于言语的功能小句，象征结构也相当于认同小句。但是，视觉模态中所使用的概念化在言语模态中是无法找到等同物的。因此叙事绘本采用视觉模态的概念化结构手段来弥补言语的不足，以生成富有深意的文学效果。

下面结合叙事绘本语料，从分类过程、分析过程和象征过程来分析视觉模态再现概念的结构手段。

首先，分类过程通过分类关系将参与者联系起来，至少有一组参与者将对另一个参与者扮演“从属”的角色[8]。在多模态语篇中，大多数分类过程都是用图画加上文字来表达的。如图5a，各司其职的12个警察是“伦敦警察”的从属，他们都处于同一个背景中，对称分布，与文字表达的意义互动。其次，在视觉符号分析过程中，参与者具有部分-整体的特点。这个过程有两种参与者：一是承载者，也就是整体；二是任何数量所拥有的特征，即部分[8]。例如图5b，这六个强盗都是承载者，他们都具有不同的特征，比如年龄、性别、发色、体形等，都具有各自的特征；其中五个强盗都带着黑色的眼罩，暗示着他们都拥有强盗的共同身份，这是整体。

最后，象征过程有两种，即象征属性和象征暗示。前者是指，意义和身份由参与者本身的品质表现出来，一般有两个参与者，其中一个的身份已经在叙事关系中确定，也就是承载者；另一个参与者来表达意义或身份。如图5c，女孩兴奋得失眠，女孩是承载者，而窗外的兔子以及室内的白兔子象征着虚幻的梦境。这是视觉模态的象征属性。

图5 参与者分析图例

3.2 图像模态和言语模态的互动意义

Kress和Van Leeuwen[2]提出了图像的三类“互动意义”：接触、距离和情态。视觉图像能建立读者与图像世界之间的互动关系，激发读者应有的态度和情感，营造出读者对语篇的独特观感和体验。这是视觉图像的互动意义，主要由距离、接触和视点这三个要素来实现。同时，情态作为互动意义的重要部分，以“感官的编码倾向”为出发点，带来感官的愉悦，是对图像“现实主义”的再现。以下将从这四个方面分析叙事绘本中图像模态与言语模态的互动意义。

3.2.1接触

Kress和Van Leeuwen[2]根据Halliday[17]的话语功能，把图像分为“索取”和“提供”两种类型。图像中的人物直视读者，也就是说他们和读者“接触”，从而建立读者与图像世界的互动关系，人物通过表情、姿势表达他们在向读者索取什么。例如叙事绘本《向左走 向右走》中，如图6a，图像模态中，女孩直视读者，落寞的表情，表达人生的迷茫、个体的渺小、在命运洪流中的无奈，直击读者的心灵，激发共鸣；言语模态使用陈述句的形式提供信息，用了“一个人”与图像模态呼应。

同样，在叙事绘本《向左走 向右走》中，也有这样的图像：图中的人物并没有直视读者，向读者索取什么，这时读者置身事外，图中人物在向读者展示信息，例如图6b，图像模态中，女孩并没有和读者直接的眼神交流，只是提供了不同场景中孤身一人在陌生的城市生活的信息，让读者感同身受。Kress 和 Van Leeuwen[2]把这类图像叫做“提供”类图像。在言语模态中，同样使用陈述句为读者提供信息，大量使用“低落”“孤单”“悲凉”“哀伤”“荒寒”这些形容词，营造出都市中现代人生活彷徨、迷茫的氛围。

但是，叙事绘本中，图像模态与言语模态之间的互动关系从宏观到微观都更为复杂，这两类关系显然无法概括图像和读者之间的复杂关系[8]。

图6 接触分析图例

3.2.2距离

图像模态可以使读者接近人物和事件，也可以把读者挡在图像世界之外。按照距离的尺寸，Kress和Van Leeuwen[2]把距离分成近距离、中距离和远距离；按照人物关系的呈现，也可以分为个人距离和社会距离。通过远近距离的图像模态构建人物关系，叙述事件，实现图像的互动意义，这种方法在叙事绘本《我的爸爸叫焦尼》中得到了充分的运用。如图7a，图像模态使用了个人的远距离，读者可以清楚地看见参与人完整的形象，以及周围的环境；言语模态用陈述句的形式介绍了主人公的信息：一个父母离异后，和妈妈一起生活的小男孩，独自在站台等爸爸，为读者构建故事基本要素。图7b是社会的近距离，图像展示了参与者一对父子一起共进午餐的温馨场面，人物的表情可以看出父子久别之后再次会面的快乐，而言语模态详述了孩子观察到的“披萨”和“啤酒”，食物虽然普通，但是和久别重逢的爸爸一起享用，普通的食物也变得更美味。

图7 距离分析图例

3.2.3视点

Kress和Van Leeuwen[2]把图像的视点分为仰视、俯视和平视三种。图像不同角度的视点能够表达象征性的权势关系，同时能使读者不同程度地介入图像世界。以叙事绘本《小老鼠亚历山大》为例，图8a中小老鼠仰视猫的爪子，观察视点和言语模态的叙述者视点一致。利用仰视的视点角度，与文本中“亚历山大吓坏了，他非常非常害怕哈茨”相呼应，通过小老鼠的姿势，读者能体会到小老鼠的心理感受。同时这种仰视的视点，也象征着老鼠与猫之间不平等的权势关系。图8b采用了俯视的视点，同样是叙述者视点，小老鼠俯视自己的家，这样的视点与文本中“地板下的家”“地板上的家”相对应。

图8 视点分析图例

3.3 图像模态与言语模态的构图意义

与功能语法的组篇意义相对应， Kress和Van Leeuwen[2]分析了多模态语篇的构图意义，并指出图像的构图意义是由信息值、取景和显著性这三种资源实现的。在分析图像模态的构图意义时，Kress和Van Leeuwen认为图像和言语构成了语篇的整体。在真实的交际中，图像和文字，以及其他交际形式共同构建了一体化的语篇。因此，信息值、取景和显著性这些原则不仅适用于图像，也适用于多模态语篇的版面设计[8]。下面结合叙事绘本的版面布局，来分析图像模态与言语模态共建构图意义时相互补充的动态关系。

3.3.1信息值

Kress等人[18]指出，信息值是指多模态话语中各种元素因为在构图中所占不同位置而产生的价值差异。所有的元素在多模态语篇中的信息值取决与它所被安排的位置。在多模态语篇的构图结构中，左边和右边、上方和下方、中间和边缘，都具有不同的信息。上方和下方分别排列主要信息和次要信息，同时也是理想和现实的分水岭[11]。如果某一个元素被安排在上方，而其他元素被置于下方，那么上方的元素是“理想的”，下方的是“真实的”[8]。“理想的”是指语篇中最理想的、最具概括性的信息。因此被放置在语篇中最凸显的位置；“真实的”是指更具体的、更贴近实际的信息。

同时图像和文字的相对位置，也会影响读者对整页或整本书的阅读，因为图像和文字位置的编排会创造或打乱绘本每个跨页上的视觉平衡。

以叙事绘本《寻找亚特兰蒂斯》为例，图9a中文字被安排在双开页的左上方，以陈述句的形式提供故事的基本信息；下方则是与“箱子”“弯刀”“望远镜”……相对应的图像，但图像提供的远远不止这些，充满想象力的图像既对应了言语，又补充了言语之外的意义。左上侧的文字不仅有边框围绕，而且以规则的区块呈现，使左页的文字和右页的图像达成平衡。图9b也是文字在上，图像在下的布局。这样的安排与人们从左往右，自上而下的阅读习惯一致。

图9 信息值分析图例

3.3.2显著性

显著性指的是，在多模态语篇中某些元素吸引读者注意力的程度，是通过被安排在前景或背景、尺寸大小、色调对比、明暗对比等手段来实现的。例如在叙事绘本《小老鼠亚历山大》中，图10a以猫的剪影为背景，小老鼠作为前景，呼应文字中“他压根没注意到哈茨已走到了他的身后”；以明暗对比、相对尺寸营造老鼠弱小、猫强大的危险局面。类似的，在图10b中，把老鼠置于前景，以他的大熊装在灯光的照射下形成的阴影作为明暗对比，重现文本中“亚历山大穿上它，在镜子前面照了照，觉得自己看上去既勇敢又强壮”。灯光下形成的影子和小老鼠本身的明暗对比也暗示了它的强壮是伪装的，让读者感受到小老鼠渴望强大的强烈的心理需求。

图10 显著性分析图例

3.3.3取景

读者在阅读叙事绘本时，除了阅读文本，还会更关注图像的一些更具体的特质，例如图画是否加了边框。通常，加了框的图像显得较为拘谨，缺乏活力。因此，叙事绘本的图像常常聚焦于身体动作，很少加框，除非同一页有多幅场景不同的图，才会用框线分开。严格限制的分界线，往往暗示着疏离和客观性。Kress和Van Leeuwen把分割线这个手段称为取景。用这些分割线来切断或连接图像中的元素，表示它们在语义上是否归属。有的叙事绘本，为了从不带感情的客观角度来描述事件，常常会给所有的图像都加上边框。例如叙事绘本《爷爷变成了幽灵》，整本书的图像都用了图画周围的空白形成了边框，如图11，平衡了开跨页的左右两侧，同时每一个分隔出来的场景，都对应着文本中的每一个陈述句。根据Moebius[19]的说法：加了边框，图像提供的是有限的一瞥，从外面“进入”一个世界的感觉。所以在这里，小男孩沉浸在回忆的个人世界里，边框的使用让读者从客观角度进入叙述者的世界。

图11 取景分析图例

4 多模态叙事绘本的图文关系

多模态叙事绘本不同于其他任何语言艺术或视觉艺术的形式，它通过一系列图像，并结合较少的文字或完全没有文字，来传达信息或讲故事。两种模态的使用是为了表达叙述者的整体意义，当图像模态不能充分表达其意义时，就需要借助言语模态来补充；反之亦然。在多模态叙事绘本中，图像无法暗示焦点，无法说明“观看”的理由。没有相伴随的文字提供语境，图像的视觉冲击只能作为感官乐趣的源泉；反之，让读者仅看文字讲述，不看图像，整个故事的意义和效果都会发生改变。也就是说，没有图像相伴的文字，在描述重要的视觉信息时是模糊的、不完整的且不具表现力的；没有文字相伴的图像是模糊的、不完整的，且缺乏焦点、时间关系和内在意义。因此，多模态叙事绘本的图文关系是互补中的非强化关系，两种模态关系缺一不可，互为补充，相互协调、联合和交叉，各自以不同的贡献方式共建语篇意义。

5 结论

本研究以视觉语法为理论框架，对多模态叙事语篇进行话语分析，进一步厘清叙事绘本中，图文之间互补类的非强化关系，其意义在于：首先，验证了视觉语法框架在对多模态叙事语篇进行话语分析的可行性，展现其强大的解释力；其次，图像时代的来临，多模态语篇的大量生产，需要更加细致的图文关系研究，本研究为语篇生成，如何合理选择图像配置，构建清楚有效的语篇意义，提供了理论依据。具体内容分为以下三个方面：首先，利用图像模态的再现意义和概念再现功能，在构建多模态语篇时，有效使用图像中的人物及动作，色彩饱和度、聚焦程度、明暗对比等图像元素，构建事件的发展的时间和空间，以弥补言语模态的不足；其次，充分发挥图像的三类“互动意义”：接触、距离和情态。通过这三个图像要素建立读者与图像世界之间的互动关系，激发读者应有的态度和情感，营造出读者对语篇的独特观感和体验；最后，灵活运用图像模态的构图意义，即信息值、显著性和取景这三个资源，设计恰当的图像版面布局，和言语模态一起，共建一体化的叙事语篇。