视觉语法下的多模态研究

朱泽浩

摘 要：本文以Kress&Van Leeuwen提出的视觉语法框架为理论依据，以《江西全球推介会宣传片》为多模态研究语料，从再现意义、互动意义和构图意义三个层面着手，不仅从语言文字和翻译艺术的角度分析了宣传片的交际效果，还从图像、构图等视觉非语言符号为切入点探究宣传片取得成功的原因。

关键词：视觉语法，宣传片，多模态

以语言和非语言符号相结合的传媒的发展促使文化交流從传统的单一模式向“多模态”模式转变。“多模态话语”是运用听觉、视觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号来进行交际。本文试以Kress & Van Leeuwen的视觉语法理论为基础，从再现意义、互动意义和构图意义三个层面对《江西全球推介会宣传片》这一“视觉名片”进行多模态分析。

一、视觉语法理论概述

视觉语法理论是Kress &Van Leeuwen以韩礼德的系统功能理论为基础提出的。系统功能将语言分为概念功能、人际功能和语篇功能。Kress &Van Leeuwen基于这三大元功能在视觉模式中以怎样的方式传递什么意义出发，构建出了一个以再现意义、互动意义和构图意义为中心的视觉语法框架。

视觉语法中，再现意义通过图像中人物、环境、地点事件的关系来体现，分为叙事再现和概念再现。叙事再现主要关注动作，受参与者行动、言语等影响。概念再现表示参与者稳定、持久的状态，受分类、分析以及象征过程的影响。

互动意义解释图像如何与观众产生互动，并通过接触、视点、距离、情态体现相互之间的关系。接触反映参与者与观众之间的关系，分为索取和提供。视点也叫视角，通过角度来表现互动意义。距离通过参与者之间位置的远近体现关系的亲疏。情态反映客观的世界形态。

构图意义分析图像中元素如何通过构图来表达意义，体现多模态语篇构建的整体性。构图再现有三个部分：信息值、显著性和取景。Kress&Van Leeuwen用四个象限来表示构图意义的信息分布，如表1。

表1中，图像的上下、左右、中心和边缘分别体现信息的重要程度。重要信息在中心。从中心到边缘，重要性逐渐递减;从左到右是从已知信息到新信息;从上到下是理想信息到现实信息的传递。

二、案例分析

在腾讯上以“江西宣传片”为关键词搜索相关视频，过滤掉宣传江西某一特定地方的宣传片，结果有《江西风景独好宣传片》、《这里是江西（宣传片）》、《绿色江西，走向世界》宣传片、《江西城市宣传片》和外交部推出的《江西全球推介会宣传片》。基于各宣传片的点击量，发现外交部推出的宣传片的高居榜首，观众的评价很高。可见，该宣传片获得最佳的交际效果。

（一）再现意义

图1中，左图对应叙事意义再现。图中一群孩子在金黄色的麦田中微笑地奔跑着，脸上洋溢着幸福的笑容。孩子们的姿势体现运动。语言包括纯语言和伴语言，实现意义传播的媒体形式是声音或字符。宣传片的中英文字幕是字符，属纯语言。从纯语言角度来讲，声音和字符起正相关作用，画面属于伴语言，起辅助、补充和强化的作用。字幕配以“5年脱贫151万人”（over 1，510，000 have got ride of poverty in five years.）起正相关作用。图文结合将中国人民脱贫后的喜悦感通过孩子的幸福强烈地表达了出来。

右图是概念意义再现。以俯拍的角度，让观众能全面领略江西的美丽。加之将江西这一名词翻译成“she”，加深了观众对江西的喜爱，达到良好的视觉效果。通常情况下，对图像再现意义的理解并不需要太多的认知投入，观众只要凭借自己对图像的主观感知就能提取图像的再现意义。

（二）互动意义

1.接触

接触包括索取和提供。图2左图体现索取。图中动物与镜头直视，眼神中流露出警惕。从图片和字幕来看，此处表达尊重生命、热爱动物。因此，可以理解为动物们在向人类索取不被打扰和平等，对应字幕“为地球悉心珍藏着每一样珍贵的生命”（and nurtures every precious species for the Earth）。图文结合让“precious”一词深化。图2右图是位手拿水果的妇女。她微笑地望向镜头，似乎在向观众表达着丰收的成果。是一种提供接触，拉近了观众与参与者之间的关系。

2.视点

对比图1两幅图可以看出，左图采用正面、水平的视角，右图是俯视的视角。一般而言，正面角度意味着“卷入”，表示融入。以水平角度拍摄，让观众有身临其境之感，仿佛自己站在稻田这边看着孩子们微笑地跑过来，从而能更深切地体会孩子们的欢乐。右图则通过俯视的角度将江西的壮丽河山展现在观众的眼前，让人为之震撼，达到宣传江西的作用。

3.情态

互动意义的情态较为复杂。Kress&Van Leeuwen从饱和度、色彩区分度、协调度、再现、深浅程度、差异度、配合度和亮度八个标识衡量图像情态量值。

（三）构图意义

1.信息值

信息值是根据元素在构图中的位置来体现。由表1可知，中心是核心信息，上位为理想信息，下位为真实信息，左边为已知信息，右边为新信息。图3的两幅图都以三人为中心，表明三人在整个构图中处于核心地位。右图的右上角出现国旗，属于新信息。表明合作对象是相应国的人，使图片内容更详细。

2.显著性

显著性指图像各部分吸引观众的注意力程度不同。可通过相对尺寸、色彩鲜明度的不同来实现。图3左图，三人身穿白色衣服处在一片绿色背景下，更加明显，身后背景虚化，聚焦手中的蔬菜，结合中英文字幕，信息的表达就更明确。

3.取景

取景是各元素的搭配和组合。包括元素在色度、亮度等方面的组合。图1右图聚焦山水，整幅图绿色突出，将江西优美的风景展现在观众眼前。

从单纯的语言文字角度分析发现，该宣传片在文字处理上体现了呼唤型文本语言简洁得体、信息集中的特点。

例如：一个美丽而活力四射的江西，期待与你相约。

翻译：A beautiful and dynamic Jiangxi， invites you now.

本句中“期待与你相约”若译为“is looking forward to meeting you”也未尝不可。但相比之下文中的翻译更为妥当。因为宣传片除了要准确表达，还要保证译文简洁，能够在快速闪过的屏幕中显示出来。因此，译成invites you now更为合适。从宣传效果来看，invite正是本宣传片的目的，邀请世界各地的人来江西参观，而looking forward to虽也有这层含义，但语气却没有invite强烈、直接，且invites更符合结尾的语境。

三、结语

通过对《江西全球推介会宣传片》进行研究，发现视觉语法中再现意义是最直观、最基础的信息。互动意义主要研究参与者和观众之间的关系，互动意义的选择带有一定的主观性。构图意义体现的是各元素之间的组合方式。成功的宣传片，除了注重语言方面如翻译质量、翻译策略选择等，图像、颜色、构图等非语言符号也都参与其中，共同构建了相互联系、相互补充的多模态话语，从而为宣传片的成功奠定了基础。

参考文献：

[1]张德禄.多模态话语分析综合理论框架探索[J].中国外语， 2009（1）：24-30.

[2]张燕.视觉语法视角下《横冲直撞好莱坞》海报的多模态意义解读[J].语文学刊，2016（8）：1-2+64.