多模态话语观照下的视觉语法与视觉叙事——以一则叙事型广告为例

刘　纯

（中南民族大学 外语学院，湖北 武汉 430074）



多模态话语观照下的视觉语法与视觉叙事——以一则叙事型广告为例

刘纯

（中南民族大学 外语学院，湖北 武汉 430074）

摘 要：视觉语法理论被广泛认为是多模态话语分析的主流理论框架。文章首先以一则叙事型广告为语料， 在视觉语法框架下对其进行多模态话语分析，其分析结果直观地反映该理论中所存在的一些问题；然后引入视觉叙事理论，并在该理论框架下对同一语料进行第二次分析；最后通过两次分析结果的对比，阐明视觉叙事理论的相对优势，并归纳出相应结论。

关键词：多模态；话语；视觉叙事；视觉语法

多模态话语分析产生于上世纪90年代，随科技进步而得以长足发展：O’Toole（1994）对三维建筑物进行过多模态分析；Kress和van Leeuwen（1996）将Halliday功能语法三大元功能延伸至视觉交际模态中，构建了视觉语法；van Leeuwen和Jewitt（2001）将多模态话语分析延伸到人类学、心理治疗、民族志及影视作品等领域[1]。

国内多模态话语研究处于起步阶段，李战子（2003）、胡壮麟（2007）、朱永生（2007）、张德禄（2009）、冯德正（2011）等在构建理论框架方面卓有贡献，此外诸多研究者在各类语料分析方面也颇有建树。

纵观多模态话语分析领域，主流理论框架为Kress 和 van Leeuwen（1996）的视觉语法理论，其应用性研究不胜枚举，但对其局限性的研究较为鲜见。本文首先在视觉语法理论框架下分析一则2015年戛纳广告节的平面金奖作品[2]，直观地反映该理论在实际语料分析方面的一些问题；然后引入视觉叙事理论，在该理论框架下对同一作品进行二次分析，根据分析结果对比，阐述其相对优势性；最后归纳得出结论。

一、本文所选语料

（一）多模态话语范畴中的广告类型

谈及广告类型的划分，黄国文（1997）曾从语篇分析角度，依据广告文本的体裁与风格，将广告分为叙事型、证言型、描述型和对话型。随着对视觉图像的日益关注，美国艺术史家Mark D. Fullerton（2004）曾在Greece Art一书中将视觉图像分为叙事型和象征型。综合广告文本和图像的分类，可将现代平面广告在多模态话语范畴中划分如表1。若图像或文本是叙事型，即为叙事型广告，因此8种广告类型中5种为叙事型，3种为非叙事型，可见叙事型广告所占比例较高。无论是广告手段还是目的，广告商还是受众，广告效果还是艺术价值，叙事型广告的接受度较高。从平面媒体、电视媒体到新锐媒体，叙事型广告都是主流类型。

（二）语料介绍

本文以2015年戛纳广告节平面类金奖作品——法国莫城战争博物馆广告为语料，包括三幅连续图像；其中图像元素为一战中首次使用的重机枪、手榴弹和大口径巨炮弹；文字部分呈纵向诗行排列。依据上述广告类型划分标准，该广告属于叙事型广告。

表1　多模态话语范畴中的叙事型广告

图1　重机枪

图2　手榴弹 　

图3　大口径巨炮弹

二、视觉语法框架下的语料分析

（一）视觉语法理论

Kress和van Leeuwen（1996）在Reading Images: The Grammar of Visual Design中首次提到视觉语法，并仿效功能语法语言三大元功能提出再现意义、互动意义和构图意义（见表2）：

表2　系统功能语法与视觉语法的理论框架对照

（二）语料分析

在视觉语法框架下对本文所选广告的多模态话语分析见表3。

表3　基于视觉语法框架的语料分析

再现意义方面，“重机枪”、“手榴弹”和“大口径巨炮弹”三种武器属于概念意义，象征第一次世界大战的存在性及灾难性。

互动意义方面，以近镜头客观提供三种武器的信息；以低情态画面客观低调地再现第一次世界大战；以正面直观平视的视角，拉近与观看者的距离，使其以平等心态融入到阴郁浓重的色彩所营造的战争环境当中，从而达到互动目的。

构图意义方面，图文无分割，是个整体；武器在图像中心，尺寸较大，或偏左，或偏上，因此是主导信息，已知信息，强势地传递战争信息；文字在图像边缘，尺寸较小，或偏右，或偏下，为辅助信息，新信息，负责诠释，使观看者接受图像信息后，再由文字引发共鸣。

三、语料分析所反映的问题

根据上文语料分析不难发现：

（1）再现意义方面，视觉语法解读了三种武器各自蕴含的信息，但本广告作为一个整体旨在传达更复杂的内涵与情感，绝非三幅图像含义的简单叠加或罗列，对此该理论框架无法深入挖掘。

（2）互动意义方面，视觉语法认为本广告图像在“提供”信息，因为武器与观看者没有视线接触。其实本广告并非一味“提供”信息，而旨在 “索取”观看者的心理共鸣与情感认同等，在此“提供”和“索取”发生了偏差。

（3）构图意义方面，视觉语法认为武器是主要信息，已知信息，而文字是次要信息，辅助信息。但实际上，文字虽在视觉上所占比例较小，位置也并未居中，但其深层含义较之武器有过之而无不及。

上述问题虽反映于一个广告案例中，但其存在性不容忽视。关于视觉语法的种种争议，John A. Bateman(2012)和张敬源教授（2012）都曾有所探讨，该理论亟待新的补充与扩展。

四、视觉叙事框架下的语料分析

（一）视觉叙事理论

Reading Visual Narratives: Image Analysis of Children’s Picture Books是Clare Painter，Jim Martin与Len Unsworth三位著名系统功能语言学者历经十年的呕心之作，是自Kress和van Leeuwen的视觉语法以来对视觉图像分析理论最显著的发展，是该理论框架的完善[3]。冯德正（2015）教授凝练其中主要观点，建构了视觉叙事理论框架（见表4）。

表4　系统功能语法、视觉语法和视觉叙事的理论框架对照

（二）语料分析

在视觉叙事框架下对本文所选广告的多模态话语分析如表5。

表5　基于视觉叙事框架下的语料分析

概念意义方面，三种武器通过整体表征，以相同情境构建战争属性，且位置相邻，彼此延续，这种视觉与功能的并列和延续如同并列句，既重复强化信息，也递进升华信息：

（1）从“重机枪”到杀伤力更强的“手榴弹”，再到凡尔登战役中首次使用的“大口径巨炮弹”，武器的并列除了构建战争属性外，还凸显“武器杀伤力逐渐增强”、“灾难性越来越大”、“对人类摧残越来越深”等社会意义；

（2）重机枪、手榴弹和大口径巨炮弹是一战所用武器之代表，大炮、坦克、轰炸机、潜艇和化学武器等也都是首次用于一战后得以迅猛发展；

（3）武器是社会文明与科学技术发展的标志，但正是这一人类科技与智慧的结晶反而在战争中起到“关键性”作用，反而让人类自己处于水生火热之中，让一战成为人类文明史上的噩梦，这无疑是对人类文明与战争意义的反讽。

人际意义方面，陈列型画面真实再现武器属性，色调近乎黑白，浓重低沉，色彩单一，旨在与观看者保持冷漠疏远的距离，建构沉重压抑的情感，引导观看者冷静克制地旁观、回顾和审视这场战争，重温浩劫的同时，感慨战争残酷、人民痛苦，从而更加珍惜和维护来之不易的和平环境，以此达到互动目的。

组篇意义方面，图文融合，通过相邻位置关系扩展意义，投射思维，增强意义：

（1）图1的文字貌似介绍“重机枪”的使用年份和功能，其中“一分钟能产生450个孤儿”即“一分钟能摧毁450个家庭”之意，反映死难者无数、民不聊生的景象，“450名孤儿”的信息深入人心，让观看者对重机枪、对战争不寒而栗；

（2）图2的文字以“解剖课”暗喻死伤者被开膛破肚、血流成河之景象，增强了战争的血腥和残忍之含义，让人唏嘘不已；

（3）图3的文字以数字反映一战最残酷之战役——凡尔登战役中所投巨炮弹的数量之多，密度之高，意义之巨，尤其是“你在上战场前就已被炸死了”这一句，看似“不可能”在战场上成为“可能”，强调战争的残忍程度超乎想象。

此外，文字部分还有些地方值得注意：

（1）文字颜色和背景颜色几乎一样，仅浅一个色调，貌似从背景中浮现、凸透出来，增强可信度和历史厚重感；

（2）文字部分全是英文大写，旨在形成视觉冲击，强调和刻画含义；

（3）文字部分多为不完整结构，名词化现象除了凸显语言简洁精炼之外，还以一种“碎片式”的行文风格进行含义上的反讽，“完整”建构从武器到战争对人类肉体和精神的摧残；

（4）文字部分均呈诗行般排列，第一个信息点最短（图1“1914”，图2“WW1”和图3“Verdun”），第二个信息点稍长（图1“France put into service”，图2 “Probably the most brutal anatomy class in the world.”和图3“26 million shells or 6 per m2.”），第三个信息点最长，信息量与内涵最丰富（图1“The first machine capable of producing 450 orphans a minute.”和图3 “Mathematically speaking, even before the battle you were already dead.”）。独特的建行，匠心独运，口语节奏自然转换成视觉节奏，再转换成思维节奏，让观看者充分感受到“愤怒、控诉且渴望共鸣”，而这些是图文内容本身无法表现得淋漓尽致的。

五、视觉语法与视觉叙事分析结果对比

（一）对本文所选语料的两次分析结果对比

在视觉语法与视觉叙事框架下对本文所选语料进行两次分析，其分析结果见表6。

可见，视觉叙事理论在多幅连续图像关系及其含义解读、图像与观看者的互动效果、图文关系传达含义等方面进行了有益补充和扩展，更适合现代社会视觉图像迅猛发展的宏观语境及多模态话语分析的实际需求。

（二）对其它类型广告的分析结果对比

根据上文广告类型的划分，象征型图像结合证言型、描述型或对话型文本的广告属于非叙事型广告，它们在视觉语法与视觉叙事理论框架下呈现各自的特点。由于篇幅有限，无法对每种类型的广告一一分析，因此对非叙事型广告在两种理论框架下可能呈现的异同点作简要阐述（见表7）。

表6　本文所选语料的两次分析结果对比

表7　非叙事型广告在视觉语法与视觉叙事框架下的异同

象征型图像“不是叙述某个事件，只是代表某种物体或现象”（Mark D. Fullerton，2004），因此“代表或呈现”是其特点：

（1）在视觉语法框架的再现意义方面，象征型图像属于概念意义的象征过程；在互动意义方面，属于接触方面的提供类图像；而考察图像呈现、视角和色彩的社会距离、态度和情态，以及考察图文比例与位置关系的构图意义方面，有待结合具体广告进行分析。

（2）在视觉叙事框架的概念意义方面，象征型广告的表征形式和图像数量不尽相同，因此无论是考察事物性质的人物表征，还是考察多幅连续图像间的事件关系或背景关系，都需结合具体广告分析；在人际意义方面，象征型图像属于旁观性互动的聚焦模式，至于聚焦系统中的视角，以及考察情感互动与色彩的情感系统与氛围系统，也需结合具体广告分析；在组篇意义方面，每个广告的图文布局各有特点，因此图文间的含义增补或含义相悖无法确定，但根据证言型、描述型和对话型广告的文本特点，对可能呈现的图文关系分析如下：

①证言型广告有“证明书”的特点，是权威人士或知名人士对商品（或服务等）的鉴定、评价、赞扬、使用和见证等。这里所说的权威人士和知名人士既包括实际生活中的真人, 也包括虚构的人（黄国文，1997）。证言型文字往往是直接引语或间接引语，利用“思维惯常定势的权威定势（黄国文，1997）”达到广告目的，因此在组篇意义方面图文多为融合布局，但具体是投射型融合，还是扩展型融合，有待结合具体广告来分析图文相对位置、语泡或矢量等因素。

②描述型广告以解释说明商品性能或服务特点为主，图文往往各占一部分空间，因此在组篇意义方面呈互补性布局，但具体是对称性互补，还是重要性互补，是相邻位置关系，还是分隔位置关系，有待结合具体广告分析。

③对话型广告通过广告商与消费者或消费者间的对话来凸显商品或服务的优越性，拉近与消费者的距离，增强广告信赖度。该类型广告多为直接引语，在组篇意义方面图文呈融合性布局，至于具体图文位置、语泡和矢量等情况，也需结合具体广告进行分析。

六、结语

本文所选语料属于主流广告类型，具有普遍性和代表性，因此可将本文广告个案的两次分析对比和其它类型广告的分析对比，归纳总结至以视觉图像为特点的多模态话语领域中：

（1）单幅图像无法满足当今信息传达的需要，多幅连续图像逐渐成为图像时代的主流形式。视觉语法虽能分析前者，但无法透彻分析后者。而视觉叙事可通过分析连续图像的连接关系与方式，使其整体含义得以关注和剖析。

（2）视觉语法框架下“提供”与“索取”信息在实际语料分析中可能发生偏差。究其原因，是因为该理论的“提供”和“索取”概念是套取Halliday功能语法的“给予”和“求取”概念（胡壮麟，2005）。后者研究对象是语言文字，而视觉图像有其特殊性，因此“提供”和“索取”的分类不能充分概括图像和观看者目光接触中的多种复杂情况（李战子，2003）。而视觉叙事理论能够摒弃这个方面，转而从图像与观看者的关系——聚焦系统，观看者的情感介入情况——情感系统及图像所营造的氛围——氛围系统来考察互动情况，更适合在当今图像时代客观地反映多模态话语的真实含义，也更为人们所接受。

（3）视觉语法框架中对“显著性”和“信息值”的阐述固化了图文关系。实际语料分析中，图像元素所处的位置与其内涵间并无绝对关系，其含义解读还要考虑社会习俗、文化背景等，如某些视觉图像中的图文含义不一致、扩展或相悖；再如Darrida解构主义颠覆传统的中心，而关注边缘等。而视觉叙事的图文版面布局框架，从图文融合性和互补性出发，根据个人属性、地域属性和社会属性等灵活考量图文关系及意义。

参考文献：

[1] 张敬源，贾培培. 关于视觉语法的几点思考[J]. 当代外语研究，2012，(3)：38-42.

[2] 佚名. 2015戛纳广告节平面金奖作品合集[EB/OL]. http://www.a.com.cn/info/Creative/pm/2015/0623/283138.html, 2015-06-24.

[3] 冯德正. 视觉语法的新发展：基于图画书的视觉叙事分析框架[J]. 外语教学，2015，(5)：23-27.

[4] Kress G.,T.van Leeuwen. Reading Images: The Grammar of Visual Design[M]. London: Routledge, 1996.

[5] 顾曰国. 论言思情貌整一原则与鲜活话语研究——多模态语料库语言学方法[J]. 当代修辞学，2013，(6)：1-19.

[6] 黄国文. 对“胡—朱与Halliday访谈”的解读[J]. 中国外语，2010，(11)：25-30.

[7] 黄国文. 广告语篇中的叙事性正文[J]. 外语研究, 1997，(3)：11-15. 41.

[8] 黄国文. 广告语篇中的证言式话语[J]. 中山大学学报（社科版），1997，(4):119-125.

[9] 李战子. 多模态符号学：理论基础，研究途径与发展前景[J]. 外语研究，2012，(2):1-8.

[10] 马克·D·富勒顿. 希腊艺术[M]. 李娜，谢瑞贞译. 北京：中国建筑工业出版社，2004. 101.

[11] 张德禄. 论多模态话语设计[J]. 山东外语教学，2012，(1)：9-15.

[12] 吴安萍，钟守满. 视觉语法与隐喻机制的多模态话语研究[J]. 外语与外语教学，2014，(3)：23-28.

[13] 韦琴红. 论多模态话语的整体意义构建——基于一个多模态媒体语篇的话语分析[J]. 天津外国语学院学报, 2008, (11):16-21.

[14] 朱永生. 多模态话语分析的理论基础与研究方法[J]. 外语学刊，2007，(5): 82-86.

Visual Grammar and Visual Narrative in the Multimodal Discourse——A Case Study of a Narrative Advertisement

LIU Chun
(Department of Foreign Languages, South-central University for Nationalities, Wuhan Hubei 430074, China)

Abstract:Visual Grammar, the main approach of visual images analysis in multimodal discourse analysis, establishes the theory structure of Representing Meaning, Interacting Meaning and Constructing Meaning, according to the three meta-functions of language in Functional Grammar. A narrative advertisement will be analyzed in this paper as the language material under the theory structures of Visual Grammar and Visual Narrative, through which some conclusions will be arrived at to illustrate the disadvantages of Visual Grammar and the advantages of Visual Narrative in the complex visual narratives, based on the comparison of the results of analysis.

Key words:multimodal; discourse; visual narratives; visual grammar

作者简介：刘纯（1981-），女，讲师，硕士，研究方向：话语分析.

中图分类号：H312

文献标识码：A

文章编号：2095－414X(2016)01－0051－06