《文本与图像：视觉和言语划界的批评性导论》评介

李健雪　郑慧

1.引言

继《多模态与体裁》（Multimodality and Genre）（2008）与《多模态电影分析》（Multimodal Film Analysis）（2012）之后，德国不莱梅大学应用英语语言学教授John A.Bateman于2014年隆重推出了由劳特利奇出版社出版的学术巨著《文本与图像：视觉和言语划界的批评性导论》（Text and Image： A critical introduction to the visual/verbal divide.）。该书从社会符号、视觉交际、话语的心理语言学方法、广告和视觉劝说及认知隐喻理论等多维视角，探讨了文本与图像关系的各种多模态分析方法，为英语语言和语言学、媒体传播学、视觉设计等研究提供了理论借鉴。

2.主要内容

全书共分三个部分，每个部分又分成不同的模块和单元。

第一部分是建立文本和图像的联系。这一部分由模块一及两个单元组成。在第1单元中，作者从多模态性和“意义增值”的关系出发，寻找建立文本与图像联系的基础。作者指出，文本和图像既非完全相似，又非截然不同，将文本和图像结合起来，可使两者在相似中融合、在差异中增值，从而建立两者之间的兼容和对话。为此，作者提出了构成全书基础的图文关系整体观，认为“文本和图像是一个二维及静态特质组成的合成体。在这个合成体中，文本和图像既是视觉实例，又是意图的共现”（P.28）。在第2单元中，作者以文本—图像结合所产生的意义类型为出发点，对文本与图像关系的研究进行了理论回顾。作者发现，自罗兰·巴特（Roland Barthes）将文本—图像关系划分为锚定、说明和传递这三种关系以来，文本—图像关系开始进入学术研究的领域。其中，系统功能语言学及其纯理功能思想正式确定了文本—图像的多模态意义建构关系，使视觉模式具备了语言的性质，也为视觉语法的建立奠定了理论基础。

第二部分聚焦视觉语境，探究在不同视觉语境中，文本—图像关系在实现多模态语篇的叙事功能（模块二）和劝说功能（模块三）中的途径与方法。模块二的主题是视觉叙事，包括第3-5单元。在第3单元中，作者引入了叙事学和语类两大理论框架，作为视觉叙事的理论基础。作者发现，聚焦、时间顺序和叙事角度等基本的语言叙事策略，可以拓展到非语言的模态。同样，不同语类的会呈现出独特的语言特征，语类所表现的语言特性同样适用于视觉模态。第4单元和第5单元分别聚焦儿童图画书和漫画。作为视觉叙事的两大典型语类，图画书和漫画存在许多相似点，作者对二者做了详细的区分，二者之间在图文的相对位置、距离，时间顺序的表现，以及同一页面图像数量等方面存在不同。作者认为，这些不同点会直接影响图文关系。在第4单元中，作者首先对儿童图画书语类涉及的实证和理论研究进行梳理，然后概括总结出儿童图画书这一语类中存在的图文关系的类型、可靠判断组合关系的标准，以及文本—图像关系对整体意义建构的作用（P.73）。在第5单元中，作者回顾了针对漫画语类的研究，介绍了Neil Cohn 和Thierry Groensteen两位学者的研究成果，并详述了前者提出的内在关系、相邻关系、独立关系、浮现关系四种图文关系（P.107）。

模块三是视觉劝说，包括视觉修辞（第6单元）和视觉劝说与广告（第7单元）。在第6单元中，作者首先介绍了传统修辞分类（包括结构性修辞与转义性修辞两大类），然后对现有修辞研究进行了梳理和总结，发现传统语言修辞逐渐扩展到视觉材料和语言—图像组合的分析中。作者认为以修辞概念为基础的文本—图像关系分类，在可靠性、关系识别和分类效果方面还有待进一步验证。第7单元是第6单元的延伸，即以广告语篇中视觉修辞的实证研究为基础，验证了将传统的修辞概念应用于视觉材料和图文组合分析的可行性与效果。

第三部分涉及具体图文关系的理论框架，由模块四和模块五组成。模块四包括第8-11单元，主要侧重建立语言系统框架下，以语法层面、语篇层面、修辞层面为核心的图文关系理论框架。第8单元侧重多模态衔接和图文关系。作者介绍了现有以衔接理论为基础建立的多模态图文关系框架，如基于页面的符际互补框架。这些框架虽然在概念意义层面肯定了图像和文本之间存在着类似于语言实体之间的关系，如重复、同义、反义、部分—整体和上下义搭配关系，但作者认为这些多模态衔接框架还存在诸多问题，譬如何识别并说明多模态衔接关系、假定的衔接关系和读者的理解过程是否一致、归纳出的衔接关系或图文关系对解读多模态意义的作用等。在第9单元中，作者基于现有的多模态隐喻研究，认为隐喻有能够连接不同领域的功能（如从源域向目标域进行属性转移），非常适用于解释信息在不同模态间流动的运作机制。鉴于隐喻和合成（Blending）是既有联系又有区别的两种概念，即前者具备定向属性转移且过程不可逆的特质，后者是可逆的。因此，作者认为多模态隐喻理论有助于理清多种模态结合后意义得到增值的原理，有助于说明图像和文本关系在意义建构过程中作用。第10单元是语法层面的图文关系建构。本章中，作者首先综述了前人依据系统功能语法中的及物性和小句关系建立的图文关系框架，认为此框架优点在于分类标准明确、体系具有封闭性。尽管如此，该框架也存在难以确定分析单位、忽视布局对多模态意义建构的影响、没能涵盖所有的图文关系等不足，并提出了针对性的建议和设想。第11单元从语篇层面对图文关系进行了解读。鉴于语言不是实现交际目标的唯一方式，语篇的不同成分如连接关系和修辞结构等可以共同作用，推动语篇实现特定的交际目标。随后作者介绍了以连接关系为基础的图文关系分类，以及多模态修辞结构理论（Rhetorical Structure Theory） 语篇分析法。但是作者认为前者面临划分标准不够精确和实证研究数据不足的问题；后者也面临一些挑战，譬如修辞结构分类多大程度上可以解释图文关系，RST分析方法针对的是线性符号模态（如文本），对于非线性、空间性的符号模态（如图像）的适用性问题等。

模块5包括第12-14单元。第12单元从语用学和交往行为角度考察了文本—图像关系的建构。作者发现从语言的角度研究视觉表征或图文关系面临诸多挑战，主要原因是由于图文关系缺少像句法、音系学、语音学这样具体明确的分析单位，也很难识别抽象的、脱离语境的形式特征。因此，研究从纯语言系统层面向语用学、视觉交际方向转向，更有利于关注图像的使用，而非图像的形式，从而有效弥补语言系统解读图文关系的不足。语用学能够有效解决多模态语篇中的图片关系类型；交际行为能够解决图文关系（即多模态交流）以外受众的接受过程。在第13单元中，作者介绍了探究图文关系所用到的实证研究方法，如眼球追踪技术（Eye-tracking methods）和语料库方法。前者可以用来探索读者对图文材料实际理解和接受过程，后者可以以大量实际数据为基础检测图文关系分类的信度和准确性。在第14单元中，作者总结了今后还有待研究的领域并提出了建议。

3.简评

本书有以下几个方面的特点：

第一，视角的广泛性。该书涉及的内容涵盖了社会符号学、视觉传播学、修辞学（针对广告和视觉劝说）、认知心理学（隐喻）等诸多方面。多模态分析对象种类多样，包括广告语篇、儿童图画书、漫画、新闻语篇、教科书，等等。作者将多模态文本—图文关系置于广泛的背景之下，有助于读者形成对图文关系全方位的认识，对从事多模态研究的学者来说是必不可少的参考书。

第二，内容的系统性。首先，内容全面完善，本书是一部聚焦图文关系的综述类文献，作者多学科多角度地介绍了现阶段国外图文关系的框架和模型，共介绍了Barthes、Kloepfer、North、Pegg、Spiller McQuarrie &Mick、Van Mulken、Groupe Mu、Forceville、Phillip & McQarrie、Martinec & Salway、Unsworth、Kong、 van Leeuwen等二十余位该领域领衔学者对于多模态研究中图文关系的论述，他们从各自的研究兴趣和关注点出发，探索文本和图像在多模态整体意义建构中的作用，寻求多模态意义倍增的运作机制。这些学者的研究一定程度上可以代表和反映现阶段国外图文关系研究的水平和进度，研究中存在的问题和不足之处都是国内外多模态研究者未来努力的方向。其次，内容系统连贯。本书并不是简单罗列各位学者的理论，而是采用“理论基础导入—学者研究成果介绍—评述”的方式，对他们提出的图文关系分类追根溯源，从理论角度论述这些图文关系框架的分类依据，如在介绍基于页面的符际互补框架时，作者先简要阐述衔接理论的关键点，从而清晰地展示从语言向图像—文本结合的推导过程。同时，作者比较各个图文关系框架的异同点，如对现有研究者的图文关系的分类进行了标注、解释和说明，为正确把握文本—图像关系关系及其发展提供了清晰的脉络。

第三，理论的前瞻性。作者对各个理论框架的评述，对今后图文关系的研究具有启发和借鉴意义。在评估各个图文关系分类时，作者反复强调对图文关系的探究要注意以下五个方面：

（1）分析单位（Unit）的识别和确定问题。语言的分析单元容易确定，但是图像的最小分析单位到目前为止没有精确的划分标准。如采用“视觉语法”解读图像意义，其方法是分解图像，提取出视觉信息元素，然后和文本进行意义匹配，从而确定图像—文本的关系。这种做法的弊端在于如果缺少对文本的理解，分析者就不可能提前锁定某些视觉信息元素。也就是说，正因为图像和文本之间存在互动，才使得一些视觉信息元素必须得以重视。

（2）重视布局（Layout）对图文关系的影响。布局是视觉设计或页面组织的重要组成部分，对文本的理解有很大的影响，但是在图文关系探究中经常被忽略。Pegg（2002）的图文关系分类就强调了页面的布局和构成对图文关系的影响。

（3）图文关系分类标准的准确性有待提高。图文关系分类容易存在不详尽和有重叠的问题。比如Barthes（1977）提出基本的图文关系只有三种，分类未免过于简单，不能涵盖所有图文关系；Marsh 和 White（2003）的图文关系分类包含三层，第一层分为三大类，三大类再细化为11种关系，11种关系又可以区分成30种分类，如此分类虽然很详细，但难免会有所重叠。精准的分类标准有助于不同的分析者在使用同一种图文关系分类框架时得到相同的结论，从而增强图文关系框架的内部信度。

（4）根据语类探究图文关系。Bateman（2008：147）指出不同语类的语篇不能用同一种图文关系解释。比如漫画书和广告语篇分别实现叙事和劝说两大功能，图文关系在实现这两大语类功能时发挥的作用不同，存在的图文关系也会有所差别。归纳出同一语类图文关系的普遍模式，有利于比较不同语类在建构多模态意义时所使用策略的异同。

（5）利用实证研究增强分类的科学性。研究者在对图文关系归纳时，如果主观判断读者对于多模态文本的理解过程和结果，缺少实际数据的支撑，这样的分类框架就有待进一步实证研究的验证和改善。开展大量的实证研究得出的结论很可能会与理论推导出的结果不同，例如Holsanova 等人（2006）在利用眼球追踪技术探究读者对图文并置的新闻语篇的理解过程时发现，根本不存在从左到右，从上到下的阅读路径（Reading path），读者阅读时会跳过某些图片，而在“视觉语法”中，理解图像构图意义的方式之一是通过判断各元素在图像中占据不同的位置，左边的代表已知信息，右边的代表新信息，上方的代表理想的信息，下方的代表真实的信息。

当然，本书还存在一些不足和局限性。首先，本书将研究对象——图文关系做了严格的范围限定，必须满足三个条件要素：视觉共存、二维平面及有意被放置在一起共同建构意义。这样就排除了许多其他种类的组合关系，比如口语与图像、三维的图像文本组合。还有一些在范围内但没有涉及的领域，如新闻照片和文字标题的关系、网页中的图文关系等。这些没有涉及的模态间关系都值得今后进一步研究。其次，本书更多关注对各个图文关系分类的理论阐述和评估、异同点比较，缺少在实际案例中的运用。虽然给读者展现了多种多样的图文关系分类框架，但是在多模态语篇分析的实际操作层面的指导相对较少，难免给分析者造成困惑。最后，本书可以用作反映多模态意义建构的教材，教材与其他理论著作在体例上有所不同，优点是具有可读性，便于理解，但是正因为如此，对书中涉及的理论框架的阐述的深度就会有所减损。

总体来说，本书聚焦图文关系，以清晰合理的结构安排、简洁易懂的语言向读者展示了现阶段国外在该领域的研究成果，它的出版对今后多模态研究中的模态间相互关系探究有很多借鉴和启发，是多模态研究中的一本重要的参考资料。

参考文献：

[1]Bateman， J.A.2008.Multimodality and Genre： A Foundation for the Systematic Analysis of Multimodal Documents[M].London & New York： Palgrave Macmillan.

[2]Bateman，J.A.& K-H.Schmidt.2012.Multimodal Film Analysis： How Films Mean[M].London & New York ： Routledge.

基金项目：本文为江苏省2014年度普通高校研究生科研创新计划项目《视频广告的多模态批评话语分析》（编号：KYZZ_ 0312）的阶段性成果。