模态耦合视域下的图像识读

刘靖

[摘要]多模态话语已成为人们交流信息的主要方式。在各种语类的多模态语篇里，图像越来越成为最主要的符号表征方式之一，图像在交际中的作用日益彰显并引起学界重视。以模态耦合为视角，分别从图像转向、图文关系、图像解构等层面，剖析图像在多模态语篇里的意义构建与解构，指出图像转向并非图像霸权，而是对语言功能的完善和延伸；多模态语篇里的图文关系是相互渗透、协同互补的；只有在社会关系和社会发展的大语境下'才能对图像进行充分的外显和内隐意义的建构和解读。

[关键词]模态耦合；图像；意义构建

[中图分类号]H 030 [文献标识码]A [文章编号]1671-8372（2015）04-0091-05

一、引言

大数据时代，基于数字、多媒体技术和网络技术的多模态交际手段正改变着人们的思维方式和欣赏习惯。“在整个人类进化过程中，多模态是渗透于人类生活方方面面的内在特征”。后印刷时代，多模态话语已成为人们交流信息的主要方式。多模态语篇是“利用多种符号来实现意义的语篇”，在各种语类的多模态语篇里，除了传统的语言符号外，图像已越来越成为最主要的符号表征方式之一。以图像为代表的副语言符号在现代交际中已经不再处于辅助位置，而是和语言符号一起形成更为宽泛的符号资源，共同参与的意义。多模态话语分析是指运用听觉、视觉、触觉等多种感觉模式通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象，是近年来发展并活跃于学界的一种新的话语分析方式。0Toole（1994）和Kress vanLeeuwen（1996）开创了这个研究领域。前者主要运用系统功能语法的有关理论分析艺术作品；后者则第一次系统解释了视觉语法，从再现功能、互动功能和构图功能三个视角，系统分析了多模态语篇中以图像为代表的视觉符号的语义关系，认为视觉图像和语言文字一样都是社会文化的产物，是人们识解意义的资源。在多模态话语中，模态耦合是指多模态语篇在意义构建和解读过程中，图像、文字、声音等诸模态之间以及各模态内部诸元素之间相互依赖、相互促进，协同互动的动态关系。图像中的视觉符号不仅可以反映人类主、客观世界发生的各种事情，而且可以体现各种各样的人际关系。同时，视觉符号内部也是一个有机、连贯的整体。基于此，本文从图像转向、图文关系、图像解构等层面，剖析了图像在多模态语篇里的意义建构与解构。

二、图像转向

读图时代，图像逐渐成为人们关注及理论研究的热点。受维特根斯坦“图像论”和罗蒂“语言学转向”启发，图像学家Mitchell提出了“图像转向”说，该学说一方面是指，由于人文社会科学学术视野发生了变化，从而开始重视图像表征（非语言表征）的研究；另一方面是指在文化公共领域中，由于数码等图像生产技术制造了“图像景观”，而引发了人类对图像的恐惧与抵制。Mitchell认为图像，如语言一样，在社会实践中自我呈现，共同参与对世界的表征。认为图像也是构成人类主体的基本元素，图像和语言一起构成了人类的本质属性。

在Mitchell看来，“观看行为”（spectatorship）可能与阅读的诸种形式（解密、解码、阐释等）同等深奥。这里的观看行为包括观看、注视、浏览，以及观察、监视与视觉快感的实践等。所以仅基于文本性的观看模式恐怕已难以充分阐释视觉经验或“视觉识读能力”。也就是说，观看与阅读，都是对意义表征模式的不同体验，都具有深度的接受行为，但传统的文本阅读模式已不能满足对图像的识读。图像不仅仅是感性地“看”，更需要去“读”，和语言一样同样需要理性与思维的参与才能解读其真正内涵。对图像的识读是一个积极的构建过程，它并不是由刺激输入直接引起的，而是刺激与内部假设、期望、知识、动机以及情绪等诸因素交互作用的一个过程。图像作为一种符号，承载着越来越多的意义表征。从某种意义上讲，文本越来越成为结构上依附于图像的信息，正如Barthes所言，“……过去是从文本到图像的含义递减，今天存在的却是从文本到图像的含义递增。”

视觉图像和语言文本在表意模式上存在差异性，这正是人文学科要去研究探讨的内容。虽然已有学者对图像表征与语言表征之间的区别进行过思考，但自语言学转向以来，Saussure的语言符号理论一直占主导地位，对图像表征的研究一直处于被压抑状态。因此Mitchell提出应该有一种“对图像的一种后语言学、后符号学的再发现”，也就是他所倡导的“图像转向”。但这并不意味着图像主导或图像霸权可以对语言进行颠覆，图像的功能不过是对语言功能的一种完善和延伸。比如图像符号的形象性可以很好地弥补语言符号的抽象性给人们带来的认知障碍。作为表意符号，图像与表征客体有着相似或直接的联系，可以不借助概念而与客体直接发生关联，在这一点上，它与语言文本有着一定的区别，这也就是为何语言哲学一直忽视对图像表征进行研究的原因。图像先于语言而存在，自人类文明伊始就伴随语言发展。在人类进入电子时代后，图像的激增使人们对图像的关注程度大大增强，图像在交际中的作用日益彰显并引起学界重视。在这个意义上，Mitchell提出图像转向是有价值的，它表明文化领域正由传统的“语言主导”向“语言与图像共同主导”的转型。

当然这一转型背后有着深刻的社会动因。Lash从“表意体制”的两个层面剖析了现代社会视觉符号凸显的发展趋势：其一是“文化经济”层面，包括特定文化产品的生产关系、接受条件和消费结构；其二是“意义模式”层面，即各种文化符号的能指、所指和指涉物的复杂关系。可以说，现代社会文化符号的生产、流通和消费环节均与图像密切相关，各种商品的实现除自身品质之外，越来越多地依赖于图像性的策划、包装和宣传。就此也可以说，图像本身就是商品，并不断为发展的消费创造新的方式和需求。此外，从符号学意义上讲，图像的内在结构也正由相似性模式向自我指涉模式转变，即由模仿再现到虚拟表现的转变。也就是说，图像“复制现实”的功能正在逐渐削弱，而注重符号本身的表现性意义正在彰显。电子网络技术使图像的生产、传播和消费更加高效便捷，加上受众在消费模式上对视觉感性的快感和零距离体验的需求，“图像转向”势在必行。如果说20世纪的语言学转向引发了人文社会科学领域的革命，那么也可以说，图像转向必将对人文科学和文化领域产生深远影响。

三、图文关系

图与文的关系一直是美学、哲学、符号学和语言学等所关注的对象。中国古代哲学中就存在着图与文两种模态耦合的辩证思想。比如魏晋时期思想家王弼就曾系统地阐述了言、象、意三者之间的逻辑关系：“夫象者，出意者也，言者，明象者也。言生于象，故可寻言以观象；象生于意，故可寻象以观意。意以象尽，象以言著。”“言者所以明象，得象而忘言；象者所以存意，得意而忘象。”“存言者，非得象者也；存象者，非得意者也。……得意在忘象，得象在忘言。”也就是说，意是根本，言出自于象，象出自于意，言和象都是为了表意，相对于言，象更接近于意。中国的汉字始于象形，所以美学史上历来有“书画同源”“诗画一律”之说。前者是说言和象同源共生、和谐互补，从而衍生出博大精深的书画艺术；后者是指诗中有画，画中有诗，也就是说言和象之间存在着相互渗透、相互补充的关系，即“画难画之景，以诗凑成，吟难吟之诗，以画补足。”

西方哲学崇尚理性。约翰福音里说“太初有言（逻各斯）”，亚里斯多德认为人是逻各斯的动物，逻各斯既是理性又是语言，语言在西方哲学中的重要性不言而喻。柏拉图则拒绝视觉形象，因为他认为表象世界、人类的视觉都是不可靠的，可靠的是先天的“理式世界”。希腊哲学家将知识分为“可理解的知识”和“可感觉的知识”，前者是以语言为重要载体的理性知识，而后者则与感性形象，尤其是视觉形象密切相关。Wittgenstein的“图像论”认为，世界是由许多事态构成的，命题和命题所表现的事态具有摹画关系，同一事态可以有不同的摹画。有些事态通过语言“不可说”，但可以用名称的摹画来显示。但用名称的摹画来显示的命题并非字面意义上的图画，因此无法通过字面意义去解读。所以只有把命题还原为事态，才可以理解这个命题。也就是说，人们必须将文字转化为画面，从画面中感受意境，理解语言的意蕴。Wittgenstein的“图像论”可简而言之为图像摹画世界。在这里，语言与世界、图像与事实具有同构关系。正是源于这种同构关系，当人们想要表达某个事实或思想的时候，必然会借助图像描绘事实，表现意义。这诚如Wittgenstein所言“图像俘虏了我们，我们却无法逃脱它。因为它置于我们的语言之中，而且语言似乎不停地向我们重复它自己”。

作为对Saussure语言符号学理论的进一步发展，Barthes认为现代语篇，如新闻报刊，是诸多信息的组合体或意义的复合系统，其中的图片、文本、标题、说明文字、排版方式、甚至报刊名称本身都传递着意义。图与文之间存在着“锚定（anchorage）、说明（illustracion）和接递（relay）”的关系，即文字表述可以锚定图像意义的不确定性，并进一步拓展、细化图像的意义；而图像可以阐明或实现文字语篇；图文亦可在表征意义上处于互补接递状态。Kress和vanLeeuwen则认为图像和文字说明虽有联系，但图像并不依赖于文字，而是与文字一样，在结构与组织上可以成为独立的信息载体，是实现意义关系的基本方式。意义的表征，在很多情况下可由图像与语言来共同实现。先是对图像进行功能性分析，建立“视觉语法”（Visual Grammar），然后通过图文在页面不同位置的布局来实现信息价值。视觉空间里页面的特定位置会赋予相应的图或文以特别的意义。

Martinec和Salway认为多模态语篇中的图文存在着四种关系：一是图像和文本各自为一个独立的意义实体，彼此之间没有关联；二是图像和文本的意义相互补充，增强彼此的意义；三是以文本意义为主，图像对文本的意义起辅助作用；四是以图像意义为主，文本对图像意义起辅助作用。Royce认为，从概念意义上讲，图像和文本之间存在着诸如重复、同义、反义、下义、搭配等关系，这与系统功能语言学的衔接和连贯理论有异曲同工之处。Bateman则认为语类是决定图像和文本关系的重要因素，比如纸质报纸和电子报纸，由于二者在生产阶段和传播途径方面的不同，所以在图文模态选择和设计布局等方面必也有所不同。

图文关系的研究是各种语类的多模态语篇建构与解构的基础。语言文字是一种线性的、重时间顺序、具有稳定结构的符号，带有明显的理性建构原则；而视觉图像则是一种非线性的、重空间排列、与消费主体的感性层面和视觉享乐主义意识形态密切相关。作为人类交往活动最常见的两种媒介形式，图像与文字对人类文化都不可或缺。而且“图文之间的辩证法似乎是符号之网中的恒定因素，一种文化就是环绕着其自身来编织的。变化的恰恰就是编织法的特性，是经纬关系。文化的历史部分就是图像符号和语言符号之间争取支配地位的漫长斗争的历程。

四、图像解构

“图像学之父”潘诺夫斯基（Panofsky）在解释文艺复兴时期视觉艺术的主题时，提出一种跨学科的图像解读理论，即图像学。他认为图像的解读必须具备包括神学、哲学、自然科学等多学科知识，他认为图像并非简单的模仿之物，而是特定时期历史文化的象征形式。他通过三个层次对图像的主题及意义进行了解读：第一，前图像志分析。解释者需有实际经验和风格史的知识，即通过了解对象和事件及其正确的表现方法，解释作品描绘了什么事实。其所关注的是作品的自然和外显意义。第二，图像志层次。解释者需有原典文献知识，通过熟悉特定的主题和概念，解释作品表现了什么约定俗成的故事或寓言等。其所关注的是作品的传统和内隐意义。第三，图像学层次。主要分析作品更深层次的本质意义，解释者要依据对人类心灵基本倾向的把握，结合文化哲学知识，解释作品的文化象征意义。潘诺夫斯基开辟了新的图像解读模式，开拓了图像意义研究的跨学科思路。

Kress和Van Leeuwen以Halliday的系统功能语言学理论为基础，建构了一个较为完善的分析视觉图像的理论框架，即视觉语法（VisualCrammar）。该理论认为图像符号与语言符号一样，也是一种常见的社会符号，正如语言语法决定词如何组成小句、句子和语篇，视觉语法是对描绘的人物、地点和事物如何组成具体不同复杂程度的视觉的陈述。 “在特定的社会文化领域，同样的意义通常可由不同的符号来表达，共同的符号原则能在不同交际模式中起作用。”具体来讲，与语言具有概念、人际与组篇功能相对应，Kress和Van Leeuwen认为图像也有类似的再现、互动和构图功能。再现功能用来解释意义参与者与过程之间的关系，表征图像中人物、地点和事件之间的交际关系。其中，有向量的为叙事图像，主要呈现行动和事件、变化过程、空间安排等，包括行动过程、反应过程、言语过程和心理过程；没有向量的是概念图像，主要呈现更为概括、稳定的意义，包括分类过程、分析过程和象征过程。互动功能是指图像的创作者、图像所表征的人或事物与图像的观看者之间的关系，主要呈现图像观看者对图像所表征事物应持有的态度，通过接触、距离、视角和情态等共同作用，构建出图像观看者与再现内容之间复杂、微妙的互动关系，如索取、提供、关系疏密、权势高低等。构图功能是指图像构成成分的空间布局，通过三个同步原则实现，即信息价值、突显和框架。图像的上下、左右、中心和边缘分别传递出“理想一现实” “已知信息一新信息” “重要一次要”等不同的信息价值；突显是把某个信息通过前景一背景、相对尺寸、色调对比等方式凸显出来；框架是指图像空间的分隔线条，主要表示图像内部组成成分的切分和分布。Kress和VanLeeuwen关注的不仅是图像本身，而是包括图像在内的多模态语篇。因为在实际交际中，多模态经常是形成一体化的语篇的，解释多模态语篇也许是他们建立利用“视觉语法”的真正初衷。

Serafini在解读视觉图像和多模态语篇时也提出了一个三元的分析视角：一是感性分析视角（Perceptual Analytical Perspective），也就是对图像外显内容的感知，比如印刷的纸张、形状尺寸、颜料色彩等视觉成分。对这些视觉成分和图像设计的关注是解读视觉图像的第一步。这种感知和关注是一种“视觉能力”（visual competence），是进行视觉识读的基础。二是结构分析视角（ Structural AnalyticalPerspectives），这是对构成图像的各种视觉成分意义潜势的综合分析。叙事性表征、取景、信息区、色彩、构图、位置布局等符号资源都具有意义潜势，创作者有意或无意地选择这些资源表达意义。理解各种视觉成分的关系以及他们在特定文化背景下的意义潜势，是对视觉图像进行结构性分析的重要方面，也是识读多模态语篇的关键。三是意识形态分析视角（IdeologicalAnalylical Perspectives），这是联系社会、文化、经济、生态以及政治等社会意义系统对图像后面蕴涵的言外意义作进一步深层的分析。图像是意识形态产生和投射的重要手段，只有将视觉符号置于社会关系和社会发展的大语境中才能穷尽图像的意义。正如英国艺术批评家伯格所言，在图片的周遭环境中，我们必须建立一个放射状的系统，以便我们能同时以个人的、政治的、经济的、戏剧化、日常化和历史的观点来观赏图片。需要指出的是，Serafini的这三种分析视角并非是一种级层结构，而是以感性分析一结构分析一意识形态分析依次外扩的同心圆结构，因为无论是对视觉图像的表象感知，还是意义解读，都不可避免地受到已有知识、个人经历、社会文化历史背景的影响。

五、结语

有图有真相。从人类感知世界的方式来看，图像是先于语言出现的最简单、最直接的认知方式。图像有时比文字能更真实地表达世界，因为一幅图画胜过千言万语。人类的表意系统在经历最初的直观本能到语言文字产生后以语言为主，再到现在的多模态共同参与构建意义，视觉图像始终贯穿其中并契合人类的认知心理。图像文化摒弃了话语文化的理性和形式主义，转向感性快乐，以弗洛伊德精神分析术语来说，就是本我的“快乐原则”取代自我的“现实原则”。当代社会的各种语篇一改过去的以语言文字为主，形成图文并存、势均力敌的新格局，体现了对消费主体感性即时、零距离体验的视觉享乐主义的肯定和迎合。