多模态话语分析到多模态认知批评分析的发展综述

2020-05-22潘艳艳

外国语文 2020年1期

潘艳艳

(江苏警官学院基础课教研部，江苏南京.10031；南京师范大学外国语学院博士后流动站，江苏南京.10024)

0 引言

本研究主要梳理多模态话语分析向多模态认知批评分析发展过程中的相关理论和研究成果，展现多模态研究的发展轨迹和方向。首先介绍多模态话语分析最常用的社会符号学分析方法及其主要理论——视觉语法(Visual Grammar)，并指出该理论的优势和不足之处。然后介绍近年来多模态领域对“批评”的重视以及“多模态批评话语分析”这一术语的提出。接着梳理认知语言学关于隐喻和转喻的研究成果以及两者在多模态话语中的运用。随后介绍认知语言学的批评转向，即认知语言学理论在批评话语分析中的运用情况、取得的成果以及不足之处。由于话语分析本身所具有的跨学科性以及多学科性，基于功能语言学的多模态批评话语分析和多模态隐喻(转喻)分析以及认知话语分析，最终形成了一个综合分析视角——多模态认知批评分析。这种重“批评”的“认知-功能”或者“功能-认知”综合分析框架为多模态研究开启了更多的研究方向和方法。

1 基于功能语言学的多模态话语分析

1.1 社会符号学和视觉语法

视觉语法(Kress et al.，1996/2006)是社会符号学的主要理论，该理论基于功能语言学理论关于语言三大功能假说(语言的概念功能、人际功能和语篇功能)，同时借鉴电影研究的相关理论，提出视觉图像分析的三个层面：再现意义、互动意义和构图意义。根据Kress et al.(2006：114-115)，图像的再现意义表征图像中人物、地点和事件之间的交际关系或概念关系。图像的构图意义包括三个方面：信息值、显著性和框架。图像的上下、左右、中心和边缘分别传递出不同的信息值。显著性表明图像中的成分可通过被放置在前景或背景、相对尺寸、色调值的对比、鲜明度的不同等方式，体现出吸引观看者注意力的不同程度；框架指的是图像中有无空间分割线条，这些线条表示图像中各成分之间在空间上被分离或被连接的关系。

图像的互动意义体现观看者与图像参与者之间的特定关系，主要通过(目光)接触、距离和视角三方面的共同作用，构建出观看者和再现内容之间复杂、微妙的关系。接触是指图像参与者与观看者通过矢量(目光)和面部表情建立起来的一种互动关系。当参与者目光直接注视观看者时，属于索取类图像。这样的构图有两个功能，一是形成和观众的直接交流；二是构成“图像行为”，要求和观众建立某种社会关系，寻求观众接受、赞同他们的观点和想法。图像参与者与观看者之间没有目光接触，则属于提供类图像，观看者只是接收信息的一方。距离通过镜头取景的框架大小得到体现。图像参与者和观看者之间的关系越是亲密，镜头取景的框架越小，近镜头或特写镜头揭示一种亲密的个人关系和特定的情感；长镜头取景的框架大，揭示了一种疏远的社会关系。视角主要体现态度意义和权力关系。视角分为水平视角和垂直视角。水平视角分为正面和斜面视角，电影中多数场景都会采用正面视角，可以带给观众身临其境的感觉。对于垂直视角，如果图像参与者是从很高的角度被拍摄(俯拍)，说明观看者地位较高，那么观众是从权力的视角观看他们；如果是从低角度拍摄(仰拍)，则表示图像参与者处于强势的地位，从权力的视角看观众；如果图像和观众的视线持平，即平角角度，那么双方是平等关系，没有权力的差异。

1.2 视觉语法存在的问题

视觉语法有关图像互动意义的论述表明，社会符号学关注不为人所注意的、日常使用的符号模态的社会效应和意识形态效果，强调多模态话语的社会性，但是视觉语法还不能充分地解释多模态意义的建构。Forceville (1996: 171)认为，一个完善的视觉语法应该至少能够预测或启发人们，某些规则在什么情况下运行。 Kress 和 van Leeuwen的研究以及基于他们理论的研究，很大程度上依赖于视觉结构与语言表现形式的对比，更多地关注信息的物质层面(如涉及的模态有多少、模态的组合等)，忽视了多模态知识建构和激活中涉及的思维过程，从而偏离了结合语境的信息解读，同时也忽视了语类以及语类的规约性(Pérez-Sobrino, 2017: 25-26)。而Bateman et al.(2017)则认为，Kress 和van Leeuwen忽视了语篇意义。他指出，语篇意义很重要，能够帮助我们避免视觉语法中过于概括的观点。例如，视觉语法中，页面或屏幕的相对空间位置具有固定的意义：页面的顶端更加理想化，表示事物应有的样子，而底端则更加真实，是事物实际的样子。这样的观点在没有进一步实证的情况下，直接用于解释所有的页面和屏幕图像，就会产生过于概括的结论。此外，视觉语法是在语言研究(功能语言学)的基础上发展起来的，尽管也借鉴了大量的影视拍摄理论，但是在动态视频分析方面还存在明显的缺陷。例如，影视作品中最常用的特写镜头以及特写镜头的意义和功能，在视觉语法中并没有详细阐述。

事实上，视觉语法为我们提供了一个工具箱或者分析思路，在实际应用的过程中还需要根据语料的语类特点进行调整，并和其他分析方法相结合，才不会产生生搬硬套的分析结果。

1.3 多模态批评话语分析

当学者们在文本分析中开始涉及视觉、声音和材料设计等内容时，多模态视角在 CDA中变得越来越普遍。van Dijk(1998)很早就把话语看成一个交际事件和言语成品，是各种意义的表现形式，包括互动话、书写文本、手势、面部表情、印刷布局以及其他符号等。近年来有学者，如van Leeuwen (2013)自己也提出对多模态话语要有“批评”性，即揭示多模态话语中隐含的意识形态意义和权力关系。Machin (2013，2016)则直接提出“多模态批评话语分析”(Multi-modal CDA)这一概念，尝试在多模态话语分析的实践中体现“批评”的含义，通过对游戏、音乐、建筑、图像、影像、颜色、版面这些多模态话语进行批评分析，揭示权力关系及意识形态通过娱乐、休闲、玩耍等人们喜闻乐见的交流形式被认可和接受。多模态批评话语分析在应用层面遵循批评话语分析的原则和方法，既注重话语在社会生活各个领域中发挥的作用，又根植于对话语实例扎实的分析之中。因此，在具体的案例研究中，多模态批评话语分析既要以揭示各种“符号资源”被用来构建知识和再现事实的方式为目的，同时又要强调这种揭示需要建立在对多模态符号资源的分析基础之上。

目前，多模态批评话语分析仍然还在起步阶段，研究成果并不多，主要集中在Machin et al. (2012)、 Abousnnouga et al.(2013)、Machin (2016)等少数研究上。例如，Abousnnouga et al.(2013)结合对战争纪念碑的多模态批评话语分析，指出在战争纪念碑这个符号资源上，纪念碑的矗立者没有在纪念碑上表现暴力、羞辱、痛苦，而是加入了古典因素和象征不朽和坚固的材料，“屠杀”也被坚定向前的脚步和挺拔的卫兵所代替。通过隐去、添加和替代某些符号资源，战争纪念碑的矗立者成功地实现了他的交际意图。在视频研究方面，潘艳艳(2019)运用社会符号学理论，借鉴电影理论和传播学相关理论，建构动态(视频类)多模态批评话语的分析框架，并将这一框架运用到中美警察形象宣传片的对比分析中。揭示了中美警察形象宣传片在叙事特征、互动意义以及意识形态上的不同，并探讨了建构正面、积极的警察形象的有效途径。

从以上现有研究来看，多模态批评话语分析在“批评”的时候，还是主要借鉴社会符号学的视觉语法理论。然而有些话语现象，如象征主义和诗歌语言，仅仅借助社会符号学而不涉及符号资源使用背后的认知和心理机制，是无法做到深刻分析以及意识形态的有效揭示的。

2 基于认知语言学的多模态话语分析

2.1 基于语言的隐喻和转喻研究

自从MetaphorsWeLiveBy(Lakoff，1987)这本著作问世以来，认知语言学已经发展了近40年，并取得了令人瞩目的成就。和传统的将隐喻视为文学修辞手法的观点形成对比的是，Lakoff提出的概念隐喻理论把隐喻定义为不同的高级经验域中两个概念之间的映射(Lakoff et al.，1989：103-104)，认为隐喻建立在源域和目标域的相似性的基础上，是人类通过具体来理解抽象的思维机制。隐喻的一般模式是ABSTRACT A IS CONCRETE B，即“抽象的A是具体的B”，人们根据具体的B来理解抽象的A，并结合语境判断B的哪些特征被投射到A上。例如“Love requires shared goals”就体现了英语中最常用的概念隐喻LOVE IS A JOURNEY，可以理解为“爱情是一起共同走过人生之旅”，也可以理解为“爱情之路不会一帆风顺，会像旅途一样，历经各种艰难险阻才能在一起”，具体的映射需要根据语境来判断。认知语言学目前已经有大量的隐喻研究成果，例如：Gibbs(1994)、 Lakoff et al.(1999)、 Kövecses(2005)等等。

在隐喻研究开始十几年后，认知语言学开始将目光转向转喻研究。认知语言学认为，转喻建立在邻近性的基础上，包括空间邻近性、时间邻近性和因果邻近性，即处在邻近关系的两个概念中的一个概念为理解另一个概念提供心理可及性，即“X stands for Y”(X代表Y)，X和Y之间是替代关系。例如， He has a good head on him中的“good head” 代表他的智力，意思是“他很聪明”。Hollywood一词可以用来指代美国主流电影，因为电影都是在Hollywood这个地方拍的。转喻识别更加依赖于语境和百科背景知识，转喻的映现与一个认知域中次认知域的心理突显(mental highlight)或激活是相关联的(Barcelona，2000)。因此转喻识别的关键在于对源域，即具体词汇所指代的概念或复杂事件的推理上。关于源域的知识不仅来自体验性(embodiment)，更多地来自源域所包含的文化内涵。事实上，转喻更像是一座冰山，冰山一角让我们联想到藏在海平面下面的部分(Pérez-Sobrino, 2017: 8)。目前，转喻作为另一个人类思维机制被广泛研究，产出了很多成果，例如：Panther et al.(2003)、 Ruiz de Mendoza(2013)、Littlemore(2015)等学者的研究。

2.2 隐喻和转喻研究向多模态的发展

既然隐喻不仅是一种修辞方法，它还是一种思维方式，那么隐喻就不仅可以用语言符号表达，还可以用其他符号模式来表达，并表现在绘画、音乐、雕塑、建筑等人类的认知活动中。各种线条、形状、式样都表达内心的思想和感情，赋予我们的信仰、怀疑、希望、需求和理想以实体与形式(束定芳，2000：30)。尽管认知语言学者们都认为隐喻和转喻是基本的认知机制，但他们的研究一直局限于语言，直到Forceville(1996)将隐喻扩展到广告研究中，隐喻和转喻在语言之外的其他模态中的研究才开始。隐喻建立在两个不同经验域之间的关联上，多模态的符号资源和呈现方式使人们能够创造更多更新颖的隐喻，哪怕是传统的文字隐喻，换成多模态呈现也会产生新的含义。在认知隐喻理论、概念整合理论和关联理论的基础上，Forceville先提出图像隐喻(pictorial metaphor)/视觉隐喻(visual metaphor)，接着提出了多模态隐喻(multimodal metaphor)。在单模态的图像隐喻中，源域和目标域都以图像的形式(即视觉模态)呈现。在多模态隐喻中，源域和目标域分别由不同符号模式呈现(Forceville, 2006：384)。在多模态的语境下，通过两种或多种模态或符号协同作用，相互补充，构成多模态隐喻。例如，漫画、海报、广告、电影、演讲等，这些语篇通过图像、文字、声音、音乐、动作等符号和模态的组合，构成多模态隐喻。Forceville(2009)认为，多模态隐喻研究的意义在于：通过观察其他非语言模态隐喻的成果来证明隐喻是人类的基本认知机制之一，将基于语言研究所观察到的概念隐喻及相关结论在多模态环境下进一步证明。

到目前为止，广告是成果最多的研究领域，包括广告牌、广告片中的图文隐喻(Forceville，2009；Pérez-Sobrino，2016)，其次是电影(Rohdin，2009)、古典音乐 (Zbikowski，2009; Pérez-Sobrino，2014)、手势 (Müller et al.，2009)等领域的多模态隐喻研究。就像语言模态的转喻研究落后于语言模态的隐喻十几年一样，多模态转喻的研究也落后于多模态隐喻，目前的相关研究仍然不多，一般作为隐喻的“附属品”进行分析和阐释。现有研究主要有Villacaas et al.(2013)、 Pérez-Sobrino (2017) 等对广告中的图文转喻的研究以及Pérez-Sobrino (2014) 对古典音乐和当代音乐中转喻的研究。

3 认知语言学的批评转向——认知话语分析

话语既表征心智，又通过心智表征社会，话语分析不仅需要社会视角，也需要认知视角(辛斌， 2012)，因此认知话语分析体现认知语言学的“批评”转向，同时也是CDA 进入21 世纪时最重要的发展方向之一。认知语言学为CDA提供了更多的、独特的视角和方法选择，认为语言的意义本质上是概念性的，语言的使用被视为一系列意义建构或者是思维过程的产物。认知语言学使CDA能够将隐喻表现、前景和背景、社会和习俗范畴以及注意力等加以理论化(张辉等， 2008)。认知话语分析的主要目标是：(1)建构语言所唤起的思维结构；(2)揭示社会政治语境下具体语言使用所唤起的思维建构中隐含的意识形态和合法化潜式(Hart，2018:77)。也就是说，认知话语分析更加关注读者在构建意义时的心理和认知方面特征，关注符号使用和理解过程中的认知过程。意义的建构过程就是某个人使语篇具有某种意识形态并能够动员读者产生一定社会行为的过程(Chilton ，2005: 23)。

Hart(2018: 80)认为，认知话语分析主要有三个路径：(1)意象图式分析；(2)批评隐喻分析；(3)语篇世界分析。

(1)意象图式分析将情景或事件视为意象图式所建构的产物。意象图式是抽象的、整体的知识结构，并先于人类语言(Johnson ，1987)。Johnson(1987：126)例举了20多个意象图式：容器(CONTAINER)、平衡(BALANCE)、强迫(COMPULSION)、妨碍(BLOCKAGE)、反作用力(COUNTERFORCE)、限制(RESTRAINT)、移动(REMOVAL)、启动(ENABLEMENT)、吸引(ATTRACTION)、可数-不可数(MASS-COUNT)、路径(PATH)、连接(LINK)、中心-边缘(CENTER-PERIPHERY)、循环(CYCLE)、远-近(NEAR-FAR)、等级(SCALE)、部分-整体(PART-WHOLE)、融合(MERGING)、分裂(SPLITTING)、空-满(FULL-EMPTY)、配对(MATCHING)、强迫(SUPERIMPOSITION)、复述(ITERATION)、接触(CONTACT)、过程(PROCESS)、表面(SURFACE)、物体(OBJECT)、集合(COLLECTION)。意象图式分析认为，语篇中人们通过大脑里的这些图式进行语言选择，将现实进行范畴化和重新组织，并引导读者进行推理。这就使得他们的语言选择具有了表征意识形态的功能。不同的图式定义事件结构中不同的语义角色，从而赋予社会参与者独特的品质，使其具有某种意识形态。Chilton(1996)、Hart (2013)等学者都做过意象图式的意识形态功能研究，在很多情况下，意象图式是概念隐喻的源域。

(2)批评隐喻分析认为概念隐喻是意识形态认知研究的一个重要起点，根据隐喻使用者对源域的选择，可以揭示其所持的意识形态。批评隐喻分析(Charteris-Black，2004)的研究发现，一些相对有限并为人们所熟知的知识框架包括旅途、建筑物、战争、水、疾病、天、游戏、赌博，方位意向图式以及容器被人们用来进行一系列的社会政治现象的隐喻理解。Musolff(2016)通过对政治隐喻的研究，指出其中的意识形态偏见具有操纵听者(观众)的效果。

(3)语篇世界分析是基于Chilton(2005)和Cap(2008)的话语空间理论(Discourse Space Theory)。根据话语空间理论, 语篇世界由三个维度的心理或者话语空间建构而成，分别是时间、空间和情态。这三个认知维度能够揭示人类的心理表征情况(Chilton， 2005)。Cap(2008)在此基础上进而提出“趋近化”(proximization)这一术语，并区分了时间趋近化、空间趋近化和价值趋近化。Cap(2017)认为，趋近化理论有助于充分揭示政治话语空间中复杂的意识形态定位和敌对意识形态间的动态冲突。趋近化也是一种话语策略，可以用于唤起听众和读者对于外来威胁的迫近感，从而寻求预防措施合法化，或者拉近与读者的距离，或者用来推卸责任等。刘文宇、徐博书(2018)用趋近化理论分析了三任美国总统任期内发布的三份《国家安全战略报告》，根据报告所建构的话语空间及其对中国的定位，发现中国在报告中的定位变化明显,由“合作伙伴”逐渐转变成“国家安全威胁”。颜冰、张辉(2018)基于中方、美方、英方关于中美贸易战话语的小型语料库,对其在空间、时间与价值轴上的趋近化语言策略进行批评性分析。发现中方使用更多空间趋近策略,取缔了对方行为合法性;而美方使用更多价值趋近策略,努力增强自身合法性。时间轴上,中方更多采用将来到现在的概念转移,预示美方行为对未来的深远影响;而美方更多采用过去到现在的概念转移,臆造中方过去的入侵行为。英方在立场上并非完全中立,与中方的心理距离更近。

将上述三种路径进行整合，建立了一个综合分析框架，该框架整合了四种表达意识形态的话语策略，具体见下表：

表1SystemStrategyGestaltComparisonAttentionPerspective

除了上述认知话语分析的研究路径，还有其他学者将认知语言学的心理空间理论和概念整合理论(Fauconnier et al.，2002)用于话语分析。例如，Alonso, Molina et al.(2015)运用心理空间和概念整合理论分析了30个多模态数字故事(1)一种类似“抖音”的短视频，普通人讲述个人经历并上传到网上的视频，通常比较短，只有4-5分钟，由讲述的声音、静止的图像、有时还有背景音乐共同合成。，解释了各种符号如何传递不同渠道的信息，但却能整合在一起传达一个整体的意思，从而揭示了不同的符号模态和资源在数字故事中建构意义的复杂方式。事实上，在分析符号的字面意义和比喻意义时，心理空间和概念整合理论可以提供一个统一的框架，用来解释语言、视觉和声音意义是怎样整合成为一个完整的故事结构。整个视觉模态本身可以被认为是一个叙事，在这一叙事中，好几个输入空间进行跨域映现，从而组成一个整合的空间。

此外，Chilton(2005)从大脑模块理论假设出发，以认知科学和进化心理学为基础，建构了自己的CDA分析框架。该框架分为两个层面: 微观交际层面的文本认知特征和宏观交际层面的社会政治特征。微观层面着重从认知角度来解释语言的理解; 而宏观层面则主要解决交际渠道、话语类型和语言特征、话语参与者、互文性、文本杂合性和“新”话语的产生等问题(辛斌等， 2013)。

认知语言学并不是某个具体的理论，而是一种语言学的研究范式，由多个相关联的理论组成。批评话语分析不以理论建构为终极目标，特别是不以建立宏观理论为目标(Reisigl et al.，2009)。两者相结合形成的认知话语分析使我们可以根据自身的学科背景和理论背景，结合具体分析对象和分析目的采用和借鉴不同的理论。

4 多模态认知批评分析

新媒体时代，话语的载体和传播途径越来越多样，也越来越复杂，需要我们用更加广阔的视角来进行研究。社会符号学话语分析、认知话语分析、多模态批评话语分析，都是话语分析领域不同的研究路径，各有优势也各有侧重。然而要实现理论研究服务于社会实践，单一视角显然是有局限性的。因此，从话语的认知、批评和多模态三个维度综合考量，构建多模态认知批评分析这一综合视角也是话语分析发展的必然趋势。多模态认知批评分析视角主要以社会符号学分析和认知语言学为主体理论基础，这两个理论分别对应于多模态话语分析两个层面，前者从功能的层面进行分析，注重话语分析的社会性；后者从认知的层面进行分析，注重隐喻和转喻这两个人类认知现象、话语世界、心智等方面的研究和阐释。这两个层面根据话语分析者的理论背景和研究兴趣，具体可以形成“认知-功能”(认知为主，功能为辅)或“功能-认知”(功能为主，认知为辅)分析模式。

这一综合视角的特点在于：(1)注重语类特征以及语篇的社会、文化和政治背景的阐述，为后续分析的有效性奠定基础；(2)在符号特征描写的基础上进行认知分析；(3)注重对比分析和批评。对比分析是将来自不同文化的语料从表意方式、叙事手段、交际目的和交际效果等方面进行比较研究，揭示两者之间的相似性与差异性，发掘值得我们借鉴的地方。“批评”不是揭露语篇中的负面意义，而是通过对比分析，从不易被人们发现、已经习以为常的现象中揭示权力关系和意识形态，从而了解语篇所包含的社会、政治方面潜在的观念、价值等；(4)跨学科视角、多理论借鉴以及分析重点的灵活性。在实际操作层面，具体步骤需要结合分析对象的语类特征以及传播载体和媒介，进行相应的调整。如新闻视频的分析，可以结合新闻报道和新闻视频拍摄剪辑的一般规律以及传播学理论调整分析框架。在分析中，鉴于新闻是现实类语类，其中的隐喻较少，转喻较多，那么分析重点就是转喻的识别和解读。如果隐喻、转喻分析不能有效地揭示话语策略和意识形态，那么就需要借鉴其他理论，如批评话语分析中常用的评价理论、互文性理论等。

多模态认知批评分析这一综合视角的研究目前还在起步和探究阶段，如冯德正(2011)用系统功能理论阐释了图像隐喻和多模态隐喻的构建与分类，将视觉图像的元功能资源看作隐喻潜势，并分析了再现意义、互动意义和构图意义与隐喻的构建。潘艳艳(2011)从符号特征和认知机制方面，分析了政治漫画中的隐喻、转喻现象和源域的文化内涵，探讨隐喻和转喻对身份的构建或重新构建的作用。Feng et al.(2013) 从社会符号学的视角分析了隐喻的视觉呈现，并解释了镜头的位置和组合建构意义的认知机制。潘艳艳、郑志恒(2017)运用认知-功能分析法，对中美征兵宣传片进行多模态认知批评分析，在隐喻和转喻分析的基础上揭示中美征兵宣传片在叙事模式和话语策略以及意识形态上的差异。林宝珠(2019)结合社会符号学和隐喻理论，提出社会、认知、主体间性三者合一的互补性多模态隐喻语篇分析模式，从而最大限度地提升多模态批评话语分析的效能和力度。张辉、颜冰(2019)结合话语空间理论与趋近化理论探讨叙利亚战争话语在空间、时间与价值轴上话语空间的构建与“指称中心”的转换，揭示了美、叙、中三方不同的话语策略，指出政治冲突话语中，处于不同指称中心的说话人为实现不同政治目标选择相应的语言操纵策略并隐含不同的立场和观点。

以上多模态认知批评分析，在认知方面，借鉴最多的还是隐喻和转喻理论，其中的隐喻分析可以看作是认知话语分析中的意象图式分析、批评隐喻分析的多模态延伸，但是语篇世界分析、Hart的综合分析框架、心理空间以及Chilton的大脑模块分析等语言模态的分析方法，目前都还没有在多模态话语分析中予以运用。也就是说，多模态认知批评分析还有很多可能的路径等着研究者们去探索。