多模态隐喻意义理解的制约因素研究

朱菊芹

(四川外国语大学 国际关系学院，重庆 400031)

0 引言

在20世纪，隐喻研究经历了两次历史性的转变。第一次转变是20世纪80年代美国语言学家Lakoff和Johnson发起的。他们于1980年出版的具有划时代意义的《我们赖以生存的隐喻》实现了从传统的隐喻理论研究向当代隐喻理论研究的转变。语言学界通过30多年的理论和实证研究，就隐喻的概念性、思维性和体验性本质达成了一致意见。其后，不少语言学家开始探索隐喻与思维的关系问题(Gibbs,2008;Lakoff et al.,1989；Turner,1987)，但也有学者指出假如隐喻是一种思维和行为方式，语言只是概念隐喻的外在表现形式(Lakoff et al.,1980)，那么仅依据语言符号所构建的概念隐喻理论必然是片面的，仍有待进一步充实完善(Forceville，1996,2008)，因为在人类众多交际符号中，语言只是其中一种，其他如线条、颜色、声音、空间布置等交际媒介和非语言资源也可用来表达和构建概念。与此同时，信息技术的迅猛发展、交际手段的多模态化，激发了研究者对多模态化话语的兴趣。1996年Forceville出版的博士论文《图片隐喻》开辟了隐喻研究的新视角，推动了隐喻研究的第二次历史转变，将从语言资源的概念隐喻研究推向语言资源和非语言资源共同作用的多模态隐喻研究。

2009年，Foraceville等出版了论文集 《多模态隐喻》，收录了多模态隐喻研究的最新成果，标志着多模态隐喻理论的正式形成。从研究视角和学术成果来看，国外学者的研究主要集中于多模态的语类特征、模态之间的互动关系、多模态隐喻的语言化过程、多模态隐喻和转喻的互动整合等方面。随后，该论文集的相关研究在国内引发了新一轮的隐喻研究热潮。近十多年来，国内多模态隐喻的研究主要集中在两个方面。一是对Foraceville等多模态隐喻理论的评介、隐喻和转喻关系等方面的研究，如赵秀凤(2011)和谢竞贤(2011)对国外多模态隐喻的研究进行了综述和介绍；冯德正(2011)从系统功能视角阐释了图像隐喻与多模态隐喻的构建过程，指出图像也具有概念意义、人际意义和语篇意义，具有隐喻潜力。赵秀凤、苏会艳(2010)认为，多模态隐喻性语篇意义是在转喻和隐喻互动基础上进行的概念合成。二是对多模态隐喻在不同语类中的应用及分析。语类涉及广告(张辉 等，2011；陈敏 等 2018；黄洁 等，2019)、漫画(潘艳艳，2010；俞燕明，2013；蓝纯 等，2016；赵秀凤 等，2017；马廷辉 等,2020)、电影 (谢静，2017)及海报(王天翼 等，2015；杨友文，2015)、会话分析(李晓婷,2014,Li et al.,2019;刘玉梅 等,2020)等。目前国内多模态隐喻研究已取得了不少成果，但仍然存在以下几个方面的局限。首先，国外研究内容相对丰富、研究领域相对宽广，国内对多模态隐喻的研究还处在起步阶段，涉及内容和研究面窄。其次，研究语类多集中在广告和漫画，研究语料有限，缺乏系统的研究，研究结果还不具有概括性。再者，对构建多模态隐喻的认知或心理动因、多种模态的协同作用、制约多模态隐喻意义理解的因素等方面的研究还相对薄弱。最后，已有研究或多或少忽视了对读者的文化背景和个体因素对多模态隐喻解读的影响研究。因此，本文将借鉴国内外学者的研究成果，尝试从认知语言学视角探索制约多模态隐喻意义理解的语境、读者主观性、语类和文化规约等因素，以消除理解的歧义性、随意性和主观性。

1 多模态隐喻

隐喻的实质是借助一个概念域去理解另一个不同的概念域(Lakoff et al.,1980:5)。以“ARGUMENT IS WAR”为例。人们是通过源域“WAR”的结构系统来认知和概念化目标域“ARGUMENT”。Panther(2006:162)认为，隐喻是基于始源域和目标域意义之间的相似性关系而建立的。以上研究更多观照的是语言层面的隐喻现象。而多模态隐喻是指用两种或两种以上模态来体现源域和目标域映射的隐喻现象(Forceville,2009:4)。人类通过五种感知渠道获得视觉、听觉、触觉、嗅觉和味觉五种交际模态，而多模态隐喻的实现主要是借助听觉模态和视觉模态来实现的。在多模态语篇中，两域之间的相似性或是客观存在的，或是通过设计者故意违背常规主观地创造出来的。人类对具体事物和现象的理解和体验来自我们身体的感知。Forceville (2009:31) 认为，感知上的相似性突出体现在声音和视觉上的相似关系。两个实体如果在形状、大小、颜色、质地、位置等方面相似或相近通常会被感知为相似。同样，实体表层相同的呈现方式也会被感知为相似。例如，“美国新闻是恐怖小说” 隐喻的构建是因为新闻报纸和恐怖小说在漫画中被并置于书架上。隐喻设计者故意违背常规通过“置换”(replacement) 把B放到本该属于A的图式空位，通过情景创造出相似性。再比如，在一幅关于人口不均衡之忧的漫画中，用山置换70亿人口，构建“山是70亿人口”的隐喻。地球通过拟人化处理来突出庞大厚重的山压在地球头上，地球呈现出一副痛苦不堪的样子。这个多模态隐喻表达了过剩人口给地球带来的巨大压力，表现了漫画家对人口发展不均衡现象的关注和焦虑之情，起到了呼吁、召唤和认同的功能。即是说，用两种不同模态呈现的两个事物，通过同时凸显源域与目标域也可诱发两者间的相似性。比如，视觉上的恩爱夫妻同时伴随着听觉上的孩子的哭啼声、碗盘的破碎声和离去的摔门声，分别暗示婚后的烦琐家务、矛盾争吵和家庭的破裂。

可见，多模态隐喻是由两种以上模态共同参与构建的，各种模态的物理特征丰富了多模态隐喻语篇的交际功能，具有包含行为事件链、时空顺序的动态性和叙事性特征。“心有多大舞台就有多大”是中央电视台播放的一则公益广告，通过叙事性的画面和变化的音乐展示了一位热爱舞蹈的乡村姑娘从乡间农田舞向国际化大舞台的旅程，通过多模态隐喻表达了心怀梦想的中国从农业国家发展为世界强国的征程。对物体和空间维度的直观感知让读者对隐喻概念一目了然，并能激发其情感反应，多模态隐喻的直观性还能传达语言隐喻无法表述的视角和情感。

2 多模态隐喻意义理解的制约性因素

由于多模态隐喻的复杂性，其理解必须满足三个条件。首先，给定它们出现的语境，因为这两个现象属于不同的范畴；其次，目标域和始源域能够被分别辨认出来，并诱使读者从始源域到目标域映现一个或更多的特征；最后，这两个现象在两个以上的符号系统和感知模态中得到一定的提示(Forceville，2008:469)。在很多情况下多模态意义的建构不是约定俗成的，而是与现时的语境和人的百科知识密切相关的(Fauconnier，2002)。

2.1 语境因素

Evans (2006,2009)提出了词汇概念和认知模态理论(Theory of Lexical Concepts and Cognitive Models)，认为一个词语对应一个词汇概念，由词汇概念提供通达认知模式的一个或多个通达点(access sites)。也就是说，词汇一般是去语境化(decontextualization)、图式化(schematization)的规约语言单位(刘玉梅 等,2010)。在无语境的情况下，一个词语的基本意义、次要意义是依次被激活的。首先通达的是基本认知模式，那么激活的是基本意义。当出现与次要意义相关的探测词后，注意力被引向次要认知模式，通达的是词语的次要意义或隐喻意义。在有语境的情况下，语境引导读者直接通达合适的次要认知模式，从而激活次要意义。隐喻意义的产生是因为读者无法在基本认知模式中建立始源域和目标域之间的对应关系，这使得我们在次要认知模式中寻找两者之间的对应关系以解决这一意义冲突(张辉 等，2011:17)。这一关系的建立是由语境决定的，即在始源域的次要认知模式中根据语境提示搜寻与目标域相匹配的概念系统，建构一个有序的连贯的心理表征，完成语言的理解。同样，语境对隐喻意义的作用和阐释也适用于多模态隐喻研究领域。

在多模态文本中，语境可以由语言、符号、媒介和模态共同构成。语言和图片相互补充、相互强化、相互牵制。图像、声音等将抽象的内容具体化、形式化，语言则指称事物及其事物之间的关系，从而吸引解读者通达到两域的共同认知框架内的概念系统。语言还可以消除非语言文本中的歧义和多义性问题，确定隐喻内涵,帮助完成概念隐喻和丰富情感的传达。例如，广告一般采用图像代表始源域，文字指向目标域的映射模式。在 “诚邀广告合作商”的图片广告中，位于凸显位置的棋子转喻源域“中国象棋”，右上方文字“诚邀全国广告合作商”指向目标域“商业”。有关中国象棋的基本认知模式与商业没有直接联系，好像与整个广告语境相冲突。但受关联原则的影响，在语境的提示下，读者在中国象棋的次要认知模式中寻找与目标域之间的对应关系，随即在中国象棋的取胜策略和商业中的营销策略之间建立了相似性，完成了两域关系的建立、意义表征、跨域映射，从而建构了隐喻意义。

图1 诚邀广告合作商广告

一幅政治漫画将南非的犀牛、中国的大熊猫和中东的鸽子被从左到右并列摆放，上方文字语境“ENDANGERED SPECIES”将三个事物联系起来，鸽子并非濒临动物也非中东特有，而口衔橄榄枝的鸽子通常被隐喻为“和平”，激活了目标域“中东和平”，从而指向了两域之间的共同点(或关系)──中东和平像南非的犀牛和中国的大熊猫一样受到巨大的存在威胁，直观、清晰的图像和文字共同作用，构成概念隐喻“中东和平是濒临动物”(PEACE IN THE MIDDLE EAST IS AN ENDANGERED SPECIES)。

2.2 主观性因素

前文指出，隐喻是基于相似性基础上的跨域映射。这种相似性不仅指预先客观存在的事物或情景内部的结构特征，还更多地指事物或情景之间及外部的邻近关系，以及文化规约所赋予事物或情景的态度、情感、愿望等(Forceville,2009:29)。这种相似性可以是客观的相似，也可能是主观创造出来的，即主观的相似。相似性与身体体验、世界知识和文化信仰有关(Kövecses,2005)。因此，不同的人可能发现相同事物之间存在不同的相似性。多模态隐喻一般都是新奇隐喻，两域之间的相似性多源于设计者独特的想法和感知视角。而对于解读者而言，是在设计者将这两个截然不同的事物并置后，受关联原则的影响而想象出来的。Forceville对来自40个不同文化背景的人进行了调查，发现他们对三则IBM广告的解读有明显差异。实证研究表明，文化因素和主观因素对广告的理解有着很大的影响。解读者在识读多模态隐喻具体实例时，能否全面把握设计者的文化背景、设计意图及个性特征等是正确解构和阐释隐喻的关键(赵秀凤，2011:8)。在下面的政治漫画中，左侧是一个装满各种垃圾的垃圾桶，周围零散着空罐头盒和一些废物，整个图像比较模糊，右侧的图像和左侧基本相同，只是以更加清晰的画面呈现。左右图像下分别标有文字“Television” “High-Definition Television”，图像和文字共同作用分别指向源域“垃圾”和目标域“电视节目”。从表面上看，两者并无相似和牵连，是设计者的奇思异想。隐喻解读者按照关联原则进行推理，结合语境和创造目的挖掘两域之间的相似性，对设计者的交际意图做出合理判断，从而理解和通达“TELEVISION PROGRAMS ARE GARBAGE(电视节目是垃圾)”的概念结构。

图2 高清电视，克雷.班尼特漫画《基督教科学箴言报》

由于多重模态的共同参与，多模态隐喻意义的理解有着极大的歧义性和主观性。Forceville(2009:30)明确指出，解读者面对一个非语言或多模态隐喻时，必须使用适当的语言描写其内涵的概念结构，而这个语言化过程必然带有解读者自己的主观性，势必不是中性的。多模态隐喻是设计者基于自己的身体体验和认知世界构建的，而解读者可能因为缺乏这些体验和认知以及由这些认知形成的概念信息，从而产生理解的随意性和主观性。例如，动画片《狮子王》讲的是一个叫辛巴的小狮子在困难中进行历练，最终成为丛林之王的故事。源域“动物世界”的认知图式、概念系统、系列命题和认知模式通过影像、声音、音乐等多种模态映射到目标域“人类世界”。对于主要观众群体儿童来说，辛巴的成长、友情、爱情、责任在自己的认知世界里映射到人类的现实生活，实现理解上的对应，即在人的成长过程中会遇到各种各样的困难、挫折、选择和考验，只有通过努力才能克服困难获得成功，才能担负得起家庭的、社会的、民族的责任。而对于成人来说，辛巴的故事在其认知世界里可能激活的是与阴谋、陷阱、弑君、篡位、复仇、决斗、和平相关的认知模式，也可能是有关生命轮回、智慧传递的认知模式(戴理敏 等，2013：35)。因此，多模态隐喻的理解与解读者的个人体验、世界知识和经验密切相关，不同的解读者对同一命题或概念的认知模式也有可能存在着差异。

2.3 语类因素

语类是一个通过语域来实现的有步骤的、有一定目标的社会过程(Martin,1992:505)。每个语篇都要在某种语境中实现一种特定的交际目的，而交际目的又决定了语类的存在。但由于文化差异的原因，不同的目的可以由不同的语类来实现，从而形成了不同的语类类型，如广告、漫画、音乐、电影、口语等。也就是说，交际目的圈定了语类类型的选择，而某一语类因其特定的表现形式决定了模态和修辞手法的选择。因此，语类形成了隐喻并主导了隐喻理解的过程，解读多模态隐喻需要首先辨别语类(Urios-Aparisi,2009:112)。

政治漫画是将现实生活中的社会、文化和政治生活以一种幽默、醒目的方式表现出来，漫画家用图像和文字符号创造出一个想象的世界(imaginary world or make-believe world)(Refaie,2009)。从交际目的看，政治漫画是对丑恶的社会和政治现象进行针对性地和鲜明地揭露、批判和评论，其目标域常为与政治相关的主体。从形式上看，多采用以图像、文字相结合的多模态方式，图像是一个符号，文字赋予其象征意义和价值。从修辞手法上看，幽默、讽刺或夸张的艺术手法通常被用来表达意义和传递情感，主要表现为隐喻、对偶、夸张等。不过，隐喻是政治漫画中最主要的表现手法之一(俞燕明，2013:1)。例如，一幅漫画是两个实体骰子和无记名投票箱的叠加，利用政治漫画的语类特征和百科知识对其进行解码：骰子是源域，转喻为“用骰子赌博”，无记名投票箱是目标域，转喻为“政治选举”。两域之间的相似性，即不可预测性隐喻性地映射到目标域政治选举，再结合政治漫画批评，揭露丑恶的社会和政治现象的交际目的，解读者便不难隐喻性地解读此漫画为“政治选举像赌博一样是不可预测的”。

公益广告是指不以营利为目的而为社会公众切身利益和社会风尚服务的广告。其交际目的是向社会公众传播对其有益的社会观念，以促使其态度和行为上的改变，它具有社会的效益性、主题的现实性和表现的号召性三大特点。商业广告语篇的目的是说服读者购买产品，因此广告设计者会使用各种途径来凸显产品的特点和优越性，因此目标域通常为产品本身。从形式上看，多采用图片、视频、声音、色彩等模态，一般采用文字映射、图像支持目标域的模式(冯德正,2011:29)。多模态隐喻是广告语篇的普遍特征，现代广告语篇不但诉诸多模态，而且诉诸新奇隐喻，以美妙、新颖打造感官和概念冲击力，更有效地达到广告目的，巧妙地实现产品或服务的正面劝说和诉求(赵秀凤 等,2010:18)。一则禁烟公益广告中，两位吸烟者站在一个大坑里抬头仰望，身穿长袍表情严肃的教父正在为他们祷告，而其他人站在四周低头观望，继续的吸烟行为会让他们陷入深渊乃至失去生命。公益广告的交际目的和有关吸烟的图式知识让解读者很快通达“吸烟是自掘坟墓”的概念隐喻。

从语类特点看，电影通过声音、画面、音乐、影像、手势等多种模态的协同作用，以独特的视角，模拟、提炼、重构和演绎现实的社会生活、精神情感和心理活动，以故事中主要人物的世界展现现实的、活生生的人的世界，使人们可以在一个异常的、具体的多模态语境中直接感知和理解熟悉抽象的人类社会的复杂结构及其本质(戴理敏，2013:34)。在音乐中，歌词是表征事物和关系的符号系统，带领听者通达指称对象的认知模式。音乐为我们提供声音模拟的动态过程，包括通过空间的运动(如:音高低)、身体手势(如：敲打)和情感状态(如：困惑或亲密)(王凤，2013:15)。文字和音乐是两个独立且互相联系的输入空间，歌词通过比喻、反语、举例等修辞手法来交流主题，音乐通过音域的高低、节奏的快慢、旋律的变化传递了歌词语言部分未能表达的细节和情绪。一幅画的信息胜过一篇几千言的文稿，可谓一图胜千言，一段音乐充分表达了“不可说的可说性”(Wittgenstein,2001)。知晓各类语类特点、交际目的和规约对多模态隐喻的正确理解起着不可估量的积极作用。

2.4 文化因素

概念隐喻理论认为隐喻是基于身体体验的一种日常思维方式，但这并不是说大多数的隐喻都可以以相似的方式被理解。多模态隐喻研究彰显了隐喻的动态构建本质(赵秀凤，2011:8;Pérez-Hernández,2019)。多模态隐喻研究重视隐喻的即时解读，强调读者的认知经验及百科知识、语类图式、社团共享的文化规约在多模态的协同作用下被激活，隐喻含义才能被解读出来。事实越来越清楚地表明，隐喻的构建和理解在很大程度上取决于设计者和解读者的社会和文化背景，以及隐喻所出现的特定环境。

喻体的选择可以是跨文化的，这体现了人类共有的认知框架和世界知识结构。然而，更普遍的情况是喻体的选择以社团文化规约为理据，受特定文化语境下理想认知模型的制约(Kövecses,2005;赵秀凤，2011)。以西班牙Osborn酒广告为例，以近镜头角度拍摄的牛角转喻“牛”，激活了该文化中“牛”的象征意义，建立了西班牙以及关于酒产地西班牙民族特征的相关联想(Caballero,2009:89)。而对西班牙文化不熟悉的人来说很难通达到这样的联想。再如，根据文化规约，公益广告“心有多大舞台就有多大”中，民歌“兰花花”转喻“中国”，女孩穿的“中式小棉袄”转喻“中国传统农业文化”，男士穿的“燕尾服”转喻“西方现代文明”。不了解中国民族文化或民族音乐的听众很难在两者之间建立起这样的转喻连接关系(Yu,2009:136)。

一个文化的基本价值，与该文化的最基本概念隐喻结构应当是连贯的、一致的。认知语言学认为，概念隐喻是身体体验和文化背景融合交织的结果，产生于身体体验，却受着文化规约的影响。因此，不同文化中，有的概念隐喻是等值的，具有普遍性，而有的概念隐喻是不等值的，具有文化特殊性。广告“优品嘉人优酪乳”的图像和文字激活了“女人” “蝴蝶” “产品”三个认知域，是该多模态隐喻的认知基础。概念隐喻“女人是蝴蝶”和中国传统文化密切相关，具有文化特殊性。蝴蝶在中国古典文学中具有象征意义，蝴蝶本身的生物属性、自然风物，文化社团的审美心态和社会观念等形成了丰富的蝴蝶意象。蝴蝶斑斓的色彩、轻灵的身躯和柔美的舞姿惹人喜爱，加上它无忧无虑、自由自在、自得其乐地飞舞，常给人以丰富的遐想，被人们赋予美好的象征意义。庄周梦蝶、梁祝化蝶、花蝶之恋等经典蝴蝶意象承载了人们对美丽、自由、爱情等的美好向往与追求。“女人” “蝴蝶” “产品”三个认知域之间的一系列的隐喻映射，正是基于中国传统文化中“蝴蝶”这一特定的文化认知模式，从而达到了产品正面劝说和诉求的目的。

图3 优品嘉人优酪乳广告

3 结语

多模态隐喻是在多种模态的协同作用下，通过概念映射等来实现两域关系的建立、意义的表征、跨域的映射和隐喻意义的构建。这一立体的、复杂的、动态的认知过程使其意义体现也更加多元化。解读多模态隐喻意义应考虑其构建过程中的实时语境、设计主体、语类特点和文化规约等因素的影响。实时语境在始源域与目标域的概念系统中建构了一个有序的连贯的心理表征。对设计者身体体验和认知世界的了解，可以消除理解的歧义性和随意性。交际目的决定了语类的存在，语类形成并引导隐喻的理解。喻体和概念隐喻都具有文化规约性，读者的认知经验、百科知识、社团共享的文化规约在多模态的协同作用下被激活，隐喻含义才能被解读出来。