多模态隐喻的前沿理论研究：问题与展望

（浙江工商大学 外国语学院，浙江 杭州 310018）

引言

Lakoff和Johnson在《我们赖以生存的隐喻》一书中提出了概念隐喻理论（Conceptual Metaphor Theory），引发了隐喻的认知革命，人们对隐喻的研究开始从语言层面转向认知层面，掀起了隐喻研究的一场认知热潮。隐喻普遍存在于我们的话语、思维和行为之中，隐喻的实质是以一种事物来理解另外一种事物[1]。隐喻认知不仅体现在语言模态，同时也是图像、手势、声音等其他交际媒介背后的认知机制[2]。换言之，隐喻成为寓于视觉、听觉、文字、图片及其他媒介实现意义的传达手段，多模态隐喻研究应运而生。Forceville&Urios-Aparisi[3]出版的专著《多模态隐喻》详细地呈现了多模态隐喻领域的最新研究成果，昭示着多模态隐喻理论逐步走向成熟。

国内也有学者对多模态隐喻研究的概况进行了一定的梳理，如陈彦瑞[4]曾对多模态隐喻的发展做了总结，指出了多模态隐喻研究的某些不足。冯德正和张德禄[5]对近20年来多模态语篇的研究视角、方法与内容展开评述，指出多模态研究从语言学理论到多模态表意资源的跨学科系统阐释与实证研究转向。陈风华和胡冬梅[6]采用信息计量学CiteSpace可视化技术，分析了1998-2017年20年间国内和国际期刊多模态隐喻文献数据，系统考察了多模态隐喻研究的现状与发展趋势。研究表明，当前丰富多样的多模态语篇研究融合各学科理论，结合数字技术等新型研究工具和方法，逐渐被应用于课堂教学、广告传媒、法庭辩论等各种社会行为和语篇的研究[5]。但上述研究都是有关多模态隐喻多个方面的宏观梳理，针对多模态隐喻的理论问题和前景进行专门论述的文献尚不多见。实际上，虽然多模态隐喻理论已经提出多年，但至今，尚未形成完善的多模态隐喻理论框架[7]。

鉴于此，本文对多模态隐喻前沿理论进行梳理和述评，着重聚焦概念隐喻、视觉语法、关联理论和概念整合四大前沿理论，对它们的优势与局限进行论证，并对多模态隐喻理论将来的发展趋势作出理论预测，旨在为多模态隐喻理论研究提供参考。

一、多模态与多模态隐喻的界定及研究综观

模态是“由特定的感知过程所阐释的符号系统”[8]22-23，多模态交际指的是“交流和表达总是依靠包括语言在内的多种符号模态实现”[9]。随着多模态研究的深入发展，其理论与应用研究日益呈现多学科、多领域相结合的发展态势，产生了丰富的研究成果。如Jewitt[10]从视觉研究、人类学与社会语言学的多模态要素互动出发，对各领域的多模态理论和应用研究进行了总结。Ventola和 Moya结合了视觉和“媒体导向的世界”[11]1文本，来处理多模态文字图像中系统和结构的关系。文学文本中各多模态要素的角色和其产生的认知影响也受到了重视[12]，为文学文本的排版和插图提供了更好的阐释。近年来，社会符号学、认知诗学、心理语言学和神经语言学等多个学科开始互相结合，都试图把多模态研究置于更宏观的视域下，从更广泛的视角进行多模态意义构建，为多模态跨学科研究提供新的分析框架与理论视野。在语言学的研究范式下，多模态隐喻的理论和应用层面研究都呈现出多元化的发展态势。例如，Kress&Leeuwen[13]以韩礼德（Halliday）的系统功能语言学为基础，建构了一个较为系统的视觉图像语法分析框架，为多模态话语分析提供了新的思路。

隐喻的多模态研究始于Charles Forcevill，他将概念隐喻理论延伸至非语言模态，提出了“多模态隐喻”，指出语言只是众多交际符号中的一种，包括声音、手势、线条、音乐、图像、颜色、文字视觉联系、空间布局等在内的其他的交际媒介或手段也可以用来构建和表达概念[3]。之后，多模态隐喻研究日益专门化，涌现出一大批结合各种语类的多模态隐喻案例研究，包括广告、漫画、音乐、手势语和电影等。纵观文献发现，这些研究运用的主要理论模型是概念隐喻理论、视觉语法理论、关联理论以及概念整合理论。总之，与一般的多模态研究的发展趋势一致，多模态隐喻的研究日益成为一个多学科关注的热点课题，逐步超越了单纯的现象描写阶段，逐步走向深入解释层面，理论建构的重要性日益凸显[14]。下文详析多模态隐喻四大理论研究及各自存在的问题。

二、多模态隐喻的主流理论模型及问题

多模态隐喻的主要前沿理论有概念隐喻、视觉语法、关联理论以及概念整合四大理论模型[15]。

（一）概念隐喻理论框架下的多模态隐喻解释思路及存在的问题

1.概念隐喻理论与多模态隐喻

认知语言学的概念隐喻理论开启了一个全新的隐喻研究视角。隐喻被分为语言隐喻和概念隐喻。语言隐喻是人们头脑中概念的隐喻性组织方式（即概念隐喻）的反映。概念隐喻是一种思维、经验和行为方式，普遍存在于人类的思想和行动中[1]3。概念隐喻主要包括源域和目标域，其中，目标域较为抽象，源域是人们比较熟悉的事物，隐喻认知过程就是从源域到目标域的系统映射过程[16]。Forceville[2]109-145基于平面广告提出，图像隐喻也是一种概念层面的隐喻，图像隐喻分为源域替代目标域、源域和目标域融为一体以及源域与目标域并置（图像明喻）三种类型，可以结合互动理论对图像隐喻的构成和分类进行阐释。既然视觉隐喻可以以视觉图像为实现形式，那么其它交际媒介如图像、线条、颜色、手势、声音等都可以成为概念隐喻的传达，隐喻研究逐渐走向多模态便成为必然。多模态隐喻理论将概念隐喻理论应用于阐释视觉图像中的隐喻现象并描述多模态语篇中出现的隐喻类型[17]，通过区分语言隐喻与多模态隐喻，使纯语言学领域的概念隐喻研究拓展到跨学科的多模态研究平台，弥补了认知语言学界单纯依赖语言符号构建概念隐喻理论的缺陷[14]，极大地拓宽了隐喻研究的范围。

2.存在的问题

概念隐喻是多模态隐喻研究的前提，多模态隐喻的动态性和叙事性为多模态隐喻的系统研究奠定了基础[14]，但完全依靠概念隐喻对多模态隐喻的阐释是远远不够的。

首先，在Forceville[2]148-161所论述的图文隐喻中，他只是指出此类隐喻的存在并用三个例子说明源域、目标域与映射项，但个例分析并不能从抽象层面说明图文多模态隐喻的工作机制，也未能概括图文隐喻的类型[17]。其次，概念隐喻的映射具有单向性的特点，即从可及性较强的概念域向可及性较弱的概念域映射更为自然，认知主体通常是用更为熟悉的、更具体的概念去理解相对陌生的、较抽象的概念[18]，比如TIME IS MONEY，ANGER IS FIRE，LOVE IS A JOURNEY等概念隐喻都是通过具体的概念来解释抽象的概念。另外，概念隐喻理论对心智的体验性和认知的无意识性研究也表明，认知主体通过感觉运动系统对客观世界直接体验，进而建立字面（和模态）意义与隐喻意义之间的联系，形成“具体到抽象”的概念映射。概念隐喻理论的这一解释思路直接忽视了“具体到具体”类型的多模态隐喻映射。再次，概念隐喻理论将概念隐喻分为本体隐喻、结构性隐喻和方位隐喻[1]。这种三分法简洁易懂，但由于缺少统一的分类标准，以至于三类之间存在着重叠和交叉，隐喻的抽象程度也并不相同[19]。这种隐喻分类方法能否穷尽式地囊括多模态隐喻，还是一个悬而未决的问题。最后，概念隐喻理论本身也存在一些问题，如隐喻映射的单向性、持续的深层映射、隐喻到底是基于相似性还是具身经验、隐喻的唯一性、喻体的直接体验性、经验和概念之间体验性的证据等[20]，也对概念隐喻理论的多模态解释力提出了质疑。因此，概念隐喻视域下的多模态隐喻亟需结合更多理论模型，构建出一个动态的、具有高度可操作性的多模态隐喻认知运作模式。

（二）视觉语法理论框架下的多模态隐喻研究及存在的问题

1.视觉语法与多模态隐喻

多模态话语是“一种融合文字、声音、图像、动画等多种交流模态来传递信息的语篇”[21]。在真实的交际中，话语的一个重要特征是其多模态呈现[21]2，因此，话语分析不再局限于传统语言学的分析方法。话语从本质上说是多模态，而非单模态，因为话语意义构建与传递是可通过多渠道和模态来交换信息和处理各种关系[22]4-8，而图像作为一种社会符号，是非语言模态交换信息和处理关系常用的渠道之一。功能语言学中的系统功能思想可以延伸到视觉图像模式，即图像的视觉语法（The Visual-semiotic Model），包括再现意义、互动意义和构图意义，分别对应功能语言学中三大语言元功能——概念意义、人际意义和语篇意义[21]。视觉语法侧重视觉话语中空间关系的解释，而对背后的深层认知理据重视不足，这种仅在系统功能符号学框架内的研究范式很难回答“空间关系如何构建意义”这个问题[23]。与此同时，隐喻作为人类认知外部世界的有力认知工具，在人类的思维推理过程中发挥着重要作用[24]。因此，认知隐喻和视觉语法在多模态意义构建上的理论整合就变得顺理成章，也逐步成为国内外视觉语法的研究热点。

2.存在的问题

视觉语法理论为综合、系统地阐释多模态话语中的意义建构与表意方式提供了有力的理论基础和分析工具[25]，但同时也存在问题。首先，就图像分类而言，Kress&van Leeuwen将图像分为两类：“索取”图像和“提供”图像。前者指图像中描绘的人物通过眼神接触或姿势向读者索取信息或服务；后者指图像资源（面部表情和身体站位等）为读者提供信息或服务[25]。但这两类图像对图像与读者之间关系复杂性的解释过于简单[26]，不能建构明确的索取和提供关系，有眼神接触的图像与小句中的疑问语气或祈使语气也不是等同关系[27]9。其次，视觉语法本身也存在四大不足[28]：“叙述再现”的分类不具有互补性；“接触”的结构生搬硬套，实际应用性不强；“情态”的设计不具有系统性；判断图像元素重要性时忽略了元素本身的社会属性。最后，除了依靠显著性和信息值，视觉语法理论模型下的多模态隐喻话语分析尚需结合图像的社会属性与自身属性，关注并探讨叙述再现的动作、思维和言语过程。

（三）关联理论框架下的多模态隐喻研究及存在的问题

1.关联理论与多模态隐喻

关联理论认为隐喻的理解是一种明示推理过程，隐喻义是一种弱隐义[29]。无论是运用语言符号还是其它非语言符号进行交际，人类交际的实质是推理交际，即，发话方呈现其交际意图的语言或非语言符号，受话方则依据这些符号并结合语境推导出发话方的交际意图[30]，因此，隐喻交际和其他语言交际方式一样，都受关联原则指引[31]。在实际生活中,人们总是采用各种非语言模态来补充语言模态以更加准确和高效地传递交际意图，所以将解释人类交际的关联理论应用到多模态分析,不仅会检验和拓展关联理论的解释力,同时可以充实现有理论,弥补现有理论的不足[32]。因此，国际上出现了大量用关联理论来分析隐喻的研究文献。国内学者在这方面也逐渐与国际同步，例如孙小倩[33]论证了关联理论对广告中多模态隐喻的解释力。广告通过图像、文字以多模态隐喻的形式呈现，寻求广告信息和读者认知的最佳关联，促使读者自发寻求多模态隐喻的最佳解释，从而理解广告意图。再比如，孙焕桥[34]基于关联理论构筑了一个电影隐含多模态分析框架，并运用该框架对电影中的两个隐含情节进行研究，指出两个情节的悬念与喜剧叙事效果。

2.存在的问题

通过最佳关联和明示推理模式，关联理论在多模态隐喻的解读过程中发挥了重要作用。但是，关联理论过于笼统,在实际运用中无法具体操作[35]。关联理论只根据语境效果和认知投入来衡量多模态隐喻的关联性,但没有给出一个具体化的、容易操作或计算的标准[36]35。此外，在用关联理论分析多模态隐喻时如何量化？受众在理解多模态隐喻时的认知投入与语境效果之间如何取得平衡？标准是什么？如何断定？这些都是关联理论视域下多模态隐喻研究面临的具体问题，也是未来需要攻克的难点课题。

（四）概念整合理论框架下的多模态隐喻研究及存在的问题

1.概念整合理论与多模态隐喻

Fauconnier[37]将隐喻机制与其他语言现象和认知现象打通，将概念隐喻提出的双域映射模式升级为四空间模式，提出了概念整合理论，该理论已初步成为话语理解和话语管理的一个综合性认知理论。它认为在话语理解过程中，大脑会激活关于人、事物和事件的各种语言和非语言的知识框架，并存储在工作记忆中[38]。这些储存在思维中临时的、在线的话语信息的集合被称为心理空间，是概念整合理论的基石。概念整合理论就是在探究话语展开过程中各种心理空间的构建和它们之间的连接关系[39]。在模态符号的整合过程中，非语言符号的非线性特征使多模态符号在空间上向多维、多方向扩展[40]，在多模态隐喻中，由形状、线条、构图、颜色、动作行为、角度等模态呈现出的始源域与目标域之间的映射路径也需要运用概念整合运作机制。赵秀凤[14]分析了Forceville关于模态分类、多模态隐喻界定及双域映射模型的不足，在重新界定与分类的基础上提出了多模态隐喻构建的概念整合模型。她以一篇政治漫画语篇为例，把符号表征空间、语用关联空间、输入空间内部与跨空间之间的多层空间映射和互动整合纳入到一个综合体系，指出了多模态隐喻的概念意义、情感效果、审美或评价效果的动态生成过程。朱嫣然和郑燕[41]在概念整合理论的框架内，以政治漫画为语料，探析了多模态隐喻在整合网络中的意义构建。他们指出，多模态隐喻意义的构建并不是从源域到目标域的单向操作，而是具有多向性的动态建构过程。孙毅和周婧[42]在多模态隐喻理论基础上，将概念隐喻理论和概念整合理论相结合，选取了典型的国旗隐喻个案加以阐析，诠释了多模态隐喻整体意义的构建过程。

2.存在的问题

尽管概念整合理论能对多模态隐喻意义构建过程中的认知机制进行相对细致的解释，它也存在一定的问题。孟霞指出：“整合空间概念适用于整个语言意义的建构而不仅仅是在具体的篇章之中，导致了该理论在很大程度上丧失了自己的独创性和新意。”[43]6另外，随着研究不断深入，概念整合理论应用研究的范围可以更广，研究方法可以更为系统，操作过程可以更加细化[44]。如，在多模态隐喻分析中，相关隐喻信息首先进入输入空间，那么哪些隐喻信息会进入输入空间？哪些隐喻信息不会进入输入空间？隐喻信息筛选的标准是什么？进入输入空间的隐喻信息成分又是如何相互映射、协调运作的？同样，层创结构（Emergent Structure）产生的合成空间也面临着相似的问题。面对此类不可回避的问题，概念整合理论视域下的多模态隐喻研究尚需细化。

三、多模态隐喻的理论研究趋势与展望

多模态隐喻的四大主流理论都既有各自的优势，又存在问题。综合国内多模态隐喻理论和应用研究现状，未来的多模态隐喻理论研究可以考虑从下面几个方面进行拓展和深化。

（一）理论框架的深入和完善趋势

首先，多模态隐喻研究急需形成一套完整、系统的理论体系[4]。已有的相关研究大多是沿用概念隐喻理论、视觉语法理论、关联理论、概念整合等理论范式，也有少数学者把转喻和转喻理论加以整合。如黄彬瑶[45]采用认知语言学的研究范式，以中国中央电视台制作的公益广告为例，分析广告中所包含的多模态隐、转喻，着重考察了隐、转喻是如何通过图像、声音以及话语等多种方式动态呈现的。随着研究的深入，传统多模态隐喻理论研究将需要得到进一步强化。如概念隐喻理论在深化对多模态隐喻深层映射阐释与动态认知运作模式的同时，需要阐释如何通过结合图像的社会属性与自身属性来阐释图像与读者的关系、建构明确的索取和提供关系；关联理论中的关联原则具体量化、采取何种操作标准；以及整合空间概念操作过程的细化等，这些都是目前多模态隐喻现有理论完善亟需解决的问题。其次，无论是传统的还是新构建的多模态隐喻模型，其理论应用范围将需要拓展。语类多样化是当今多媒体时代的必然趋势，理论应用必将从传统的广告、漫画、海报等语言-听觉-视觉隐喻性表达到动画、乐谱、绘本、电影、戏剧、雕塑，甚至有关味道、接触等复杂模态语类中的隐喻研究。如陈娴[46]从图像、颜色、声音和文字符号四种模态入手，透过台州海洋民俗文化中的多模态隐喻现象，挖掘台州人顽强拼搏的海洋精神及期盼海上作业风顺兴旺的海洋信念，阐释了多模态隐喻呈现出的模态相辅、意义决定和信息传递三大特征，这是将多模态隐喻理论深化到民俗文化阐释应用的典型案例。

（二）理论视角的开放性和多样化趋势

随着多模态隐喻研究的不断深入，多模态隐喻理论也将从追随或沿用传统模式转变为敢于质疑和理论创新，打破原有的框架束缚与学科局限，从更开放、多元的视角进行理论构建与细化，开启新的研究范式。如体验哲学、认知诗学、传播学、心理学、信息科学、交互社会学等跨学科跨领域的多模态隐喻模型将不断融合。如陈松云和杨劲松[47]从意义建构的认知理据出发，指出多模态隐喻是身体、感知、体验、大脑和心智的共同产物,是以体验哲学为基础研究人类心智和认知的哲学方法，意义、表达与结构的三维统一，形成哲学的重要思辨，而多模态隐喻意义的建构也在这个统一过程中完成。这是体验哲学与多模态隐喻理论相结合的典范。但是在两者的结合中，多模态隐喻与体验、心智的具体关系、多模态语篇的转、隐喻配置与哲学理论的配置、多模态隐喻体验性表征形式与内容等都是未来研究需要解决的问题。此外，未来多模态隐喻的跨学科理论范式中还面临一些具体的课题，如，诗学象似性的多模态表征创造出何种阅读和审美体验模式？如何阐释动态语篇等更复杂的符号与行为体系？多模态隐喻的媒介特性及其所肩负的舆论传导功能如何实现？这些课题都是多模态隐喻理论创新和体系完善所要努力的方向。

（三）理论检验的科学性和多元化趋势

近年来，在多媒体与信息科学技术的不断发展下，认知语言学界从早期的内省和思辨逐渐转向实验和统计实证研究，开始采用实证法、类比法、比较分析法等对各语篇中的多模态隐喻类型及表现方式进行分析，涌现出大量实证研究成果。2003年，国际认知语言学会成立了认知语言学实证方法工作坊（EmpiricalMethodsinCognitive Linguistics，简称 EMCL），更是反映出实证研究在认知语言学界越来越重要的地位，推动了大量实证研究成果的诞生[4]。多模态隐喻研究可以借助事件相关电位（ERP）、功能性磁共振成像（fMRI）、多模态语料库检索等多样化科技手段，使研究成果更具说服力。Baldry&Thibault（2008）建立了基于XML的在线多模态检索器（Multimodal Corpus Authoring，简称MCA），实现了对多模态数据的搜索、注释与定量分析。对有关多模态隐喻理解的理论模型进行实证检验也开始受到重视，如Ma,QG等人[48]探讨了ERP与时频成分（Time-Frequency Components）和多模态隐喻理解过程的相关性，实验选用动物词表示图片中的车辆隐喻，根据脑电图振幅数据判定隐喻使用是否恰当，揭示了多模态隐喻理解过程中delta和θ的功能作用及其对ERP成分的独特贡献。该研究指出，多模态隐喻理解的具体认知机制与言语隐喻的认知加工不同，它反映在多模态隐喻理解中，由ERP成分和时频成分所标示的多个可分离过程所反映出来，大大丰富了多模态隐喻实证研究。

“多模态隐喻语篇分析是一个开放的、具有天然跨学科性质的研究领域，允许从不同的层面与角度进行研究”[17]96。虽然当前多模态隐喻理论研究存在一定的问题，但其理论框架会不断趋于深入和完善，理论视角也会更加开放和多样，理论检验的科学和多元必然是未来的研究趋势。总而言之，随着各学科研究视角的融合以及实证研究的不断深入，未来多模态隐喻跨学科理论体系会进一步完善，并结合实际各领域得到切实的运用。