多模态隐喻研究20年(1998—2017)——理论、实践与进展

陈风华 胡冬梅

(1. 香港理工大学 人文学院，香港 999077; 2. 中国地质大学 外国语学院，湖北 武汉 430074)

0 引言

多模态隐喻滥觞于概念隐喻理论(Lakoff et al.，1980)和图像隐喻理论(Forceville，1991；1994；1996)，指始源域和目标域特定或显著出现在不同模态之中，如视觉图像、书面语言、口头语言、声音符号及音乐符号，并用于研究不同隐喻如何体现于各种符号实践、作用于人类的认知语境和影响人们的认知识解(Forceville，2009:24；张德禄 等，2013:20)。自1998年迄今，在国内外学者的共同努力下，多模态隐喻研究取得了显著进步，同时也存在一些值得反思的问题。本研究基于国内外文献大数据，运用学界广泛使用的可视化计量分析软件CiteSpace，全面考察多模态隐喻研究的基本特征和进展状态，以期为今后的深入探索提供一定的参考。

1 多模态隐喻研究知识图谱分析

目前国内外学界对多模态隐喻开展的计量研究尚不多见。孙毅(2015:17-21)分析国内外语类CSSCI期刊历时20年(1994—2013)当代隐喻学领域论文发现，国内偏重隐喻理解输出端而轻视研究前提输入端，强调二维平面隐喻而漠视多模态隐喻；孙亚等(2017:695-702)采用文献计量可视化技术考察国外主流SSCI语言学期刊跨越11年(2006—2016)隐喻研究的文章提出，国外隐喻研究的理论根基为概念隐喻理论，语料库与实验法是热点模式，多模态隐喻、情感隐喻、身份隐喻和手势隐喻形成前沿话题。

1.1 研究问题

本研究旨在探索以下问题的解答：就发文量分布、关键词共现、文献共被引、作者共被引、期刊共被引和合作学者群六要素而言：

问题1. 国内外多模态隐喻研究呈现怎样的特征？

问题2. 上述特征为今后的探索带来怎样的启示？

1.2 研究方法

CiteSpace是美国德雷塞尔大学学者陈超美开发的一款引文可视化计量软件。该软件主要用于分析文献的标题、副标题、摘要、关键词、作者、机构和参考文献，通过已发表的文献追寻科学发展踪迹，实现紧跟科研前沿目的。我们使用的CiteSpace版本为5.1 R8，选取的国内语料来自CNKI与CSSCI网站，国际语料出自WOS官网。研究按照以下步骤规划：第一步，按照多模态隐喻学者Feng(2017:462)的观点，隐喻和转喻之间没有明晰界限。由此我们在CNKI和CSSCI网站以“多模态隐喻”和“多模态转喻”、在WOS官网用“multimodal metaphor”和“multimodal metonymy”作为主题词展开检索，获得281条国内文献和205条国际文献。第二步，使用CiteSpace对国内外文献进行可视化分析。第三步，在可视化数据基础上探讨研究结果对未来进一步探索带来的相关启示。

1.3 研究发现

1.3.1 发文量分布

从图1统计的数据可以发现，国内文献肇始于2010年，此后其数量呈曲线式逐步增长趋势。2010至2013年为发文量急剧增加时期，从2010年的两篇上升为2015年的巅峰57篇，折射国内学者对多模态隐喻的研究已经达到一定的深度与广度。国内首条文献是李毅、石磊(2010:47-49)论文《教学中的多模态隐喻——应用隐喻研究的新方向》，该文系统介绍了单模态隐喻与多模态隐喻、多模态隐喻研究现状、多模态隐喻教学的研究意义和多模态隐喻教学研究的前景与挑战，为学界的后续研究提供了翔实的概念基础和系统的理论铺垫。

图1 国内与国际发文数量历时分布

国际文献发轫于1998年，1998到2004年国际多模态隐喻研究进展缓慢。2005年以后开始持续发力，发文数量以年平均15篇的趋势快速上扬，2015年数量达到最高35篇。国际首条文献是Stanney等(1998:327-351)论文《虚拟环境中的人为因素问题:文献综述》，该文系统引介虚拟环境中的人为因素类型、人类表现组成、健康与安全问题和虚拟技术的社会影响，为后续学者深入研究虚拟环境中人类与电脑的多模态互动隐喻铺开可行路径。

1.3.2 关键词共现

文献主题和研究重心的核心术语是被引关键词(Law et al.，1992:418)。研究数据表明，2010—2017年间国内热门话题按照中心度值排名前10位依次为公益广告、概念隐喻、跨文化、概念整合、意义构建、政治漫画、电视广告、认知、映射和构建。前沿主题的可视化基础是被引文献与共引脉络(Chen，2006:359)。CiteSpace自动解析的聚类主题显示，国内研究的前沿主题分别是多模态语篇分析、电视广告、意义构建、概念隐喻与公益广告。从中可以发现，公益广告、概念隐喻、意义构建及电视广告等重叠研究出现在热门话题和前沿主题之中，预示一些热门话题和前沿主题并无差别。可视化计量数据证实，自1998年开始国际多模态隐喻研究的10个热点领域依次是手势、演讲、语言、认知语言学、信息、适用性、模型、认知、听标和交谈。依照聚类数据我们得到的前沿主题，先后为时间、视觉隐喻、适用性、声音、全球金融危机、相异性与协同进化体系，这些既是热门话题也是前沿话题。

综合国内外研究的热点与前沿话题可以推断，第一，认知话题是国内外研究的共同热点，证明国内能够与国际的一些学术前沿实现同步。第二，国内与国际的研究前沿差异显著，表明国内匮乏足够的前瞻洞察力。第三，概念隐喻和视觉隐喻是多模态隐喻的理论基石，凸显基于系统功能语言学和认知语言学的二元研究范式。自20世纪70年代伊始，视觉隐喻作为单模态修辞方式就得到国际学界密切关注，之后Forceville将其上升到概念隐喻维度，自此多模态隐喻作为专门术语开始出现在国际文献中。多模态隐喻相比语言隐喻拥有以下优势：多模态隐喻的始源域与目标域具有天然多模态性，图像、声音和手势具有语言匮乏的感知即时性；多模态隐喻拥有更多确定始源域与目标域之间相似性的方式；多模态隐喻的跨文化接受程度和传播范围更加广泛；多模态始源域的情感吸引力更为强烈(Forceville，2008:463)。

1.3.3 文献共被引

共被引文献构成研究领域的知识基础(Persson，1994:31-38)。可视化数据证实，国内前10条影响力显著的文献(表1)为对多模态话语分析(序号1，8，9)、视觉隐喻(序号3，7)和多模态隐喻(序号2，4，5，6，10)的引介。Kress 等(1996)提出视觉设计语法，把系统功能语法根基的概念意义、人际意义和语篇意义三大元功能分别发展成为再现意义、互动意义和构图意义，认为图像和语言一样能够建构意义。该书的问世使得多模态话语研究自此蓬勃发展(陈风华 等，2017:156)。朱永生(序号1)指出多模态话语分析可称为系统功能符号学。冯德正(序号2)建立多模态隐喻框架，弥补了视觉设计语法主观性的一些不足，为视觉语法互动意义与构图意义的建构提供了理论上的认知理据。张德禄(序号8)基于系统功能语言理论建立多模态话语分析框架，为学界系统解析多模态语篇奠定了科学的理论依据。

表1 国内共被引中心度值前10条文献

影响力显著的共被引前10条国际文献如表2所示，序号3、6、8和10都出自Forceville 等i(2009)编写的论文集《多模态隐喻》(序号9)。该部著作同时引导国内与国际多模态隐喻的发展方向，体现其在多模态隐喻领域中的重要角色。Gibbons(2011:81)认为该书是概念隐喻研究的重要进展，有力推动了其进一步理论化。Stoeckl(2012:383)提出它是“里程碑”式学术出版物。冯德正等(2014:90)指出它标志着多模态隐喻理论正式形成。Baldry 等著作《多模态篇章转录与分析——多媒体工具箱和教材》(序号7)从符号学视角探讨多媒体传播语境中不同模态之间的协同关系，为多模态语料库的深入研究提供了新途径。对商业广告(序号1)、图像(序号2)、商标(序号3)、漫画(序号4，10)和手势(序号6)的实证研究体现语类在多模态隐喻中的重要性。语类决定多模态隐喻始源域、目标域和映射项的认知(Forceville，2009:19)。

表2 国际共被引中心度值前10条文献

对比国内与国际的共被引文献我们能够推断: 首先，多模态隐喻术语的拟定亟待明晰化。Forceville(2009:24)认为多模态隐喻是始源域和目标域分别以专门或显著方式呈现的一种隐喻。其观点很快引发国内外学界广泛质疑。Gibbons(2011:81)指出该界定约束了多模态隐喻的研究范围。赵秀凤(2011:2)提出该定义属于狭义层面，广义层面的多模态隐喻指由两种以上模态符号协同、作用、传递和构建的隐喻。冯德正(2011:28)建议只要映射的始源域/目标域在两种或两种以上的符号资源中实现，便可将其定义为多模态隐喻。基于多模态隐喻的动态性和叙事性，Forcevillet等(2009:11)把隐喻认知公式“A IS B”解读为“A-ING IS B-ING”，拓宽了隐喻的人际特征。从认知视角考察多模态隐喻会不可避免地出现一些主观性和随意性。究其原因，该视角不仅要求系统的理论模型阐释，还需要翔实的实证理据支撑。虽然有学者提出多模态隐喻甄别的三条准则(Bounegru et al.，2011：213)，但是这些标准是基于社论漫画语料而提出，对其它语类是否具有普遍适用性有待实证数据的多方验证。

其次，多模态隐喻理论建构有待系统化。多模态隐喻学者的任务之一是把概念隐喻建构方式以及始源域、目标域和映射项相互关系如何转化为非语言环境进行理论化(Tay，2017:99)。尽管多模态隐喻是一门年轻的学科，但其模态理论尚未成熟，国内与国际对多模态隐喻理论框架和模型的确立依然做出了不懈探索。国内如多模态隐喻潜势框架和文字—图像隐喻模型(冯德正，2011:27-28)、多模态隐喻整合模型(赵秀凤，2013:4)、系统功能语法和多模态隐喻语境链接理论框架(张德禄 等，2013:23)、态度意义多模态系统模型(冯德正 等，2014:589)、正面价值观多模态语篇框架(冯德正，2015:30)、政治漫画多模态融合框架(Lin et al.，2015:142)、产品故事多模态构造交互模型(Tseng，2015:119)、再现意义与态度意义之间的转喻映射模型(Feng，2017：441-466)、图像意义与态度意义的转喻建构模型(冯德正 等，2017:10-12)。国际如多模态幽默理论框架(Tsakona，2009:1177-1185)、多模态课堂朗读隐喻框架(Oliveira et al.，2014:655)、时间的空间隐喻模型与认知的隐喻与转喻映射模型(Coegnarts et al.，2015:222-224)、图像框架理论(Abdel-Raheem，2017：327-352)。不可否认的是，国内外学界尚未建立一套全面、权威和系统的多模态隐喻理论体系。

最后，语类理论化诉求建构。尽管《多模态隐喻》在内容上围绕广告、漫画、手势、动画片、音乐和电影等语类编排，多模态隐喻对语类却缺乏理论建构。实际上，就理论层面而言，作为跨学科领域，多模态隐喻如何整合多门学科形成统一的研究模式有待学界深入探寻；就实践层面而言，目前能够全面解析多元模态意义表达的硬件设备和软件系统寥寥无几，对多模态隐喻统一的研判标准学界也尚未达成共识。

1.3.4 作者共被引

对共被引作者中心度值和引用频次的统计数据表明，Forceville、Lakoff、赵秀凤、Kress、谢竞贤、李毅、Refaie、张德禄、冯德正和朱永生是中心度遥遥领先的学者，表明该学科的成果转化通过他们的研究成绩得以实现。Forceville、Lakoff、赵秀凤、Kress、Yu、谢竞贤、冯德正、朱永生、Refaie和张德禄是被引频次名列前茅的学者，说明该领域的深远影响力依靠他们的学术成绩顺利获得。国际学者Forceville、Lakoff、Kress、Refaie和国内学者赵秀凤、张德禄、冯德正、朱永生在多模态隐喻领域中既取得了广泛的影响，又引领着该领域的发展走向。

国际文献共被引作者中心度值名列前10位的学者依次为Gibbs、Schroder、Blackburn、Kovecses、Musolff、Muller、Bakhtin、Johnson、Rigas和Casasant。被引频次排名前十位的作者分别是Lakoff、Forceville、Kress、Kovecses、Gibbs、Johnson、Fauconnier、Barcelona、Rigas与Cienki，同时在中心度值和引用频次都取得显著成就的前四位学者是Gibbs、Kovecses、Johnson和Rigas。综合国内与国际共被引作者的数据可见，Forceville、Lakoff和Kress在国内外学界取得了强大的影响力。值得关注的是，国内学者尚未在国际领军舞台获得一席之地。

1.3.5 期刊共被引

可视化数据表示，国内CSSCI期刊《外国语》《中国外语》《外语电化教学》《外语与外语教学》《外语研究》《外语学刊》和国际SSCI期刊CognitiveLinguistics、VisualCommunication、MetaphorandSymbol取得共被引中心度值与频次双高。《外语学刊》2017年推出“多模态话语研究”专栏，围绕多模态话语的模态关系、多模态图像的转喻意义、多模态语篇的图文关系、多模态微博的语篇意义和多模态语篇的布局结构等学界密切关注的话题展开系统探讨，加深了国内对多模态话语和多模态隐喻领域的认识。

国际共被引中心度值前10位的期刊排列为Human-ComputerInteraction、MultimodalityandCognitiveLinguistics、BritishJournalofEducationalTechnology、CommunicationsoftheACM、MetaphorandGesture、JournalofPragmatics、Cognition、ACMTransactionsonAppliedPerception、CognitiveLinguistics与PsychologicalReview，在中心度值和引用频次取得前列的是JournalofPragmatics与CognitiveLinguistics。国际权威期刊JournalofPragmatics于2017年发行题为“多模态成品和视点纹理”专刊，旨在从语言学和传播学视角探索认知语言学理论工具如框架隐喻、隐喻混合及意向图式的潜力。国际著名期刊CognitiveLinguistics在2013年出版名为“多模态与认知语言学”特刊，系统总结学界对认知语言学与多模态隐喻、社会符号学与系统功能语言学以及多模态互动分析的研究成果。其后不久该刊于2017年推出题为“多模态交际中国的观点现象”专刊，探讨多模态交际中多模态和概念观点的本质问题。

由此可知，其一，国内多模态隐喻研究的多为语言类核心期刊，国际则是包含语言类、科技类、教育类、传播类和心理类等多种期刊，由此导致国际期刊多模态隐喻研究的聚类主题明显多过国内期刊。其二，国际期刊比国内更早重视多模态隐喻研究。其三，国际期刊CognitiveLinguistics在国内外多模态隐喻研究中起着重要的学术地位。其四，近几年国内外期刊越来越重视多模态隐喻的跨学科研究。跨学科研究模式能使学界共同瞄准新的知识(胡壮麟，2012:16)。多模态研究的发展方向是跨学科研究与学科融合(冯德正 等，2015:111)。

1.3.6 合作学者群

CiteSpace可视化数据展示，国内合作者群体中冯德正、张德禄、赵秀凤、陈风华、杨友文、潘艳艳、王小潞、张辉、雷茜与梁晓晖是发文中心度值最高的前10位作者。同济大学、香港理工大学、西安外国语大学、中国海洋大学、济南大学、厦门大学、浙江师范大学、山东大学、上海外国语大学和东华大学是前10家科研机构。存在学术往来的学者网络为张德禄与冯德正、雷茜、孙毅、冯德正与赵秀凤、张辉与潘艳艳、展伟伟。毋庸讳言，相对于国内数千所高校，这些有着学术往来的学者和高校在数量上依然偏少，因此加强学者与高校之间的定期交流势在必行。

国际发文中心度值最高的前10位作者先后为Yu、Tseng、Perez-Sobrino、Aachen、Guijarro、Refaie、Lin、Chiang和Forceville，前10个国家依次是英国、加拿大、美国、中国、澳大利亚、瑞士、瑞典、意大利、德国和荷兰。前10所机构均为高校，分别是西班牙卡斯蒂利亚-拉曼恰大学、西班牙拉里奥哈大学、西班牙马德里康普顿斯大学、美国宾夕法尼亚州立大学、美国俄克拉荷马大学、中国香港理工大学、澳大利亚科廷大学、中国台湾“国立”中山大学、奥地利萨尔茨堡大学、荷兰阿姆斯特丹大学。各国大学之间有着学术联系的是中国香港理工大学与澳大利亚科廷大学。值得注意的是，CiteSpace未能发现国际学者和机构相互之间存在学术交往。

从中可见，在国内，香港高校与台湾高校研究实力不容小觑，它们为国内高校赢得国际多模态隐喻研究舞台的一定地位。在国际，西班牙和美国高校的研究水平值得国内外学界充分借鉴。除此之外，国际学者也需要同国内学者一样改进相互之间的学术切磋。

2 结语

多模态隐喻研究使得认知语言学的隐喻探索达到新高度。本研究结合国内与国际期刊数据库，借助权威可视化软件CiteSpace探索学界多模态隐喻研究的过去与现在的客观情形。研究发现：首先，国内学界在落后国际学界10余年的形势下依旧加强对多模态隐喻的不懈研究，其关注的热门话题与国际存在交集，取得的系列学术成就值得充分肯定。其次，国际领军学者在国内外学界赢得公认的引导力，国内领军学者尚未在国际独当一面。最后，国内需要与国际加强相互交流，深入开展跨学科研究实现合作共赢。本研究遴选的数据未包括国内与国际的研究生论文与会议论文等文献，在一定程度上会稀释研究推断应有的说服力和解释力。本研究运用CiteSpace进行的可视化大数据分析，一方面拓宽了以往学界局限于较少语料的不足，另一方面能为今后的深入考察提供一定的借鉴。