言与非言的多模态隐喻研究

王 凤

(黑龙江大学，哈尔滨150080)

1 引言

信息时代的到来推动了视觉文化发展，丰富的感知信息不断刺激人们的认知过程，话语研究进入多模态话语分析阶段。多模态话语分析的意义在于可以将语言和其他相关的意义资源整合起来，不仅可以看到语言系统在意义交换过程中发挥的作用，而且可以看到诸如图像、音乐、颜色等其他符号系统在这个过程中产生的效果，从而使话语意义的解读更加全面、准确，进而发现人类是如何综合使用多模态达到社会交际的目的(朱永生2007)。这一趋势推动了隐喻研究的发展进程。荷兰学者C.Forceville从视觉层面研究隐喻，开启了多模态隐喻的先河。国内学者相继展开多模态隐喻研究:详细阐述多模态隐喻的界定、起源及研究焦点(赵秀凤2011);探索在超语言环境中，多模态视角下隐喻意义的构建与理解(谢竞贤2011);剖析系统功能理论框架下，图像隐喻和多模态隐喻的构建和分类(冯德正2011)等。此外，一些学者以广告(张辉 展伟伟2011)、漫画(潘艳艳2011)为语料，讨论多模态隐喻的图文关系。在国外，V.Koller着重分析公司品牌的多模态隐喻，从公司话语肯定品牌特性。N.Yu以中央电视台的一则公益性广告为分析对象，论述隐喻和转喻的非言语多模态表征。E.Urios-Aparisi详细阐释了在电视商业广告中多模态转喻与隐喻的关系，强调模态与次模态的多样性。F.Yus从认知语言学的角度分析视觉隐喻和言语隐喻的理解过程。还有一些学者以漫画、音乐、电影为语料，从音频、画面、副语言等多模态角度研究隐喻(Refaie 2009，Forceville 2009，Eggertsson ＆Forceville 2009，Zbikowski 2009)。在国内外的研究成果中，将多模态隐喻与语言哲学问题相结合的研究还很少。本文将从语言哲学出发探究多模态隐喻(multimodal metaphor)的研究基础，阐明多模态隐喻的内涵及其理论基础，从多模态隐喻视角剖析维特根斯坦在《逻辑哲学论》中强调的不可说与可说的辩证关系，讨论文字符号与非文字符号的结合(integrated)，从而印证可说的不可说性以及不可说的可说性。

2 多模态隐喻

隐喻作为语言中的一种普遍现象，古往今来，一直受到学者们的关注。Aristotle在《诗学》(Poetics)中强调隐喻替代论，指出“用一个表示某物的词借喻他物，或者以属代种，或者以种代属，或者以种代种，或者通过类推，即比较”(Aristotle 1995:XXI，1457)。Harris认为隐喻是一种比较，极具想象力地将一个事物由另一个不相似的事物认同，将后者(喻体或意象)的某些特性传送或归属于前者。与明喻或类推不同，隐喻肯定一事物就是另一事物，不仅仅相似而已(Harris 2001)。以George Lakoff和Mark Johnson为代表的隐喻互动论认为，“隐喻的本质是通过另一类事物来理解和经历某一类事物”(Lakoff＆Johnson 1980:5)，或“概念系统中的跨领域映射”(Lakoff 1993:215)。在其合著的Metaphors We Live By中提出，在人们的生活中隐喻无处不在，不是体现在语言中就是表现在思想和行为里。人们无意识地使用隐喻，隐喻不仅影响人们思想交流的方式，还建构人们的认知和理解过程。离开隐喻，人们将无法生活(Lakoff＆ Johnson 1980:5)。

多媒体及异质载体时代的到来将多模态化引入语言学界，以O’Toole和Kress等语言学家为代表的多模态话语分析(multimodal discourse analysis)强调，摒弃单纯以语言(单模态话语)为研究对象，重视诸如图像、声音、颜色、动漫等其他模态的意义表现形式与社会文化和心理认知之间的关系。在上世纪90年代初，研究者已发现利用各种各样非言语模态可以实践隐喻表征。于是以Forceville为代表的多模态话语分析认知学流派从认知学角度剖析各个模态之间的相互作用及意义表征，提出多模态隐喻。

2.1 多模态隐喻的界定

多模态隐喻指源域和目的域主要通过多种模态实现表征(Forceville 2006:384)。这些模态主要包括:文字、口语、静态或动态影像、音乐、非言语声音以及手势等。每类模态中又包括许多次模态(sub-mode)，例如:静态或动态影像中还包括颜色、大小、布局等次模态。多模态隐喻系统在利用空间经验来命名非空间经验时，运用了声音、气味、味道、情感等模态以及诸如颜色、光亮、形状、角度、质地和空间等次模态实现交际的目的(Forceville 2009)。

多模态隐喻是相对于单模态隐喻而言的，Forceville指出，单模态隐喻是指目的域和源域呈现在同一模态中。常见的单模态隐喻有:文字隐喻、图像隐喻等。纯粹的多模态隐喻指目的域在一个模态中而源域在另一个完全不同的模态中。实际上，目的域和源域同时呈现在不止一个模态中，例如:电影中，概念域呈现于视觉、书面文字、口语、声音和音乐等模态。Forceville和 Urios-Aparisi引用Mark Johnson的原话说，“经典的认知隐喻研究一直只关注语言体现，这隐含某种偏见:意义只存在于语言符号中。事实上，其他符号或一切艺术形式对体验意义的构建过程与语言并无二致”(Forceville＆Urios-Aparisi 2009:4)。概念隐喻理论需要将语言符号以外的其他符号系统纳入其研究体系。多模态隐喻整合不同的符号，将本来属于某一领域的符号特征转移到另一个领域。多模态隐喻是一种跨域映射，是基于不同符号建立的不同概念域联系。

2.2 多模态隐喻的符号学基础

多模态隐喻的形成是基于语言符号体系的多层级性之上的。语言符号系统并不是一个形式上和内容相互对称的系统，在不同的符号过程和意义作用中，同一符号形式可以获得不同的内容和意义，在交际活动中发挥着不同的功能和作用。多模态隐喻正是人们超越形式和内容原有的规约性限制，在一个更高层面上对多种符号的运用和操作，是人们对不同符号的一种特殊运用形式。此外，多模态隐喻是一种在心理联想基础之上赋予事物以意义的思维过程和行为过程。Cassirer指出，“一个符号不仅是普遍的，而且是极其多变的。我们可以用不同的语言表达同样的意思，甚至在一门语言的范围内，某种思想或观念也可以用完全不同的词来表达”(Cassirer 1944:6)。

2.3 多模态隐喻的空间工作机制

多模态隐喻的工作机制与隐喻的工作机制基本相似。Fauconnier指出，隐喻是连接语言和概念化的一种显著的、普遍的认知过程，主要依赖源域和目的域两个输入空间的跨域映射;不同概念的信息能够被共同激活，在某种条件下形成跨域联结，从而导致新的推理，生成新的信息(Fauconnier 1997:168)。Grady等人提出类属空间(generic space)，他们将源域和目标域视为两个输入空间，从中提取部分结构和信息，投射到融合空间(blended space)。在融合过程中可能会形成一个新创结构。将两个输入空间的某些结构和信息映射到融合空间，两输入空间的共有成分存在于类属空间，这些信息在融合空间中就会产生新信息(王寅 2007)。

3 言与非言的关系

《辞海》(第四版)对“言”的阐述甚细，其一，“言”即讲、说、发言，如:知无不言，言无不尽;其二，“言”又为字，如:五言诗，万言书。因此，本文着重从这两层含义讨论言与非言的关系，即“文字”与“非文字”以及“可说”与“不可说”的辩证关系。

3.1 文字与非文字的关系

文字与非文字都属于符号系统，两者相互补充、相互影响，是实现意义表征的媒介。多模态隐喻旨在把基于文字符号发展起来的理论拓展到非文字的其他符号资源，验证理论的适用性，从而把意义表征推到一个更高、更广的符号学层面。多模态隐喻以指称作为图式结构，而图式结构包括视觉感知信息。正是由于视觉感知、听觉感知等表意符号相互配合和制约，共同诱发了对隐喻的识别、意义的解读。在多模态视域下分析文字与非文字的辩证关系需要考察符号系统与感知两者的物质载体，如电视、书籍和广告等。认知主体需要调动多重感官吸收多模态形式的外部符号。

在异质感官符号的冲击下，文字在表达意义方面的符号垄断地位正受到非文字等异质感官符号的冲击。多模态隐喻主要强调非文字模态视域中的视觉模态(图片)与文字之间的关系。著名法国符号学家Roland Barthes认为，文本和图片存在3种关系:(1)文字附属于图片。(2)文字与图片互补。文字文本有助于消除图片文本的不确定性及歧义。(3)文字强化图片。在许多广告、漫画等载体中，文字往往解释图片文本的内容，强化同种关键信息的表达(Barthes 1987:25)。

3.2 可说与不可说关系

言即可说的，非言即不可说的。中外古代思想史上有大量关于“言”与“非言”的论述。在中国古代，老子在《道德经》中写道:“道可道，非常道;名可名，非常名。”在西方，著名的语言哲学家维特根斯坦在《逻辑哲学论》的自序中，开宗明义地说:凡是能说的，都能够说清楚;凡是不能谈论的，就应该保持沉默，即交际过程中恰当地掌握可说与不可说的度。

3.21 可说的不可说性

维特根斯坦虽强调不可说性，但他首先提出“能说的都能说清楚”。只有充分说清楚，才能让没说的、说不出的充分显示，从而把不可言说之事保持在充分的力量之中。无论是可说的还是不可说的都实践了相应的语言意义。说者在说出字面意义之外，还有其在特定的时间、地点、场合，对待特定人说话的意图和当时的态度。换言之，说出一句话，除了要表达这句话的字面意义以外，必须同时表达某种言外之意。此外，同一句话还可以表达不同的交往意向。如果缺乏这种不可说的意向，就说不出任何有意义的话。从听者的角度讲，了解“可说的”的意义是为了进一步了解“不可说”的意义，这才算听懂说话人的意思。听者如果只注重“可说的”而不顾说者“不可说”的交往意向，那么他最多只是借一句话再现自己的意图，而没有真正进入语言交往活动中。也可以说他没有真正理解这句话的意思。由此可见，在语言交往中，不可说的支配可说的，可说的又促成不可说的表达和理解。

在视觉交际过程，感知器官能够理解源域和目的域的可说性，同时不能忽视非文字表征的不可说性，即特定的文化价值观，它是人们行为的规则、思维的方式、认知的准绳、推理的模式、评价事物的规范等。在某种程度上，表达意义的方式是文字或非文字，而意义的阐释属于文化范畴，即特定时期的文化涵义。当源域和目的域将可说的输入两个输入空间时，在融合空间会生成“不可说”的新信息。譬如2007年肯德基宣传鸡肉汉堡的宣传片引起中华文化人士的不满。肯德基借用徐克电影《七剑》中清修道士的形象及下天山的一个场景进行广告包装，并配有广告词:“师父下天山，天下必有大事”，此举引起中华文化人士的不满。文字符号表达的隐含意义是肯德基新发售的鸡肉汉堡好，把在深山修行的道士都吸引过来了。宣传片中，主人公服饰(非文字符号)映射人物的身份是道士。依据多模态隐喻空间工作机制，在融合空间中形成两个输入空间“服饰——身份”对比，进一步推理生成新信息:“道士吃肉”。显然，多模态隐喻揭示不可说性之中国传统文化价值观:道士禁忌食肉。因此，该宣传片严重违背中国传统的客观文化规律，忽视可说的不可说性。总之，可说性推动不可说性的表达，不可说性规约可说性的阐释。

3.22 不可说的可说性

不可说的可说性蕴含着两个维度:一方面是无言胜有言，另一方面是以言行事的语力，即言外之力。前者虽“沉默”，但能够清楚地表达话语的意向并实现有效的交流。后者则可通过副语言以及外部环境达到成功地交际。语言表达有时并非通过语言的字面意义来传递。字面意义有时起到的只是一种暗示作用。说话者可能通过使用某些非文字手段，例如适当的语调模式等，来作出一种暗示或不仅仅是暗示。因此，说话者和听话者都知道由说话者说出的语词的意义并不严格地在字面上表达说话者所意谓的事物。说话者所意谓的事物与语句所意谓的事物是不同一的，他所意谓的事物以各种方式依赖于语句所意谓的事物。实际上，他“不可说”的意谓比他可说的更多。例如:This surgeon is a butcher.按照隐喻空间工作机制，在屠夫的输入空间中，动作的目的是杀死动物以卖肉，而在医生的输入空间中动手术的目的是为了医治好病人，这样就在融合空间中形成两个输入空间“手段——目的”对比，医生的手术可能具有屠夫的性质(视病人为动物，目的不是为了治疗，而是……)。可见，正是通过可说的文字符号表达不可说的新信息:“医生无能”(王寅2007:474)。

通常，政治漫画家善于运用视觉模态映射漫画中“不可说的”，实践不可说的可说性。政治漫画是将现实生活中的社会、文化和政治生活以一种幽默、醒目的方式表现出来，漫画家用图像和文字符号创造出一个想象的世界(imaginary world or make-believe world)(Refaie 2009)。多模态隐喻的认知则是利用视觉模态将意义由想象的世界映射到现实世界。多数情况下，文字符号在政治漫画中起到画龙点睛的作用。政治漫画旨在揭露生活中可耻阴暗的一面，将不可说的内容通过图像表现出来。一幅由英国著名政治漫画家Nicholas Garland绘制的政治漫画充分映证了不可说的可说性。这幅漫画发表于2004年美国大选当天(Refaie 2009)。在这幅漫画中，一位面似布什、身体似婴儿的男子四肢着地，爬向一个巨大的火柴盒。虽然没有文字符号，但读者通过静态图像显然明晰布什被表征为一个婴儿，此漫画的目的域是布什，而源域则是婴儿。在婴儿的输入空间中，爬向火柴盒的动作是玩火柴;在布什的输入空间中，爬向火柴盒的动作意味着他正走近危险。在融合空间中，两者动作的目的虽然不同，但结果是相同的，都在逼近危险。当读者看到具有婴儿属性的身体时，就会想到学步婴儿的特征:贪玩、无责任感、冲动、固执……这些恰恰被画家用来映射美国总统布什不值得信任，才智不佳，婉转地表达对布什本人能力的不认可。在漫画界，这种将名人的特点利用想象的存在或物体表征出来的作品比比皆是。

语言模态(书面或口语模态)已经得到充分地关注，同时视觉模态也被提升到理论层面进行研究，一些学者开始强调以非言语的声音和音乐为源域的多模态隐喻研究。

维特根斯坦在 Philosophical Investigations中提到，音乐主题的理解与句子的理解惊人地相似。因为两者都只是人类独具的属性，都具有时间不可逆性、句法属性以及利用声音的特点(Wittgenstein 2001)。他曾提出过这样的问题，当我们欣赏音乐并理解其主题时，我们实际上在做什么?(Wittgenstein 1980)多模态(语言和音乐两种模态)隐喻给予我们回答这一问题的敏锐洞察力。因为在隐喻中，语言和音乐的作用不同，建构意义的方式也不同。语言从符号学角度提供了表征事物和关系的方式。通过这些表征，在共享指称的框架下，我们可以引导他人对事物的注意力。相反，音乐为我们提供声音模拟的动态过程。这一动态过程包括通过空间的运动(如:音高、低)、身体手势(如敲打)和情感状态(如困惑或亲密)。从概念融合理论角度，文字和音乐有时会引发两个独立且互相联系的心智空间的建构。这两个心智空间融合形成新的空间，同时，在这个空间内两个输入空间的概念相融合，这个融合空间可以理解为想象的空间。以歌曲“The Way You Look Tonight”为例。歌词和音乐产生两类心智空间:一类心智空间由描写恋人的外貌和抒发浪漫的文本创建;另一类空间是由与之相关的音乐创建。当两类心智空间相互作用映射到融合空间，就产生亲密关系发展的动态表征。引导这些概念实现融合的是类属空间，它将注意力聚焦在亲密的形式。如图示。

因此，我们可以想象恋人的亲密关系，憧憬他们一起跳舞、表达爱意或眉目传情(Zbikowski 2009:372－375)。通过音域的高低、旋律的变换、节奏的快慢以及歌词的配合，充分表达了“不可说的可说性”。

4 结束语

多模态隐喻强调文字、非文字、各种媒介共同组成的超语言文本。它以符号学为基础，通过空间工作机制揭示可说与不可说辩证关系的认知过程。本文以漫画、音乐、广告等为语料，通过文字符号与非文字符号的意义表征，运用多模态隐喻理论阐释可说的与不可说的辩证关系。然而，本文未提及多模态隐喻中的其他非语言符号如副语言、动态图像等如何实现意义表征，这些内容仍有待深入研究。

王 寅.认知语言学［M］.上海:上海外语教育出版社，2007.

谢竞贤.多模态视角下的隐喻——兼评Charles Forceville的隐喻研究［J］.外语学刊，2011(5).

张 辉展伟伟.广告语篇中多模态转喻与隐喻的动态构建［J］.外语研究，2011(1).

赵秀凤.概念隐喻研究的新发展——多模态隐喻研究［J］.外语研究，2011(1).

朱永生.多模态话语分析的理论基础与研究方法［J］.外语学刊，2007(5).

Aristotle.Poetics［M］.Cambridge，MA.:Harvard University Press，1995.

Barthes，R.Image Music Text［M］.New York:A Division of Farrar，Straus and Giroux，1987.

Barthes，R.Image Music Text［M］.London:Fontana，1977.

Cassirer，E.An Essay on Man［M］.New Haven:Yule University Press，1944.

Eggertsson，G.T.＆ C.Forceville.Multimodal Expressions of the HUMAN VICTIM IS ANIMAL Metaphor in Extreme Horror Films［A］.In C.Forceville＆ E.Urios-Aparis(eds.).Multimodal Metaphor［C］.Berlin/New York:Mouton de Gruyter，2009.

Refaie，EL.E.Metaphors in Political Cartoons:Exploring Audience Responses［A］.In C.Forceville＆ E.Urios-Aparis(eds.).Multimodal Metaphor［C］.Berlin/New York:Mouton de Gruyter，2009.

Forceville，C.＆ Urios-Aparisi，E.Multimodal Metaphor［M］.Berlin/New York:Mouton de Gruyter，2009.

Forceville，C.Non-verbal and Multimodal Metaphor in a Cognitive Framework:Agendas for Research［A］.In G.Kristiansen，M.Achard，R.Driven＆ F.R.de M.Ibáňez(eds.).Cognitive Linguistic:Current Application and Future Perspectives［C］.Berlin/New York:Mouton de Gruyter，2006.

Forceville，C.Pictorial Metaphor in Advertising［M］.London:Routledge，1998.

Harris，R.A Selection of Rhetorical Devices and Literary Terms［Z］.http://www.uky.edu/ArtsSciences/Classics/Harris/rhetform.html

Haskell，E.R.Cognition and Symbolic Structure:The Psychology of Metaphoric Transformation［M］.New Jersey:Ablex Publishing Corporation，1987.

Kress，G.＆ Leeuwen，Theo van.Reading Images:The Grammar of Visual Design［M］.London:Routledge，2006.

Lakoff，G.＆ Johnson，M.Metaphors We Live By［M］.Chicago:University of Chicago Press，1980.

Lakoff，G.The Contemporary Theory of Metaphor［A］.In A.Ortony(ed.).Metaphor and Thought［C］.Cambridge:CUP，1993.

Wittgenstein，L.Culture and Value［M］.Chicago:University of Chicago Press，1998.

Wittgenstein，L.Philosophical and Investigations［M］.Oxford:Blackwell，2001.

Wittgenstein，L.Tractatus Logical-Philosophicus(2nd ed).［M］.London:Routledge，2001.

Yu，N.Nonverbal and Multimodal Manifestation of Metaphors and Metonymies:A Case Study［A］.In C.Forceville＆ E.Urios-Aparis(eds.).Multimodal Metaphor［C］.Berlin/New York:Mouton de Gruyter，2009.

Zbikowski，L.M.Music，Language，and Multimodal Metaphor［A］.In C.Forceville ＆ E.Urios-Aparis(eds.).Multimodal Metaphor［C］.Berlin/New York:Mouton de Gruyter，2009.