认知诗学视域下“情绪”的多模态转喻构建

赵秀凤 李晓巍

〔摘要〕 在多模态文学语篇如绘本中，故事内人物的各类情绪鲜用抒情词语直接表述，主要是运用色彩、图景等视觉空间元素，配以简约的叙事性文字，协同启用转隐喻映射机制，创造感同身受的情绪感知体验。本文首先以几米的绘本《时光电影院》为例，详述多模态情绪转喻的三种类型——情绪的生理效果代情绪、感知物代感知者情绪和外景代内情，继而从协同空间、转喻的多模态协同表征两个维度，提出多模态情绪转喻表征系统。我们还剖析了几米绘本中多模态转喻的涉身体验和民族文化动因。本文认为几米绘本的盛行在一定程度上归功于多模态转隐喻的巧妙运用，藉此激活读者的普遍性身体感知图式和民族性审美感知图式，得以把人物内心的情感感知世界外化并传递给读者，在引发读者人生体味和思考的同时，创造无以言说的审美体验。

〔关键词〕 多模态；转喻；几米；认知诗学

〔中图分类号〕H0 〔文献标识码〕A 〔文章编号〕1008-2689（2014）06-0001-07

引言

自从转喻和隐喻被视为认知和思维方式[1]以来，无法触摸的抽象情绪是如何被概念化并进入到表达交际层的问题就一直是认知隐喻和转喻学研究的热点[2][3][4][5][6][7][8][9][10][11][12][13]。但是，这些研究大多只关注情緒的语言表达，忽视了非语言符号或多模态符号对情绪的协同表征。Forceville [14] 的“愤怒”图像隐喻研究开创了非语言情绪隐喻研究的先河。对照Forceville（ibid）概括的“愤怒”隐喻在漫画语篇中的规律性特征，Shinohara & Matsunaka [15]以日本漫画为例，基于前人研究[16]发现了“愤怒”隐喻的文化模型特征。这两项研究推动了情绪的图像隐喻研究，加深了我们对隐喻思维性本质的认识[17]。但是，从他们对图像符号的分类来看，他们没有区分转喻和隐喻，他们的“愤怒”隐喻研究更倾向于形式符号学。而且，他们研究的文本是黑白式漫画，没有涉及到色彩对情绪的概念化表征。

本文以几米的彩色绘本《时光电影院》（以下简称《时》）为例，基于认知转喻理论框架，从认知诗学的角度，探究绘本叙事中人物情绪的多模态转喻构建特征，重点考察作者如何整合图像、文字和叙事策略在有限的空间激活读者无限的认知审美感受，获得艺术审美体验。

一、几米及其绘本

几米，本名廖福彬，台湾著名绘本作家，1998年开始创作，开启成人绘本风潮。至今已经创作40多部绘本，代表作有《向左走，向右走》（1999）、《地下铁》（2001）、《月亮忘记了》（1999）、《微笑的鱼》（1998）等。几米的作品风靡海内外，已有美、法、德、西、意、希、韩、日、泰等国译本，多部作品改编为音乐剧、电视剧或电影。

几米的绘本，不同于儿童图画书，也不同于普通的图文小说，是一种彩图和美文并茂的叙事文学样类，其理想读者不再是儿童，而是成人；其主题往往涉及人生的根本问题，体现作者对人生、爱情、友谊、死亡等核心问题的思考。几米用美轮美奂的色彩图景和清新淡雅的文字转喻和隐喻出简单却发人深省的人生旋律，其中故事内人物的情绪起伏是最令读者魂牵梦绕的华彩乐章，也是引发几米热的基点音符。如其早期绘本《听几米唱歌》、《黑白异境》、《又寂寞又美好》、《开始》为黑白作品，色彩暗淡，折射出他病痛折磨下灰暗的内心世界。病愈后，几米全身心投入绘本创作，事业发展顺利，心情愉悦，创作热情高涨，因此对于色彩的需求也愈来愈烈，最后普通的水彩画已无法满足他对炽烈情感的表达而改画大幅色彩艳丽的油画。用有形的线条、色彩、图景和简约的文字转隐喻抽象的情感和丰富的内心世界是几米绘本的制胜法宝。几米将欢乐、忧愁、哀伤、孤独等情绪融入图画和文字中， 用以彩图为主、文字为辅的绘本形式，再现现实生活中种种微妙的情感体验和情绪变化。几米非凡的人生阅历、独特的地域文化语境以及高深的中西合璧的绘画造诣，使他的绘本具有了一种难以名状的神奇魔力，尤其是绘本中那些精妙绝伦的转隐喻图景，折射出常人难以言说的微妙情感，吸引着一批批不同年龄段的读者沉浸其中，乐而忘返。

《时》出版于2012年4月，以第一人称视角讲述了“我”与电影院相关的凄婉的成长故事。该绘本用简单的文字和充满梦幻的图画，以电影院为支架，构筑了一个关于情感、时光和成长的抒情叙事。这一叙事正是依托植根于人类体验共享性和文化抒情模型独特性的转隐喻，生动地再现了人生的悲欢离合和生命的无奈，在读者心中激发了几米式感动（http：//www.douban.com/note/189676738/）。从书名《时光电影院》（英文书名：The Rainbow of Time）可以看出，该部绘本是以时间为轴的空间叙事。“电影院”是一个人们熟悉的情感交流的场所，用空间性场所激活在场所中发生的人和事，在推进叙事的同时，展演情感，如图1所示，该立题本身就是一个庞大的转喻网络。

该绘本以电影院为空间基点，基于看电影原型图式，围绕看电影的人之间、看电影的人和电影里的人或事之间的关系和情感展开立体叙事。人物的喜怒哀乐通过转喻-隐喻机制，视觉地呈现在读者面前。

二、多模态情绪转喻的类型

我们把情绪的多模态表征按照认知操作机制划分为三类，即转喻类、转隐喻类、隐喻类。根据认知范畴观，这三类构成一个从转喻到转隐喻再到隐喻的连续体。本文重点讨论多模态转喻。其他类别将另文论述。

（一）情绪的生理效果代情绪

在以视觉图像符号为主导的绘本中，情绪最直接、频率最高的表征方式当然是转喻，“情绪的生理效果代情绪”（PHYSIOLOGICAL EFFECT FOR EMOTION）。这也是所有图文语类的共有特征。在绘本中，最为普遍的情绪转喻是用人物的面部表情代情绪。如，用嘴巴大张、头发直立、双目圆睁代“恐惧”；用面颊微红、嘴角上扬、眼睛微闭代“喜悦”；用眼角下垂、嘴巴微闭代“悲伤”。除面部表情外，身体姿势也是频繁使用的情绪转喻载体。如图2中，“我”双手抱着妈妈留下的美丽的黄丝巾，闭目吸气，这一“嗅闻”的动作代动作的驱动情绪“思念”。图3中，爸爸双手捂住眼睛，低头，代哀伤。图4中“我”和“爸爸”双臂环绕头部，斜靠在椅子上，闭目，嘴角上扬，脸颊红润，身体的姿势与面部表情一起映射看完电影后内心的喜悦与满足。

此外，绘本还大量运用定格动作激活整个事件链条，与因果理想认知模式一起，转喻情绪[18][19]，如图5。主人公女孩仰起头跳跃的动作瞬间代去看电影的事件系列，虽然所配的文字“但不知道为什么，最后我还是常常一个人去看电影”没有显性表征情绪，但是，图画中的定格动作会很容易激活读者对其快乐情绪的解读。

由于情绪的生理反应根植于人类共享体验，该类转喻的载体与目标之间的概念差不大，其转喻性不易被读者觉察，在解读过程中，读者会自动启用知觉理想认知模式[20]（287），把知觉器官或知觉方式解读为知觉本身。有时，读者会在缘由理想认知模式的作用下，联通原因-结果转喻激活路径，把人物的可见动作解读为其内心的无形情绪。

该类转喻“情绪的生理效果代情绪”在语言中的体现比比皆是，如“咬牙切齿、横眉竖眼、脸红脖子粗、垂头丧气、高兴得跳起来”等等。与语言转喻相比，图像转喻的形式和载体具有一定的局限性，如受二维图画符号的局限，绘本中很少刻画人的内脏器官或血管等精确载体转喻情绪。

（二）感知物代感知者的情绪

鉴于该部绘本叙事的支点为电影院，在电影院里“观看电影”的场景贯穿了整部叙事。共57个看电影画面，其中45幅观众面向读者，通过电影院里的情景，如一排排座椅的颜色和看电影的人的表情和衣著烘托看电影人的心情。在该类图像中，看电影的人是读者注意力的焦点，透过感知者的生理反应和电影院的场景，体会感知者的情绪。而另有8幅图呈现的方向与之相反：座椅和座椅上看电影的人背对读者，位于图画的底部，颜色灰暗，所占空间只有1/5左右，而所看到的电影镜头中的景象被高度前景化，占据4/5篇幅。读者应邀采用故事内人物的视角，与人物一起观看电影，体悟电影镜头里的情与景。在每一幅这类图片中，电影镜头所呈现的内容和色调总是与观者的心情相一致。如图6镜头里，一个男孩和女孩欢笑着荡秋千，画面的颜色为大面积的金黄色和橙色，夹杂着丝丝墨绿，男孩和女孩的衣服鲜艳亮丽。画面底端的文字为“啊！电影的人生多美好……”。此时此刻，故事内14岁的“我”在电影院里认识了同样热爱电影的男孩“他”。虽然在文字上，第一人称用平淡的口吻，简单地叙述他俩的相识，没有直白的心情表达。但是，当读者看到这样一幅画面和文字，会自然地产生移情，跟两个小伙伴一起快乐地品味着电影中的世界。与该图结构相同，图7也是运用以感知物代感知者情绪转喻机制，表征29岁的“我”与“他”在电影院里看电影时的喜悦心情：位于前景的电影镜头，色彩亮丽，天空五彩斑斓，两个年轻人正骑着摩托车，风驰电掣行驶在黄色的滨海大道上。道路蜿蜒出心的形状。有趣的是，所配的文字同样是“啊！电影的人生多美好……”。同样一个感叹句，表层是赞叹电影，流露出恋爱中“我”的喜悦和快乐。语言与文字一起，把抽象的情感外化为可视的符号。

结构虽然相似，但是，电影中的镜头在不同的心理阶段变换着不同的景象和色彩。如图，也是立式上下结构，底部同样是一排高高的座椅立在黑暗中，一个小姑娘背对着读者，只露出蓝色蝴蝶结和马尾辫，独自坐在椅子上看着电影。大幅电影画面被涂抹成深蓝色和黑色，一头海豚正跳出海面，远处是黑漆漆的夜色，天空也乌云密布。与其他同类画面不同的是，该图没有文字，但是，了解故事语境的读者会深刻体会到“此时无声胜有声”，小伙伴“他”离开后，“我”再次陷入孤独寂寞。该图前页的文字：“每当我觉得疲惫不堪时，我就会踏入电影院，躲进某个寂静幽渺的世界里”。文字“寂静幽渺”描绘的是电影的“世界”，不是直接指向自己的情感，但是，前景化的大幅图画令“我”的情绪一览无余。

正是基于知觉理想认知模式，充分利用转喻映射机制，作者把感知者的情绪外化为被感知的事物，使读者得以走进故事内人物的内心世界，感同身受。

（三）外景代内情

受中国传统文化模式和天人合一思想的影响，在我国文学艺术中，借景抒情近似于情绪转喻规约：人物的内心情绪，不付诸于言说，用“古道 西风 瘦马”来转喻烘托“断肠人的悲伤”。这种转喻植根于民族文化理想认知模型。在这一模型中，自然界万物与感知者的心情彼此映照，你中有我，我中有你，如阳光明媚与喜悦、秋风萧瑟与悲伤、电闪雷鸣与愤怒在中国人的感知图式中总是相影随行，相互激活。景与情的匹配共现形成了中华民族特有的审美感知图式，并在文学艺术的世代传颂中不断固化下来，使得以景代情成为一种高度模式化的情绪转喻。

用以映射情感的外部景致包括自然风景、日月星辰、天气现象等。如图8中，所配文字为：一个寒冷春天的早晨，他哀伤地说，夏天过后，他们全家就要移民西班牙。图画刻画的则是一副秋天的萧瑟景象：狂风大作，树叶飘零。该景致与春天的景致相距甚远，但却与独自站立在风中遥望某处的“女孩”情景交融，共同映射得知这一消息后女孩内心的忧伤。又如图9，图画中位于前景的是两个正在依依惜别的小伙伴，而背景则是占据整幅图片2/3空间的金黄色的太阳和粉色的天空以及彩色的云朵。当读者读到文字“我们彼此约定，总有一天，一定一定要在电影院里重逢”就会明白，此时此刻，故事内的人物在约定的感召下满怀喜悦，对未来的相聚充满期待，因此，图片中的景致映射人物的喜悦之情。

上述外部景致，无论是自然风景还是日月星辰，都与故事世界的其他元素和谐一致，所构建的场景符合读者的百科知识图式，因此，我们说它们是现实主义再现。与之不同，在该绘本中还有一种图景具有超现实主义特征，因为它明显违背读者的百科图式，如图10。图画中，电影院里雪花飞舞，一排排紫色的座椅上也铺满了雪花。百科图式告诉读者，室内电影院里不可能有雪花飞舞。在该语境下，超现实主义的图景是作者用以映射人物心情的艺术载体，用于映射独自坐在电影院里的“我”内心的寒冷和凄凉。

同样，图11 也以超现实主义手法呈现了一个七彩的电影院场景。左右对开的双页整合出一副完整的图画，无数排黑色的座椅一字排开，偌大的电影院里只有“我”一个人：打着一把灰白色雨伞，留着眼泪，双颊红润。奇怪的是电影院上空飘着十几朵颜色各异的亮丽云彩，从云彩里飘出七彩的雨丝。故事内，小伙伴“他”离开后，“我”在孤寂中慢慢长大。正如前一页底端的文字所言“我循着光前进，黑暗不再那么令人畏惧”，此时的“我”虽然孤寂，但在电影的世界里找到了慰藉，对未来也充满了信心和希望。在该语境中，七彩的云朵和雨丝完美地映射出“我”的情绪。

有一点需要指出，虽然我们基于“借景抒情”的文化审美体验模式强调景与情的文化语用共现关系，把“外景代内情”视为“转喻”，但是，景与情的对应关系是在长期的心理感知过程中沉淀形成的，存在着强有力的感官体验理据。如在一个很大的物理空间内，如果人烟稀少，空旷无边，人就容易产生渺小、寂静、冷清、孤独的感觉。这一感官体验投射到人的心理空间，对应于人的内心世界，就会自然用以映射人的“冷清、寂寞”的情绪。同样，在寒冷的天气里，人的身体感官接受到冷的刺激，会迅速把冷的信息传递到大脑，大脑调用陈新代谢系统加速工作，血液循环系统退守到第二道防线，人就感到冷。当人们遭受害怕、沮丧或伤心等情绪困扰时，身体感官也会产生类似的心理感知体验。共同的心理感知意象为两个域之间的跨域映射提供了生理基础，因此，用寒冷的天气或景象如大雪纷飞映射低沉的情绪就成了一个具有普遍性的“转隐喻”。之所以称之为“转隐喻”是因为如上所述，这一现象不但含有转喻的性质，而且从概念域的角度来看，基于知觉感官体验的知觉域与心理情绪域之间的体验像似对应，从生成机制上来说，属于跨域映射，因此，也具有浓重的隐喻成分。

三、情绪转喻的多模态协作

从上述实例分析可以看出，几米的绘本主要是依赖构图、色彩、图像等视觉图像符号表达意义，文字起辅助作用。尽管如此，几米绘本毕竟不是画册，而是深受成年读者喜爱的文学艺术品，因此，其中的文字虽然简约，但是，图和文以一种纯粹的、高雅的文学艺术的方式完美结合，成就了它的盛行。图和文以多种方式协作，并与叙事策略密切配合，读者在多种模态的协同激活下才得以识解和领悟转喻所映射的各类情绪。

关于转喻的多模态协同构建方式，我们认为应该区分两个维度：协同空间和模态表征。协同空间指表征转喻载体或目标的文字和图像所在的画幅，如果在同一画幅中出现，我们称之为幅内协同，如果其中之一存在于前一或前几页画幅中，图文之间就是跨幅协同。模态表征指表征转喻载体或目标的模态分布类型。鉴于绘本语类的语篇特征，我们区分了2种基本类型，他们是：目标表征型，即转喻的目标由文字或图像表征出来；目标推衍型，目标没有任何的表征方式，读者只能在语境中，在图或文载体的激活下，解读出其目标。绘本中情绪转喻的多模态图文协作系统如下：

在绘本《时》180幅图中，165幅图文并茂：以图为主，文字为辅。但有15幅只有图像，没有文字。在该情况下，文字的作用由上文体现，在逻辑语义上是对上一页图或文的详述、延展或加强。

从转喻载体的表征分布来看，《时》中90%以上的情绪转喻呈现为幅内协同，图和文在逻辑语义上或详述，或延展，或增强[21]（367），相互配合，共同转喻构建抽象的情绪。如图13。

文字“我永远忘不了第一次看电影的惊喜”，表征情绪“惊喜”，图像形象地刻画了父女一起看电影的惊喜表情，用具体的面部特征“双眼圆睁，面带红润”转喻惊喜情绪。而且，图像还增加了空间、场景等附加信息，这些信息为读者在认知加工处理中的因果转喻推衍提供了通道。图13属于典型的幅内协同，且图担当转喻载体，文字担当转喻目标。

在《时》中，多数情绪转喻为目标推衍型，即情绪转喻的目标并没有文字表述，而是由图或图文协同表述载体，上文图6即为该类原型。文字“啊！电影的人生多美好……”，并没有直接表述电影观者的情绪，只是在感叹所观看的电影世界里的美好人生。读者对故事世界内观者的“高兴”情绪这一目标的解读只能经由文字和前景化的“欢乐场景”图像推衍出来。

尽管众多情绪转喻为幅内协同，在《时》中仍有15幅为跨幅协同，全部表达强烈情绪；其中14幅的情绪目标即使在语境中也无文字表征，需要读者根据上文的语境推衍出来，如图10，其上文语境为：“我”心爱的“他”在电影院门口与“我”挥手道别，杳无踪影。图10为双页对开，空荡的电影院里雪花飞舞，“我”裹着厚厚的棉衣呆坐在第四排第4座。在该语境下，飞舞的雪花转喻映射寒冷，天气之寒冷隐喻感受者内心之寒冷；空荡的空间隐喻感受者空落的心境。该图以超现实主义手法形象地转隐喻人物“我”之“哀愁和悲凉”。

这14幅为跨幅映射，图-载体，目标推衍。与之不同， 图14同为跨幅映射，但是，其目标由前一幅的文字明确表征“妈妈，我好害怕……有一天你就坐在我的面前，但我却认不出你是谁？”。图14中的人物“我”双臂环抱，嘴巴和双眼大张，头发斜立，以“惊恐”的身体反应转喻“害怕、惊恐”情绪。这是该绘本中唯一的一个跨幅映射，图-载体，文-目标型转喻。

有趣的是，在15幅无文图像中，除2幅为对开右侧页为图像外，其余13幅均为左右对开整图铺展，以页面空间之大映射情绪之强烈。

我们对《时》中的多模态情绪转喻进行了统计，协同空间与模态表征之间的分布特征见表1。

表格对情绪转喻的统计只限于图文所表达的主旨情绪转喻。从上表中可以看出，91.6%的多模态情绪转喻为幅内协同，跨幅协同仅占8.4%。这很容易理解，如果跨幅协同占主体，就会加重读者的认知负担，无法最大限度地实现绘本的艺术审美效果。

從频率来看，多模态情绪转喻首先为幅内协同目标推衍型，占83.3%。这一分布特点符合图文文学叙事语类的主旨功能特征。图文文学叙事语篇不同于抒情诗，图文表征的首要功能是叙事，是故事的延展。但是，情绪、情感是文学艺术审美特性的核心要义，因此，图文协同作用激活读者对目标情绪的心理推衍，继而诱发移情，令读者产生感同身受的情绪认同，从而实现绘本的艺术审美价值。多模态情绪转喻的次类为幅内协同目标表征型，使用频率为8.3%，其表征情绪目标的文字为“害怕、感伤、惊喜、欢愉、愤怒、悲伤”等基本情绪词汇，图像为这些抽象的情绪词语所表达的情感提供具体的形象化的表征，提升绘本的视觉感知力。

在大量图文协同表征语境中，插入部分跨幅协同，用大幅图像表征强烈情感，打破绘本读者的默认阅读图式，产生偏离效应。这一特征具有强烈的认知诗学意义。