儿童绘本的多模态语篇叙事与读者认知、情感体验关系探讨——以《猜猜我有多爱你》为例

陈　俊

淮阴工学院外国语学院，江苏淮安，223003



儿童绘本的多模态语篇叙事与读者认知、情感体验关系探讨
——以《猜猜我有多爱你》为例

陈俊

淮阴工学院外国语学院，江苏淮安，223003

摘要：以山姆·麦克布雷尼 (Sam McBratney)和安妮塔·婕朗(Anita Jeram)的彩色绘本图画书《猜猜我有多爱你》为例，运用多模态语篇理论框架，探讨了该绘本故事综合运用语言文字、图画、色彩、声音等多种模态共同作用，共同叙述故事的语篇特征。然后从多模态认知诗学的双重情境体验和双重主体幻觉两个视角，分析了读者在阅读这类多模态叙事语篇时的认知感受和情感体验，即读者的化身进入该绘本故事中虚拟的小兔子和大兔子世界，并与两只兔子身份分别重叠，在认知上、情感上体验她们爱的故事。

关键词：多模态语篇；《猜猜我有多爱你》；认知诗学；认知、情感体验

随着科学技术的发展，出版物的图像化已经成为一个新的特征，出版物的语篇模态已从单一的语言文字形式转变为由图画、文字、色彩、声音等相结合的多模态语篇。近年来，这种融合多种符号资源和模态、有别于传统文本形式的多模态语篇引起了国内外许多学者的关注，如绘本图画书、插图小说、卡通漫画作品、政治漫画、平面广告、影视作品、宣传片、网页等。

本文以山姆·麦克布雷尼 (Sam McBratney)的彩色绘本图画书《猜猜我有多爱你》(Guess How Much I Love You)[1]为研究对象，以多模态语篇为理论框架，从多模态认知诗学的双重情境体验和双重主体幻觉视角，探究该绘本故事的多模态语篇叙事特点和读者的认知、情感体验。

1　理论背景

1.1关于多模态语篇研究

模态是信息交流的渠道和媒介，包括语言、技术、图像、颜色、音乐等符号系统[2]。Forceville将模态定义为“一种利用具体感知过程而具有阐释性的符号系统”[3]。顾曰国[4]指出，模态是人类通过感官(如视觉、听觉等)跟外部环境(如人、机器、物件、动物等) 之间的互动方式。用单个感官进行互动的叫单模态，用两个的叫双模态，三个或以上的叫多模态。多模态主要涉及到人类通过感官(如视觉、听觉等)跟外部环境(如人、机器、物件、动物等)之间的互动方式。综合利用听觉、视觉和触觉等三个或以上感官，通过语言、声音、颜色、图像等多种符号模态创造和传达意义的方式则叫多符号或多模态。

多模态语篇就是融合了语言、图像、动画、声音等多种模态来表达信息的语篇[5]。张德禄也对多模态语篇进行了定义，他认为，运用感官感觉如视觉、听觉、触觉等去进行交流交际的过程中，则离不开语言文字、图像图形、颜色、声音等这些多种模态形式和符号[6]。就交流交际的本质而言，其过程中所使用的话语是多模态的，而不是一种模态的，只有这样通过多种途径、渠道和模态形式，才能实现将所要建构的含义和所要传达的意思表达地更加清晰。潘艳艳也认为，对多模态语篇进行分析就是为了研究单个模态对话语意义的产生所起的作用，同时关注各个模态之间是如何实现互动的，从而使多模态语篇获得意义[7]。Kress和van Leeuwen将社会符号理论和功能语法理论中的一些知识运用到视觉图像这种社会符号分析中，提出了多模态视觉图像分析理论，它包括三个方面，即图像的再现意义、图像的互动意义以及图像的构图意义[5]。这为多模态语篇分析提供了分析方法和理论基础，但是这一多模态视觉语篇分析方法却忽视了读者或观看者的认知过程和心理感受。

目前，关于多模态语篇的研究主要集中在多模态隐喻、转喻以及多模态视觉语法方面，其主要关注多模态的呈现形式、语篇中多种模态的隐喻转喻构建、多种不同模态的相互协同作用、视觉图像的再现、构图和互动意义等方面，但是对于多模态语篇的读者认知感受和情感体验等的研究鲜有涉及。

1.2多模态语篇与认知诗学

认知诗学是21世纪初在认知语言学和认知心理学的基础上发展起来的一门交叉、新兴学科。以色列的Reuven Tsur首先论述了认知诗学，他认为：“认知诗学是一种文学批评理论，是运用了认知科学的一些分析工具，来探究人类的信息处理过程如何影响和制约诗歌的语言与形式，为文学文本结构与所感知效果之间的关系做出系统的解释。”[8-9]认知诗学的主要理论包括概念隐喻、图形—背景理论、脚本和图式、文本世界理论、可能世界理论以及心智空间等。

Gibbons在自己多篇论文的基础上出版了《多模态，认知和实验文学》多模态认知诗学方面的专著，构建了多模态认知诗学的研究框架[10]。Stockwell认为，认知诗学是关于文学的阅读。认知诗学关注文学语篇，关注读者的阅读过程中认知情感体验[11]。多模态语篇是在同一语篇中融合了多种符号资源的一种新型文学文本形式，多种模态形式在这类文学文本中相互作用、共同完成叙事。读者或观看者在阅读或观看多模态语篇的时候，会因为语篇中不同模态的协同互动作用而产生认知体验、情感认同或涉身的动作等心理、情感甚至行为动作的反应。Gibbons对此进行了研究和概括，提出了双重情境体验、双重主体幻觉等多模态认知诗学分析方法。

本文试图结合多模态语篇分析理论知识，从分析多模态语篇的表征形式和读者的认知入手，尝试运用多模态认知诗学的双重情境体验和双重主体幻觉的分析方法来考察多模态语篇的叙事特点与读者认知、情感体验之间的关系。

2　儿童绘本《猜猜我有多爱你》简介及其主题意义

本研究的对象为彩色绘本图画书《猜猜我有多爱你》(Guess How Much I Love You)。该绘本图画书的作者为Sam McBratney，绘图者是Anita Jeram，于1994年首次在英国出版。国内第一版由明天出版社于2008年出版。

在儿童绘本《猜猜我有多爱你》中,作者和绘图者通过语言文字、图像、颜色甚至声音和肢体动作等多种模态符号的互动互补作用，来表达该绘本图画书的爱的主题。这一爱的主题意义仅从该绘本的封面(图1)即可略知一二，其封面至少由文字、图像、颜色等几种模态组合而成。该绘本书名《Guess How Much I Love You》(《猜猜我有多爱你》)为典型的语言文字模态，位于该绘本封面的顶部，从其中英文“I”和“You”就可以判断该图像的再现参与者有两个，即“我”和“你”。而在此过程中，读者或观看者通过动词“Guess”和“Love”(“猜”和“爱”)，就可以推断两个再现参与者应该是人。但当读者或观看者将其目光从顶部向下方移动时就会发现，原来他们以为再现参与者是人的想法有偏差，原来两个参与者是两只兔子。此时，两只兔子的图像模态作为辅助信息补充说明文字模态，同时插图者将两只兔子的颜色绘成栗色，兔子周围的小草和草坪绘成绿色，这样，文字、图片、色彩协同构建该封面的构图意义。Lewis[12]认为，图与文的关系是相互激励的、灵活的和复杂的。同时，栗色(深棕色)的兔子更惹人喜爱，草坪的绿色象征着友善、和平、温馨、成长和爱。如此的绘本封面设计容易让绘本的阅读对象——家长们、孩子们从内心接受，更愿意阅读，并与两只栗色兔子一起体验、分享他们的故事。接着，当读者或观看者翻开这一绘本书时，他们便会发现从故事的开始到结束都是围绕着“一只小兔子跟一只大兔子不停地在比谁爱谁更多、更远、更深这样问题而展开”的。虽然整个故事中小兔子没有大兔子跳得高，没有大兔子手臂长，也没有大兔子的想法多，小兔子虽然不能用语言来表达对大兔子的爱，但是，他还是非常认真地对大兔子说：我爱你！

图1　《猜猜我有多爱你》英文版封面

那么，当绘本作者、插图者通过文字、图像以及颜色等多种模态的形式向读者或观看者讲述这样一个关于爱的故事时，读者或观看者的内心会出现怎样的认知感受和情感反应？这是本文要解决的主要问题。

3　儿童绘本的多模态表征与读者认知情感反应

儿童绘本主要指儿童故事图画书，21世纪初被介绍到中国，促进了国内儿童绘本的创作和出版。儿童绘本以图像、文字以及颜色协同作用，共同讲述故事。因此，它具有典型的多模态特征。因而，本研究在对儿童绘本中的语言、图像、色彩等多个模态互动表征方式进行分析的同时，尝试运用多模态认知诗学的双重情境体验和双重主体幻觉的分析方法以考察读者在阅读、理解多模态语篇叙事时其认知、情感上的涉身体验。

双重情境体验。双重情境体验指“多模态小说极易诱发读者的双重情境定位感，即读者会自觉地意识到心理和物理两个层面上的自我同时参与叙事体验”[13]。关于超文本语篇中的双重情境体验，Ensslin有所论述，他指出，读者或观看者通过阅读或观看这种超文本语篇，而成为该语篇的接触者、使用者，作为接触者、使用者，在阅读和观看这类语篇的过程中将会采取一些物理行为[14]。这些物理行为如手拿着书、眼睛盯着文字和图片、口中朗诵着其中的内容，这一系列物理行为参与语篇叙事。同时，这类语篇还通过手势、视觉、听觉等多种感官符号的表征形式，将故事中的人、事、物等化身进入虚拟世界、读者或观看者的心理世界，从而让他们经由这种涉身的方式体验作者和图画者所创作的故事世界。这种双重情景感知包括各类身体操作、宽泛的心理投入、指示中心转移和各类自我投射认同方式。

在儿童绘本《猜猜我有多爱你》中，作者和绘图者通过语言文字、图像、颜色甚至声音和肢体动作等多种模态符号的互动协同作用，来表达该绘本图画书的爱的故事。如前所述，从作者和绘图者独具匠心的封面设计可见一斑。当读者接触这一绘本时，他们的目光可能首先被处在该封面中间的图片所吸引，即一只栗色小兔子拉着一只栗色大兔子的长耳朵，然后其目光将会跳跃到上下方大写的文字“GUESS HOW MUCH I LOVE YOU”，这时可能将这些文字朗读出来。此时，“眼睛”的阅读路径不再是常规的、线性的，紧接着其目光可能跳跃至左下方和右下方的两个稍小一点的栗色兔子图片。所以，读者的阅读路径是跳跃型的：即从拿起该绘本书——封面中间的栗色——栗色兔子图片——位于该图片上下方的大写字体——左下方和右下方的栗色兔子小图片。在这一过程中，读者涉身地运用了触觉、视觉、听觉、身势等多模态感官方式进行了体验的阅读，并会结合封面中的图片和文字思考“猜猜我有多爱你”这个问题，然后迫切地打开该绘本的扉页开始找寻答案，进而开启阅读体验之旅。当读者打开该绘本的第一页便会发现，一只栗色小兔子趴在一只栗色大兔子的头上，并拉着大兔子的大耳朵不放，小兔子要确定大兔子在听他说话，“猜猜我有多爱你？”(图2)

图2　小兔子确定大兔子在听她说话

家长们或小读者(儿童)读到或看到这一情景时，便可能学着故事中的小兔子拉着他们父母的耳朵问同样的问题。这样，读者(包括小读者和他们家长们)便不由自主地通过肢体(用手拉着家长们的耳朵)、语言(让他们父母听他们说话或家长们读绘本故事)、心里伴随着绘本故事中小兔子和大兔子相互问着“猜猜我有多爱你”的情景，寻找问题的答案。小兔子第一次回答说：“这么多。” 他张开两只手臂，伸得尽可能远(图3)。而大兔子手臂更长，所以张开地更大，并说道：“我爱你有这么多”(图4)。接着，小兔子觉得他的胳膊没有大兔子举得高，他倒立着脚趾不如大兔子够得远，甚至跳起来也不如大兔子高，最后小兔子想累了，看着月亮告诉大兔子“我爱你，一直远到月亮那里”，而大兔子没有急着回答，而是把栗色的小兔子轻轻地放到了树叶铺成的床上，低下头来，亲吻他，祝他晚安。然后，大兔子躺在小兔子的身边，微笑着轻声地说：“我爱你，一直到月亮那里，再从月亮上——回到这里来”(图5)。该绘本作者和绘画作家通过小兔子和大兔子的相互对话即语言文字模态、听觉模态，栗色的小兔子和大兔子、栗色的树干、绿色树叶和小草等色彩模态，小兔子和大兔子比谁更爱谁时所使用的“手”势、体势模态，读者在阅读该绘本时朗读故事以及儿童听故事、看故事时的视觉和听觉模态来协同叙述这一爱的故事。爱的故事“引导读者的身体行为反应，彰显读者与叙事之间的内在关联”。如通过展开双臂、倒立、跳跃等身体行为反应来体验绘本中虚拟的故事世界，即读者包括小读者(儿童)的身体化身进入虚拟的小兔子和大兔子世界，同时在认知上、情感上体验着她们的爱的故事。

图3　爱你“这么多”

图4　“我爱你有这么多”

图5　爱你到月亮再回来这么多

双重主体幻觉。赵秀凤[13]认为，双重主体幻觉是“读者在阅读多模态文学时产生的一种双重身份幻觉: 一个是位于话语世界的肉身自我，另外一个是文本世界内的符号表征物——人物。”这种双重身份虚幻感来源于读者所阅读或观看的多模态语篇里的故事人物与故事外现实生活中读者之间的身份重叠。Gibbons[10]认为，读者在阅读、观看多模态语篇时更容易产生这种双重主体重叠感觉。读者或观看者包括小读者(儿童)在读、看、听多模态语篇叙事绘本《猜猜我有多爱你》(GUESS HOW MUCH I LOVE YOU)时，了解到这是关于一只小兔子和他的母亲(或父亲)在睡前攀比自己有多爱对方的故事。读者们无不被小兔子天真无邪的爱、大兔子无私无尽的爱所感动，他们感动大兔子总比小兔子的爱来得多、来得高、来得深、来得远。这时，故事外现实中的大读者们，如果是爸爸、妈妈、爷爷、奶奶、外公、外婆等家长们，他们会感同身受地觉得他们仿佛就是该故事中的大兔子，他们的孩子便是那只小兔子，他们(家长或大兔子)给予孩子(小兔子)无私、无尽的关心和爱护；小读者们(孩子)在看、读和听这一故事时，感觉自己好像故事中的小兔子，天真、可爱，心中充满爱。尤其是当小读者们看到小兔子尝试着通过张开双臂、倒立、跳跃等方式来表示他对大兔子的爱时，小读者们便会把自己幻想成故事中的小兔子，然后也会问他们的家长们同样的问题——“猜猜我有多爱你？”此时故事外的大小读者与故事里的人物(大兔子和小兔子)身份重叠，他们能够真切地感受到对方对自己那种无法用简单语言来表达的、更是无法用任何标尺衡量的爱。在小兔子和大兔子简短而纯真的对话中，在小兔子和大兔子深爱着对方的故事中，无不展露出无边的亲情，温馨感人。这也激起了故事外读者与故事内人物在心理上、情感上的越界共鸣。

4　结束语

本文以具有多模态语篇特征的儿童绘本故事《猜猜我有多爱你》为研究对象，在多模态语篇的理论框架下，运用多模态认知诗学分析方法，包括双重情境体验和双重主体幻觉两个视角，考察了该绘本的语言、图像、色彩等多个模态互动表征叙事的特点，探讨了读者综合运用触觉、视觉、听觉、身势等多模态感官进行的认知阅读感受以及读者在情感上对该绘本中爱的故事的体验。

参考文献：

[1]Sam McBratney,Anita Jeram.Guess How Much I Love You[M].London:Walker Books,1994:1-28

[2]朱永生.多模态话语分析的理论基础与研究方法[J].外语学刊,2007(5):82-86

[3]Forceville C.Non-verbal and Multimodal Metaphor in a Cognitivist Framework:Agendas for research[C]//Forceville & E.Urios-Aparisi(eds.).MultimodalMetaphor-Applications of Cognitive Linguistics.New York:Mouton de Gruyler,2009:22

作者简介：陈俊(1977-)，江苏涟水人，硕士，讲师，主要研究方向：认知语言学、多模态及外语教学。

基金项目：江苏省大学生创新训练计划项目“工科院校学生语言能力对英语口语的影响调查”(201511049046X)；淮阴工学院科研基金项目“大众传媒中多模态隐喻构建的城市形象研究”(HGC1418)。

收稿日期：2015-06-25

中图分类号：H0

文献标识码：A

文章编号：1673-2006(2015)10-0076-05

doi:10.3969/j.issn.1673-2006.2015.10.020