优秀儿童绘本的多模态表征形式及其意义再现

陈 俊，李福莉

淮阴工学院外国语学院，淮安，223001

优秀儿童绘本的多模态表征形式及其意义再现

陈 俊，李福莉

淮阴工学院外国语学院，淮安，223001

为了研究儿童绘本中各个模态之间在叙事过程中的相互作用和意义构建方式，选取了获得国际儿童绘本大奖的优秀作品为研究对象，运用多模态话语分析的相关理论，分析了其中的图像、文字、色彩等模态的表征形式，发现绘本中图像能够再现参与者的客观信息，文字、色彩起到补充说明的作用；同时也发现有时文字、色彩与图像信息并不相互补充，需要读者进行更多解读才能实现其意义再现；有时图像与文字、色彩在叙述故事过程中呈现出相反的信息，需要读者加以思考，挖掘其隐含意义。

优秀儿童绘本；多模态；模态关系

1 问题的提出

绘本(Picture Book)，也叫图画书，一般指以绘画为主，并且适当附以少量文字或者没有文字的书籍。它是一种比较独特的图书形式，强调图画与文字之间的内在的相互关系。目前，市场上绘本图书读者多以儿童为主，这样的绘本图书也称为儿童绘本。儿童绘本普遍使用具有叙述故事能力的图画、浅显简洁的语言文字等多模态视觉符号给孩子讲故事、讲知识，特别是优秀绘本故事中所蕴含的道理、丰富的视觉化图画及多样化符号，可以极大地丰富孩子的想象空间，启迪孩子的思维。对儿童绘本的分析、研究有助于规范国内儿童绘本的出版，提高儿童绘本的质量，因此对儿童绘本的研究逐渐引起了学者的关注。Perry Nodelman从视觉心理和符号学等方面解剖儿童图画书的图文关系、图像叙事和符号意义[1]；Gibbons从认知诗学视角分析了带有印刷图形和插图的、可供成年人阅读的小说，考察了读者在阅读这类多模态语篇过程中的体验和审美感受[2]24；David Lewis对儿童绘本里的图像与文字关系进行了研究，认为图像与文字可以相互协调，共同叙述绘本的故事内容，图像与文字又能交替轮流进行，而且是相互激励的、灵活的和复杂的[3]。陈文亮分析了几米的绘本作品，认为几米绘本作品中图像与文字相互协调，共同表达绘本故事内容和所隐含的比喻意义[4]；周俐对儿童绘本多模态语篇中的三种模态——图像、文字甚至读音所起的作用以及图像、文字甚至读音间的关系作了详细的分析[5]；赵秀凤等对儿童绘本中多种模态叙述故事人物情绪以达到构建转喻意义进行了研究，同时从读者的角度探究其审美感知及其涉身体会[6]；谢妮妮从人际意义视角分析了《格林童话》插图本中的图文关系[7]。

分析上述研究发现，这些成果主要反映在对单个儿童绘本多模态语篇中的图像、文字等模态的功能及相互关系的分析方面，而未涉及色彩模态与图、文模态之间的关系分析。为此，本文选取几部具有代表性的优秀儿童绘本作品作为研究对象，运用多模态话语分析相关理论，分析绘本中的图像、文字、色彩等模态的特点及其在叙事过程中的相互关系。

2 多模态话语分析理论及模态间关系

模态就是信息交流的渠道和媒介，包括语言、技术、图像、颜色和音乐等符号系统。综合利用听觉、视觉和触觉三个或以上感官，通过语言、声音、颜色、图像等多种符号模态创造和传达意义的方式则叫多模态[8]。

20世纪90年代以来，多模态话语分析理论(Multimodal Discourse Analysis)在西方逐渐兴起，Kress等认为，多模态话语是一种文字、图像、动态画面、声音等诸多模态相互融合以表达信息的语言形式[9]。张德禄认为，多模态话语是运用两种以上人体感觉器官如耳朵、眼睛、手脚和身体等，借助文字、图像、声音、手势或身势等形式与外部世界交流互动的一种情形[10]。多模态话语分析方法主要以Halliday的系统功能语言学为理论基础，包括了图像、文字、色彩等在内的多模态视觉研究框架，从图像意义呈现、读者与图像互动效果和图像布局意义三个方面完成意义构建。其中图像的再现意义指图像中的文字、图片、色彩等多种模态重现了客观的世界事物以及这些模态与客观世界所发生的联系[11]。

儿童绘本是融合了图像、文字、色彩甚至声音的多模态语篇，对其进行分析就是试图探索某个模态对语篇意义的作用，同时便于了解语篇中不同模态间是如何相互协同作用，进而促使这类包含多模态的语篇产生意义[12]。研究儿童绘本首先必须分析儿童绘本中的图像和文字这两种主要模态间的关系。Royce把图像与文字的关系分为以下几种，即重复关系、意义相同关系、意义相反关系、全局与局部关系、上义与下义关系和相互搭配关系[13]。Nikolajeva等在研究图画书这类多模态语篇时，把图像和文字之间的关系归纳为四种，即相互对等(对称)关系、互相补充关系、对比关系和相反关系[14]。

本文运用多模态话语分析理论对所挑选的优秀儿童绘本从图像的再现意义方面来分析儿童绘本中的图像、文字、色彩等多种模态间的相互关系，将着重阐述图像、文字和色彩间的互补关系、对比关系以及相反关系。

3 儿童绘本中的多模态关系及意义再现

3.1 图像、色彩及文字互补叙事

儿童绘本将图像、文字、色彩甚至声音等多模态结合在一起，且每一种模态以其特有的、“擅长”的方式叙述着绘本故事的内容，协同起来再现了绘本的意义。比如，图像能形象地再现参与者的体貌特征及其所处的周围环境。在儿童绘本语篇中，图像在语篇意义构建中占有较大的比例，语篇中的语言文字部分往往无法形象直观地描述和介绍语篇中事物外部特征，而图像恰恰可以弥补这一不足[2]31来叙述故事。文字在此过程中则起到描述参与者的身体活动(即动作行为)和心理活动(即思想感情)的作用。这两种模态相互补充，使绘本的信息得以更为准确地、清晰地传递给儿童读者。

《大卫，不可以》(No,David!)是美国著名绘本作家、著名画家大卫·香农(David Shannon)创作的儿童绘本，1999年获得了凯迪克银奖以及美国图书馆学会年度好书推荐等多项大奖。在该绘本中，大卫的妈妈总是对大卫说：“大卫，不可以！”大卫伸着舌头，站在椅子上颤颤巍巍去够糖罐；大卫一身污泥回家，客厅的地毯上留下了一串黑脚印……每一幅页面里都有妈妈说的话：“大卫，不可以！”但是，在该绘本最后，当大卫在房屋里玩耍时，不小心打碎了花瓶惹了祸被妈妈惩罚时，大卫哭了。这时候，他的妈妈将他拥抱入怀，对他说：“Yes, David…I love you!”从这本绘本中，小读者们能感受到妈妈总是那个给自己关心和爱的人。

《大卫，不可以》的封面就很好地体现了该绘本的图像、文字互补关系，见图1。图1的前景中有一个小男孩正在够放在桌子上的金鱼缸，从他脚下垫起的书本看他很聪明，而他脚下已经倾斜的书和鱼缸架子传递着危险的信息，但是他脸蛋上红黄相间的色彩，显示着此时大卫很为自己的聪明高兴。这是该封面中图像模态和色彩模态向读者传递的主要信息。但是读者们仅仅从图像、色彩所获得的信息是不全面的，只有结合封面上方的文字信息(No,David！)，才能准确地把握该绘本创作者的本意——因为大卫的行为聪明但很危险，妈妈才会简单粗暴地说“No, David!”这样的图、文、色彩互补叙事的方式也体现在接下来的情节中。“No,David!”这两个文字符号补充说明每一页的大面积的图像、色彩模态。如图2，大卫家客厅的墙上显眼地地写着“No,David,no!”读者不知道大卫妈妈为什么对大卫说这样的话，而看到大卫一身褐色的污泥，客厅的地毯上一串黑黑的脚印，回头张望的惊讶神情以及他脸上的黑色污泥，读者很容易理解他妈妈为什么要对他说“No,David,no!”此时，这一页的图像和色彩模态信息很好地补充了简洁文字“No,David,no”所缺失的信息。因此，图像与文字的相互补充作用能起到单纯文字叙述无法达到的效果，这样使得儿童绘本的多种模态叙事更为合理，也精炼绘本语言[5]108。同时，绘本故事中的文字又能更好地向读者传递故事中人物的心理动态、心理感受以及由此可能发生的相应的行为动作。可以看出，通过图像、文字以及色彩的相互补充叙述，“No, David!”中母爱的意义才能得以再现。

3.2 图像、色彩和文字对比叙事关系

图像、文字、色彩等之间的对比关系表示图像、文字、色彩呈现交互的信息，绘本作者和插画家有意让图像与文字、色彩等之间信息不对称，这样读者就可以借助多种模态呈现的信息对绘本故事进行更多的解读[5]108。

关于图像(图像色彩)与文字对比叙事最典型的绘本是美国莫里斯·桑达克创作的《野兽出没的地方》(WheretheWildThingsAre)。该绘本获得了1964年凯迪克奖金奖和1970年国际安徒生大奖(插画奖)。但是该绘本在1963年出版时曾引起不少争议，许多人认为故事里面的怪兽很可怕，会吓着儿童读者。其实封面中的文字模态“WHERE THE WILD THINGS ARE”和图像模态共同给读者呈现了这样的信息，预想这是一本关于一群野兽的故事，情节应该很恐怖。然而，当读者仔细阅读完这一绘本时，便会发现其实这是一个美妙的幻想故事，一趟伟大的心灵探险。一个名叫Max的小孩在家里淘气，妈妈不给他吃晚饭，让他去睡觉。Max回到自己房间，窗外的月色是朦胧的、灰暗的，这样的图像色彩也恰恰反映Max不开心的情绪，这时他发现自己的房间里生出了一片森林(这可能是Max被惩罚后心中不满情绪的一种发泄表现，是想象中的森林)。随后，Max进行了一次特别的、想象的旅行：他开着船离开了家，经过一年时间，来到了野兽国，野兽们拜Max为王，Max在那里发泄完他内心愤怒和不满的情绪，日子过得非常惬意(见图4)。然而，随着时间的流逝，Max开始想家了，野兽们恐吓他不让他回家，但是Max还是毅然决定回家！当Max回到家里，等着他的是妈妈给他准备好的香喷喷的、热腾腾的晚餐，这时Max房间窗外月亮的色彩是明亮的，映衬出Max此刻得到宣泄之后比较开心的心情，与之前形成鲜明对比。这样，通过读者开始阅读时的预测与该绘本故事情节发展的结果对比，发现这是一个充满亲情与温暖的情感故事，而不是关于怪兽的恐怖故事。同时，当读者阅读到该绘本最后一页，就会发现这一页只有一行文字“and it was still hot”，文字周围是空白的，没有任何图片来补充说明文字模态，这样使得文字和图片信息不衔接，留给读者更多的想象的空间。这里，图、文和色相互对比，让儿童读者自己体会家的温暖，并开启了一次心灵的冒险旅程。

3.3 图像、文字以及色彩呈现不同或相反意义

绘本中的图像和文字所表达出的意义是有差异的，有时甚至是相悖的，往往会出现图像模态所呈现的是当时客观的情况，而文字模态表达出不同的意义。图像与文字意义表现的不一致也使读者推敲自己所获得的信息，从而能准确地理解图文的真实含义[5]108。这样，图像与文字模态产生不对等的信息也给读者留下更多思考的空间。有时整个绘本中的色调使用基本是一致的，没有太大变化，但是在某些再现图像中却出现与基本色调格格不入的色彩，这样的色彩往往也是在向读者传达不一样的意义。

意大利格莱兹(文)和英诺森提(图)创作的《铁丝网上的小花》获得了布拉迪斯国际插画双年展大奖金苹果奖，该绘本是一个关于战争题材的故事。这个故事发生在第二次世界大战期间德国的一个小镇上。主人公是一个名叫罗斯·布兰奇小女孩。她在一次偶然外出时发现镇外的铁丝网里面有一群骨瘦如柴的人(被纳粹关押在那里的犹太人)，善良热心的罗斯·布兰奇常常给这群人送食品，可是在故事的结尾她被纳粹士兵射杀在铁丝网的另一边。该绘本的著者和插画家并没有用文字和图像模态直接描写或绘画出战争的残酷、血腥和罪恶的场面。在该绘本的开头，图像中所描绘的人群的衣着大多是灰暗的，而与周围环境色彩格格不入的是红色的纳粹旗以及红袖标，这些无疑是战争的血腥与罪恶的象征(图5)。

该绘本的结尾更是发人深省，具有深刻的含义。图6中出现了绿色的树林、青青的草地、清澈的河流、黑黑的铁丝网以及白色小花等。与图像信息相比，此时文字传递着不同的信息：罗斯·布兰奇的母亲等着她的女儿，等了好久，终未出现。此时只见图中番红花开始发芽，草树泛绿，枝头鸟儿歌唱，春天来了。这段文字“树木都变绿了，鸟儿落满了枝头，春天在歌唱。”给读者更多的思考空间，它不仅意味着春天的到来，战争已经过去，然而这些图像向读者再现的信息具有相反的意义，铁丝网前却没有小女孩罗斯·布兰奇熟悉的身影，她再也回不来了。这样，图像、色彩和文字在叙述故事时呈现出不一致或相反的信息，以促使读者深入思考战争的残酷和童心的美好。在此，图、文、色再现了绘本的创作意义。

4 结 语

基于系统功能语言学的多模态话语分析理论和方法，结合三部优秀的儿童绘本，发现优秀儿童绘本普遍借助图像、文字、色彩模态各自的特点和相互作用来叙述故事，实现绘本创作意义的再现。而多模态表征形式及其之间有多种相互关系，如图像、文字和色彩等之间能以相互补充、相互对比、相反或者不同等方式协同呈现，达到叙述故事和阐明道理等目的。

[1]诺德曼.话图[M].台湾：财团法人儿童文化艺术基金会，2010：243-244

[2]Gibbons Alison．Multimodality，Cognition，and ExperimentalLiterature[M]．London:Routledge，2012:21-74

[3]Lewis David．Reading Contemporary Picturebooks: Picturing Text [M]．London:Routledge，2001:24-45

[4]陈文亮.成人中心主义的解构:几米绘本的文化学分析[J].汕头大学学报:人文社会科学版,2012(3):69-74

[5]周俐.儿童绘本中的图、文、音：基于系统功能多模态语篇研究及社会符号学理论的分析[J].外国语文,2014(3):106-112

[6]赵秀凤,李晓巍.认知诗学视域下“情绪”的多模态转喻构建：以几米绘本《时光电影院》为例[J].北京科技大学学报:社会科学版,2014(6):1-7

[7]谢妮妮.《格林童话》中图文关系的逻辑语义扩展探讨[J].外语教学,2014(1):21-25

[8]朱永生.多模态话语分析的理论基础与研究方法[J].外语学刊,2007(5):82-86

[9]Kress G，T van Leeuwen. Multimodal Discourse: The Modes and Media of Contemporary Communication[M].London:Edward Arnold,2001:87-88

[10]张德禄.多模态话语分析综合理论框架探索[J].中国外语, 2009(1):24-30

[11]李德志.广告类超文本多模态的视觉语法分析[J].外语学刊,2013(2):7-11

[12]潘艳艳．政治漫画中的多模态隐喻及身份构建[J].外语研究,2011(1):11-15

[13]Jewitt Carey.The Routledge Handbook of Multimodal Analysis[M]. London: Routledge，2009:153-159

[14]Ventola Eija，Arsenio Jesus，Moya Guijarro.The World Told and the World Shown:Multisemiotic Issues[M].Hampshire:Palgrave Macmillan,2009:112-113

(责任编辑：胡永近)

H031

A

1673-2006(2017)09-0073-04

10.3969/j.issn.1673-2006.2017.09.017

2017-01-13

江苏高校哲学社会科学研究一般项目“优秀儿童绘本的多模态语篇特征与读者阅读认知研究”(2016SJD740029)。

陈俊(1977-)，江苏涟水人，硕士，讲师，研究方向：认知语言学、多模态及外语教学。