绘本中图文协同构建读者的认知语境

何建敏

（福建工程学院 人文学院，福建 福州 350118）

引言

在外语学习中，阅读是学习者获取语言知识的重要方式。绘本具有图文并茂的特点，是儿童语言学习阅读的重要材料。绘本主要涉及语言文字和图画两种模态，对绘本的研究主要集中于绘本中图文协同对意义建构的影响①，以及绘本应用对教学方法和课堂效果的影响②。但目前对绘本中图文协同如何促进阅读理解的研究做得还不够。从关联理论角度看，阅读是作者与读者通过文本交际互动的过程。在绘本中，作者通过图文协同向读者明示，以最佳关联为目的，顺应读者，希望读者能够以较小的努力，获取足够的语境效果。读者凭借作者的明示信息，改变自己的认知语境，选择最佳关联的解释，理解作者的交际意图。在此过程中，图画对于儿童理解绘本内容发挥了不可或缺的作用，本研究从认知语境的三个组成部分，即词汇信息、逻辑信息和百科信息，探讨绘本中图文协同改变读者的认知语境，获得语境效果，从而理解绘本的内容。

一、关联理论与阅读理解过程

关联理论认为人类认知的基本特征是寻找关联，人类的认知倾向于同最大程度的关联相吻合。人们的交际是一个明示推理过程。明示就是发话人用明白的方式示意，向受话人提供刺激，鼓励受话人假定关联值得加工处理；受话人在最大关联的认知倾向下，只关注那些看起来有足够关联的输入，以此为依据进行推理，推导出发话人的意图。发话人的话语包含两种意图：一是信息意图，即要向受话人传达某种信息；二是交际意图，即告知受话人传达信息意图的用意。交际意图实现时，理解就能实现。关联性是指语境效果与所付出的推理努力之间的关系，推理时所付出的努力越少，语境效果越好，关联性就越强。当能以有效的努力获得足够的语境效果时，就取得最佳关联。每个明示交际行为都假定其自身具有最佳关联，人们交际时只期待产生一个最佳关联。

关联理论中的语境是一个心理结构体，是一系列存在于大脑中的假设。语境的形成是一个动态的过程，是在话语理解过程中，通过受话人不断选择、调整和顺应而形成，它对话语的理解起主要作用。在交际中，话语明示刺激提供新信息，与受话人认知语境中的旧信息相互作用，形成新的认知语境。认知语境的改变就是产生了语境效果。受话人按照关联原则，根据新的认知语境，借助推理，获得交际意图。受话人与发话人在认知语境上越趋同，交际就越容易成功。一个人的认知语境由三种信息组成：词汇信息、逻辑信息和百科信息。词汇信息是用来表达概念的相关词汇项目的语言知识；逻辑信息是构成假设的演绎规则；百科信息是与概念有关的全部知识[1]39。根据发话的明示信息，受话人凭借认知语境中的三种信息作出语境假设，由于人们认知结构不同，上述三种信息组成的认知语境也因人而异，对同一话语的推理自然会得出不同的暗含结果[2]233。为了让交际能够按照发话人的意图顺利进行，发话人会尽量让自己的话语输出去顺应受话人处理信息的需求，以减少受话人理解时所付出的代价，从而获得足够的语境效果。为此发话人产生的明示刺激就应当能够吸引受话人的注意力，激活适当的认知语境假设，让受话人认知语境的构建能够顺着发话人的逻辑思路，引导受话人得出想要的结论。

阅读是一个作者与读者通过文本的交际过程。绘本的阅读对象主要是少年儿童，为了顺应读者的阅读特点，作者（发话人）通过协同语言文字模态和图画模态，传递最佳关联的话语，向读者（受话人）作出明示，读者在此基础上用最少的努力加工处理，新旧信息相互作用，构建认知语境，获取所产生的语境效果，理解交际意图，从而完成阅读理解。在这过程中，图画发挥了不可或缺的作用，读者认知语境中的词汇、逻辑和百科三种信息因图文协同的表达方式而得到改变，从而能够以较少的努力获得足够的语境效果，理解绘本所描述的内容。

二、图文关系理论框架

Martinec和Salway借鉴系统功能语言学小句间的逻辑语义关系，建立了一个图文关系模式以分析图像与文字之间的相互作用[3]337-371。该模式中，图文关系主要有两种类别：扩展（expansion）和投射（projection）。扩展包含三种关系：详述（elaboration）、延伸（extension）和增强（enhancement）。在小句间逻辑语义关系中，详述指一个小句通过换一种方式复述，或者用细节具体化、评论或举例等方式阐述另一个小句，相当于 “等于” 关系。延伸指一个小句通过增加新的信息来扩展另一个小句的内容，相当于 “附加” 关系。增强指一个小句通过用时间、地点、原因或条件等环境成分来润色另一个小句，相当于 “相乘” 关系[4]219-220。Martinec和Salway论述的图文关系基本与此类似。在详述中，图画表达的内容和文字一致，不添加新的信息。详述有两种类型：一种是阐释（exposition），图像和文字表达的内容在普遍性方面是相同的；还有一种是例证（exemplification），图像和文字中，一方表达的内容比另一方更精密、更详细。图像和文字处在不同的普遍性层次上，但是它们表达的是同一个内容，不添加新的信息。延伸是图画和文字中一方为另一方增添了新的、有关联的信息。增强则是图画和文字中一方用表达时间、地点、原因等内容限制另一方的内容，从而达到增强对方内容的目的。投射关系是用图画重复表述文字的内容，在漫画中常见的方式是将言辞或思想的投射直接写在漫画人物的话语泡中；另一种投射关系是用图表概括文字的内容。

但是在这个模式中，可以发现其研究框架没有精确到词语，为此引入Royce的图文关系模式作为补充③。Royce从词汇语义角度，借用系统功能语言学中重复、同义、反义、整体部分、上下义、搭配等词汇衔接手段探讨图文关系。重复就是图文表达同样的意义；同义是二者表达类似的意义；反义是二者表达相反的意义；整体部分是图文中一方是整体，另一方是其中的一部分；上下义是一方是一般的类别，另一方是其中的一次类，或其中的成员；搭配是图文二者有可能在同一主题的期待视野内同时出现。

如图1所示，本文将两种图文关系模式相互结合，构成词级和句级图文关系理论框架作为本文的理论基础。

三、绘本中图文协同分析

本研究以分级阅读图书馆系列丛书中的一本名为The Hare and the Tortoise的故事为主要事例，以Scarry童书案例为辅。图书馆系列丛书是英国著名儿童读物出版社Usborne出版的，该书系由英国语言专家专门设计，插图优美，文学性和艺术性并存。Richard Scarry是美国著名的流行儿童文学作家，他的作品是美国家庭书架和美国国家图书馆的必藏书。The Hare and the Tortoise由Mackinnon叙述，Howarth绘图，讲述的是龟兔赛跑的故事，选取其中的一页分析（图2）。文字部分有三个小句，为了分析方便将文字部分转录如下，并标上序号： “(1)Harry raced off and disappeared almost at once(哈里飞奔起来并且几乎立刻消失了)。(2)Everyone laughed(大家都笑了)。(3)as poor Tom plodded over the line (随着可怜的汤姆刚刚跨过起始线）。” 而后分别从词级和句级分析图文关系。

图2 龟兔赛跑内页（右边是该图的局部放大）

从词级的图文关系看，这三个小句的参与者分别是Harry（兔子）、Everyone和Tom（乌龟）；动作过程分别是动词raced off and disappeared、laughed和plodded；第1、3小句有环境成分，almost at once表示方式，over the line表示地点。在图画中，第1、3小句的参与者通过重复的方式得到了体现；句2的参与者everyone是泛称，指代在场的其它动物。图画通过上下义的联系方式，具体描绘了一些动物，比如兔子、刺猬和狐狸等。三个小句的动作过程在图画中以重复的方式得到描绘。句1的环境成分almost at once在图画中表现为兔子消失在远处，只剩下一个黑点，是同义的方式；句3的环境成分over the line在图画中以重复的方式体现。

从句级的逻辑语义关系看，可以发现三个小句的内容在图画中都得到了呈现。第1、3小句的内容，图画中的表达在普遍性方面与文字相同，图文详述阐释关系；对于第2小句，图画中画了各种不同的动物站在赛道两旁，是everyone的例子，属于详述例证。图画中在乌龟的旁边画了两只小动物，蜗牛和瓢虫，它们与其它当观众的动物处在不同的位置，并且未画出 “笑” 的面部表情，不属于第2小句中的everyone。这两只动物的共同特征是爬行速度较慢，尤其是蜗牛，与乌龟有共同点，属于图文的延伸关系。此外，图画中提供了故事发生的场景，一棵大树，树上挂满了彩带，树下的草地、小山丘等，这是文字部分没有的，属于新增的信息，是以增强地点的方式将图文联系起来（表1）。

表1 The Hare and the Tortoise截取页面的图文关系

四、绘本中图文协同构建读者的认知语境

（一）词汇信息

词汇是句子构成的基石，传统观点认为动词决定句子的意义，Snow就指出理解的前提条件之一就是词汇的识别[5]13。一个词具有形式和意义双重特征，相对于形式来说，意义更难掌握，而要理解一句话主要是靠意义。词的意义丰富多样，可以是词指代的现实世界中的人、物、行为、事件，可以是我们脑中的抽象概念[6]13。这两种类别的指代都可以通过图文协同的方式得到呈现。图画的描绘能将词语所代表的内容以视觉的形式表现出来，让读者同时通过语言文字和图画两种模态输入词汇，加深读者对词汇的理解。三个小句的参与者所指代的都是具体人物，Harry和Tom是兔子和乌龟，图画通过重复的方式将它们表现出来。句2的参与者everyone是泛称，图画通过具体举例的表现方式，列举出其下义概念所包含的众多动物，显得形象生动，符合儿童形象思维的方式。三个小句的动作过程都是指代行为的动词，句1的动词raced off and disappeared通过重复的形式表现在图画中，图中兔子消失在远处，图画形象较小；与之对比的句3动词plod，乌龟缓慢跨过起始线，在画面中央，图画形象较大。通过二者对比，读者可以直观感受这些词所指代的意义，增进对词汇意义的理解。句1的环境成分almost at once是表示抽象概念，图画的描绘能将抽象概念具体化，让读者通过视觉呈现了解词语意义。图画中比赛刚刚开始，兔子却快速消失，只剩下一个黑点，可以想象出它的速度有多么快，从而帮助理解almost at once的意义。

以上这些词所指代的具体事物和抽象概念被称为词的外延意义，词语还有内涵意义，指词语所携带的人们的态度和情感，反映人们的态度是肯定还是否定，喜欢还是厌恶[6]14。内涵意义的掌握是在外延意义的基础之上，所以需要对词语有更加深入的理解。Race的意思是to move very quickly（快速运动），所传递的是一种相对积极的内涵意义。Plod的意思是to walk along slowly, especially when this is difficult（艰难吃力地缓慢行进），它的内涵意义比较消极。这种意义对于儿童来说比较难把握，但是对于理解文字的交际意图又比较重要，它能让读者准确把握文字的隐含意义。图画中兔子昂首阔步，步伐轻盈，早早消失在远处，表现出一种积极的形象。乌龟步伐笨拙，慢吞吞爬过起始线，让人看了觉得比较沮丧，呈现出一种消极的内涵意义。图画将词语的内涵意义生动描绘出来，读者理解这些意义后，会在心里对故事结局产生一个预期，但是结局恰恰与预期相反，由此突出寓言故事的寓意。

词汇信息还包括词汇的同现可能性[7]90。这种关系在图文协同中主要表现为图文的搭配关系。图画和文字通过搭配的方式相联系，将可能出现于同一主题下的词汇置于一起。比如图3，通过图画中的奶牛、牛奶、挤奶桶、装奶壶、鸡、农舍等农场常见物体，将与barnyard（农场、谷仓周围空地）相关的词汇罗列出来，构成搭配关系，读者不仅能深入掌握该词意义，而且能丰富词汇量。这些能够同现的词语构成了一个语义场，语义场将具有相同属性或属于同一类别的词汇归纳到一起，建立词汇网络，帮助读者通过比较理解词汇意义。

图3 农场 图片来源：Scarry, Richard. Frances Fix-It. 贵州: 贵州人民出版社, 2012:28.

（二）逻辑信息

关联理论认为受话人在获取字面意义的基础上，推导出交际意图，才是真正理解。交际是一个明示推理过程，从作者角度来说是一个明示过程，把信息意图明白地表示出来。通过文字叙述，图画配合，向读者示意。同时作者话语中还包含隐含的意义，即交际意图，需要读者推理获取。受话人推导出发话人交际意图需要两步：发话人发出话语，该话语给出明说的前提，即话语提供新信息（信息意图），受话人在此基础上推导出隐含意义，即隐含前提；然后在隐含前提的基础上，推导出发话人真正的交际意图，即隐含结论[8]114。在关联理论中，推理不是严谨的纯粹的形式推理过程，而是日常生活中较为随意的推理过程，它不能保证人们的推理结论一定正确，只是有可能使结论正确[2]231。要作出正确推理，头脑里需要有一套演绎规则，每条规则对一组前提和结论作形式描写，这些构成了逻辑信息[7]86。由于儿童年龄较小，逻辑思维能力较弱。绘本中作者通过协同图文两种模态，发挥两种模态的优势，为读者补充推理线索，提高读者作出正确推理的可能性。绘本能将文字直观化、形象化，生动有趣，比较符合儿童的认知能力。读者能以此为依据，在推理时沿着作者的思路，改变自己的认知语境，逐渐接近作者的认知语境，从而获得作者的交际意图。

当读者读到图2中的3个小句时，推理作者交际意图的过程大致如下：

明说前提：兔子跑得快，乌龟跑得慢。

隐含前提：跑得快的会赢得比赛，跑得慢的会输掉比赛。

交际意图：兔子会赢，乌龟会输。

这样的结论将与故事后文乌龟获胜的结果形成鲜明对比。儿童的逻辑推理能力相对较弱，为了让读者明确领会交际意图，帮助读者作出正确推理，图画模态起到了重要作用。由于文字的叙述不够直观，读者在读到文字的时候，可能会仅仅停留在字面意义上，推导不出作者的交际意图。图画通过详述关系将文字内容表现出来，图画中兔子跑得飞快，将乌龟远远甩在后面；其它动物看到乌龟缓慢爬行，脸上带着善意理解的表情。通过兔子和乌龟二者在画面中的对比，以及周围其它动物的反应，读者看到图画知道跑在前面的会早点到达终点，赢得比赛；落在后面的会晚到，输掉比赛。因此，通过图画的辅助，读者较容易得出隐含结论。

延伸关系通过图画中提供了新的、相关的信息，丰富了文字的内容，为读者推理提供重要线索。图画中在乌龟旁边画了蜗牛和瓢虫，它们的共同特征是爬行速度较慢，乌龟与他们处于爬行的同一位置，通过与蜗牛和瓢虫作同类比较，表现出乌龟速度慢的特点。图画延伸的新信息为文字补充了相关的内容，增加了读者的判断依据，帮助读者顺利推导出话语的隐含意义，理解作者的交际意图。

（三）百科信息

百科信息是读者所具有的关于世界的知识，需要读者通过日常点滴积累。Sperber和Wilson认为百科信息含有概念的外延和（或）指谓信息：即例示该概念的物体、事件和（或）特征[7]87。儿童年龄较小，经历有限，拥有的百科知识也相对较少，这种情况下，图画将文字故事所涉及的人物描绘出来，让读者能具体地把握人物特征，增加理解所需的百科信息。文字中Harry和Tom分别是兔子和乌龟的名字，这两个参与者是故事的主角，图画通过重复的方式将二者描绘出来。这种重复再现的方式让读者直观感受到兔子和乌龟的特征，兔子腿长跑得快，乌龟腿短行动迟缓，而这些特征又与故事发展有密切的联系。因此，图画的描绘可以在文本中传递比文字更丰富的百科知识。

当碰到陌生物体时，图画将其描绘出来，读者通过其具体形象了解其性能特征，补充自己百科知识的不足。比如图4，submarine（潜水艇）对读者来说是相对少见的物体，文字中Was it a whale? No. It was a submarine（它是鲸鱼吗？不，它是潜水艇）。将其与whale（鲸鱼）作比较，鲸鱼是一种动物，儿童对动物的认识相对较早，在幼儿园的早教课本中就出现。二者之间有什么相同点，单看文字读者可能会比较困惑。图画中画出潜水艇露出水面的一部分，通过整体部分的方式与文字相联系，让读者知道潜水艇的一些基本特征：可以在海上航行，体型庞大，外形是个密封舱，与轮船不同。再联系文字It had come up from under the water（它从水底下浮上来了），可以知道潜水艇还可以潜在水底下，这些特征鲸鱼也具有。这些信息综合起来，就容易理解将它与鲸鱼作比较的原因。从中可以看出图画为理解文字内容提供了不可或缺的百科信息。

图4 潜水艇 图片来源：Scarry, Richard. Harry and Larry the Fishermen. 贵州: 贵州人民出版社, 2013:26-27.

此外，百科信息还包含定识图式（assumption schemas）[7]88。认知心理学认为, 已有的知识经验是有结构的，人们在认知过程中, 通过对同一类客体或活动的基本结构的信息进行抽象、概括, 产生包摄性观念, 即形成大脑中的 “框图” , 这便是图式[9]121。根据图式理论，阅读的过程是文本内容与读者头脑中已有的图式相互作用的过程，要理解文本内容需要激活相应的图式。当文本中的内容激活头脑中的图式，读者将此图式与文本内容相联系并匹配，将有助于理解文本内容。图2通过增强地点方式提供了故事发生的场景，润色丰富了文字的内容，烘托出比赛的气氛。地点的提供弥补了文字描述的缺陷，使整个事件的描述更加完整，让读者有身临其境的感觉。这些增强的内容为故事提供了背景知识，通过图画中描绘的周围环境特征，读者比较容易激活与比赛相关的图式。

通过以上分析，可以发现绘本中图文协同传递新信息，与读者头脑中原有的旧信息相互作用，构建新的认知语境，产生语境效果。由于图画的协同作用，读者能够构建恰当的认知语境，减少理解过程中所付出的努力，获取作者的交际意图。需要注意的是为了讨论方便，我们将词汇信息、逻辑信息和百科信息分开，但是这三者不是截然分开的，它们相互关联、互相作用共同构建认知语境。比如逻辑信息需要在词汇信息和百科信息的配合下，实行筛选，淘汰不合理的推理。

结语

绘本是符合儿童阅读特点的一种文本，主要包括语言文字和图画两种模态，图画能够弥补语言文字的不足，帮助读者构建恰当的认知语境。一个人的认知语境由词汇信息、逻辑信息和百科信息组成。从词汇信息方面看，图文协同有助于理解词语的外延和内涵意义，图文通过搭配关系还能构建语义场，加深对词语的理解。从逻辑信息方面看，图画可以丰富读者推理线索，获取信息意图背后的交际意图。从百科信息方面看，图画能够将文字所涉及的百科知识鲜活描绘出来，帮助读者理解文字内容。因此，读者在阅读过程中，他的认知语境因图文配合共同传递的信息而得到构建，获得语境效果，达到理解作者的交际意图。

注释：

①这方面的研究比较有代表性的成果有：Moya Guijarro, Arsenio Jesus. Engaging Readers through Language and Pictures: A Case Study [J].Journal of Pragmatics, 2011(43): 2982–2991.

王容花, 江桂英. 多模态外语教学：图文资源的整合——以人教版小学英语教材中故事部分为例 [J]. 基础教育,2015(3): 84-90.Agah, Masoud Mojaveri. The Structure of Discourse: Visual Semiotic in Picture book of “Creation” by Wolf Erlbruch [J].European Journal of Interdisciplinary Studies, 2018(1): 43-48.

②这方面的研究比较有代表性的成果有：Morgan, Hani. Multimodal Children’s E-Books Help Young Learners in Reading [J].Early Childhood Education Journal, 2013(41):477-483.

王蔷, 敖娜仁图雅. 中小学英语绘本教学的途径与方法[J]. 课程·教材·教法, 2017(4): 68-73.Meneses, Alejandra, José-Pablo Escobar & Soledad Véliz. The Effects of Multimodal Texts on Science Reading Comprehension in Chilean Fifth-graders: Text Scaffolding and Comprehension Skills [J].International Journal of Science Education,2018(18): 2226-2244.

③Royce图文关系理论主要体现在两篇论文中，分别是：Royce, Terry. Synergy on the Page: Exploring Intersemiotic Complementarity in Page-based Multimodal Text [J].JASFL Occasional Papers, 1998(1): 25-49.Royce, Terry. Intersemiotic Complementarity: A Framework for Multimodal Discourse Analysis [A]. // Royce, Terry & Wendy Bowcher (ed.). New Directions in the Analysis of Multimodal Discourse [C].New York: Lawrence Erlbaum, 2007: 63-109.