英语教学中图片文本的多模态分析

温浩

英语教学中图片文本的多模态分析

在英语教学中，图片文本是常用的教学材料，但图片文本大多是通过直觉或经验进行选择。通过对英语教学中图片文本的多模态分析研究，总结图片文本分析的视觉语法理论，可以给图片教材编撰和评估工作提供更多的借鉴。

图片文本；视觉语法；系统功能语言学

引言

随着现代科技的发展，意思表达媒介日趋多样化。除文字之外，我们还用图片、声音、影像以及互动软件来表达意思（Kress 2008）。因此，英语教学中的文本也日趋多模态化，在课堂内外出现了许多彩色的教材和媒介，这对教学材料和教育文本的设计提出了新的要求（佩因特2008）。图片文本，即含有丰富图片的教材或是绘本，被广泛运用在英语教学当中。佩因特（2008）指出儿童故事绘本是重要的教育文本，培养了儿童的语言能力和社会价值观。路易斯（2003）指出，过去出版社只是简单地将图片分为有趣的和无趣的，漂亮的和普通的，并未关注图片文本的多模态特点。本文将回顾英语教学中图片文本的多模态分析，给图片教材的编写和使用提供借鉴。

一、图片文本的关键元素

通过研究大量的图片，路易斯（2003）总结了图片中意思表达的关键元素：线条、颜色、行动、画幅、图像分布和象征意义。在路易斯（2003）看来，线条可以用来构建独立的图像元素，也可用来表达阴影和纹理；颜色可以用来表达物品的突出性；图片中的行动可以用矢量和对角来表现；图像分布可以用来传达社会地位，拥有更高社会地位的形象或虚构的形象通常放在高处；图像中的象征意义可以用来激发读者的文化意识，也需特别关注。笔者根据自己的教学经验，发现这些元素正是教师挑选教材的重点。但是路易斯的理论只是简单列举了图片中的意义表达元素，并没有系统地构建图片的视觉语法。

二、图片文本的视觉语法

克雷斯和范·莱文（2006）在韩礼德“纯理功能”的基础上，提出图像文本通过视觉语法来表达意思。视觉语法由三个方面来构建：表征意义、人际意义和构造意义，分别对应系统功能语言学中概念功能、人际功能和语篇功能。

图片的构造意义指的是图像的结构。斯坦林和Iedema（2002）表明图像元素的分布、图像的框架应该是分析图片文本的重点。在图片文本中右边的图像比左边更突出，因为人们的阅读顺序是从左到右，心理期待是从固有信息到新信息，从真实信息到理想信息。因此在设计图片文本时，应按照信息的性质，将不同的图像放在相应的位置，这符合读者的心理预期。给图像加框架也是一种表达强调的方法，所以通过图像分布和框架的方法放大和缩小图片就可以在图片文本中创建一个时间顺序文本。

图片的表征意义指的是图像中发生的事件（Painter 2008）。克雷斯和范·莱文（2006）将图片分为叙述图片和概念图片，叙述图片通过矢量描绘了图片中参与者的一个行为。在英语课堂中，清晰的矢量图片文本可以用来激发学生预测事情的发展思维，从而更好地理解语言和文章的结构。

佩因特（2008）关注了一连串图片文字的叙述结构，他将其分为扩展结构和投射结构。通过研究儿童的图画书，佩因特（2008）发现图片文本中事件的展开是通过连续图片中相同图像的延续和新图像的出现来实现的。他指出，在叙述图片时，随着时间的推进、事件的展开可以通过叙述人物的“重复”出现来实现，人物的位置和动作的变化就表达了时间的推进。在时间推进中，也会有新形象的突然或偶然出现来表达时间的跳跃。而对于年龄较小的语言学习者来说，时间发展顺序是容易理解的，而时间的跳跃需要设计者仔细设计来避免误解，这影响了儿童语言能力的培养。图片的投射结构指图片中人物的心理活动，佩因特（2008）指出，对于年龄较小的学习者来说心理活动的投射是较难理解的，所以图片设计者将心理活动的图像放在“气泡”中，“气泡框架”的使用使心理活动突出，更能被读者关注和理解。在教学过程中，笔者发现，教师挑选图片材料时，较多地关注图片和文字的关联性，而忽略了图片文本与读者理解过程的关系。

图片的人际意义指的是图片文本与读者之间的关系。视线接触、人物聚焦和视觉形态都可用来传达图片文本的人际意义。斯坦林和Iedema（2002）指出，若图片中人物与读者有直接视线接触，这样的图片文本就可以传达出鼓励读者参与的互动关系，而没有直接的视线接触说明图片文本需要读者用客观的角度观察图片，读者的参与度降低。佩因特（2008）还指出，在叙述性图片介绍人物阶段，图片中人物会与读者有直接的视线接触，鼓励读者参与进事件的发展中。阅读图片文本时，读者通过人物的眼睛来观察，就叫人物聚焦。多种的人物聚焦，可引导读者从不同的角度观察图片。视觉形态指的是图片的真实性，通过颜色或焦距来实现（Painter 2008）。图像真实性的增加，读者的参与值也随之增加。在日常教学中，要求教师图片生动、有吸引力。

三、图片文本与文字文本的关系

如果我们仔细分析图片文本，就会很容易发现，不管在图画书或是教材中，图片并不是唯一传达意义的媒介，图片通常与文字一起出现。图片文本与文字文本的关系同样吸引了很多研究者的注意。他们运用Kress&Van Leeuwen（2006）的视觉语法理论，从系统功能语言学角度分析了图片文本和文字文本的三大元功能。通过比较两种文本的元功能，研究者发现其中主要有三种关系：图片文本与文字文本意思一致，文字文本与图片文本互相阐述，文字本文与图片文本相互补充（Moya 2011）。

在日常教学中，教师通常宣称自己会选择与教学内容（相应的语言知识）相关的图片文本，但是教师无法解释为何某些图片文本相关，某些图片文本又是无关的。所以通过总结图片文本与文字文本关系的特点，教师在选择相关教学辅助图片、作者在选择教材或图画书的图片文本时就能有规律可依了。

结束语

在教学中，教师往往通过直觉或经验来选择图片，而图片文本的视觉语法给教师研究图片语法意义以及图片文本和文字文本关系提供重要方法，这给图片和文字之间搭建了一座桥梁。教材的编撰者和教师在设计、选择和评估教材时应从多模态的角度来分析，给英语学习者提供更好的学习材料。

引用文献

Kress，G&Van Leeuwen.T.2006.Reading images：The grammarof visualdesign[M].London：Routledge.

Kress，G.2008.Meaning，learning and representation in a social sem iotic approach tomultimodal communication[C]//A.Mc Cabe，M.O’Donnell&R，Whittaker.Advances in language and education [M].London：Continuum.

Lewis，D.2003.A word aboutpictures[C]//T.Grainger. The Routledge Falmer reader in language and literacy. New York：Routledge Falmer.

Moya，J.2011.Engaging readers through langage and pictures.A case study[J].Fuel&Energy Abstracts, 43（12）：2982-2991.

Painter,C.2008.Children’s picture book narratives：Reading sequence of images[C]//A.M cCabe，M. O’Donnell&R，Whittaker.Advances in language and education.London：Continuum.

Stenglin，M.&Iedema，R.2002.How to analyse visual images：a guide for TESOL teachers[C]//A.Burns &C.Coffin.Analyzing English in aglobal context. London：Routledge.

作者信息：341000，江西赣州，赣州师范高等专科学校外语系