现代教育技术下多模态英语课堂的意义建构

杨剑英

（西华师范大学 外国语学院， 四川南充 637009）

一、引言

课堂教学从传统的教师授课发展到现代的“翻转课堂”模式以及MOOC，现代教育技术的作用越来越举足轻重，现代课堂变得越来越多模态化。在过去的传统课堂师生交际中，人们往往只关注语言，而其他的意义建构模态（如语音、语调、环境等）被视为副语言特征或语境因素，其他模态（如文字的排版或书写方式等）也被认为与语言研究无关。实际上，这些符号学模式也参与意义表达，只是它们属于意义建构的不同层次。语言使用，不管是口语还是书面语，总是不可避免地由多种交际模态建构。所以，所有的文本都是多模态的（Kress & van Leeuwen，2001）。Arzarello（2006）提出了符号束的概念，认为符号束包括所有由有意特征的行为（如说、写、画、比划、拿东西等）产生的所有符号，是动态的结构，各种符号学资源同时存在，并按照多模态范式共同发展。语言符号的主要作用在于表达和传递意义，从而最终实现交际（王铭玉，2002）。Halliday （1978）认为，语言是具有意义潜势的系统。Kress和van Leeuwen（1996）认为，多模态概念与多感官识别有关，即视觉的、书面的、听觉的、触觉的都相互关联，都共同致力于建构意义。

二、英语课堂的符号学意义

根据新伦敦小组的研究，一切建构意义的行为可以看作是设计行为，由可获得设计、设计过程和再设计三个部分构成（New London Group，1996）。英语语言教学也可以被看作是一种设计活动。在英语课堂上，可获得设计指外语师生在外语课堂可以利用的各种符号学资源，这些资源可以产生各种意义。比如教室陈设、墙面的装饰、教师的声音、体态、多媒体课件等等。设计过程指英语课堂上英语教师和学生如何使用这些符号学资源实现他们作为符号制造者的兴趣，该过程突出显示多模态资源的重要性和师生作为符号制造者的社会目的和意图，用于分析外语课堂中的资料，如外语课本、外语教师的黑板板书、课堂使用的各种媒体、图像。设计可以被用来指教师对学习过程的教学设计，也指学生设计的意义建构。英语课堂的再设计指师生作为意义建构者在使用符号学资源的过程中产生的新的资源或新的意义。这种意义不是最初可利用的符号学资源的简单整合，而是创造性的、重新产生的意义，是经过转换的意义，成为新的可获得设计，是建构意义的新的资源（杨剑英、杜平，2012）。

在中国的EFL英语课堂上，英语作为外语的语言符号得以大量使用。现在课堂大量使用多媒体辅助教学，使课堂图像、文字、声音并茂，教学内容丰富，大大增强了教学的趣味性。因而，在英语课堂上， 教学符号的概念可以扩展到教学活动中使用的各种符号学资源：言语（英汉语口语和板书），语言外表达模式 （姿势、眼神等），各种记录类型（绘画、草图、图表等），各种工具（从简单的粉笔到复杂的ICT设备）。这些符号学资源以表征和多模态的方式产生、发展和被使用（Vygotsky，1978）。Kress 和 van Leeuwen（2001）认为，教室中多模态信息传递的物质媒体，比如扩音器、投射仪、 计算机等，经过社会长时间的塑造，形成各种模态，成为意义产生的资源。例如，PPT课件作为多模态语篇，既包括文字语言，又有图像、音频、视频、图表等。根据Kress和van Leeuwen（2001）的研究，我们可以结合英语课堂，探讨各种符号模态在教学中的作用，探讨各种模态之间的关系以及英语教师的身体态势，研究英语教师如何采用英语课件以及师生与课件的互动关系，比较课堂上不同模态如何重复使用、再解释和转换，研究英语教师和学生的课堂行为习惯和行为功能等。

三、现代教育技术下英语课堂的多模态意义建构

人类认识世界以及与人交际最基本的方式是视觉、听觉、触觉、嗅觉、味觉，基本的感官模态也就是与之相应的视觉模态、听觉模态、触觉模态、嗅觉模态和味觉模态。由于英语课堂上主要是英语教师和学生之间通过各自的语言、姿态、眼神以及板书、多媒体课件等进行交流，涉及的模态主要集中在视觉模态和听觉模态。

1 现代教育技术英语课堂与视觉模态意义建构

视觉交际是目前最显著的交际形式（Kress，2000；van Leeuwen & Jewitt，2001），因而在英语课堂上也不例外。研究表明，视觉模式可以被用来激发认知和记忆（Pilgrim，1996）。在传统的英语课堂，黑板的板书成为教师教学的主要媒介。英语教师的板书排版设计、字体的大小成为比较突出的视觉模态。笔者对中学英语实习教师的调查发现，部分实习教师不善于把能显示课堂主题的课文标题写在黑板上，使学生不能将思绪集中到课堂目标内容上来，显得课堂讲解突兀和不流畅。另外，板书排版不规则的现象也更多地出现在缺乏教学经验的实习教师中间。而在越来越普遍使用PPT课件的现代英语课堂上，课件里的文字、图表、图像体现出了较之于传统板书和教师口头讲解的优势，大大增加了信息量和学生的理解力，提高了学生学习兴趣，增强了教学效果。即使是在被学生普遍认为枯燥的语法、写作课上，由于英语教师的PPT课件综合运用文字、图表、图像等，能为词汇、句子、段落、篇章的写作进行分析讲解和提供大量的例子和即时课堂练习，更能为学生理解，因而也能收到比传统课堂更好的教学效果。

英语教师的手势、姿势、眼神、表情等也在建构意义中起了重要作用，有助于学生理解教师语篇。手势有时候是概念的、具体的或抽象的信息（Kendon，1980），眼神能传递命题意义具体的和抽象的内容（Poggi &Pelachaud，2002）。有研究通过录制四位英语教师在三堂课的行为，研究英语教师的各种手势传达的意义以及区分英语教师的不同交际类型（Merola & Poggi，2004）。通过对手势进行分析，发现手势可分为指示性手势、像似性手势和自我操控性手势，分别传达了关于世界的信息、关于说话者心智的信息和关于说话者身份的信息，认为手势具有重复、补充、替代、冲突等特征。该研究发现，有的教师使用指示性手势多，有的教师用大量的重复性手势。该研究还发现有的教师更注重传达自己身份，讲课过程中更多整理自己的头发、衣服，课堂气氛比较活跃；有的教师更注重自己的教学，很少注重学生反映，课堂气氛安静沉闷；有的教师从不传达自己身份，很害羞甚至有点情绪低落；有的教师注重与部分学生交流，比如与残疾学生低声交谈，责备不听话的学生等。

一项对英国的英语课堂研究发现（Kress et al.，2005），视觉交际在英语的教学和学习上占据绝对中心地位，如教室陈设，教室墙上贴的视觉展示，文学课上使用的电影以及非语言交际形式（音质、语调、表情、眼神、手势、姿势等）。该研究表明，在课堂的科目知识产出中，复杂的方式互动涉及图像、手势、眼神与物体互动、身体姿势、写作、口头语言等方式交互使用。学校的英语教学项目突出表现了学生和老师在课堂上的非言语活动中如何互动，如何合作产生能力、反抗、身份等概念，教室陈设、空间、桌椅、工具被设计好，成为英语作为学校重要科目的教学手段。本研究表明，英语课堂教学是超越语言的，需要具备理解大量模态和他们之间关系的能力。由此可以看出，知识的呈现和模态、媒体的选择对知识的建构、意义呈现方式以及学习方式至关重要。也就是说，知识呈现的方式塑造学习内容和学习方式（Jewitt，2008）。

2 现代教育技术英语课堂与听觉模态意义建构

在课堂上，听觉模态不如视觉模态丰富，主要有教师的讲授，还有师生互动时学生的语言表达，同时还有现代教育技术提供的多媒体声响。虽然现代英语课堂上的视觉模态丰富多样，但主要是课堂布局，体现教师和学生之间的关系和角色，听觉模态仍然是英语教学的主模态。

英语课堂以教授语言为主要任务，英语教师和学生的口语互动交流、英语课件中的音频、视频成为英语课堂的主要媒介形式。英语教师发音的标准程度、口语的流利程度、通过语言体现的知识内容、说话时音量的控制以及语言中的情感传递等，都成为塑造教师形象、提高学生学习兴趣、活跃课堂气氛的决定性因素。发音标准、口语流利、音质好的老师更能吸引学生的注意力，使学生更倾向于模仿和欣赏。而本族语英语教师地道的口语则能成为学生喜爱的典范。笔者的调查研究表明，学生更倾向于喜欢口语表达更具美感的英语教师。这类教师善于使用合适的语调，注重适时的停顿、适时抬高或降低音量和适当控制语速，并能根据情况通过语调融入感情。此外，英语课堂上使用的教学音频和视频更能加深学生对英语文化的理解，刺激学生的感官，增加学生的学习兴趣。也有部分英语教师不区分课程实际，过量使用音频和视频，使学生整堂课大部分时间都在看电影，缺乏教师的适当引导、讲解和分析所用音频和视频。这样，声音模态产生和建构的意义对学生产生了不同的效果。

研究发现，外语课堂上教师的口头表达占60-80%，占据视听模态的主要地位（张德禄、王璐，2010）。作为听觉模态资源，教师话语在传授专业知识方面起着至关重要的作用，为学生的意义获取建立框架和形成概念，促成学生的多种模态识读。

3 现代教育技术课堂的多种模态协同

任何模式都是意义的可能动态资源，而非对技巧的静态重复和静态使用。模态使用者通常根据交际需要改造这些模态，即创造新模态或改变已有模态（Jewitt，2008）。通过听觉通道的口语声音模态遵守的是时间序列，受时间逻辑约束，而通过视觉通道的图像模态，受空间和同时性逻辑约束。所有模态都是不完全的，也就是说所有模态包括书面语和口语，都以不同方式建构意义，并且每种模态在整体中各自发挥作用。惠兆阳等（2013）根据对英语专业学生一、二、三年级听力课程多模态协同性的研究，发现视觉模态和听觉模态在不同阶段形成关系不同。胡壮麟（2007）对教师课堂教学的言语、姿势和动作等作了具体的阐述。他认为教师的言语以及与言语同时出现的意象和动作被认为是课堂内容意义呈现的主要方式，而教师的身体形象起到了中介的作用。教师的言语、姿势和身体模型互相依存。因而英语课堂上作为符号学资源的每一种模态，对英语语言知识的传播都有贡献。英语教师在阐述英语语言知识时，为了达到形象生动的教学效果，通过英语口语、板书、课件等听视觉的和态势描述的重复等一系列的活动，实现不同符号学模态语篇的连贯。

通过对外语课堂各模态之间的关系研究表明，不同模态的话语共同体现讲话者的整体意义（张德禄、王璐，2010）。一种模态的话语不能充分表达其意义或者无法表达其全部意义，需借助另一种来补充，这是模态之间的互补关系。在互补关系中，通常一种模态为默认模态或者基本模态，起基本的和基础的交际作用，另外的模态起到强化或补缺的作用。同时还有模态的交叠和语境交互等非互补关系。该研究通过对两个外语教学案例的对比分析表明，在实际教学过程中，不同模态之间相互协同，共同实现教学目标。

在多模态学习中如果模态使用不当，各种模态就不能实现模态协同，反而可能互相抵消（如图1）。心理学研究认为，人的工作记忆属短时记忆，工作记忆容量有限，因而人的认知加工有限。研究表明，使用视觉模态时，同时使用图像信息和文字信息会使学习者产生过多的认知负荷，从而影响学习效果。如果使用图像的同时也伴有声音信息和文字信息，视觉工作记忆就会处于超负荷状态（Mayer &Moreno，1998）。

图1 模态协同与抵消

四、教师符号的意义延伸与多模态英语课堂交互设计

多模态资源能促进语言使用和读写学习，多模态英语教学使英语学习者从不同途径进入语篇构图，提供机会创造新身份，促进批判式读写实践，促进有意义的学习（如图2）。电脑等教学代理可以完成很多任务，与教师、学生互动。但是，教学代理现在不可能完全替代教师，教师仍然是课堂活动的主导者，控制着课堂活动的内容和进程。英语教师本身的口语、神态、手势语、穿着等等形成了听觉模态和视觉模态的各种符号学资源，本身能产生意义。而教师对课堂的主导控制和对教学活动的设计构成了新的资源，产生了新的意义，这是教师符号的意义延伸。

作为英语学习者的交流者，英语教师以其成熟的亲身经历，进行示范和促进学生的合作学习行为。刘秀丽等（2013）通过问卷调查等研究方式，发现了外语教师多模态话语能促进学生的学习积极性。没有谁比教师更能体验、带动和发展真实的学习环境，即使最人性化的电脑程序也缺乏能力参与元认知方面的学习（Pufall，1988)。教师是符号调节者，通过符号促进学生的内化过程（Vygotsky，1978）。教师必须为学生的科学概念的适当性提供合适的教学调节（Schmittau，2003）。英语教师在英语课堂的多模态设计上要注重学生需求，要能具有多模态识读的能力，要能综合运用各种模态，合理使用板书、口语、英语课件制作与演示，合理组织学生进行互动性多模态学习，通过各种方式建构意义，获得积极的互动教学效果，促进学生的多模态识读。

图2 多模态意义建构与有意义学习

信息时代的社会强调人的创新、解决问题、决策、批判性思维等高阶思维能力。研究表明，多模态学习能提高学习者的基本能力和高阶思维能力，而交互式多模态学习比非交互式多模态学习更能提高学习者的这些高阶思维能力（Fadel & Lemke，2008）。作为英语课堂的主导者和意义调节者，英语教师应采取模拟、设计和模仿真实世界等方式，促进师生交互、生生交互以及学生与各种学习资源的交互，尤其应组织好学生之间的交互式多模态学习。

五、结语

现代科技和英语课堂教学研究表明，英语课堂上的多种模态符号致力于为英语学习者建构意义。在中文为母语的环境里学习英语，中国英语学习者本身就面临着很大的挑战。在英语课堂教学中，英语教师应该担当意义调节者的角色，通过教学环境里的各种模态帮助英语学习者获得意义，充分利用教室陈设、学生分组、教学课件以及自身的声音、表情、姿势等，获得最佳的教学效果。英语教师应主要注重视觉模态、听觉模态等主要模态的组合及意义建构，应合理使用英语教室里电脑等多媒体演示设备。英语教学中的多模态符号设计是关键环节，应避免过度使用某单一模态，从而着力给英语学习者建立支架，帮助他们进行多模态识读和多模态产出，帮助他们获得和建构意义，提高学习者的学习效率。

[1] Arzarello, F. Semiosis as a Multimodal Process[J]. Relime, 2006, (special issue).

[2] Fadel, C. & C. Lemke. Multimodal Learning Through Media: What the Research Says[O/L]. http://www.cisco.com/web/strategy/docs/education/Multimodal-Learning-Through-Media.pdf

[3] Halliday, M. A. K. Language as Social Semiotic: The Social Interpretation of Language and Meaning[M]. London: University Park Press, 1978.

[4] Jewitt, C. Multimodality and Literacy in School Classrooms[J]. Review of Research in Education, 2008, (32).

[5] Kendon, A. Gesticulation and Speech: Two Aspects of the Process of Utterance[A]. In M. R. Key (ed.) The Relationship of Verbal and Nonverbal Communication[C]. The Hague: Mouton, 1980.

[6] Kress, G. Multimodality: Challenges to Thinking about Language[J]. TESOL Quarterly, 2000, (2).

[7] Kress, G. et al. English in Urban Classrooms: A Multimodal Perspective on Teaching and Learning[M]. London: Routledge Falmer,2005.

[8] Kress, G. & T. van Leeuwen. Multimodal Discourse: The Modes and Media of Contemporary Communication[M]. New York: Oxford University Press, 2001.

[9] Kress, G. & T. van Leeuwen. Reading Images: The Grammar of Visual Design[M]. London: Routledge, 1996.

[10] Mayer, R. E. & R. Moreno. A Split-attention Effect in Multimedia Learning: Evidence for Dual Processing Systems in Working Memory[J]. Journal of Educational Psychology, 1998, (2).

[11] Merola, G. & I. Poggi. Multimodality and Gestures in the Teacher’s Communication[A]. In A. Camurri & G. Volpe (eds.) Gesturebased Communication in Human-Computer Interaction [C]. Berlin: Springer-verlag, 2004.

[12] New London Group. A Pedagogy of Multiliteracies: Designing Social Futures[J]. Harvard Educational Review, 1996, (1).

[13] Pilgrim, C. Multi-modal Learning: A Case Study[A]. In C. McBeath & R. Atkinson (eds.) The Learning Superhighway: New World?New Worries?[C]. Proceedings of the 3rd International Interactive Mulimedia Symposium, Perth, 1996.

[14] Poggi, I. & C. Pelachaud. Signals and Meanings of Gaze in Animated Faces[A]. In P. McKevitt, S. O’ Nuallàin & Conn Mulvihill (eds.)Language, Vision, and Music[C]. Amsterdam: John Benjamins Publishing Company, 2002.

[15] Pufall, P. Function in Piaget’s System: Some Notes for Constructors of Microworlds[A]. In G. Forman & P. Pufall (eds.)Constructivism in the Computer Age[C]. New Jersey: Lawrence Erlbaum Associates, 1988.

[16] Schmittau, J. Cultural-Historical Theory and Mathematics Education[A]. In A. Kozulin et al (eds.) Vygotsky’s Educational Theory in Cultural Context[C]. Cambridge: Cambridge University Press, 2003.

[17] van Leeuwen, T. & C. Jewitt. The Handbook of Visual Analysis[M]. London: Sage Publications, 2001.

[18] Vygotsky, L. S. Mind in Society: The Development of Higher Psychological Processes[M]. Cambridge: Harvard University Press, 1978.

[19] 胡壮麟. 社会符号学研究中的多模态化[J]. 语言教学与研究, 2007, (1).

[20] 惠兆阳等. 主次模态协同性实证分析——以英语听力教学为例[J]. 山东外语教学, 2013, (3).

[21] 刘秀丽, 张德禄, 张宜波. 外语教师多模态话语与学生学习积极性的关系研究[J]. 外语电化教学, 2013, (3).

[22] 王铭玉. 语言符号的意义[J]. 外语学刊, 2002, (4).

[23] 杨剑英, 杜平. 多模态外语学习的意义建构认知研究[J]. 中国教育学刊, 2012, (S1).

[24] 张德禄, 王璐. 多模态话语模态的协同及在外语教学中的体现[J]. 外语学刊, 2010, (2).