多模态输入对英语词汇附带习得影响研究

窦 泓

（陕西师范大学外国语学院）

英语词汇学习根据注意力的分配可分为有意学习和偶然学习。相较于有意学习在词汇学习过程中将注意力直接集中在词形、词义等方面，偶然学习则是通过阅读、听力、看视频等活动习得词汇，即词汇附带习得。对于大部分高校学生而言，有意学习是识记单词的主要方法，而该方法已经让部分学生对英语产生厌倦甚至抵触心理，词汇教学和学习方法亟待改变。因此，探究多模态输入在词汇附带习得中的影响和对词汇教学的启示十分有必要。

一、多模态输入概述

“模态”一词来源于语言学，最初指关于世界陈述的可信度或真实价值。Kress 和 Van Leeuwen将模态应用到视觉传达中，指出模态在视觉传达中的重要性[1]。在此基础上，模态被定义为物理媒介在长期社会影响后形成的意义潜势，以及可以通过单一或多个媒介实现的意义表征。随着时间的推移，模态的定义扩展到产生意义的各种符号资源，如姿态、文字、图像等，不再局限于语言。模态是一种符号系统，可以通过特定的感知过程来解释，是人类通过视觉、听觉等感官与外部环境交互的方式。

是否为多模态输入取决于所涉及的模态数量和符号系统的数量。据此，部分学者认为多模态输入应包含两个及以上模态，或单个模态由两个或多个符号系统组成。例如，看视频属于多模态输入的其中一种，因为在该过程中同时动用了听觉和视觉感官。而视频本身也可以被视为一种多模态输入，因为其包含了图像、字幕、声音等至少两个符号系统。而另一部分学者认为多模态输入在交互过程中则应至少同时调动三个感官，利用听觉、视觉、触觉等通过图像、声音、动作等多种符号资源进行交流。

虽然以往的定义未能对多模态中的模态个数达成一致，但根据上述定义，多模态指至少同时通过两个及以上感官或符号系统传达意义的形式，多模态输入则指信息接收过程中需要同时调动两个及以上感官才能理解的输入材料或方式。事实上，语言学习者在生活中无时无刻不接受着多模态输入。日常对话中，学习者需要同时调动多个感官以解码和处理声音、面部表情、肢体语言等多方面的信息。

多媒体输入是多模态输入中最典型、最常见的方式之一，二者既相互联系又相互区别。根据字面解释，前者是多个模态的混合，后者是多种媒体的整合。模态是感官与外部环境的抽象作用，媒体是传播声音、图像、色彩、文字等信息的具体载体，多媒体是则涉及声音、图片、文字等的技术或产品。因此，多模态输入与多媒体输入的区别在于前者是抽象的符号系统，后者则是具体的物理方法。

随着科学技术的发展，各种多模态输入方式被应用于二语的教与学之中。课内，老师为学习者播放二语短片，通过文字、画面、语音相结合的方式学习；课外，学习者可以自行通过玩英语游戏、看外国电影、与外国人在线聊天等多模态方式学习语言。由此可以得出，多模态输入在提高二语习得效率和丰富二语学习方法等方面具有很高的应用价值。

二、多模态输入对词汇附带习得的影响

多模态输入在二语习得领域的研究多集中于词汇习得。Neuman 和 Koskinen[2]最先设计了实验探究多模态输入对词汇附带习得的影响：经过为期十二周的实验，调查双语学生通过不同输入模态附带习得词汇的效率和保持率。129名七至八年级二语水平相当的被试根据输入模态被分为观看有字幕电视片段、观看无字幕电视片段、边听录音边阅读文本、仅阅读文本的四组，电视片段与文本的内容一致。每组在完成输入后需完成同样的词形辨认和词义回忆测试。结果显示，观看有字幕电视片段的一组在测试中的分数显著高于其他三组。该实验从实证研究角度证明多模态输入（观看带字幕视频）可能是促进学生词汇附带习得和保持的有效方式。而后又有更多实验证明了多模态输入在词汇附带习得方面的潜力。

虽然在九十年代末和二十世纪初有许多关于观看电视节目学习单词的研究，但是多模态输入在词汇附带习得领域并没有得到很大的发展。一方面是因为文本阅读始终被视为学习和扩大词汇量最有效和最常见的输入途径，纸质课本和练习册依旧是最主要的学习媒介。另一方面，相比于阅读输入，多模态输入在课堂中的普及率和利用率并不高，它更多地被视为一种放松和娱乐的方式，而不是有效的学习方法。然而，阅读输入并不总能达到理想的单词学习效果。一旦学生词汇学习落后，理解英文文章的难度就会增加，而理解难度增加会反过来会导致学到的单词更少。如此往复，形成恶性循环，学生不仅在知识上有欠缺，而且会丧失信心逃避学习。加之在多年单一阅读输入之下学习词汇，学生难免心生厌倦。因此，多模态输入的出现对于词汇学习十分有必要。是时候改变传统的语言输入方式，让学生重获语言学习的乐趣。

于是，多模态输入在二语习得领域的作用于2009-2010年间再度获得重视并延续至今天。更多关于多模态输入的研究集中于词汇附带习得领域中，以探索寻求更佳的词汇教学和学习方法。近十年的研究包括但不限于多模态注释的作用、多模态输入中不同字幕类型的作用、各种具体多模态输入方法的比较等。许多学者研究了诸如玩英文电子游戏、听英文歌曲、观看英文电影等各种多模态输入对词汇附带习得的影响。Reynolds在研究中发现一款“绘画和猜字（Drawing Something）”的游戏可以实现词汇的附带习得和保持，并指出其他英文游戏在特定条件下也会达到相同的结果[3]。

视听输入是最常见的多模态输入之一，因此有大量研究集中在探究视听输入在词汇附带习得方面的效果，并致力于探究如何提高词汇附带习得率和保持率。电视剧、新闻播报、电影、纪录片、视频片段是教学和研究中最常见的几类视听输入。前人通过研究发现观看完整电视节目可以产生词汇的附带习得。在观看完整的电视节目后，对被试进行了目标词汇意义回忆和意义识别两项测试，结果证明了词汇附带习得的发生[4]。电视节目的优点就在于易于获得、引人入胜，除此之外视觉信息可以为学生提供更多的上下文线索，进而促进词汇的学习，尤其是在遇到生词时。

在关于如何通过视听输入提高词汇附带习得和保持的研究中，大部分研究着眼于字幕在视听输入中的作用，通过比较不同类型的字幕探究对词汇习得的影响。研究比较了一语字幕和二语字幕、有字幕和无字幕以及其他不同类型的字幕在进词汇的附带习得和保持中的作用。研究表明，一语字幕和二语字幕都能产生词汇的附带习得，后者的效果优于前者，而当学习者对理解视频内容有困难时，有字幕比无字幕的效果更好，因为字幕此时起到了补充讲解的作用。除一语和二语字幕之外，其他类型的字幕也被证实对词汇习得是有效的，例如带注释的字幕和仅有关键词的字幕。

多模态输入在词汇附带习得和保持方面具有积极影响和巨大潜力。结合声音、图片、文字、动画等输入方式，调动学习者的听觉、视觉、触觉等感官，通过多模态输入优化词汇附带习得和保持将是是未来的研究趋势[5]。

三、多模态输入对大学英语词汇教学的启示

（一）优化词汇教学模式

教师应积极关注现代信息技术的发展，并主动尝试将新技术应用于大学英语的课堂教学之中，将词汇教学模式多样化，在课堂内积极使用多模态输入调动学生的学习兴趣和增加他们的学习投入量。在以往的大学英语词汇教学中，教师们多倾向于直接讲解生词或难词，除此之外对词汇不再做过多的处理。部分教师认为在大学英语课堂内观看视频的多模式输入属于浪费时间，学生只会注意画面而忽视词汇学习，甚至把看视频作为课堂消遣。事实上，在经过小、初、高多年的单一阅读输入学习英语之后，大学生对多模式输入感到新鲜又有趣，因此会更加积极地参与并投入到学习过程中。如今的大学英语不只是语音、词汇、语法等方面的学习，更是要通过英语能够用另一个的角度去看待世界和理解问题。因此，教师在课堂中应积极使用多模态输入进行词汇教学，一方面可以提升学生学习兴趣，促进词汇的附带习得，另一方面可以扩展学生视野，既能让学生学习如何用英语讲中国故事，又能从另一个视角看世界。

（二）选择合适的多模态输入材料

将多模态输入运用于课堂词汇教学，教师应选用难度适宜、主题积极的材料。首先，根据克拉申的“i+1”输入理论，即可理解性输入理论，“i”指学生现有的学习水平，“1”指略高于学生现有学习水平的难度，最理想的输入难度应是略高于学生当前的学习水平。过于简单的输入会使学生过分关注意义而忽视词汇的习得，而过于困难的输入会加大理解难度使学生丧失信心，从而无法达到良好的词汇学习效果。因此，教师应依据学生现有的英语水平选取难度略高的多模态输入材料。其次，多模态输入的材料在满足主题积极向上的前提下，内容应与即将学习或已经学过的单元主题相关联。教师可以在一个主题单元的学习开始前、进行中或结束后，选取内容相似的材料让学生进行观看，加强学习效果。例如，教师既可以在学习“运动”主题的单元前让学生观看关于历届奥运会的视频，以熟悉相关话题和词汇，降低后续学习难度，又可以在单元学习过程中让学生观看相关的视频，进一步加强词汇学习，也可以在完成一个单元的教学后，找难度适中的视频片段供学生观看。不仅可以加深学生对所学的单元的理解，而且也可以实现词汇的附带习得。

（三）教师应给予适当的干预

在课堂内完全利用多模态输入学习词汇附带习得是不现实的，学生始终是课堂的主体，教师需发挥自身在课堂中的引领作用。因此，在多模态输入的背景下，教师应发挥自身作用进行适当的干预。首先，教师可以对多模态输入材料中的目标词进行处理，通过加粗、加黑、下划线等方式增强输入，加深学生的视觉记忆。例如，教师可以在视频片段、新闻报道、纪录片等材料的二语字幕中将目标词加粗、高亮并配以中文注释，在吸引学生注意力的同时也能促进其对词汇的习得。其次，为提高附带词汇习得和保持率，教师可以根据多模态材料的内容设计需要学生高投入量的任务，让学生接收输入后完成任务，以达到更好的习得效率。教师可以根据多模态输入的内容设计相关联的任务，例如根据材料内容填单词、利用目标词汇造句、复述原材料内容等，在理解原材料的基础上完成各项任务，加强词汇的习得和记忆。此外，在多模态输入的前提下，教师依旧可以对词汇进行显性的教学，通过有意学习和偶然学习相结合，进一步提升词汇学习效果。

四、结束语

词汇是大学英语中重要的组成部分，而单一的输入模态使得词汇学习和词汇教学枯燥乏味，学习效果也因此大打折扣。随着信息化技术的发展，多模态输入逐渐走入二语习得研究，并在词汇附带习得领域产生一定影响。利用诸如英美电影、英美电视剧、纪录片、新闻等多模态输入进行词汇学习是一种全新的尝试，通过在学习过程中同时刺激学习者的多个感官，激发学习者的兴趣和投入度，从而提高词汇的习得率。因此，在多模态输入的基础上，教师丰富和改善词汇教学模式、选择合适的材料、给予一定的干预是优化词汇附带习得和保持的发展趋势。