从多模态视角研究二语听力中的附带词汇习得

盛仁泽 卫 茜 宝建东 刘晓林

（重庆三峡学院外国语学院，重庆万州 404100）

“在听力教学中使用视听材料使声音和图像相结合，视觉和听觉相结合，语言和情景相结合，对视觉型、听觉型、感受型等各类学习风格的学生都是有益的。”[1]基于此，笔者在听力教学中引入多模态学习模式，通过视觉、听觉和触觉与网络环境下的多媒体听力学习资源（音频、视频及其录音转写文字）以互动方式学习听力，即学生与外部环境进行互动，大脑对接受的信息进行处理，然后通过外部行为表现来提高自己的听力能力。因此，本文拟就探讨多模态对听力理解和附带词汇习得的作用。

一、研究综述

（一）多模态及其作用

多模态指人类通过三个及其以上感官跟外部环境之间的互动方式。[2]自20世纪90年代起就有人将该理论引入了话语分析领域，朱永生认为话语分析不应局限于语言本身，应注意到图像、声音、颜色等其他意义表现形式。[3]Weyers认为受视、听觉的双重刺激，学习者能显著提高对目标语内容的理解。[8]周光磊和杨世登（2004）则发现视频辅助对学习者能产生积极影响，语言水平较低者作用尤甚。[4]Guichon和McLornan在以BBC视频新闻和音频新闻为对比研究工具的一项实验中发现，当视频形象和语言信息相关时，听力理解得到了提高；视频图像和语音信息不一致时，受试有认知负荷超载的表现。他们由此认为，与语音信息无直接关联的视屏图像会干扰学生的注意力，造成注意力分裂效应。[8]多模态对词汇习得的影响，因视听材料的不同而效果各异。Snyder和Colon（1988）的研究表明视觉输入能提高词汇理解和记忆。[9]周光磊和杨世登则认为视频功能对帮助学习者理解生词及与无涉画面的具体信息作用不彰。[4]

（二）附带词汇习得

Nagy、Herman和Anderson1985年首次提出了附带词汇习得（incidental vocabulary acquisition，以下简称IVA）概念，即在听说读写时自然附带习得词汇，视词汇学习为完成活动之手段，而非目的。IVA研究方兴未艾，Pulido（2003）考察了话语熟悉程度、英语阅读能力以及视觉词汇量对IVA的影响，[10]Laufer和 Hulstijn（2001）则研究了写作中的 IVA。[11]目前，国内的IVA研究才起步，介绍性文章较多（盖淑华2003a；粱端俊2005），[5][6]实证研究相对较少（盖淑华，2003b），且多聚焦于阅读而忽略了听说写领域。[7]

二、实验研究

（一）研究设计和研究问题

研究的自变量是视听组，研究的因变量是产出性词汇即时习得和接收性词汇即时习得以及产出性词汇延时记忆和接收性词汇延时记忆。听力输入被当作控制变量。

本文研究的主要问题：第一，多模态学习模式对听力理解和附带词汇习得作用如何？第二，视听组比听音组是否更能促进听力理解和附带词汇习得？

（二）研究对象

受试者是本校一年级非英语专业本科生，由同一教师任课，他们被分为两组，即视听组（29人）采用多模态教学模式，听音组（29人）采用传统听音教学法。两组受试期末考试成绩方差分析显示没有显著差异：F（1，56）＝1.12，p＝0.349（p＜0.05）。问卷显示受试的年龄为17～20岁，学习英语的时间均为7～8年。实验研究时间为一年（2008年9月至2009年9月）。

（三）研究工具

研究工具为听力测试卷及词汇测试卷。

1.听力测试卷

听力测试材料是介绍水资源的科教纪录片。该片语言清晰，语速适中，并配有相关图像。声音和图像有利于视觉输入和听力输入的相互影响。文章已知词汇覆盖率为文内标记的97.94%，列出20个提示词（10个目标词和10个干扰词），其发音、词形、词义和汉语意思也一并列出，在听前发放给受试者，目的是确保受试者准确理解文意并能使用目标词。听力测试卷要求受试独立听两遍，视听组还观看与听力材料配套的视频图像。然后完成听力理解测试题（10分），对10个句子作正误判断，10个句子都与文章内容相关，其中有五个句子与视频信息相关，句中无目标词。

2.词汇测试

试卷包括前测卷和后测卷。前测在受试前进行，目的是检测受试者对目标词的熟悉程度，要求受试者写出20个英语单词（10个目标词和10个干扰词）的汉语意思。后测在听后进行，用于检测受试者对目标词的附带习得情况，由接受和产出测试组成，每项测试各10道题，每题计1分。接受测试检测受试者是否能够识别目标词的意义，要求受试者从右栏中选出与左栏的目标词对应的同义词或定义进行匹配。产出测试检测受试者应用目标词的能力，从听力材料中挑出含有目标词的10个原句并把目标词去掉，留有首字母，要求受试者填空。为了降低测试效应，产出性测试皆先于接收性测试。

（四）多模态学习模式训练内容

视听组采用三个环节来设计多模态教学活动。1.听前阶段：提供听力材料背景信息和相关图片。2.听时阶段：为学生提供多模态教学材料。此阶段是听力材料的信息获取和意义建构阶段。参照朱永生（2007）视觉符号语义三层面分析方法。（1）在概念意义层面上，探讨图像本身的意义。（2）在人际意义层面上，从三个角度来探讨：①图像中参与者的社会关系；②明确图像设计者的交际目的；③图像解释读者本身对图像内容的介人程度。（3）在语篇层面上，根据图像所处的相对位等版面安排，分析多模态话语的信息分布，确认已知信息和新信息。[7]3.听后阶段：提出问题，进行讨论。具体做法：（1）复述，（2）角色扮演，（3）写摘要。

（五）实验测试步骤

实验一年后，持续进行了五周测试。第一周，词汇前测，无任何准备的受试时限10分钟完成。最后受试接受测前任务训练。第二周，四组受试在完成各自任务后立即进行听力理解测试和词汇后测1。第三、四、五周则分别完成词汇后测2、3和4。

（六）数据分析

本研究使用SPSS 17.0进行统计分析。运用单向方差分析检验两组受试的听力理解和词汇习得是否存在显著差异。

三、结果分析与讨论

（一）结果分析

1.视听组对听力理解的作用

视听组听力理解成绩的平均分（视听组平均值为7.90）均高于听音组（听音组平均值为5.83）。单方差分析显示，两组受试的听力理解成绩之间存在显著性差异，P为0.02，小于0.05，表明视听组的听力理解能力比听音组显著要好。

2.视听组对产出性词汇习得的作用

如表1所示，视听组的4次产出性测试平均分都稍高于听音组。单向方差分析显示（表 2），两组受试后三次产出性词汇后测都没有显著性差异，P大于0.05，表明它们没有导致显著不同的产出性词汇习得。

表1 两组方式的产出性平均分分布表（n=29）

表2 两组方式的产出性测试成绩ANOVA（单因素）方差分析表（P＜0.05）

3.视听组对接收性词汇习得的作用

如表3所示，视听组的四次接收性词汇后测得分稍高于听音组。单向方差分析显示（表4），两组受试的四次接收性后测都没有显著性差异，P大于 0.05表明它们没有导致显著不同的接受性词汇习得。

表3 两组方式的接受性平均分分布表（n=29）

表4 两组方式的接受性测试成绩的ANOVA（单因素）方差分析表（P＜0.05）

（二）讨论

关于视听组与听音组对听力理解和附带词汇习得的作用，本研究发现：第一，视听组的听力理解成绩比听音组显著要好；第二，视听组与听音组的产出性和接受性词汇习得没有显著差异，但前者的词汇测试平均分高于后者，这表明前者的附带词汇习得优于后者。视听组的听力成绩平均分高于听音组，且具有显著性的差异。该结果和Secules etal（1992）和Weyers（1999）的研究结果相一致。[8][12]用认知负荷理论来解释其原因：第一，结合视听两种模式的信息输入可以将学习者的工作记忆最大化，从而提高听力理解。第二，由于视听材料的呈现要求学习者在多种离散的信息源之间分配注意资源则干扰了学习。学习者注意资源的有限性使他无法以语言系统和图像系统同时去辨认、加工和储存信息。相反，他只能以相应的最佳的认知系统，图像系统去储存信息，即视频模式来储存听力材料。此时，学习者更倾向于借助图像视觉信息来理解内容而不是用语言形式来理解（VanPattern，1990）。[13]因此，视听中的超语言特点可以为理解内容提供线索，语言水平和任务的难易度能起到协调作用。

视频组与听音组的产出性和接收性词汇习得的没有显著差异，但前者的词汇测试平均分高于后者，这表明前者的附带词汇习得优于后者。第一，视频中的非语言信息对词汇的短期和长期记忆有干扰作用，对语言水平低的学习者来说影响较大。对于没有图像对应的词汇，视听组明显受图像信息的干扰。因为视频图像占据了大部分工作记忆空间，词汇注意和解码的注意力空间就降低了，词汇习得也就减少了，而听音组学生的瞬间记忆较好，选择原词的准确率较高。第二，视听组对有具体图像的实义词的记忆有所提高，伴有图像的词汇有助于学生对词汇的短期记忆和习得。由于学生能够在图片和词汇语音信息之间建立关联，语音信息不会完全被图像所代替。从测试结果看，视频辅助功能对词汇题及与画面无关的具体信息题的影响最小，对总体信息题、与画面相关的具体信息题均有显著影响。这说明视频辅助功能对不同语言水平的学生所起的作用不同，语言水平较低的学生受其影响较大。

四、结论

本文对多模态教学模式在大学英语听力教学中的作用进行了实证研究，结果表明，视听组比听音组更能提高学生听力理解能力，视听组与听音组之间的附带词汇习得没有显著性差异，但视听组的平均值和标准差要高于听音组。这说明视频辅助功能对词汇题及与画面无关的具体信息题的影响最小，对总体信息题、与画面相关的具体信息题均有显著影响。视频辅助功能对不同语言水平的学生所起的作用不同，语言水平较低的学生受其影响较大。由于学生的产出性词汇的习得落后于接收性词汇习得。为了有效提升附带词汇习得，师生均应重视单词的产出性运用。教师应选择具有真实情景且原汁原味的听力材料，让学生充分发挥主观能动性来解决各种问题，以促进听力理解和词形词义的附带习得。在课堂上为学生提供角色扮演和话题讨论机会。再次，听力材料难易适度，学生不能完全依靠视觉信息理解内容而忽视对语言形式的学习。

[1]王守元，苗兴伟.英语听力教学的理论与方法[J].外语电化教学，2003（4）.

[2]顾日国.多媒体、多模态学习剖析仁[J].外语电化教学，2007（2）.

[3]朱永生.多模态话语分析的理论基础与研究方法[J].外语学刊，2007（5）.

[4]周光磊，杨世登.视频辅助功能对英语专业学生听力理解的影响[J].解放军外国语学院学报，2004（3）.

[5]盖淑华.词汇附带习得研究概述[J].解放军外国语学院学报，2003a（2）.

[6]盖淑华.英语专业学生词汇附带习得研究[J].外语教学与研究，2003b（4）.

[7]粱端俊.L2/FL阅读中词汇附带习得纵观[J].国外外语教学，2005（4）.

[8]Weyers,J.R. The effect of authentic video on communities competence [J].The Modern Language Journal, 1999（3）.

[9]Snyder & Colon, I. Foreign language learning and audiovisual aids [J]. Foreign Language Annals, 1988（21）.

[10]Pulido,D. Modeling the role of second language proficiency and topic familiarity in second language incidental vocabulary acquisition through reading[J].Language learning,2003（53）.

[11]Laufer B., Hulstijn J.Incidental vocabulary acquisition in a second language: The construct of task induced involvement [J].Applied Linguistics,2001（1）.

[12]Secules, Teresa, Carol H. and Michael Tomasello. Thee ffect of context on foreign language learning[J].TheMod2ern Language Journal,1992（4）.

[13]VanPattern, B. Attending to form and content in second language acquisition: An experiment in consciousness [J].Studies in Second Language Acquisition, 1990（3）.