多模态教学对英语听力理解影响的实验性研究

吴爱

摘要：为了验证多模态教学对英语听力理解的影响，文章选取了三明学院国际学院学生为研究对象，在新的教学模式下，展开了为期一年的教学实验。实验结果表明，多模态听力教学能有效提高学生的听力水平;视觉模态比听觉模态在提高学生听力理解能力上效果更为明显;且视觉模态对英语水平较低的学习者积极作用更加明显。

关键词：多模态;听力;视觉模态;听觉模态

一、引言

英语听力作为一项基本的语言基础课，也是一门传统技能课，在整个英语的教学中占据着重要的地位。在国际交流越来越紧密的今天，很多学校都走上了国际化办学的道路，国内外学习相结合的国际项目的展开也要求学生具备一定的听说能力。因此，强化学生的听说能力，培养学生的交际技能，让他们在修完国内的学分之后，能够顺利的进入到国外的学习中。不但听得懂，学得会，而且能够融入国外的环境，这也是培养优秀国际化人才的时代需要。由此，更应该把听说能力放在英语教学中的首要地位。

随着现代科技的发展，传统的听力教学模式逐渐被计算机网络技术所取代。录音机、磁带等教学工具已经转化为音频、视频。计算机、手机已经在教学中发挥了一定的作用。然而因为课堂时间有限，教学任务繁重，学习主动学习能力不强，老师放音，学生做练习，老师讲解，学生被动学习仍然是现今英语听力教学的主导模式。语言知识的灌输，对于听力能力的培养，效果不佳。

在真实的交际过程中，大部分的语言的发生均处在多模态环境中，它伴随了说话人的表情、动作以及所处语境。所以多模态教学的手段，视频，情景对话等其他多模态信息的加人对学生听力教学非常有必要，与一般听力课相比具有更强的实践性和时代性。然而多模态听力教学是否对学生有积极影响;不同模态信息对学生听力理解的影响是否相同;不同模态信息对不同英语水平的学生听力理解的影响是否相同，所做的研究较少，也需要具体的实证分析。本研究以三明学院国际学院体育教育专业学生为研究对象，对多模态教学手段对听力理解的影响做出实验性研究，希望能为国际学院听力教学改革提供借鉴意义。

二、多模态理论基础与模型建构

（一）多模态理论基础

Halliday（1985）认为在交际过程中，人们意义构建是用各种各样的符号资源来完成的，各种不同的符号资源就构成了多模态（multimodality）[1]。Levine& Scollon（2004）认为多模态指交际时所采用的多种模式，如言语、色彩、味道、图像等[2]。顾曰国（2007）认为模态是指人通过感官（视觉、听觉、嗅觉）和外界（人、动物、物品）的互动方式[3]。单模态指单个感官与外界的互动，多模态指多个感官与外界的互动。在多模态教学中，利用现代化的媒介，把多种模态引入教学，激发了学生学习语言的兴趣，实现教与学的互动，达到了外语教学中注重视听说写练相结合的一大特点。

（二）多模态听力学习模型的建构

随着教学改革的不斷深化，教材建设也与时俱进，不断适合教学发展的需要。随着磁带时代的终结，现在高校使用的各种英语听力教材均配有大容量的CD，内包含音频、视频、图片甚至整个教学课件。丰富的多模态资源已经触手可及，然而由于课堂时间有限，教学任务繁重，学生自主学习意识不强，教师上课的时候仅仅使用计算机播放音频或者视频代替以前磁带的播放，学生根据听觉模态或者视觉模态完成听力练习，教师矫正答案或者再次播放听力资源完成教学任务。有多媒体参与下的新型教学模式并不能跳脱以前传统教学模式的侄桔，多模态的教学模式没有调动起来，听力的提高收效甚微。

多模态环境下的英语听力课堂建设应该充分利用电脑多媒体资源，强调语言、图片、声音与外界信息的资源互换与信息建构;并充分调动各个模态之间的协同和配合，如视觉与听觉，听觉与语言，语言与动作。根据张德禄的多模态教学设计，我们建构了如下的英语听力教学模式：

该教学模式分为听前、听中和听后三个阶段。听前分为课前与听力资料播放前，在课前可以通过各种网络媒体如QQ、微信、邮箱布置主题相关内容，也可以通过作业的形式让学生了解相关背景知识，这样听前和听后形成一个正态循环。作业的点评与主题的描述也可以在这个大主题下交叉融合，协同发展。另外，学生分组的时候要注意小组成员水平的等级化，即每个小组都分配有语言水平强、中、弱的成员，让每个成员都能平等的参与表现。听中听力资源的重复播放和讲解环节应当就视频或者音频的难易程度进行省略。听后分为听力资制播放结束后和课后，在听完听力材料后，教师组织小组活动验收学生学习效果，培养学生语言输出能力，表现力;课后作业，借助于现代媒体技术，使用微信群功能，让学生把听力作业转化为口语复述提交到群里，实现模态之间的转化，加深工作记忆。

三、研究设计

（一）研究问题

本研究旨在讨论多模态英语听力教学环境下的以下三个问题：（1）多模态英语教学是否有助于学生的英语听力水平的提高;（2）不同的模态信息对学生听力理解的影响是否相同;（3）同一模态信息对不同英语水平的学生听力理解的影响是否相同。

（二）研究对象

本实验以三明学院国际学院体育教育专业2015级1、2班的听力教学为例，其中1班为实验组（22人），采用多模态听力教学模式，2班为控制组（23人），采用常规听力教学模式。两个班性别比例基本一致。单由于专业特殊性，虽然对英语需求度较高，但英语整体水平不高。实验为期1年，实验前，对两组同学的听力水平进行了测试，检测结果表明两个班学生成绩无显著差异。

（三）研究过程

按照实验预先设定，在实验活动开始之前，我们把实验组和对照组成员进行分组，每组均有5-6名成员，均包括不同水平英语学习者。在实验过程中，实验组按照预先构建的多模态听力学习模型进行学习（具体见表1），对照组按照常规的听力教学模式学习，即老师播放音频或者视频——学生作练习——老师对答案——老师针对性再次播放或者习题讲解。由同一名老师担任此次试验的两个组的教学授课，所用教材均为《新视野大学英语视听说教程》（第二版）。实验为期1年，从2016年9月到2017年9月。

实验后，制定了与实验前难度水平一致的相关听力材料测验学习成果。由于国际学院的学生以后要通过雅思进入国外的学习，所以本次测试的听力材料的内容与题型也以雅思听力为基础。分别选取新闻报道为题材的音频材料3篇，视频材料3篇;文化背景为题材的音频材料3篇，视频材料3篇;学术背景为题材的音频材料3篇，视频材料3篇。听力题型分为选择题、填空题、匹配题，主要考察细节、词类转换、同义词、语义推理和主旨信息。

为了了解视频信息对学生听力理解产生的作用，在每篇视频听力试卷下方预留3分钟时间让学生勾选李克特量表（Liken scale）。量表设计为5个等级：1非常有帮助作用，2比较有帮助作用，3既无干扰也无帮助作用，4比较有干扰作用，5代表非常有干扰作用。所有数据均采用 SPSS19.0进行分析。

（四）结果与讨论

1.多模态英语教学是否有助于提高学生的英语听力水平

经过为期1年的教学活动，把实验组和对照组在实验前后的测验成绩输入SPSS19.0后，得到以下数据，实验组在实验前后听力水平均值由69.23保留小数点后两位）提高到了75.73;而对照组在实验前后的听力水平均值仅由72.68提高到了74.27。可见，实验组的成绩提高较为显著（见表2）。

同样，在表3的独立样本检验中，实验组sig.值为0.569>0.05，说明实验前方差相等，而试验sig.（双侧）为0.048<0.05，且差分的95%置信区间从-12.95——-0.54，中间不包含0，说明实验结果有显著性差异，即通过实验教学活动，学生听力水平提高显著。而对照组sig.值为0.877>0.05，说明实验前方差相等，而试验Sig.（双侧）为0.638>0.05，且差分的95%置信区间从-8.36——-5.18，中间包含。，说明实验结果无显著性差异，即一年的常规英语听力教学活动，学生听力水平提高不显著。

2.不同的模态信息对学生听力理解的影响是否相同

在考察视觉模态和听觉模态对学生听力理解的影响时，根据学生所答对的视频材料和音频材料题目的成绩来判定学生对该听力的理解能力。其中填空题型的判定是只要学生写对和听力材料内容相关的语义内容，不管语法结构，拼写是否正确，我们均认为学生能够理解此篇听力材料，可以得分。视频题目和音频题目均占试卷总分的50分。在听力材料的语义选取和划分上，我们选定2位有十年以上英语教学经验的老师和一名外教完成，并由承担实验教学工作的老师完成试卷的批改工作。

按照实验结果，我们把实验班和对照班的视频和音频的得分情况输入SPSS 19.0，得到以下数据分析。两个班的视频成绩均高出音频成绩（见表4），实验班和对照班Sig.（双侧）即P值均为0.0000<0.01（见表5），说明在两个班的视频和音频输入差异均非常显著。

根据对视频听力试卷下方的李克特量表的统计，认为视频材料对听力理解非常有干扰作用的人占1%，认为比较有干扰作的人用占7%，认为既无干扰也无帮助作用的人占17%，认为比较有帮助作用的人占60%，认为非常有帮助作用的人占5%。与数据分析结果表现一致，視觉模态信息对于学生听力理解水平的提高非常有帮助。

3.同一模态信息对不同英语水平的学生听力理解的影响是否相同

为了了解对同一模态信息对不同英语水平的学生的影响，我们把实验组学生根据他们的实验后成绩分成两组。以75分为分段标准，即75分以上为高分组，75分以下（包括75分）为低分组。分别把他们的视频和音频成绩输入SPSS19.0，得到以下数据分析。低分组音频均值低于视频均值12.33分，而高分组音频均值仅低于视频均值4.2分（见表6），同样在对比T检验中，低分组视频和音频之间的P值为0.000，而高分组视频和音频之间的P值为P值均为0.001，可见，视频与音频在低分组之间的差异更加显著（见表7），即表明视频模态对低分者的影响较高分者更为显著。

在根据实验组高低分段学生的李克特量表，低分组12人中，认为视频材料对听力理解非常有干扰作用的人为。人，认为比较有干扰作的人为1人，认为既无干扰也无帮助作用的人占3人，认为比较有帮助作用的人有5人，认为非常有帮助作用的人占3人。

（五）启示

1.加强视觉模态对工作记忆的有效影响

通过实验表明，当视觉与听觉模态共同协作时，学生听力水平提高明显，说明视听模态能有效延长工作记忆时间，扩大工作记忆容量。而且视觉模态对于低分组的积极影响要高于高分组。这是由于视频图像较音频信息更容易激活学习者对已知背景信息的认知反应，创造有效关联，并和情景语境积极互动，加速对听力材料的解码。而相对于高分者而言，图像信息的输入有时候会分散学生的注意力，把对听觉模态的专注度分散到听和看两个方面，从而干扰信息处理的速度，特别是当视频信息和音频信息不对应时，负作用更加明显。因此，多模态听力教学要增强各模态之间的互补，提升学生对信息的有效加工。

2.培养学生的跨文化意识

根据实验表明，学生在遇到有关西方文化以及人名地名，尤其是发言带有口音的音频时，所需要的信息解码时间较长且难度较大，而且母语负迁移对语音、词汇、语法层面的影响也影响学生对听力材料的加工与输出[4]。教师在教学过程中要拓展学生的跨文化意识，在练习听说技能的同时，还需掌握词汇的语言使用环境，背景，以及文化内涵;了解东西方习俗上的差异，增强不同文化的认同感和包容性，培养跨文化交流能力。以阅读带动多元文化的了解与吸收，以丰富的实践，如会话、看电影、听音乐促进对英语口音的识读能力。当听力信息与学生现有的知识结构、爱好、能力相一致时，对音频信息的解码输出就会变得快速容易。

3.增强学生的自主学习能力

多模态听力教学要区别于现在占主导地位的视听说模式，真正实现学生的主体地位，培养自主学习能力。在课程设计中，加入了听前的主题搜索与听后的课堂活动环节。在主题搜索中，学生搜集和主题相关的话题，累积相关背景和词汇;在听后的课堂活动环节，学生可以根据课堂内容自行设计游戏环节，例如快问快答、词汇抢答、表演、配音等充满想象力创造力的活动，调动多个模态配合工作记忆的加强，既增加学生的学习趣味、巩固所学知识，而且学生的意义协商和感情交流也得到了加强[5]。课后作业的借助新媒体技术，要求听完音频作业听完之后口头复述到微信群里提交，把听觉模态转换为语言模态，充分调动感官系统与外部环境的互动，各模态直接的协同。经过实验表明，实验班学习动力更强，且听说效果的提高更为明显。

4.提升教师的主导教学能力

多模态听力教学对教师的主导作用提出了新的挑战。计算机，手机等新的媒介的使用，多种模态的输入，不但没有弱化教师的作用，相反要求教师能够协同各种模态信息，使其互相补充，强化，促进教学质量的进步和学生听力水平的提高。在多模态听力教学的过程中，各种信息的输入有时候会对学生的信息加工，解码和输出产生干扰作用。虽然视频信息是音频信息的有益补充，但是在视频与音频不符，或者音频与其它模态信息不符时，就会造成负影响。教师的作用就是要教学生如何通过各种模态获取信息以及进行信息的加工，增加工作记忆与信息处理能力，这是挑战之一;其次，多模态听力教学更加侧重各种模态信息之间的转化，例如把视觉、听觉模态转化为语言、动作。这反应在教师对课堂活动以及课后作业的点评与总结上。在课堂活动结束之后，教师必须对学生的发言或者表演或者其他表现形式给予语言层面和思想层面的点评，提出独到见解。这就要求教师必须纵深了解相关主题，当前流行话题、以及实时热点，不断提高自身素质与能力。

四、总结

本研究结果表明，多模态听力教学能有效提高学生的听力水平;视觉模态较听觉模态对学生的听力理解的积极作用更为明显;且视觉模态对低分者听力水平的提高辅助作用更大。

本研究的局限在于参与实验的学生人数较少，而且属于体育教育专业，总体英语水平相对较低;对于不同模态信息的对比尚未涉及到除视觉和听觉的其他方面。对于以后的研究可以针对英语水平更好的学生展开，并加深各模态之间深层次的对比，并把多模态的教学的影响扩大到阅读和写作等其他方面。

参考文献：

[1]Halliday，M.A.K.An Introduction to Functional Grammar[M].London：Edward Arnold，1985.

[2]Levine，Philip&Ron Scollon.Discourse and Technology：Multimodal Discourse Analysis [M].Washington DC：GeorgetownUniversity Press，2004.

[3]顾曰国，多媒体、多模态学习剖析[J].外语电化教学，2007，（2）：：3-12.

[4]胡永近，张德禄.英语专業听力教学中多模态功能的实验研究[J].外语界，2013，（5）：20-25.

[5]Gonzaley-loret，M.designning task-based Call to promoteinteraction：En busca de Esmeraldas[J].language learning&Technology，2003，（7）：98-102.