“视听说”课堂教学中多模态协同性的历时研究

李佼慧

（焦作师范高等专科学校，河南 焦作 454000）

一、前言

英语视听说课程选材真实、多样，同步提升视、听、说能力，训练学生从听懂特定主题的内容到表达相关的思想和观点。在教学反思中，教师关注到：视听说课堂教学中，课堂气氛活跃、学生关注度高；学生的听、说能力提高的速度慢、效果不显著。那么，视听说课程相比于单一的听力课和口语课的优势如何作用于课堂教学呢？依据教学过程中所体现的多模态特点，视听说课堂教学中的常规教学活动“视、听、说”分别对应多模态理论中的“视觉模态、听觉模态和运动模态”，教学效果受制于三种模态之间的协同性，即三种模态之间是互相趋同还是互相干扰。

二、研究现状

（一）多模态应用于教学的概念界定

顾曰国将模态定义为“人类通过感官与外部环境之间的互动方式”，“用单个感官进行互动叫单模态，用两个的叫双模态，三个或以上的叫多模态。”O’Halloran将多模态定义为综合语言、视觉图像、其他符号资源构建纸质、数字媒体和日常生活文本、事物、事件的理论分析和实践。Kress & Van Leeuwen认为各种符号资源共同参与日常的人际交流活动行成多模态交流。

将多模态的表达方式应用于教学就是通过一种以上的感觉如视觉、听觉等与外部环境进行互动。具体而言，学习者在多模态教学中会调动多重感官吸收多种模态形式所体现的外部符号，这些外部符号映射在头脑中所生成的信息会相互作用，成为文字文本的一部分。 “新伦敦小组”首先于1996年提出了多模态教学的概念。随后，学者Boltova & Weyers通过研究表明，学习者同时得到视觉和听觉刺激后能显著提高对目标语内容的理解。

国内，张德禄根据系统功能语言学原理建立了一个多模态话语分析的理论框架。周光磊，杨世登、王萌，谢小苑从视频辅助、输入模态、试听材料等角度论证多模态用于教学的有效性。

(二)多模态协同性与教学的研究现状

多模态与教学的研究大多集中于多模态作为一个整体作用于教学，对各模态之间关系和协同性的关注较少，关注多模态协同性与教学关系的研究更是屈指可数。

Royce研究了第二语言课堂教学中多模态的协同性。张德禄指出多模态话语具有协同性以及论述了其在外语课程中的应用。随后，国内学者开始将多模态协同性研究转向具体的一个教学领域。李庆杰探讨了如何利用多模态的协同性创建师生共赢的大学英语课堂。魏贵娟探讨了英语写作的多模态协同教学模式。惠兆阳，王丽恒，林意新，赵莉莉以英语听力教学为例，论证了主次模态协同性在教学中发挥作用的方式和效果。

三、理论框架

（一）模态间的关系

顾曰国提出了多模态内容之间具有互动性，装载多模态活动的、经过数字化后，计算机可以处理的含音频的视频流形成了“多模态文本”。张德禄指出模态之间有两种基本关系：互补关系和非互补关系。在互补关系中，各模态的地位和作用是不同的。通常情况下，一种模态为默认模态或基本模态，其基本作用并处于主导地位；而其他模态则起到补充作用。在非互补关系中，其他模态对基本模态的影响不大。因此，多模态并非在任何情况下都会比单一模态发挥更大的作用，只有当模态间相互配合，使其协同性的到发挥时才能起到积极显著的效果。

（二）模态使用的原则

张德禄针对课堂设计提出了模态使用的原则：有效原则、适配原则、经济原则。有效原则是指在选择任何一个模态时，都要以能够起到更好的教学效果为前提，避免使用模态的无效性和负效应；适配原则是指多种模态的选择要考虑到模态之间的配合度；经济原则是指模态的选择越简单越好。

（三）学习行为的过程

认知心理学理论下，学习是构建意义的行为，即学习者在与外部环境互动时构建了自己所理解的意义。顾曰国提出，学习行为的过程分为：获取信息——外部环境互动；构建意义——大脑处理外部环境互动获取的信息；获取实践能力——学习效果的外部行为表现。获取信息的方式包括视觉、听觉、触觉、嗅觉、味觉、空间和身体效仿。在构建意义的过程中，大脑通过视觉、听觉、触觉、味觉和嗅觉五个模态处理与外部互动的信息。实践能力包括听、说、读、写、译、体态等能力。

（四）多模态应用于教学

多模态教学理论提倡通过多种模态同时刺激听话者的感官，调动学习者多种感官协同运作,以加深印象、强化记忆、提高交际的有效性。多模态教学框架下,对模态的选择遵循三个原则:第一，为教学提供教学情景。网络的发展为尽可能真实的语境提供了便利条件,可以提供图像、录像、声音,作为学习的实际环境; 第二，为教学提供辅助条件。通过对话语从多方面提供辅助信息，使学习效果更好。第三，为多模态话语交际提供多通道话语意义表达方式。多媒体同时参与一个交际情景，不仅吸引学习者的注意力和兴趣，而且促进信息的吸收不断强化、更加精确和彻底。

四、研究设计

（一）实验目的

依据模态间关系和模态使用的原则，结合“视听说”课堂教学中凸显的多模态特点，探索各模态协同性的发挥。在“视听说”教学过程中，学习者通过观看视频接受信息，运用了视觉模态；通过收听音频接受信息，运用了听觉模态；而在看与听的环节之外，运用“说”的方式介绍相关背景和知识、阐述个人观点和疑问、进行小组或班级活动，即为运动模态。通过实验，拟探求视听说教学过程中运用多模态的相关问题：第一，多模态的积极作用；第二，各模态的两类关系：互补关系和非互补关系；第三，视觉模态、听觉模态和运动模态之间协同性的实现；第四，教学不同教学阶段中各模态的协同性差异。

（二）实验对象

随机抽取焦作师范高等专科学校商务英语专业二年级学生中英语水平无明显差异的三个班级为前测对象。在前测中，选取“焦作师范高等专科学校商务英语专业2018-2019学年（下）商务综合英语期末测试”听力部分的成绩为测试数据，使用SPSS17.0进行差异显著性检验。笔者随机把1401班设置为对照组（31人），1402班设置为实验组1（32人），1403班设置为实验组2（32人）。独立样本t 检验表明，实验组1，实验组2与对照组之间的差异显著（t =0.576 , p =0.545）,p=0.545>0.05,即所选定班级在英语听力水平上无显著差异（见表1）。

（三）实验内容

表1 实验组1、实验组2与对照组实验前测的独立样本t 检验

“商务英语视听说”是商务英语专业的必修课程和主干课程，安排在第3学期和第4学期，总计64学时。教学的模式以听觉模态为主，视觉模态和运动模态为辅。在课堂活动中，教师在播放视频内容之前或之后以运动模态的形式安排小组讨论、同伴对话、集中展示等形式充实学生商务语境下的相关知识和词汇；学生在接受视频内容时以视觉模态和听觉模态的形式输入信息并完成练习，以此来提高听力水平。在显然以听觉模态为主接收信息的视听说练习中，视觉模态和运动模态的作用在后测中进行考量。

后测分为两次。第一次后测安排在第3学期第一周，第二次后测安排在第4学期第十六周，教师对三个受试班级学生进行听力测试。测试的形式相同，均包括两种题型，听力选择和听写，测试题的难度随课程进度递增。在两次后测中，针对相同的测试题型，受试学生所接收的信息形式有差别。对照组学生只能听到录音；实验组1学生在听音同时可以看到与内容相匹配你的视频材料；实验组2的学生在测试前被要求搜集与测试语篇话题相关的内容并进行讨论，测试时可以同时看到视频并听到录音。

五、研究结果及讨论

（一）定量分析与结果

在实验过程中，对三个班级的上课出勤率做了详细记录。实验完成后，有缺课记录和未按时完成写作任务的学生被排除，最后确定对照组计30人，实验组1计32人，实验组2计31人，成为本实验的有效受试。

经过检验，后测数据符合正态分布，本研究运用统计软件SPSS17.0对三个小组的测试成绩进行了统计分析。独立样本t 检验表明，实验组1，实验组2与对照组之间的差异显著（t =-3.137 , p=.001）, p=0.001<0.05, 即实验组1，实验组2与对照组由于在测试中运用了不同模态，成绩出现了显著差异（见表2）。 从测试成绩的均值可以看出，同时采用视觉模态和听觉模态的的实验组1的平均成绩低于仅采用听觉模态的对照组的平均成绩，也就是说视觉模态的加入不但对理解语言内容没有帮助，反而干扰了获取语言信息的效果。这一现象符合认知负荷理论中的注意分散效应和冗余信息效应，即如果学习者被迫去加工多余的信息，认知负荷就会加大，学习就会减少。对低水平的学习者受语言水平的限制，注意力资源有限，在处理画面信息、语言内容方面产生了冲突，导致测试成绩下降。同时，接受视觉模态、听觉模态和测试前运动模态训练的实验组2 的平均成绩高于实验组1和对照组的平均成绩。这说明，测试前运动模态形式下的信息输入使学生对测试话题进行了词汇、语法、知识准备，与学生在听觉模态和视觉模态下获取信息形成正相关，在语言学习的初级阶段是有效的。

表2 实验组1、实验组2与对照组第一次实验后测的独立样本t 检验

第一次后测安排在第3学期第一周，被测学生最初开始接受专业课训练，处于商务英语学习的的初级阶段。测试结果表明，学生的语言水平相对较低的情况下，容易出现认知负荷现象，视觉模态容易与听觉模态产生冲突并对听觉模态形成干扰。但是，运动模态不会对视觉模态和听觉模态形成干扰。

32个教学周之后，进行了第2次后测。经过再次检验，后测数据符合正态分布，本研究运用统计软件SPSS17.0对三个小组的测试成绩进行了统计分析。独立样本t 检验表明，实验组1，实验组2与对照组之间的差异显著（t =2.186 , p =.043）, p=0. 043<0.05, 即实验组1，实验组2与对照组由于在测试中运用了不同模态，成绩出现了显著差异（见表3）。从测试成绩的均值可以看出，同时采用视觉模态和听觉模态的的实验组1的平均成绩高于于仅采用听觉模态的对照组的平均成绩，又低于接受视觉模态、听觉模态和测试前运动模态训练的实验组2 的平均成绩。这说明，到了语言学习的中级阶段，学习者听音、辨音能力提高，对信息处理能力增强，视觉模态对听觉模态没有产生消极影响，反而有助于对语言材料的理解。测试前运动模态形式下的信息输入使学生对测试话题进行了词汇、语法、知识准备，与学生在听觉模态和视觉模态下获取信息仍然形成正相关，在语言学习的中级阶段也是有效的。

表3 实验组1、实验组2与对照组第二次实验后测的独立样本t 检验

第二次后测安排在第4学期第十六周，被测学生已经接受近一个学年的专业课训练，处于商务英语学习的的中级阶段。测试结果表明，学生的语言水平进入中级阶段后，初步具备了克服干扰信息，找到有效信息的能力。视觉模态与听觉模态相互协同有助于提升听辨效果，且运动模态会协同视觉模态和听觉模态形成最佳效果。

综上所述， 视觉模态与听觉模态的关系在不同阶段表现不相同。在语言水平的初级阶段，视觉模态在听力测试中产生的负效应大于正效应，对听觉模态形成干扰，测试前以运动模态进行语言输入是有效的。在语言水平的中级阶段，视觉模态协同听觉模态形成正相关，测试前以运动模态进行语言输入也是有效的。听觉模态和视觉模态同时呈现能促进学习者对输入的最大关注，进而提高其听力理解能力。也就是说，在语言学习的中级阶段，可以实现视觉模态、听觉模态和运动模态在听力测试中的协同性。

（二） 定性分析与结果

在第二次实验后测结束后，对实验组学生进行了问卷调查。

通过问卷分析和访谈，获得以下信息：第一，听觉模态和视觉模态的关系：55%受访者认为视觉模态并没有对听觉模态产生很大的作用，分散了注意力；34%受访者认同视觉模态对听觉模态的协同作用；11%受访者认为视觉模态并没有对听觉模态产生影响。第二，86%受访者表示，在测试前，通过课堂练习了解被测话题信息对提高测试成绩的影响是有效的。第三，在视听说课堂上，84%的教师偶尔或从未对同时接收音频信息和视频信息的情况进行指导。第四，相对听力课、听说课，受访者更倾向于视听说课。

综上所述，视觉模态和听觉模态在语言水平不同阶段的关系不同：在初级阶段，视觉模态妨碍了听觉模态的信息吸收，对听觉模态形成了干扰；在中级阶段，视觉模态与听觉模态形成互补关系。在这一关系中，听觉模态为主模态，视觉模态发挥补充、强化作用；运动模态在初级和中级阶段都与视觉模态和听觉模态形成互补关系。

六、多模态教学对“视听说”课堂教学的启示

（一）避免模态抑制

在语言水平的中级阶段，视觉模态在听力测试中产生的正效应大于负效应，对听觉模态形成协同。在听觉模态为主模态的基础上加入视觉模态，并且随着语言水平的提高继续加大视觉模态的比重，使其与听觉模态互相作用并发挥最大的教学效果。第1 、2 学期不适合开设视听说课，而应开设听力课作为视听说课的前设课程。第3 学期，在视听说课堂教学中，教师应当增强对各种模态的信息的区分和引导，增加学生对听觉模态下输入信息的关注，不过分关注视觉模态下的输入信息，以免不同模态相互干扰。随着学习经验的增加和语言能力的提高，教师可以减少引导，学生会自觉形成以听力信息为主，视觉信息为辅的听音习惯。

（二）增强模态协同

在语言水平的初级阶段，视觉模态在测试中产生的负效应大于正效应，对听觉模态形成干扰；运动模态与视觉模态和听觉模态形成协同关系。在课堂教学实践中，对于运动模态，教师可以灵活将其安排于听力练习之前或之后，协同其他模态，作为信息输入的辅助形式。在第4学期，学生或可形成模态协同的意识，通过多模态协同使用刺激大脑的线性思维和立体思维，促使学生对语篇的理解。

七、结论

通过多模态协同性在视听说教学中的实证研究，探讨了听觉模态、视觉模态和运动模态在语言水平不同阶段的相互关系并提出了实现其协同性的可操作办法。在语言水平的不同阶段，听觉模态与视觉模态的使用比例如何定量；在视听说教学中，完成不同听力任务时如何协同多种模态，在语言水平的高级阶段是否会出现与中级阶段相类似的协同现象未在本项研究中涉及。