浅析多模态形式对二语学习的影响

范 玲，罗莹莹，包 威，高战荣

（黑龙江大学应用外语学院，哈尔滨 150080）

计算机媒体作为表达信息的物理工具极大地丰富了话语交际中的模态类型，让多模态化的信息输入更具可行性，在二语学习中发挥着重要作用。我国著名学者张德禄认为，多模态交际能够使受话人通过多通道获得信息，从而使学习者从内心愿意从事语言学习活动，把外因转化为内因，激发交际者交际的兴趣和热情等［1］。顾曰国教授从认知心理学的角度，对基于计算机多媒体材料的多模态学习做过详细分析，并提出计算机多媒体、多模态互动学习从输入到产出之间的模态搭配与学习效果是一项亟待深入研究的重大基础课题［2］。

一、多模态与多媒体

在信息认知过程中，人们能够以多种感知形式认知信息。多种符号资源在语言交际中的运用可以被视为话语的“多模态性”。多模态与多媒体是两个不同的概念，多模态是指语言、图像、声音、动作等用以交际和意义构建的符号资源;多媒体是人与人之间实现信息交流应用的多种载体，也被称为多媒介。简单来说，人们的视觉、听觉、触觉等多种感知模式是通过眼睛、耳朵、鼻子等多种媒体形式实现的。现代化的媒体技术手段实现了人们交际方式的多元化，也促成了多种交际模态的融合。多模态话语理论能够通过对多元化符号系统的意义解读，更加准确理解掌握交际中的话语信息。

二、单模态与多模态的比较研究

法国里昂第二大学语言中心的Nicolas Guichon等学者就多模态形式对二语学习的影响做过专门研究。他主要分析了以计算机媒体作为信息平台的多模态形式对二语学习者理解真实口语材料的影响，不同模态形式如图像、字幕等在二语学习中的优点与局限性，并通过评估学生的文本结果判断不同模态形式对理解的干扰程度。

这项研究共包含四种模态呈现方式:M1——音频;M2——视频与音频;M3——视频、音频与目标语字幕;M4——视频、音频与母语字幕。研究对象是学校同一年级中挑选的40位非英语专业的学生，他们在英语水平测试中的成绩均处于中等水平。研究将40位学生分成四组，分别采用不同的模态形式进行测试。测试的内容是一段3分钟长的BBC英语新闻，讲述了一对生活在华盛顿特区郊区的夫妇的家庭生活情况。测试时间定在上午，四组对象进行的实验步骤完全一致:首先由教师以母语讲解测试的内容和目标;然后第一次播放新闻（允许学生以母语或目标语记笔记）;给学生4分钟时间整理笔记;第二次播放新闻（允许学生以母语或目标语记笔记）;最后20分钟写出目标语的新闻概要。所有学生最后完成的有效语义数量作为对衡量学习效果的指标。英语新闻文本被划分为35组语义单位（35 items），囊括了新闻中的所有主要信息。Baltova在加拿大的一项二语学习研究也采用了类似的评估形式。考虑到信息认知量和母语—目标语的干扰因素，文本形式能够较为客观地体现出学生在不同模态形式下对相同信息接收程度上的差异。研究结果主要是计算学生概要写作中所包含的有效语义单位的数量，四种不同模态条件下学生获取的有效语义数量分别达到了19.7%、25.1%、30.2% 和29.7%，其中M3——视频、音频与目标语字幕的测试结果最佳。结果表明:

1.输入相同信息的前提下，与单模态相比，研究对象在多模态条件下的学习效果表现明显优异。这与Mayer提出的多媒体原则一致。他认为学习中词语与画面组合的学习效果要优于单一的词语学习。

2.图像在信息认知过程中具有重要作用，但不能与学习效果成正比。M1的学生大多无法准确判别items 3和4（主要人物）以及item 23（工作地点），而 M2、M3、M4的研究对象在图像的辅助作用下这三组语义单位表现优异。但M1在items 15，16和 20的表现明显好于M2、M3、M4，原因在于这部分内容的图像与音频信息没有保持一致，影响了大部分受试学生的判断。这种图像中的冗余信息是多模态认知中的常见问题。Mayer和Moreno指出，学习者不会为了避免认知超载而忽视已经呈现的冗余内容，冗余的设计违背了人类认知学习过程，阻碍学习者对知识信息的有效加工。

3.字幕在信息认知中具有关键作用，但字幕的不同形式对信息的接受性和产出性的影响也有差异。M1和M2的受试学生在items 6和14的信息认知上成功率较低，甚至没能判断出item 14中的母语词汇，而M3和M4条件下的学生在这两组语义单位上的成功率较高，证明字幕帮助两组学生确认了相关信息。但M4的母语字幕对信息认知也具有一定的负面影响。法语与英语部分单词形似，M4学生的测试结果被母语字幕严重干扰，大量与法语字幕形似的英语单词被运用。例如item 25中“self－employed”在法语字幕中被译为“indépendant”，因此M4一半的学生写作中使用了英语单词independent。由此说明学生过多地关注母语字幕，忽略了音频信息，造成了词汇准确度偏低的问题。

三、多模态形式在二语学习中的应用原则

基于法国里昂第二大学语言中心的Nicolas Guichon等学者进行的不同多模态形式对二语学习者的学习效果差异研究，应用多模态形式的二语学习应遵循以下几条原则:

1.信息呈现的多模态性

Mayer认为，人类在工作记忆中主要通过听觉/言语通道和视觉/图像通道完成信息加工。声音和图像作为不同的符号系统，分别属于不同记忆系统并采用不同的编码形式。国内外大量研究表明，人们记忆加工过程中采用双重编码形式的效果一般要优于单一的编码形式。因此，多媒体课堂中的信息呈现方式应充分利用视觉和听觉等多种模态结合形式。目前，国内的二语教学尤其是听力教学信息呈现方式较为单一，没有能够充分利用多媒体网络平台资源。多媒体课堂的二语多模态化教学势在必行。视听结合的语料不仅能够让学习者通过接收信息的多样化通道充分发挥工作记忆的双重编码功能，获取较好的学习效果，而且多媒体资源营造的真实语境和言语交际环境可以增加可理解性信息的输入，大大提升成功语言习得的可能性。

2.模态形式的互补性

张德禄提出:“典型的多模式话语模式是一种模态的话语不能充分表达其意义，或者无法表达其全部意义，需要借助另一种来补充，我们把这种模态之间的关系称为互补关系，而把其他的称为非互补关系。”［3］多模态形式的运用应遵循互补性原则，也就是运用多种模态形式间的信息互补或者强化实现信息的有效输入，反之，则事倍功半。Nicolas Guichon的研究结果表明，图像的数量与学习效果并不成正比，其中一个重要原因在于部分模态形式间没有互补，而是出现了排斥甚至抵消的现象。由此造成的冗余信息让学习者在认知过程中注意力分散，从而影响了学习效果。Wichens将人们的注意力形容为“选择信息源作加工处理的探照灯”和“有限的空白资源”，这说明了人们注意力的选择性和有限性。形式不同的信息量越多，注意力的选择难度就越大，对学习效果越有损害。因此，多模态化的教学信息呈现形式应尽量简洁、适用，呈现的信息应具有互补性，不包含有任何冗余信息，不给学习者增加认知负担。

3.认知负荷的差异性

John Sweller认为，认知负荷是人在信息认知过程中产生的“负荷”。如果信息的认知资源超过了人本身具有的认知资源的数量就会造成认知超载，从而影响学习效果。不同学习者的认知负荷存在差异。Nicolas Guichon的研究中字幕对学生的最终结果产生了不同的影响。当然，是否选择带有字幕的多模态形式进行教学活动取决于多种因素，例如文本的难易程度、听力任务的目标等，但其中学习者本身的认知负荷程度也应该是教学中考虑的重要内容。多模态化学习应该利用多媒体平台资源的丰富性和信息呈现方式的多样性为学习者提供适合自身水平和特点的学习内容，充分考虑学生的自主学习能力，设计灵活多样的交际活动，调动学生参与课堂学习的积极性。同样的知识根据学习者的不同认知水平、不同语言基础和兴趣爱好采用不同的模态呈现形式，增加二语学习的信息量，运用多样化的媒体呈现手段，让语言学习与学生自身的认知水平接轨，培养学习者的语言建构能力和积极的学习态度。

四、结语

尽管Nicolas Guichon等学者的研究数据可能会因为研究对象、方法或其他因素不同而有所差异，但应用多媒体的多模态学习模式是众多国内外学者经过大量实验论证切实可行的语言教学研究领域的重要课题。“习得”强调学习者获得语言的“潜意识的”过程。基于多媒体信息平台的多模态化学习为学习者创造了语言习得的真实语境，通过提供多渠道的可理解性信息，让学生以视觉、听觉等多种感官形式参与语言学习，实现真正意义上的主动式学习，达到良好的学习效果。

:

［1］张德禄.多模态话语理论与媒体技术在外语教学中的应用［J］.外语教学，2009，（4）:18.

［2］顾曰国.多媒体、多模态学习剖析［J］.外语电化教学，2007，（4）:7.

［3］张德禄.多模态话语分析综合理论框架探索［J］.中国外语，2009，（1）:26.