音频和视频模态对商务英语专业学生听力理解的影响

肖好章+刘玉婷

〔摘要〕文章报道了一项实验研究，考察了无字幕视频和纯音频两种不同的电影输入形式对商务英语专业学生听力理解的影响。无字幕视频和纯音频可以看作英语学习的不同模态。此外，还分析讨论了高分组与低分组学生对英文电影的视频画面和音频的依赖程度。研究结果显示：1）以画面、声音和语言多模态播放为主的无字幕视频形式对电影内容的听力理解具有辅助作用；无字幕视频和纯音频两种不同的输入形式在提高英文电影的聽力理解方面具有显著差异，这与音画关联度相关。2）与高分组的学生对比，低分组学生对于电影视频画面的依赖性更强。文章还讨论了研究结果对多模态理论和应用研究的启示。

〔关键词〕英文电影；音频；视频；听力理解；多模态

〔中图分类号〕H0〔文献标识码〕A〔文章编号〕1008-2689（2017）06-0019-06

引 言

采用观看英文电影的方式进行英语教学是多媒体和互联网背景下的普遍做法。如何观看英文电影才能提高学生的听力和听力理解水平是当下亟待解决的问题。要解决这个问题，就必须先明白观影、听力和听力理解三者之间的关系。王初明[1]认为“听”是纲，说、读、写、译是目，纲举目张，他表示只要听的能力提高了，其他的能力也会得到改善。然而，听力理解水平不同于听力水平。左焕琪[2]认为听力理解是人脑有意识地、积极主动地对新听到的语言进行加工的过程。在这个过程里，听者通过一定情境中的信息提供的线索和已有的社会、文化和语言知识，利用多种策略以达到理解的目的。显而易见，听力可以是一个不带任何解读和回应的听的能力，而听力理解却涉及大脑对信息的选取和加工这个复杂过程。这个复杂的听力理解过程中存在一些干扰或促进听力理解的外部因素，如音频和视频两种不同输入形式。

随之而来的现实问题是，外语教学中，视频与音频对听力理解作用是否不同？不同听力水平组的学生听力理解时对视频或音频的依赖程度是否一样？如果对前一问题的回答是肯定的，那就意味着视频中的音画关联紧密，学生认知难度低，认知加工效果更好。但若回答是否定的，则表明视频画面与语言不相关，对听力理解有干扰作用，认知加工难度大，音画协同效果差。第二问的回答若是肯定的，说明视频与音频对听力理解影响毫无差异，反之不然。无论如何，假定需要实验验证。

一、 理论及其应用研究背景

多模态话语分析理论是指运用听觉、视觉、触觉等多种人体感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象[3]。Van Leeuwen是早期研究多模态领域的学者之一，受系统功能语言学理论影响颇深。他借鉴系统功能语言学的三种元功能，把符号模态也同时分为三种元功能（图像、文字和动作），而他主要关注不同的声音资源以及有意义的阐释[4]。多模态研究探讨了图像在表达意义上和语言的相互作用。顾曰国[5]认为人类通过感官与外界互动，用单个感官叫做单模态，两个就叫做双模态，多个叫多模态。张德禄[3]表示，“运用多模态的理由是：一种模态不足以充分表达交际者的意义，从而利用另一者来强化，补充，调节，协同，达到更充分或者尽量充分表达意义，让听话者理解话语的目的。”在多模态理论基础上，学者们也纷纷通过实证研究试图实现多模态在实际学习中的运用。张征[6]研究发现多模态PPT演示教学模式对改变学生的学习态度具有积极作用。然而，多模态也是把双刃剑，若处理不好会分散学习者的注意力，干扰对知识点的记忆，导致瞬间“热闹”而事后“空空”之感[5]。

多模态理论在英文电影中表现为图像、声音和语言。有学者认为，相较于相同内容的纯音频单模态材料，视听结合的材料能够降低听的难度[7]。Ginther[8]也表明视频能够对音频信息进行场景语境的补充。季月和石玲[9]则表明过量或不相关、不匹配的视听信息可能会干扰视听的理解过程。为了探究视频（视听结合）和纯音频对于听力理解的作用，国内一些学者通过实证研究有了进一步的发现。胡永近和张德禄[10]通过实证研究发现音频、视频配英语字幕的多模态组合对学生听力内容理解的促进作用最大，音频、视频配汉语字幕作用次之，音频、视频无字幕作用第三，而单独音频的作用最小。查强[11]通过实验研究表明视频组和音频组得分之间具有很大差异，视频对听力理解具有促进作用。但欧阳素珍[12]从多模态理论的视角出发，通过实验研究发现：视频配英文字幕的多模态组合对学生的听力内容理解促进最大，纯音频次之，其次是视频配中文字幕的多模态组合，而音频配无字幕的视频组合作用最小。虽然视频在一定程度上会分散学生注意力造成“分裂”效应，但在目标语言的配合下，能在一定程度上抵制视频的干扰，有利于学生的听力理解。

综上所述，视频与音频对听力理解的作用研究结果尚未取得一致的实验结果。这是为什么？本文认为，原因可能有：首先，实验设计不合理，可能忽略了相关变量，如视频材料的音画相关度；其次，扩大了无关变量的作用，如视听时边听边读字幕存在干扰负面效应，且不说是行为主义的机械学习方法，但至少是阅读理解发挥了一定的作用，而不是听力理解。再者，可能与量程有关。查强的实证研究的测试题目仅是单项选择题，因而测试范围和效度存在局限。鉴于此，我们假设视频这种多模态形式理应比纯音频的单模态形式要更有助于英文电影的听力理解，此假设能否得到数据的支撑呢？本文拟就英文电影无字幕的视频（视听结合）和纯音频对听力理解的影响进行交叉实验研究。

二、 实证研究

（一） 研究问题

本研究主要回答以下问题：

1. 英文电影多模态形式的无字幕视频与单模态形式的纯音频这两种不同的材料输入形式对商务英语专业学生的听力理解影响是否不同？ 如不同，是何因素导致的？

2. 视频和纯音频对高分组学生和低分组学生的影响是否不同？若不同，不同之处和其出现的原因分别是什么？

（二） 实验研究设计

实验研究：自变量为材料的输入形式（纯音频/视频），因变量为听力理解水平，研究的目的是研究英文电影的多模态（画面+声音+语言）和纯音频哪个更有利于英语专业学生的听力理解，以及不同水平的学生是否对单/多模态有不同的依赖程度。endprint

实验材料均采取电影剪辑片段作为视频或音频的原材料。每次实验采用的实验素材均选自英文电影的精彩片段，每次实验中共有3个电影片段，三个片段不全是同一部影片的内容。第一次实验的三个片段分别选自英文电影《天生一对》Annie和Hallie姐妹相认的片段，《天生一对》Annie和Hallie谈有关母亲的事，《克莱默夫妇》夫妇二人在法庭上的发言。第二次实验的三个片段分别选自英文电影《公主日记》公主冒雨赴约片段，《穿条纹睡衣的男孩》仆人为受伤的小男孩包扎的片段，《穿条纹睡衣的男孩》饭桌上的聊天片段。实验中有关视频的材料均为英文电影去字幕后的仅保留画面和声音的电影片段，有关纯音频的材料均为英文电影的纯音频片段。同一次实验中的影片内容和测试题均一致，仅仅是视频和音频形式不同而已。被试均在观看电影片段或听取纯音频之后才统一进行测试。测试统一采用测试题的方式。测试题包括选择题，简答题和判断题，总分为100分，涉及的测试题目内容主要包括基于电影内容细节题和理解题。学生的听力理解根据分数进行判定。

（三） 研究方法

1. 被试

本研究的被试是60名来自某大学商务英语专业二年级的学生，他们分别属于两个自然班级（分别用A， B班进行标记），每个班级30人，他们均有至少10年的英语学习经历。在实验开始前，所有被试都参加了一次英语水平测试。A班的平均分为672，B班的平均分为654，两个班的成绩无显著差异（F=0686，p=0506）。

2. 实验步骤

被试者为A班和B班，两个班的测试题相同，由两套难易度相同的试题组成，在前后两周做交叉实验。第一次实验，A班在教室观看已经剪辑好去字幕仅保留画面和声音的英文电影片段，标记为A1，此时，B班则作为对照组在环境相同的教室进行音频的实验，标记为B1；第二次实验，A班在教室进行音频实验，标记为A2；B班则在环境相同的教室进行视频实验，标记为B2。

每次实验开始前，给予两个实验组相同的指导语。观看电影片段的视频或听取音频内容之后，监考人员才发放测试题。因此学生必须根据个人需要用笔记记下相关的内容。连续播放2遍第一个片段之后，发放测试题中的选择题部分试题，在规定时间答题后统一收回；播放2遍第二个片段之后，发放测试题中的简答题部分，在规定时间答题后统一收回；播放2遍第三个片段之后发放测试题中的判断题试题，在规定时间答题后统一回收；至此，第一次实验结束。一周后，进行第二次实验。两次的实验素材是内容不同的英文电影片段，同为三个片段，测试题题型一样，仅影片内容和测试题内容不同。根据第一次实验的步骤完成相應的第二次实验测试。

（四） 结果与分析

针对本实验所要研究的问题，将实验的数据输入SPSS 软件分析得到实验结果。

1. 多模态视频和单模态音频的测试结果

从表2显示的两次实验结果可以看出，在同一环境下，第一次实验中，被试运用视频形式观看英文电影与纯音频形式听取电影内容并无显著性差异（P=0.073>0.05），而在第二次实验中，视频和纯音频形式的差异极为显著（P=0.000<0.05），但根据表1数据显示，两次实验中，视频形式都比纯音频形式更有助于英文电影的听力理解（A1平均分86.15>B1平均分82.33， 平均差为3.821；A2平均分63.82

2. 视频和音频对高分组学生和低分组学生的影响

上述实验数据仅仅显示了视频和音频两种不同输入形式对两个实验班级的听力理解存在不同程度的差异。为了进一步研究不同水平的学生对于两种输入形式的受益情况，我们把实验成绩进行分组，高于中位数的则为高分组，低于中位数的为低分组，分为A1高，A1低，A2高，A2低，B1高，B1低，B2高，B2低八组数据，输入SPSS进行分析得出表3如下。

如表3所示，对于低分组的被试学生来说，两次实验都表明视频和音频两种输入形式对其听力理解具有显著性的差异（p值均为0.000）；对于高分组的被试学生来说，第一次实验表明视频和音频的输入形式对其听力理解没有显著性差异（p值为0.558），但在第二次实验中却出现了显著性差异（p值为0.000）。结合多模态视频和单模态音频的实验数据即表2可知，第一次实验中视频和音频未出现显著性差异是由于第一次实验的高分组的测试成绩未出现显著性差异。同时从表3可以看出，低分组对视频画面的依赖感要比高分组强（第一次实验高分组在视频和音频上无显著的差异，而低分组两次实验都显示出显著性差异）。

三、 讨 论

由于本实验主要研究英文电影的多模态视频和纯音频两种不同的材料输入形式哪个更有助于英语专业学生的听力理解以及视频和纯音频对高分组学生和低分组学生的影响是否存在不同？讨论部分主要分为多模态形式对英文电影听力理解的作用以及视频和音频对高分组学生和低分组学生的不同影响两个部分展开。

（一） 英文电影的多模态形式对英语专业生听力理解的作用

针对研究问题1：英文电影多模态形式的无字幕视频与单模态形式的纯音频这两种不同的材料输入形式对商务英语专业学生的听力理解影响是否不同？ 如有不同，是何因素导致的？根据研究的数据显示，在同一环境下，被试在第一次实验运用视频形式观看英文电影与纯音频形式听取电影内容并无显著性差异，而在第二次实验中，视频和纯音频形式的差异极为显著，但两次实验均表明视频形式都比纯音频形式更有助于英文电影的听力理解， 这与查强[11]音频和视频对学生听力理解影响的结果吻合，也与胡永近和张德禄[10]的实验发现相符，同时也进一步证实了Romero & Arévalo [13]发现的多模态模式更能促进学生对听力材料的理解，但是不同模态的作用方式不同。然而，多模态组合的不同也会直接影响其对应的效果。在本实验中，我们选用画面和声音结合的多模态视频形式与单模态的纯音频进行对比，结果显示多模态的形式对听力理解具有一定的辅助作用，与欧阳素珍[12]的研究发现不一致。

笔者认为，造成第一次实验视频和音频无显著性差异的原因是选取的实验素材中的画面图像与声音的联系不够紧密，即音画协同不太好，因此视频中的画面图像无法起到张德禄[3]所说模态之间的“互补关系”。而在第二次实验中的实验素材，其画面和声音有较大的联系。例如影片《公主日记》片段中女主角淋完大雨出现时，记者与她的对话是关于衣着外貌的描述，而这也正是测试题中的一小题单选题，这时，视频组就理解更好，被试听解时能根据画面猜测新单词或新信息。而在第一次进行的实验中，由于选取的影片剪辑是一般的谈话，音画之间无太大的必然联系，因此视频组和音频组的差异并不显著。这同时也说明了当视频中的音画有关或匹配度较高时，其对听力理解的辅助作用会更加明显。然而，研究表明无论是在第一次实验还是第二次实验，电影的多模态视频形式对英文听力理解的作用都不会比单模态纯音频差，因此本实验未发现顾曰国[5]所说的多模态带来的“副作用”。但却发现与音频不相关的视频画面在听解时起不到协同作用，这或许是一种资源浪费。

（二） 视频和音频对高分组学生和低分组学生的影响

针对研究问题2：视频和纯音频对高分组学生和低分组学生的影响是否不同？若有不同，不同之处和其出现的原因分别是什么？根据表3的数据，我们发现低分组的被试学生在两次实验中都反映出视频和音频两种输入形式对听力理解具有显著性的差异；对于高分组的被试学生来说，第一次实验表明视频和音频的输入形式对其听力理解没有显著性差异，但在第二次实验中却出现了显著性差异且第一次实验视频和音频没有显著性差异的原因是第一次实验的高分组的测试成绩未出现显著性差异，由此可见，低分组对视频画面的依赖感要比高分组强。根据OMalley & Chamot[14]所说，优秀的听力学习者都善于集中其注意力。由此，高分组学生较低分组学生更善于集中注意力，加上高分组学生本身较强的听力理解能力，此外，听力理解还受多方面因素的影响，在声音输入后，听者通过自身的个人文化背景，经验等对输入的信息进行解码理解[15]，高分组学生可能通过平时的学习积累丰富了各方面的认识，为听力理解提供了“养料”，于是对他们来说有无画面信息借助和纯音频并无太大的差别。而对于低分组的学生来说，可能自身的听力理解技能有所欠缺，因此画面信息能够弥补听力上的不足，进而达到Cross[16]提及的视频信息能够促进对话语的理解程度。因此，对于低分组学生来说，两次实验才会呈现出视频和音频的显著性差异，且视频信息有助于其听力理解。

四、 结 语

本研究发現：一是以画面、声音和语言多模态播放为主的无字幕视频形式对电影内容的听力理解具有辅助作用；二是无字幕视频和纯音频两种不同的输入形式对英文电影的听力理解作用具有显著性差异；但与高分组的学生对比，低分组学生对于电影视频画面的依赖感更强。

本研究的理论意义在于：多模态理论对外语课堂教学应用价值确实存在，可以优化外语教学语境，改善语境效应。但多模态也是把双刃剑，因而要合理有效利用。我们认为，关于电影中多模态，画面和动作与语音的相关性尤其重要，画面和动作属于视觉处理，与听觉处理具有正相关的作用。而不相关的画面和动作则对听力理解产生干扰效应。再者，无关的画面和动作输入尚且有干扰效应，字幕输入要求的视觉加工处理难度更大，是否也会干扰和影响学生听力发展（阅读字幕是阅读理解而非听力理解）？这显然需要多模态（字幕）输入的长期效应实证研究加以验证。然而，目前研究文献中几乎都是短期效应研究。这一研究空缺须引起今后研究的关注。

本研究发现的应用启示有：在当今多模态英文电影教学形式越来越流行和普及情形下，探讨有效的多模态英文电影输入形式是我们每个教师课堂教学中应该关注的重点。本研究结果表明，当视频中的画面与声音关联度较大时，视频对听力理解的辅助作用才得以更好地体现。这就要求教师制作视频教材时必须加以考虑，才能客观上保证视频教学的有效性，最大限度地优化外语课堂教学语境。此外，高分组学生在观看英文电影时对画面的依赖感其实并不明显。因此，在商务英语专业课程设置中，应该对一年级的学生先开设视听说课，而不是先开听力课（如Step by Step 或 Listen to This的教程）。在英文电影教与学中，对于低层次水平的学生应该多用视频方式教与学，给予画面信息补充，而对于高层次水平学生来说，其对视频画面内容补充的要求较低。教学应用中的合理安排可有效利用有限的语音室设备。

本研究仍存在一些不足：实验考察的范围不够广，影响实验结果的应用广度。本研究仅回答了纯音频和无字幕视频双模态形式对英文电影听力理解的作用，并未在视频中保留字幕并进行实验，今后的实验可以继续探究更多模态对英文电影听力理解，尤其对听力发展的长期效用。

〔参考文献〕

[1]王初明. 从外语学习角度看大学英语教学和考试的改革[J]. 外语界， 2010， （1）：17-22.

[2]左焕琪. 外语教育展望[M]. 上海： 华东师范大学出版社， 2001.

[3]张德禄. 多模态话语分析综合理论框架探索[J]. 中国外语， 2009， （1）： 24-30.

[4]Van Leeuwen， T. Speech， Music， Sound [M]. London： Macmillan， 1999.

[5]顾曰国. 多媒体、多模态学习剖析[J]. 外语电化教学， 2007， （2）： 3-12。

[6]张征. 多模态PPT演示教学与学生学习态度的相关性研究[J]. 外语电化教学， 2013， （3）： 59-64.

[7]Lonergan， J. Video in Language Teaching [M]. Cambridge： Cambridge University Press， 1984.endprint

[8]Ginther， A. Context and content visuals and performance on listening comprehension stimuli [J]. Language Testing， 2002 ， 19 （2） ：133-167.

[9]季月， 石玲. 关于外语多媒体教学信息呈现中视听干扰问题的探讨[J]. 外语电化教学， 2013， （2）： 41-46.

[10]胡永近， 张德禄. 英语专业听力教学中多模态功能的实验研究[J]. 外语界， 2013， （5）： 20-25.

[11]查强. 音频和视频对学生听力理解影响的对比研究[D]. 成都： 电子科技大学， 2015.

[12]欧阳素珍. 多模态输入对英语专业学生听力理解影响的实证研究[D]. 湖南： 湖南师范大学， 2015.

[13]Romero， E. D. & Arévalo， C. M. Multimodality and listening comprehension： testing and implementing classroom material [J]. Language Value， 2010， （1）： 100-139.

[14]OMalley， J. M. & Chamot， A. U. Learning Strategies in Second Language Acquisition [M]. Cambridge： Cambridge University Press， 1990.

[15]馬黎华. 影响第二语言听力理解的因素[J]. 西安外国语学院学报， 2002， （2）： 68-71.

[16]Cross， J. Comprehending news videotexts： the influence of the visual content [J]. Language Learning & Technology， 2011， 15 （2） ： 44-68.

（责任编辑：高生文）

Abstract： This study reports the results of an experiment and investigates the effects of different input forms of English movies （audio and video） on listening comprehension. In this study， audios and videos without subtitles of movies can be seen as different modes. Furthermore， the degrees of higher level students and lower level students dependencies on audio and video were analyzed. The results showed： 1） multimodality， i.e. videos without subtitles but with images and sound， promoted students listening comprehension； A significant difference was found between such different input forms of English movies as audios and videos without subtitles in their effects on listening comprehension， which is related to the degree of sound–images mapping. 2） Compared with the higher level students， lower level students had greater dependency on the images of videos. The article also discusses the implications in the application studies of multimodality theory.

Key words： English movies； audio； video； listening comprehension； multimodalityendprint