基于ELAN的多模态话语分析——以第九届“外教社杯”全国高校外语教学大赛获奖视频为例

吴静静

(安徽外国语学院 西方语言学院，安徽 合肥 230000)

一、多模态教学理论基础

多媒体辅助教学最早可与新伦敦小组(New London Group)提出的学生多元读写能力(Multiliteracies)的培养理念相关联。基于技术变革以及全球化对教育的影响，新伦敦小组设计了多元读写培养目标，鼓励在教学中使用多种模态并结合各种技术手段，指导学生应对新时代的要求。在语言学界，Halliday将语言视为一种社会符号[1]，语言以外的其他符号同样也能够表达意义。Kress & van Leeuwen基于Halliday的思想，将能构建话语意义的符号资源扩展到视觉图像中[2]。这种方法正逐渐成为当今外语教学的新趋势，因为语言、图像、视频、身势语、PPT等多种符号模态能够有效帮助学生构建系统的知识体系。

在国内，顾曰国[3]首先区分了多媒体学习与多模态学习的概念。张德禄[4]拓展了多模态话语理论与媒体技术在外语教学中的应用，并从三个角度建议教学如何正确选择模态。此后，张德禄、丁肇芬[5]将多模态体裁理论应用于教学程序的实施中，结合教学目标使教学程序在多元读写能力培养的基础上实现模式化。近年来的多模态教学研究通常涉及课堂教学模式的构建[6-7]，以及对学生多元读写能力的培养[8-9]。但已有的研究大多倾向于定性研究，较为系统的定量研究较少。因此，本文借助ELAN视频分析软件，选择第九届“外教社杯”全国高校外语教学大赛中优秀选手的授课视频作为个案语料，进行较全面的定量和定性分析。文章将详细分析优质教学过程中各模态的分布特征，以及不同模态如何协同构建高水平的教学设计，并最终完成既定的教学目标。

二、多模态外语教学案例分析

(一)研究目的

为了揭示优秀教学过程的多模态规律，本研究主要解决以下问题：(1)比赛中的教师主要使用了哪些模态？(2)不同教学阶段模态的使用有何不同，呈现何种特征？(3)各模态之间如何协同配合构建话语意义以实现教学目标？

(二)研究对象

“外教社杯”全国高校外语教学大赛至今已举办十届，是目前影响最大的英语教学比赛。该赛事在全国范围内进行层层选拔，以赛促学，不断优化外语教学改革。在总决赛中，选手除了进行20分钟的授课，还有5分钟的专家提问环节。选手授课的评审标准主要包括课堂教学目标、教学设计、教学方法与手段、教学效果和教师综合素质五大方面[10]。比赛要求呈现完整的教学过程，并使用多媒体辅助教学。

本研究选取英语专业组特等奖选手的授课视频作为语料。比赛中，选手授课时间为20分钟，实际分析视频时长为19分32秒。该授课主题为“Knowledge and Wisdom”，选自上海外语教育出版社出版的《综合教程3(第二版)》第8单元。

表1 教学视频的多模态分析框架

(三)研究内容与分析工具

根据张德禄[4]的观点，多模态话语媒体系统的“模态类型”总体上可分为三种，即“语言”“伴语言”和“非语言”。每种模态类型基于“参与模态”和“层级”还可进行细分，如表1所示，这也是本文所关注的多模态分析框架和主要研究内容。

本研究以定量研究为基础，研究工具为ELAN分析软件(下载地址为https：//tla.mpi.nl/tools/tla-tools/elan/download/)，版本为2019年10月8日更新的ELAN5.8。ELAN属于注释工具，允许用户创建、编辑、可视化和搜索视频和音频数据的注释。该软件由荷兰马克斯普朗克心理语言学研究所开发，通过标注、分割、转写、同步和线性交错模式对音频/视频进行分层研究，并能够导出数据进行对比分析。本文研究涉及到标注、分割和转写三种模式。具体标注示例如图1所示。

三、授课数据分析

通过使用ELAN分析软件对获奖授课视频进行详细分析，我们对授课过程中出现的模态类型、参与模态和层级进行了统计，各层级模态的总体分布如表2所示。

表2 获奖参赛视频模态关系的总体分布

从观察以上的结果来看，该优秀教学视频中各层级模态均有出现，我们按照比例高低进行如下排序，以便下文分析：(1)纯语言→听觉模态：教师语言(87.12%)>学生语言(5.81%)；(2)伴语言→听觉模态：降调(79.07%)>升调(13.22%)；(3)非语言→动作模态：目光-全班(42.46%)>手势(31.35%)>目光-个人(13.17%)>近距离互动(11.93%)>目光-大屏幕(3.14%)>点头(1.85%)>摇头(0.05%)；(4)非语言→视觉模态：PPT使用(31.71%)。

四、多模态教学分析

多模态与教学过程之间是“多面一体”的立体关系，也就是说，教学过程是在多种模态同时运作中实现的。以下将分别从听觉模态、动作模态、视觉模态逐一对优秀教学视频中教师的多模态运用进行详细地分析。

(一)听觉模态

从多模态手段的运用量来说，“教师语言”在授课过程中占听觉模态资源的87.12%，这也是整个教学中占用比最高的。在英语专业《综合英语》的课文学习中，教师通常十分注重知识点的分析和讲解，而有声语言是表达意义最直接的工具，信息量最大，传播也最快捷，因此教师语言的高频出现符合这类课堂教学的一般特征。但由于课程内容的限制，学生在教学过程中的语言活动相对较少，主要出现在师生互动时，因此“学生语言”只占听觉模态资源的5.81%。

在伴语言的听觉模态中，教师话语的降调要明显多于升调，前者为79.07%，后者为13.22%。在语法上，降调多和陈述句相匹配。陈述句的功能常以描述或陈述事实为主，通常也无需学生的语言反馈。而升调常见于问句，在教学视频中教师通过对学生提问以获取信息。从非语言听觉模态的使用情况可见，该教师在示范教学中更加注重知识的传达，适度兼顾了师生之间的互动。

(二)动作模态

在整个教学过程的非语言动作模态中，涉及该教师目光模态分别是：“目光-全班”为42.46%，“目光-个人”为13.17%，“目光-大屏幕”为3.14%。这三项总和为58.77%，因此教师的目光模态占非语言动作模态的多数。其次是手势模态，占31.35%。而近距离互动相对较少，为11.93%。占比最少的动作模态是点头和摇头，分别为1.85%、0.05%。

从数据来看，较明显的是，该教师优先使用“目光-全班”(42.46%)的动作模态。在课堂教学中，眼神交流是师生间进行互动的重要模式之一。该教师通过目光扫视全班，关注学生的整体学习情况，用眼神或询问、赞许、示意、制止等。可见，在优秀的课堂教学中，教师针对整个学生群体的目光资源分配要相对充分，根据视觉反馈，把握教学过程的动态调整，并尽量避免过多专注课件的使用和讲解。

教师“目光-个人”(13.17%)的动作模态较少，但都分布在与学生提问互动过程中。在外语教学中，教师既要注重整个群体反应，也要保留一定时间与学生进行直接的目光互动或言语互动。一方面，教师在对学生提问过程时应对学生的眼神进行关注，学生也会在心理上产生被重视的感觉。但另一方面，“目光-个人”的动作模态在使用不当时，也会存在负面影响，因为某些学生对于教师的长时间直接关注会感到紧张，或害怕自己回答错误等，进而会产生拒绝与教师进行眼神接触的心理，并可能导致对课堂学习的惧怕。因此在问答环节中，教师应适当配合语言以及身势、面部表情等模态鼓励学生；而在非问答环节时，教师可相应减少针对学生个人的目光交流，避免制造学生意外的紧张情绪。该获奖教学视频中“目光-个人”的动作模态呈现较为合理的占用频率，可以在活跃气氛、尊重学生的同时，尽量减少了目光交流的副作用。总之，“目光-个人”的动作模态能够建立互动关系，辅助语言实现互动意义。但如何把握这类多模态的灵活运用，也是高水平教师需要额外关注的教学技能。

除了目光模态之外，在授课视频中该教师手势的使用较多(31.35%)，同时伴有师生近距离互动(11.93%)、点头(1.85%)和摇头(0.05%)。在人际交流中身势语经常是伴随着口头语言出现的，使语言信息形象具体化，辅助话语意义的构建。根据不同身体部位可以划分头部身势语、肩部身势语、手部身势语和脚部身势语等。王杨根据表达意义将身势语划分为指示性身势语、描述性身势语和象征性身势语[11]。教学是特定环境的交流，身势语的使用既要能够促进教学，又不能影响教学。身势语在教学中能够起到说明、辅助、补充、强化和替代作用。例如，在讲解“information-knowledge-wisdom”金字塔结构时，该教师掌心朝下，从右至左滑动，从下至上直观再现抽象内容，帮助学生更好地理解。在问答环节中，该教师掌心朝上，走近学生的同时伸出左手邀请学生回答问题，与学生之间建立平等友好地师生关系。在学生作答之后，该教师进行一定的口头评价，并面带微笑点头赞同，伸出大拇指对学生表示称赞。相比之下，有些权威型教师常以食指指向学生要求学生回答问题，学生会产生一定的紧张感，因此具有潜在的负面影响。该教师在整个教学过程中唯一一次摇头也只是在重复学生的答案，对学生答案进行强调，并非否定学生。

(三)视觉模态

视觉模态的主要手段是PPT课件的运用，从交际功能上来看，文字图表的作用是提供信息，帮助学生清楚了解本节课的目标、模式和步骤。PPT是结合文字、图片、音频和视频等为一体的综合性教学辅助工具，该教师在授课过程中，PPT的使用达到31.71%。张德禄提出，PPT可以作为辅助工具实现有效教学，他将PPT定性为非语言多模态中的工具类[4]。

教学视频显示，该教师在授课过程中有效、合理地利用了PPT来组织教学。例如，在介绍教学目标、教学模式、教学步骤等较为复杂或抽象的内容时，PPT中以文字图表的形式同步显示相关信息，学生能够迅速地、系统地、直观地了解教学计划。在提及课前自主学习要求时，该教师不仅在PPT中以书面文字形式将课前要求直观展示出来，同时将以往学生完成的Expression Bank和Read-Alouds作为范例，使当前学生能够直截了当地明白自己在课前自主学习中需要完成的学习任务。PPT的运用强化了教师语言功能，使学生能迅速、直接了解学习要求，进而完成教学要求。

五、分阶段多模态协同教学特征

从前文可以看出，该教师在授课过程中能够充分合理利用语言、图片、声音、字体、颜色等多种模态资源共同构建课堂话语意义，帮助学生掌握知识、培养学生自主学习的能力。那么，该教师在教学的不同阶段是如何利用不同符号资源组合，优化教学效果的？下文将就怎样组合符号资源以使各模态发挥最佳作用并提高教学效果进行详细分析。

根据视频的时段分析，该授课可分为两个阶段，即课程介绍和正式授课，后者又可以根据具体内容分为九个教学任务，具体情况如下：(1)课程介绍：00分00秒—03分00秒。(2)正式授课：03分00秒—19分32秒。其中又细分为：a.导入(03分00秒—03分55秒)； b.体裁分析(03分55秒—06分16秒)； c.文章总结构(06分17秒—06分29秒)； d.段落结构(06分30秒—11分10秒)； e.课堂任务(11分11秒—11分42秒)；f.课文详解一(11分43秒—13分08秒)； g.小组活动(13分09秒—16分16秒)； h.课文详解二(16分17秒—19分01秒)； i.总结与作业(19分02秒—19分32秒)。

从不同教学任务中各种多模态手段的标注数量可以看出多模态资源的使用情况。笔者对授课教师在不同教学阶段中多模态手段的数量进行统计、整理后得出表3，由此发现该教师的一些宏观教学特征。

表3 授课教师在不同教学阶段中多模态手段的数量分布

根据表3，在视频中不同的教学任务阶段，多模态手段的使用数量一目了然。在“课程介绍”阶段，由于教师无需和学生产生互动，因此教师的语言模态显然占据多数，升调和降调的恰当分配，以满足信息传达的需要。此时教师的目光只针对全班学生，无需和个人和课件PPT建立联系。同时，教师以介绍性话语活动为主，因此只需辅以手势，而无需使用具有互动性质的点头和摇头的模态手段。

在“正式授课”环节，“导入”部分和“课程介绍”类似，也是以介绍性内容为主，唯一不同就是需要少量课件PPT的介入。这可以将学生的注意力转移到当前即将开展的单元教学内容。随后的“体裁分析”和课文直接相关，此阶段预示着教学内容的全面展开。在多模态层面，该教师运用了所有的模态手段，教师语言、升降调虽然占据较多数，但师生近距离互动明显增加，且学生语言反馈也同时出现。该教师在提问设计时，以教师语言为主模态，通过层层铺垫，借助疑问句和祈使句，结合升调与降调凸显重点信息，鼓励学生主动参与思考。在整个过程中，该教师面带微笑，随时与学生进行眼神交流，营造融洽的课堂气氛。该教师提出问题后，并没有要求学生立刻作答，而是又给出一系列提示性的问题并借助PPT中的文字信息，将重点内容用颜色标出，配合语调及手势，引导学生主动探索，积极思考。同时，该教师能够积极与学生近距离互动，在学生回答问题过程中，有专门的眼神交流，并对学生的答案进行简要重复与总结，用手势进一步肯定学生的答案，有利于学生树立学习信心。最后，PPT上显示出三人争论的图片，辅助说明文章体裁，强化了语言意义。在体裁分析阶段，可以看出教师语言为主模态，提出问题并引导学生进行思考，同时，伴语言中的升调与降调，非语言模态中的目光、手势、点头、摇头、师生距离和PPT等辅助、强化语言信息，听觉模态与视觉模态以及动作模态互相协调，实现了跨模态意义协作。可见，该教师在“体裁分析”过程中能够迅速进入语言教学的良好模式。

当教学过程进入“文章总结构”时，整体用时较少，因为学生较难把握此处的宏观知识点，所以教师掌握知识话语权，导致多模态手段的运用暂时回到了以教师为中心的状态。根据课程内容的安排，进入“段落结构”阶段，这是文章解读的重要前奏。虽然教师仍然具有知识话语权，但语篇内容较少的段落分析(找出主题句、关键词等)对学生来说相对容易，所以该教师并未完全以单向的知识灌输为手段，而是积极鼓励学生的主动性和参与性，这一点从多模态手段的数量分布可以看出。涉及师生之间活跃关系的学生语言模态、近距离互动模态、目光类模态、头部动作类模态都有较大增加。“段落结构”分析结束后，该教师立刻给学生布置了简单的“课堂任务”，即“assume you are Russell the second…supply a thesis， a restatement， a conclusion”，以便学生及时总结段落结构分析的知识点。

在随后的任务中，“课文详解一”“小组活动”“课文详解二”穿插进行，这是此次教学的最核心阶段，此时各种多模态手段的运用最为活跃(除了动作模态“摇头”未出现)。这充分体现了该教师的课堂的立体性与活泼性。最后，课堂以“总结和作业”为最后的环节顺利完成了教学任务。

由以上分析可以看出，在模态使用较为复杂的阶段，该教师能够立足课文，灵活调动各种符号资源参与意义的构建，有效实现多面一体的教学过程。这是该教师能够取得英语专业组特等奖主要一个原因。我们能够从该教师的授课中学习优秀教学手段，用于指导实际教学。

经济全球化背景下，传统填鸭式教学模式已经不能满足当前高等教育人才培养模式。当代外语教学改革的进程中，教师逐渐变成了引领者与协作者，学生的自主性学习能力与批判性思维能力得到前所未有的重视。在实际课堂中，不少教师为了更好地控制课堂节奏，仍然倾向于教师中心。有的教师能有意识地强调学生中心，但未能真正实现学生的自主性。文章中获奖教师在授课过程中多模态资源的使用范式值得我们学习与借鉴。文章以张德禄[4]多模态话语分析理论为基础，通过ELAN软件的科学观察和分析，丰富了多模态教学的研究手段，并可将全国性教学大赛中优秀选手的教学方式和经验推广到日常教学中，为提高外语教学质量和效率提供一些参考思路。