外语微课中多模态话语的符际间性研究

张媛军

摘要本文以视觉语法和图文关系理论为基础，重点分析了外语微课视频中作为视觉模态的图像和文本符号与作为听觉模态的教师（学生）话语符号之间是如何相互关联和作用，共同达到意义的合理建构和有效传播。

关键词 外语微课 多模态话语 符际间性 视觉语法

中图分类号：G424文献标识码：ADOI：10.16400/j.cnki.kjdk.2021.22.045

AStudyontheIntersymbolofMultimodalDiscourseinForeignLanguageMicroClass

ZHANG Yuanjun

（Chengdu Jincheng College， Chengdu， Sichuan 611731）

AbstractBased on the theory ofvisual grammarand graph text relationship，thispaperfocusesontheanalysis ofhow image and text symbols as visual mode interact with teacher（student）discourse symbols as auditory mode in foreign language micro lesson video， so as to achieve the reasonable construction and effective communication of meaning.

Keywordsforeign language micro class； multimodal discourse； intersymbol； visual grammar

0引言

自20世纪90年代以来，多模态话语分析在语言学界兴起，并逐步成为语篇分析研究中的热门话题之一。朱永生[1]（2007）曾提出，多模态话语就是指在交际中设计多种感知模式来构建文本，以实现整体意义信息的传递，如英语课上普遍使用的视频资料及如今的微课，既包含了图像、声音等信息，也配备有相应的文本，能充分调动学生的视觉和听觉系统，这就是典型的多模态教学模式。对多模态话语的分析主要包括两个方面，一是将不同模态间的相互关系和作用作为分析对象，二是着重分析不同模态符号间的相互作用及影响（吴婷，2017）。[2]本文的研究重点在于后者，即以视觉语法和图文关系理论为基础，分析外语微课视频中作为视觉模态的图像和文本符号与作为听觉模态的教师（学生）话语符号之间是如何聚合和相互影响，共同达成意义的合理建构和有效传播。

1理论基础

提到语法，人们往往最先想到的是从单词到句子再到篇章的一套固定的规则。那么，视觉语法所描述的规则，就是作为视觉符号的文本和图像在组合过程中的逻辑关系。视觉语法的创始人Kress & Leeuwen[3]（1996）在深入研究了多模态话语分析理论框架后，将韩礼德[4]在系统功能语言学中提出的三大语言功能用对应的再现、互动以及构图功能来替换，并运用到视觉语篇的分析中。近年来，国内外学者一方面在不断完善视觉语法的理论框架，另一方面也开展了大量关于模态间性和符际间性方面的实践研究，量化各个模态和符号系统在话语传播中的权重。其中，张德禄[5]教授就指出，我们不能仅仅停留在分析语言特征本身，还要重视图像、声音、文字等符号间的协同配合在话语中发挥的作用，从而提高教学效率。

图文关系理论是Martinec& Salway[6]（2005）在视觉理论基础上创立的。根据该理论，我们可以从两个维度来分析图像和文字间的关系：一是地位，二是逻辑语义。地位维度主要揭示结构上的图文关系，包括平等关系和不平等关系两种。逻辑语义关系又包括扩展和投射两种。其中，扩展可进一步划分为详述、延展和增强关系。详述指用说明和例证的方法，对已有信息进行更详细的说明而不增加新的信息；延展指通过附加信息来延伸某一符号的意义；增强指通过各种方式增强符号意义。

外语微课是多模态话语的典型代表，它所包含的多种模态和符号系统能在很大程度上调动学生的学习积极性。因此，本文就将以视觉语法和图文关系理论中的逻辑语义关系理论为基础，重点分析外语微课中图像、文本等视觉符号与教师（学生）的话语符号之间是如何相互关联和作用，共同生成意义并有效传播的。

2外语微课中的多模态话语分析

本研究以中国外语微课大赛全国一等奖微课作品《你所不知道的名词化》为例，着重分析其中多模态话语的图文关系及其产生的效果。

2.1內容简介

微课《你所不知道的名词化》主要介绍了名词化的概念和功能，以及名词化生成的三种方式。该微课创设了一个极为贴近大学生学习生活的情景语境，即两个学生（动画人物）为迟交作业找借口的对话情境，以此导入名词化概念；通过教师和学生不断对话交流（提问和探索答案），阐释了名词化的重要性和生成方式，同时也提醒学生只有适当和恰当地使用名词化，才能充分展示其语篇功能，真正提升英语语言能力。整堂课以学生为中心，以师生对话的形式增强了学生的参与感，引导学生主动思考，教师讲解生动有趣，效果良好。

2.2微课中多模态话语的符际间性分析

该微课的主要模态为视觉+听觉模态。其中，视觉模态主要包括图像和文字，图像符号由教师真人、学生动画形象、动作以及图片组成，文字符号主要为字幕；听觉模态为教师的讲解音和学生的回答音。整个视频中，主要的图文关系由教师真人出镜或学生动画形象+字幕构成（如图1、图2）。

整个教学视频中，图文语义联系较紧密且自然。具体来说，图文符号与教师（学生）话语符号间主要为增强关系，表现在以下两个方面：

图像文本与教师（学生）话语符号间的增强关系主要通过说明和例证来实现。如在解释抽象名词Nominalization（1分58秒）的概念时，教师真人出镜，通过文本框中展示的两个例句的对比来详细说明在英语口语和书面写作中，使用不同的词汇可达到的不同语言效果。这里教师图像的设置具有互动功能，对要讲授的内容做出指示（见图3）。接下来，在学生提出疑问（为什么要使用名词化短语）时，视频中出现的文本框（言语泡Whyuseit）及时的再现了该问题，文本是图像的话语投射，体现了文本符号的再现功能，进一步引发学生的思考（见图4）。在讲到名词化的使用在写作中的好处时，视频中出现了三个颜色各异的圆形文本框，分别介绍了名词化的三大功能（conciseness， cohesion， objectivity），配上下方椭圆形方框中的简短文字，对教师的语音讲解起到了良好的补充阐释作用，图像的使用使文字更加具体、形象，逻辑语义关系一目了然，方便学生理解（见图5）。其中在讲到conciseness这一功能时，画面中出现了一个汉堡在阶梯上不断跳动的图像。汉堡在阶梯上的每一次升级都对应了更加丰富的名词性短语内容，一直到最高点，语义内容达到最丰富，也最大限度的体现了使用名词化所达到的简洁这一优点（见图6）。

不仅如此，贯穿整个微课视频的虚拟动画场景设置，加入了特效的镜头绽放、旋转和平移画面，丰富的模板背景与人物形象素材等，都能极大的刺激学生的视觉感官，提高学生的思维参与度，促进教师讲解内容的吸收。

文字文本与教师（学生）话语符号间的增强关系主要通过字体颜色、大小、形状、排列方式等变化对话语内容进行突出和强调。在该微课作品中，教师很好的处理了字体的大小、颜色、形状、背景、出场顺序等搭配，与教学内容表达需求相契合，重点突出，详略得当，达到了很好的意义构建和传递的目标。如图3，红色的圆圈非常醒目，通过红色圈中的重点词汇比较，学生可以更好的理解动词名词化的作用及使用方法；图6中，阶梯式的内容排列顺序使教学内容的展示更加形象化且符合学生的认知规律，利于学生接受；同时，微课中经常使用的虚拟粉刷和虚拟人手书写的文本呈现方式也较好的模拟了学生的认知过程。

最后值得一提的是视频中出现的非语言符号，即授课教师的表情、体态（身体语言）、出现位置等，它们体现的是与教师语言符号间的延展关系。教师和蔼的笑容、恰当的手势指引都能在很大程度上拉近与学生的距离，增强教学的“身临其境感”，促使学生更加积极的思考和参与教学互动。

总的来说，该微课视频教学风格自然活泼，教学过程流畅，表达方式也符合学生的认知规律。视频中图像符号和文本符号协同配合，共同增强了教师（学生）话语符号的意义表达，达到了良好的教学效果。

3结语

综上所述，本文主要通过定性研究的方法，从视觉语法和图文关系角度（特别是逻辑语义维度）尝试分析了在外语微课这一多模态语篇中，教师是如何运用不同的图像和文字文本符号来阐释教师话语，实现有效教学的。鉴于本文仅针对某一微课视频展开分析，语料相对有限，研究的深度和广度均有所欠缺，今后可选取更多的多模态语篇从不同的视角来进行更加深入的解读。

基金项目：本文系四川外国语言文学研究中心、上海外语教育出版社资助项目“外语微课的多模态话语意义建构及互动效果研究”的阶段成果（编号：SCWYH20-18）

參考文献

[1]朱永生.多模态话语分析的理论基础与研究方法[J].外语学刊，2007（05）：82-86.

[2]吴婷.外语微课的多模态话语符际间性研究——以两则微课大赛视频为例[J].外语教学理论与实践，2017（01）：72-77.

[3]Kress，G.&VanLeeuwen，T. ReadingImages： TheGrammarof Visual Design[M].London： Routledge， 1996.

[4]Halliday， M. A. K. An Introduction to Functional Grammar [M]. London： Edward Arnold，1994.

[5]张德禄.多模态话语理论与媒体技术在外语教学中的应用[J].外语教学，2009（04）：15-20.

[6]Martinec， R. & Salway. A， A System for Image-text Relations in New（and Old）Media[J].Visual Communication， 2005（3）：337-371.