多模态微课的符号间关系与意义共建*

张青妹

（北京工业大学 实验学院，北京 100024）

多模态微课的符号间关系与意义共建*

张青妹

（北京工业大学 实验学院，北京 100024）

微课是一种新生事物，其作为多模态语篇意义的构建方式尚不明晰。文章首先明确了微课的多模态属性，然后尝试以图文关系理论和声画关系理论为研究基础，对多模态微课的符号间关系进行了梳理，并对视觉模态符号间关系、听觉符号和视觉符号间关系分别进行了分析。文章指出，文本、图像和声音同为语篇制造意义的资源，它们各自有着对方所不能代替的功能，它们相辅相成、互补整合，从而达成语篇意义的共建。

微课；多模态；符号；图文关系；声画关系

引言

微课是近两年异军突起的一种教学形式，作为教育领域的新生事物，其定义尚未固定——胡铁生、焦建利、黎加厚等学者分别给出了各自的理解，教育部教育管理信息中心和教育部全国高校网络师资培训中心等教学管理部门也在各级比赛中给出了不同的定义。随着各教育机构相关微课的探讨及其实践的迅速升温，学界对微课核心内容的理解开始逐渐集中在针对性、碎片化、视频化、情境化四个方面。其中，针对性和碎片化是指微课的选题内容，不属于本文的讨论范围；而视频化和情境化等微课的表现形式，则是本文要研究的范畴。

从制作方法来区分，微课包括课堂式、录屏式和混合式等。课堂式微课在形式上相当于传统的课堂教学实录，不能完全体现在线学习和情境化这些典型的微课特征。录屏式微课一般包括无需展示教师风采的讲解类或演示类微课，通过文字、图像和声音等符号传递教学信息，整合了文字、图像、声音等不同符号的功能，可全面激活微课学习者的认知、情感等各方面资源；混合式微课则指融合了录屏式和软件合成等制作方法的微课，故本文主要探讨的是录屏式和混合式微课。

一 微课的多模态语篇属性

多模态语篇是指除了文本之外，还包含图像、声音等的复合语篇，或是任何由一种以上的符号编码实现意义的话语。在多媒体时代，图像和声音等逐渐上升为主流地位，并和语言文字符号一起构成多模态话语资源，共同参与信息的传递。

根据朱永生[1]对多模态的判断标准，将微课归属为多模态话语资源主要基于以下两点:首先，微课涉及的模态种类不止一种，即微课通常情况下含有声音、图像和文字等呈现方式，融合了听觉模态的收听和视觉模态的读屏；其次，微课涉及的符号系统也不止一种，如微课视频大都是多模态的，有些视频虽然只涉及一种模态却涵盖了多种符号系统——只有图像和文字的无声视频，虽只涉及视觉模态但却涵盖了图像和文字两种符号系统。具体来说，微课包含文字、图像和声音三个模态参数，按照目前的微课定义，单一的模态不构成微课，所以理论上微课共有四种:文字+声音、文字+图像、图像+声音、文字+图像+声音。根据曾方本[2]的研究，文字+图像仍是目前多模态语篇研究的重点；因声音模态是缺省的，故对声音模态的研究较少。本文选取多模态微课中最典型的、也是模态最丰富的“文字+图像+声音”作为研究基点，试图探讨各种模态间的互补关系，并共同达成多模态语篇的整体意义构建。

二 模态关系的理论基础

探讨多模态意义构建过程中各种模态间的关系，必须依托多模态语篇分析理论，因为任何对多模态语篇的分析归根到底都是意义的分析。目前对视频语篇的分析还没有统一框架，本文尝试将多模态语篇拆分为文字、图像、声音三种符号系统。针对录屏式微课的特点，即多个PPT画面和声音的整合，本文在视觉模态方面借鉴图文关系理论来分析图像符号和文字符号间关系，在听觉模态方面则借鉴声画关系理论来分析听觉符号和视觉符号间关系。

1 图文关系理论

在各种语类的多模态语篇里，图、文是两种最主要的符号表征，它们既独立存在又彼此关联。学者们对多模态语篇里的图文关系进行了解构性研究，其中最具代表性的图文关系理论是图文地位论[3]、图文位置论[4]和图文系统论[5]。Barthes的图文地位论认为，在多种符号组成的复合系统中图文之间有三种关系:或者是锚定、或者是说明、或者是接递。Kress的图文位置论比照功能语法中语言的概念功能、人际功能与组篇功能，认为图像同时具有再现、互动和构图三种功能，其中构图关系的原则包括信息价值原则、突显原则和分格原则。为了摆脱上述两种理论的直观性和经验性，Martin和Salway创立了图文系统论，他们借用功能语法中的小句关系理论，从地位关系和逻辑—语义关系两个子系统的组合来阐述多模态语篇的图文关系。为了厘清理论脉络，本文对上述三种理论的主要内容进行了概括，如表1所示。

表1 图文关系

2 声画关系理论

声画关系是影视艺术中关于声音和画面如何结合并共同作用于影视主题意义的阐述。根据黄昌林[6]的观点，声音和图像在形式上表现为互斥、互补和整合。其中，互斥是指声音系统与图像系统属于独立的两个系统，彼此之间互相对立、相互排斥、互相斗争；互补是指电视声音和画面系统在与外部环境的物质交流过程中同时共存、互相联系、互相补充；整合是指声音和画面在交流的过程中出现了中间环节，声画关系的内在机制发挥整合的作用，最终形成了声画同构、交相扶持的时空复合艺术，即声画一体论。

根据上文相关微课核心内容的理解，可知微课是视频化、情境化的教学语篇，其信息载体包括文本和情境两部分。从模态和符号系统的构成来看，微课与影视艺术并无本质区别。也就是说，微课所运用的语言符号和非语言符号与影视基本相同。因此，本文借鉴声画一体论来阐述多模态微课听觉符号与视觉符号间关系。

三 多模态微课的符号间关系

不同的微课内容要求微课的主模态各不相同，其余模态协调配合，共同完成意义的构建。综合上述图文关系理论和声画关系理论，本文依托首届全国高校微课教学比赛来探讨微课中各个模态符号间的关系。根据中国高校微课研究报告[7]，该赛事具有参赛规模大（全国1600多所高校上万人参加）、学科种类广（154个学科分类）、甄选严格（总获奖率5%）等特点，因此，本文将研究范围定位于该赛事，并且选取的都是该赛事获奖作品中具有典型微课特征的案例。

1 视觉模态符号间关系

（1）图文平等，相互依赖，图文互释

以“十句话谈论天气”为例，这是该赛事中唯一获奖的外语类录屏式微课，也是笔者本人的作品。在该微课的设计过程中，通过介绍十句话并配以富有表现力的图片，使学习者能够快速掌握天气表达的常用语句。如图1所示，“It is scorching hot today!”“今儿真是个大热天！”是主要传递的教学内容，文字成为了该微课中承载教学信息的主要模态。同时，选取的图片因有效地阐述了该文本信息也成为凸显模态。该微课中的图像包括图片和色彩两种符号，通过视觉感知，学习者可以借助已有的感性经验，边联想边体会图中蓝天、沙漠和墨镜所营造的那种艳阳高照、骄阳似火、干燥炎热的语境。需要说明的是，学习者的联想具有一定的分散性，如相关墨镜的联想可能是艳阳，也有可能是神秘、盲人、隐私或黑社会等，因而需要有其它符号（如红颜色、沙漠的背景）对其“锚定”才能实现设计的语篇意义。文本中的“scorching”是该微课重点推介的单词，学习者对该单词的认知很大程度上是通过图片的阐释来完成，图像对文字的元功能意义进行了阐释，即文字指导图像的阐释，图像则有助于更好地理解文字。在该微课中，文字和图像两种模态共同作用，文字的象征性属性与图像的象似性属性使得二者在表达语篇的意义时相互依赖、缺一不可，它们更像是两种模态的合奏，对篇章意义的贡献不分彼此，体现了图文互释的关系。

图1 微课“十句话谈论天气”截图

图2 微课“画法几何与机械制图”截图

（2）图文不平等，图像〉文字，图像增强文字

文字与图像有时明显呈现不对等的关系。录屏式微课中，文字不仅包括内容介绍中的文字，也包括屏幕下方动态呈现的字幕，它们与图像同样需要互相配合。字幕是视觉语言的一种，它作为动态文本与图片同时以视觉模态表征；它以文字符号的方式传递着信息，是对声音和图像所表达内容的强化和补充。以大赛另一个获奖作品“画法几何与机械制图”为例，该微课视频中包含丰富的静态图例和动态演示。如图2所示，图例演示是阐述主体，静态文字作为依附而存在；“配置图:表达机器或部件的装配、连接关系的图样”作为概念文本出现在屏幕上方；“球阀的工作原理”是图例的名称，起介绍语篇主题的作用；“将扳手顺时针扳转90度”作为字幕在屏幕下方呈现，可对重要信息进行提示或对关键的环节予以说明。在该微课中，图文的不平等关系符合图文位置论的“突显原则”，即图片占据了显眼的位置和大部分画面，而文字相对边缘化、不凸显；与图片相比，文字的意义更加确定但却不完整，需要配合图片强大的阐述功能才能完成语篇的信息传递，可以说是图片增强了文字，文字依赖图片而存在。在图像大于文字的情况下，逻辑语义上文字对图像进行功能性的说明，图像则是信息传递的主模态。

2 听觉符号与视觉符号间关系

根据声画关系理论，视觉和听觉属于两大独立的系统。当信息传递以视觉和听觉同时表征时，二者在争夺注意力资源上彼此排斥，但互斥性并非图像和声音关系的本质，因此强调声音或者强调图像为微课的主模态都是片面的。图像和声音两大系统关系的根本出发点应是如何配置并发挥其各自的功能，即听觉模态和视觉模态的各个符号应根据其各自承担的不同的信息传递功能来进行整合、实现互补，从而达到微课语篇意义的声画同构。

在录屏式微课和混合式微课中，声音作为重要的模态和包括图像文字在内的视觉模态一起达成意义共建。微课中的听觉模态主要指声音符号，具有言语与非言语的双重特性。其中，言语性是指教师的讲课画外音，是对PPT静态文本内容信息的阐述。言语性表达的话语意义与录屏时对应的PPT静态文本的意义是一致的，承担着静态文字和图片的伴随功能，内容为视觉模态所承载信息的重述，并与图像和文本一起构建意义。非言语性是指微课中插入的各种声效或音乐，其功能更多地表现为对意境的渲染和语境的创建。在微课信息传播的过程中，图像、文字和声音一起组成了共时空、多渠道的信息传播手段。

以大赛获奖作品“心脏听诊”为例，该微课通过画外音对教学内容进行陈述，通过PPT静态文本来提示教学重点信息，同时用图例展示心脏听诊的部位，并加入心脏跳动的模拟音效来表现不同状态下的心脏跳动情况——这几种不同模态符号的共存互补和功能整合成就了该微课视频的意义达成。一方面，微课中的人声画外音使得复杂抽象的医学讲述成为可能，实现了主要教学信息的传递。另一方面，微课视频画面承载了非语言系统的全部具象性符号。如伴随着图中心脏律动的动态展示，学习者在视觉接收心脏图文信息的同时，听觉系统也接收着心脏跳动的声音信息刺激，这不仅强化了微课内容的可理解性，而且实现了微课在假定情景下的真实性，营造出了一种可触及的在场感，符合微课的情境化要求。根据信息加工心理学理论，微课视频中听觉刺激所引发的互文联想激活了学习者原有的认知语境，此联想通过对静态文本所提供的语言意义进行补充、修复和强化，使学习者获得更为丰富的感知和更为强烈的情感体验。在该微课中，心脏跳动模拟音频以其特有的功能特性刺激着学习者的感官，它不仅从理性层面展示着心脏跳动的科学信息，还从感性层面推动着微课语篇节奏的变化，结合教师的画外音一起影响着微课的语篇意义发展。可以说，包括人声画外音和声效在内的听觉符号，与图像、文本一起构成该微课信息符号的铁三角。

四 结束语

多模态微课是当今读图时代和微媒体语境下产生的一种视频化学习方式，它基于现代教育技术，多方位诉诸于学习者的视觉和听觉，是各模态符号间功能和意义的互动，也是各模态符号情感和理性互动的结果，更是现代多媒体信息技术与语言的完美结合。总之，语言模态和非语言模态都是意义的源泉，在结构和组织上都能成为意义体。

本文以图文关系理论和声画关系理论为基础，通过对典型微课案例的语料分析，探讨视觉、听觉等各种模态符号在微课语篇意义达成方面的关系。本文认为，文本、图像和声音同为语篇制造意义的资源，它们各自有着对方所不能代替的功能，它们相辅相成、互补整合，从而达成语篇意义的共建。鉴于微课是新生事物，从文献来看尚未有相关微课多模态语篇的研究，因此本文的研究可视为一种尝试，期待能为如火如荼的微课教学语篇的设计提供语言学和符号学的理据，并为视频语篇的多模态研究带来启示。

[1]朱永生.多模态话语分析的理论基础与研究方法[J].外语学刊,2007,(5):82-86.

[2]曾方本.多模态符号整合后语篇意义的嬗变与调控[J].外语教学,2009,(11):28-32.

[3]Barthes R. Image, music, text[M]. New York: Hill and Wang, 1977:15-19.

[4]Kress G T, Leeuwen V. Reading images: The grammar of visual design[M]. London: Routledge, 1996:183-185.

[5]Martin R A, Salway. A system for image text relations in new and old media[J]. Visual Communication,2005,(3):337-371.

[6]黄昌林.电视叙事声画一体论[J].西南民族学院学报,2001,(6):49-52.

[7]教育部全国高校网络培训中心.中国高校微课研究报告[R].北京:教育部,2014:25-32.

编辑:小米

Studies on Inter-semiotic Relations and Construction of Meaning in Micro-lecture as a Multimodal Text

ZHANG Qing-mei
(Pilot College, Beijing Institute of Technology, Beijing, China 100024)

Micro-lecture is a newly born multimodal text, and how its meaning is constructed remains unclear. This paper clarified its nature of multimodality, and presented some research on the inter-semiotic relations in micro-lecture based on image-text relation theory and sound-picture relation theory. It also focused on the inter-semiotic relations both in visual mode and visual-auditory modes. The paper shown that texts, image and sound were all the resources which played irreplaceable role in constructing the meaning of micro-lecture by complementing each other.

micro-lecture; multimodal; sign; image-text relation; sound-picture relation

G40-057

A 【论文编号】1009—8097（2015）09—0065—05

10.3969/j.issn.1009-8097.2015.09.010

本文受北京工业大学 2013年教育教学研究课题基金“微课程应用于大学英语教学的研究与实践”（项目编号：ER2013B35）资助。

张青妹，副教授，硕士，研究方向为英语教学法、语料库和现代教育技术应用，邮箱为newgloria@sina.com。

2015年3月2日