多模态视角下学科知识建构的对比研究

周今由

（西南医科大学外国语学院，泸州 646000）

建构主义认为知识的获得是建构而来的，即人们从各种现象（如事件、活动和过程）中获得经验，并使用建构的方式（即运用已有的知识经验）去解释现实世界、做出推论、进行反思[1—3]。但这种建构主义的经验获得方式（如意义的解包和重新打包）过于笼统[4—6]，无法直接指导教材编写。现行的义务教育教材除了使用语言模态以外，还使用视觉模态解释各种自然或社会现象，传达人类已有的知识经验，是学习者早期接触学科知识的重要来源。对于此，现有的研究或集中在某个学科不同年级教材知识建构的研究[7—8]，或集中在语篇语义层知识建构的研究[9—13]，对知识建构在语法层的研究相对不足，还需要进一步深入讨论。

功能语言学通过核心关系描述人们获得经验的方式，反映人物、动作等要素表达经验意义的方式[14]，并随着研究的进一步深入，开始关注多模态如何表达经验和逻辑意义[15—19]。但功能语言学对经验意义的多模态研究存在术语庞杂的问题，例如符际互补[20]29、符际概念[9]168和符际相似[10]144-5，这些术语容易混淆，无法直接成为指导教材编写的元语言。

鉴于此，本研究以及物性系统为切入点，探讨义务教育教材中多模态语篇知识建构的本质特征，以人教版义务教育数学和物理教材为例①鉴于该系列教材是教育部审定的迄今为止最新版的教材，并在咨询四位具有20多年教龄的数学和物理教师后，确认选取其作为分析语料的来源。，从中各选取语料36篇，共计72篇，重点讨论多模态语篇中经验意义的表达模式和类型，旨在揭示多模态语篇语法层面知识建构的本质特征，并为学科教材编写或识读能力培养提供借鉴和启示。所以，本研究试回答以下问题：

1.数学和物理教材通过语言模态实现知识建构的语法模式有何差异？

2.数学和物理教材通过视觉模态实现知识建构的视觉模式有何差异？

3.数学和物理教材通过语言与视觉模态实现知识建构的互动模式有何差异？

一、理论基础

鉴于现有的研究尚未揭示知识建构在多模态语篇语法层面的本质特征，功能语言学的核心关系又可以描述人类获得经验知识的方式。因此文章借鉴了系统功能语法[21]考察语言模态的经验意义，与视觉设计语法[17]考察视觉模态的经验意义，同时还借鉴了符际意义[9]的研究讨论了语言和视觉模态如何共同表达的经验意义。在一个完整的语篇中，经验意义可以通过单一模态来表达[17,21]，也可以通过多种模态的组合来表达[9—10,15]。经验意义关注人们描述主客观世界中活动事件或现象的方式，涉及事件或现象的参与者、活动过程、以及事件地点等元素。经验意义在语篇语义层以核心关系的形式呈现出来。

核心关系反映了动作、人物、地点、事物和性质在活动序列中构成活动的方式[14]309，例如players serve ace和players intercept volley反映了人们如何描述与运动员发球和截球相关的经验意义。核心关系的构成要素在语篇语义层面呈现为过程（process）、性质（quality）、地点（place）、人物或事物（person/thing），在语言模态的词汇语法层体现为动词（词组）、形容词（词组）、副词或名词（词组）等形式，在视觉模态的语法层体现为实物图像或带有向量的图像[17]。过程通常是指及物性过程，分为语言模态的、视觉模态的，以及两种模态共同表达的。

第一，语言模态的及物性过程具有六种类型，分别是物质、心理、关系、行为、言语和存在过程，详见图1。该系统图概括了人们在主客观世界中的种种经验类型，以物质过程为例，“动作者+物质过程+目标”这样一个组合代表着人们如何描述活动事件或现象的经验，其中动作者（actor）常常是事件或现象的参与者。

图1 语言模态及物性过程的类型图[22]173

关系过程关注两个不同实物之间的关系，或者存在者的两个部分的关系。例如“Sara is wise;Tom is the leader”,关系动词is的作用在于说明Sara所具有的属性与Tom的识别特征。关系过程具有两种关系，即属性和识别关系，分别表达载体与属性、识别者和被识别者的关系。属性和识别关系又都可以分别细分为强化、环境和拥有三个类型，具体详见表1。

表1 关系过程的分类表[23]48

存在过程旨在说明存在什么事物或发生了什么，表达“存在”的含义，常见的句式包括“……有……；there be”等。心理过程旨在说明人类的心理感受，该过程的参与者只能是人类，其感受到的事物被称为现象。该过程包含感知（如seeing）、情感（如feeling）和认知（如thinking）三个子类别[21]143。行为过程旨在描述人们或动物的自然生理行为，如“哭、笑、呼吸、做梦”等行为。举例来说，“I’m watching you”中的I是行为者，you是行为对象，有时行为对象不出现。言语过程旨在表达说者（sayer）表述了什么（言语内容），例如“John said he was hungry”。

第二，视觉模态的及物性过程具有两大类，即概念再现和叙述再现[17]55,76，两者的区别在于视觉模态是否具有矢量（vector）。其中概念再现不具有矢量的视觉元素，叙述再现具有矢量的视觉元素。概念再现包括分类过程、分析过程和象征过程；叙述再现包括动作过程、反应过程、言语和心理过程，详见图2。

视觉模态及物性过程的类型借鉴了语言模态的及物性过程的分类，但也有区别。在叙述再现中，动作过程关注图像的参与者对其目标做了什么，参与者是动作者，矢量代表动作过程，矢量指向的对象是目标，该过程的经验结构呈现为“动作者+矢量+目标”。反应过程关注图像的参与者之间是如何通过目光或眼神进行交流的过程，言语和心理过程关注的则是参与者与言语泡泡或者思维泡泡之间如何联系起来表达意义的过程。

图2 视觉模态及物性过程的类型图[17]44-112

在概念再现中，分类过程研究的是同级从属者（subordinates）之间的关系，或者从属者与上位者（superordinate）之间的关系。分析过程研究的是图像的整体（承载者carrier）与部分（拥有的特征possessive attributes）的关系，图像的分析过程具有结构化和无结构化之分，结构化的分析过程又分为详尽的和内含的分析过程。在详尽的（exhaustive）分析过程中，承载者显示了所有组成成分，而在内含的（inclusive）分析过程中，承载者并未完全显示其组成成分[17]93。象征过程研究的是“参与者意味着什么或是什么”，当该过程只出现一个参与者时，属于象征提示（symbolic suggestive）的过程；当该过程出现两个参与者时，属于象征属性（symbolic attribute）的过程[17]102。

第三，语言模态与视觉模态共同表达经验意义的研究主要包括符际互补[20]、及物性关系、词汇化、视觉化、符号化和符号隐喻[9]168以及符际对应[24]等。在这些研究中，Royce[20]的研究并不适合本文的分析框架，主要原因在于其研究目的是为了探讨经验意义范畴下的符际意义关系，例如重复、同义、反义、上下义，整体局部关系、搭配。而这些意义关系又被O’Halloran[9]168借鉴来探讨语篇语义层面的符际概念。符际互补和符际概念都是在讨论不同模态之间的意义关系，两者的理论背景都来自词汇衔接手段[25]，但是词汇衔接手段的研究目的在于探讨语篇的衔接机制，衔接机制又可以发生在多个层面，且与三个元功能都有关联[24]369，所以不采用这些符际意义关系考察语法层的知识建构模式。

文章在O’Halloran研究的基础之上，将不同模态及物性过程的符际对应（intersemiotic parallel）视为探索符际互动表达经验意义的模式。符际及物性关系与符际对应在本质上是一致的，可以统称为及物性过程的符际对应。原因在于，一是符际及物性关系利用关系过程建立不同模态之间的识别关系[9]168，二是符际对应确立了不同模态关于相同事件的经验描述[24]373-374。两者都是围绕实体关系的描述或者对于事件的描述，及物性的选择在不同模态之间产生重合。多模态语篇使用不同模态的及物性过程表达经验意义的模式，文中统一将其称作及物性过程的符际对应。

二、研究方法

（一）语料收集

通过对教育部审定发行的人教版数学和物理教材的分析，分别将语料的来源限定在8个章节，从中各选取36篇多模态语篇，共计72篇。这些语篇都是传达学科知识的多模态语篇，与概念界定、活动介绍、现象或实验解释等内容相关。

首先，之所以从人民教育出版社发行的数学和物理教材中选取语料，主要是因为其具备经过官方认定、经过专业团队编撰设计、受众接受程度高、书面印刷标准规范等特点，而且国内大多数省份都采用这套教材进行教学。鉴于此一共选用了9本教材，分别是七、八、九年级《数学》教材，共计6本；以及八、九年级《物理》教材，共计3本。

其次，之所以选取不同学科72篇多模态语篇，主要原因如下：一是因为单一学科的教材中有些章节并不包含多模态语篇，如数学教材中的一元二次方程，所以无法随机选取语料；二是因为相比较而言，初中的数学和物理教材所涵盖的知识领域范围更广，例如与概念定义、活动描述、现象解释、实验解释相关的多模态语篇，但不包含练习题和单模态的语料。

再次，语料的选取限定在数学和物理两门学科主要有两个原因：一是因为两者联系紧密，物理教材中的知识建构在一定程度上借用了数学符号、图像和语言，两者的人际意义都急剧收缩[8—9]，并且至今未曾有研究指出两者在知识建构的过程中存在哪些异同之处；二是因为如果语料分别来自文科和理科两个学科的话，那么语料所反映的知识建构模式很可能在某个学科内数量较多，而在另一个学科中相对较少，导致只有差异，没有共同点，分析结果的有效性就会大打折扣。

（二）语料标注

文章将根据核心关系的构成要素对语篇进行标注，主要标注及物性过程和参与者，目的在于以两者为核心要素确立一个句子，便于进行数据统计。以图3①该图选自2012年出版的人教版物理八年级上册的第100页，具体详情可参见该页彩图（图5.4-2甲和图5.4-2乙）。为例，标记过程分别如下。

首先，及物性过程的标记。具体而言，一是标记语言模态的及物性过程，“来改变、会聚、看清、会聚、看清”标记为物质过程，“变厚、变大”标记为关系过程。需要指出的是，“变厚、变大”的例子属于过程与属性结合在一起的情况[26]358，标记为关系过程；“晶状体比较薄”缺省过程动词，但依然说明了载体的属性，所以也标记为关系过程。二是标记视觉模态的及物性过程，因为两个图像都展示了带有矢量标志的事件，所以都标记为动作过程；同时也都展示了包含晶状体的眼睛，属于整体与部分的关系，也都标记为分析过程。三是标记两种模态互动时及物性过程的符际对应，语言模态的“晶状体比较薄”与甲图晶状体呈现的属性构成关系过程的符际对应，“晶状体变厚”与乙图变厚的晶状体构成关系过程的符际对应；语言模态的“远处物体射来的光刚好会聚在视网膜上”与甲图中进入眼睛的矢量标志构成物质过程的符际对应，“近处物体射来的光会聚在视网膜上”与乙图中进入眼睛的矢量标志构成物质过程的符际对应。

图3 正常的眼睛调节

其次，参与者的标记。该语篇的参与者具体而言是事物（thing），包括语言模态中关系过程的载体“晶状体、晶状体”，物质过程的动作者“眼睛、远处物体射来的光、眼睛、近处物体射来的光、眼睛”；以及视觉模态中动作过程的动作者“远处物体射来的光、近处物体射来的光”、分析过程的承载者“眼睛”。

（三）语料分析

文章采用定性的研究方法对语料进行标注，之后通过定量的研究方法进一步总结本质规律，分别从语言模态、视觉模态、图文共存的三种情形进行分析统计，旨在揭示多模态语篇实现知识建构的典型模式。具体而言，首先，将数学和物理语料根据其所包含的知识领域区分开来，之后对每个知识领域的语料进行标注；第二，根据及物性过程的六种类型[21]对语言模态的及物性过程进行数量统计，并归纳出每种过程常见的体现形式；第三，根据及物性过程的六种类型[17]对视觉模态的及物性过程进行数量统计，并归纳出每种过程对应的显著视觉特征；第四，根据语言模态和视觉模态互动时形成的符际对应[9,24]进行数量统计，并归纳出及物性过程发生符际对应所具有的典型类型及其功能。

需要说明的是，只有先确立语言或视觉模态中数量或频率最高的及物性过程，才能确立两种模态是否发生符际对应，以及其典型类型是什么。如果直接讨论两种模态的及物性过程是否发生符际对应，那么依然需要语言和视觉模态的及物性过程进行判断，最终才能确定数学和物理多模态语篇中哪种符际对应具有显著特征。

三、结果与讨论

（一）语言模态下知识建构的模式

根据语料标注的情况来看，数学和物理教材中语言模态的及物性过程主要反映在物质、关系和存在过程三种类型，详见表2。根据统计显示，数学教材中具有显著特征的是物质过程（113个）和关系过程（230个），物理教材中具有显著特征的也是物质过程（215个）和关系过程（92个）。此外，数学和物理教材中存在过程也有一些数量，分别是25个和37个，说明两门学科都有使用该类及物性过程表达经验意义的例子。

结合上述统计分析，下文将分别针对关系、物质和存在过程进一步归纳其子类型、体现形式、示例等内容。

表2 语言模态及物性过程的频次分布表

首先，根据本研究收集的语料来判断，关系过程的功能在于建立专业术语与其解释之间的关系。该过程具有两种子类型及其对应的体现形式，详见表3。其中，识别的关系过程被用来描述某一实体或活动事件的定义，将识别者（identifier）和被识别者（identified）联系在一起。识别者是与专业术语相关的解释或描述，被识别者是专业术语，识别者和被识别者通过动词联系在一起。这些动词在教材中都是以主动语态出现的，其时态都是现在时。此外，教材在描述某个实体所具有的属性时，通过属性的关系过程将实体与其属性联系起来。结合起来看，数学和物理教材在解释某个专业术语的定义或属性时，通过关系过程将专业术语与其解释或属性联系在一起。

表3 语言模态的关系过程类型分布表

第二，语料显示物质过程所在的小句中通常表现为“过程动词+目标”，也就是行动者会缺省，详见表4。缺省行动者的物质过程小句在数学和物理语料中都与科学活动相关，还可以构成活动序列。例如数学教材中求解二次函数的语篇，物理教材中测试灯泡亮度的实验，都包含了多个缺省行动者的物质过程，彼此构成了一个或多个活动序列。

表4 语言模态的物质过程类型分布表

此外，语料显示汉语中的动词还包含一些句法框架，如“把/使/用……V……”等动词具有框架结构[27]，被用来充当过程动词。这类动词作为一个整体被用来描述活动事件发生了什么。相比较而言，绝大多数的物质过程由非框架动词体现。两类动词的功能一样，都在于描述活动事件发生了什么，用于表达人们的经验意义。

第三，在收集的语料中还有一些存在小句，其中，存在者既可以是实体也可以是活动事件，过程的体现形式主要表现为动词“……有……”以及半动词“……在……”，旨在说明存在者所处的地点等环境因素，详见表5。与实体相关的存在者都是各个学科中的专业名词。存在动词“有”在表达实体或事件的属性时还可以体现关系过程，例如“凸透镜对光有发散作用”。存在动词还存在否定的情况，即否定某个实体或事件的存在，例如“直线和圆没有公共点”。

表5 语言模态的存在过程类型分布表

（二）视觉模态下知识建构的模式

根据语料的分析统计可以看出，详见表6所示，数学和物理教材中图像的及物性过程集中在分类、分析、象征和动作四个类型之中。

在概念再现的分类过程中，数学教材中的图像，12个中有9个，侧重于呈现从属者之间的关系，表现为内隐的分类过程，从属者之间有可能大小相近、外形相似、距离相等、排列方式相同，如相似的几个三角形。而物理教材中的图像，19个中有11个，侧重于呈现上位者与从属者之间的关系，表现为外显的分类过程，上位者与从属者之间具有上下级关系，如凹凸镜（标题）与凹透镜和凸透镜的图像。

数学教材中图像的分析过程数量最多（26个），全部表现为内含的分析过程，图像作为一个整体的承载者，包含了一些组成元素，这些元素是承载者所拥有的部分特征，例如一个正多边形和外接圆构成的图像。相反，物理教材的分析过程（9个）都表现为详尽的分析过程，图像既呈现了承载者本身，又包含了组成部分的所有特征，例如三孔插座和三孔插头的图像。

表6 视觉模态及物性过程的分析统计

数学教材中图像的象征过程数量（14个）多于物理图像的象征过程数量（5个）。数学教材的图像既有使用抽象的几何图形（6个），也有使用具体的物体（8个）表达实体所具有的属性特征，都侧重于表达实体的属性，都属于象征属性过程，例如赵州桥和六根柱子的亭子。而物理教材的图像既有强调实体的意义或身份（3个），如连通器，也有强调实体的属性（2个），如电子元件。

在叙述再现中，数学和物理教材都只呈现出一种及物性过程，即动作过程。在动作者、矢量和目标都存在的情况下，物理教材中动作过程的矢量有单向、双向和多向的呈现方式，而数学只有单向的。再者，物理教材中动作过程存在显性和隐形之分，数学教材并无此之分。

（三）多种模态下知识建构的模式

根据上述分析统计来看，语言模态的关系、物质、存在过程，视觉模态的分类、分析、象征、动作过程，分别是两种模态中主要的及物性过程类型。在多模态语篇中，如果语言和视觉模态的及物性过程相同或相似，都在表达相同或相似的经验意义，那么两者的及物性过程构成符际对应。在此次收集的语料中，符际对应主要分为关系过程、存在过程、物质过程的符际对应。这3种符际关系的数量统计详见表7。

表7 多模态及物性过程的频次分布表

第一，语言模态的关系过程与视觉模态的分类、分析和象征属性过程可以表达相同的经验意义，主要涉及与参与者（如专业术语）的界定、属性等相关的知识内容。在数学和物理教材中，关系过程发生符际对应的数量分别是40个和23个。两种教材存在相同之处，既可以通过“载体与属性”界定实体的属性，也可以通过“识别者和被识别者”确定实体与其特征之间的关系。例如，“有一个亭子，它的地基是半径为4 m的正六边形”呈现了载体（亭子）和属性（地基半径为4 m的正六边形）的关系，对应的视觉模态的承载者（亭子）与象征属性（亭子地基的几何图形）的关系，两种关系都在界定亭子地基的属性，共同构成了关系过程的符际对应，从而表达相同的经验意义。

第二，语言模态的存在过程与视觉模态的象征提示过程可以表达相同的经验意义，主要涉及与存在者所处的环境、所派生的意义等相关的知识内容。在数学和物理教材中，存在过程发生符际对应的数量分别是22个和13个。两种教材在表述参与者所处的环境时存在相同之处，即通过语言模态的存在者和所处的环境、视觉模态的承载者和所处的环境说明参与者所处的环境，凸显参与者的意义或身份。例如，“主轴上有个特殊的点，……薄透镜的光心就在透镜的中心”说明了光心所处的环境，体现了存在过程，与之对应的两个图像，凸透镜和凹透镜，分别作为承载者也说明了光心所处的环境，凸显了光心的身份即透镜的中心，属于象征提示过程。这两种过程共同构成存在过程的符际对应，表达相同的经验意义。

第三，语言模态的物质过程和视觉模态的动作过程也可以表达相同的经验意义，主要涉及与参与者所参与的活动或活动序列相关的知识内容。在数学和物理教材中，物质过程发生符际对应的数量分别是37个和52个，相似的地方在于数学和物理教材的符际对应都有一定的数量表达单个事件的经验意义（37 vs 32），而不同的地方在于只有物理教材中出现了20个符际对应表达活动序列的经验意义。

在表达单一活动事件的经验意义时，数学和物理教材中发生符际对应的过程类型相同、数量接近。具体而言，语言模态的物质过程对应视觉模态的动作过程。例如，“水总是由高处向低处流”表现为物质过程，对应的视觉模态（瀑布）表现出隐性的动作过程，两种模态表达相同的活动事件，构成动作过程的符际对应。

在表达活动序列的经验意义时，只有物理教材中出现了物质过程的符际对应，这些活动事件出现在物理实验之中，体现为几个连续的、且有先后顺序的小句，都表现为物质过程，或者一系列的图像，都具有动作过程，这种情况下的符际对应是连续的，与连续的活动事件相关。两种模态通过符际对应表达了活动序列的经验意义。

四、结语

文章以语言模态和视觉模态的及物性系统为研究基础，同时兼顾两种模态互动表达经验意义的语法模式，从我国现阶段普及程度较高的人教版数学和物理义务教育教科书中分别选取8个知识领域，从中再选取72篇多模态语篇作为分析语料，旨在揭示多模态语篇中语法层面知识建构的本质规律。研究发现，在数学和物理学科的多模态语篇中，语言模态倾向于通过关系、物质和存在过程表达经验意义，经验意义的体现形式趋向相同。视觉模态倾向于通过动作、分类、分析和象征过程表达经验意义，经验意义的再现形式差异较大，说明每个学科教材利用视觉模态表达经验意义的视觉结构倾向不同。语言和视觉模态共同通过关系、存在和物质过程的符际对应表达相同的经验意义，旨在说明专业术语的概念和属性等内容，或说明实体的身份或所处的环境，或说明活动事件或序列的内容。这些经验意义的表达模式反映了教材传达学科知识的本质规律，是教材编写者建构学科知识的典型模式。

对义务教育教材中经验意义的表达模式进行探讨不仅在理论方面具有重要价值，揭示了多模态语篇利用不同模态资源建构学科知识的模式，而且在实践方面也具有重要价值。一方面有助于教材编写者深刻理解学科教材编写中不同模态表达经验意义的典型模式，深入了解如何借助多模态资源传达学科知识，从而能够有效地选择恰当的模式实现不同学科的知识建构；另一方面有助于教师合理运用多模态资源传达学科知识，通过多模态展示进行教学以期提高学生的多模态识读能力。