科学教育语篇研究的多模态视角

刘 宇

(四川外国语大学 出国培训部，重庆 400031)

1.引言

随着社会结构的变迁及信息技术的普及，图片、录像、动漫、三维模型等多模态交际方式在教育领域中的运用日益频繁。从20世纪90年代起，以系统功能语言学为基础的多模态研究蓬勃发展，其阶段性成果已经获得澳大利亚，英国等发达国家教育部门的高度重视，并成为当地中小学不同学科教学改革的理论依据和实践指南 (Prain＆Waldrip，2010:1－3)。我国学者近年来开始关注国外多模态研究的进展，并积极运用于外语教学领域(张德禄、王璐，2010)。总的来看，国内多模态研究的重点在于培养学生的普通识作能力(generic literacy)，特别是利用图片等非语言表征手段提高学生的英语听说读写水平。相比之下，国内现有文献鲜少论及国际多模态研究的另一大热点:即如何分析数学、物理、化学等科目中的多模态表征，并培养学生的学科识作能力(disciplinary literacy)(Moje，2008)。与语言课程不同，学科教育中图形，符号等非文字交际手段一直都是教学与测试的重要内容，因此借鉴多模态研究的成果对提高我国学科教育水平具有更为重要的价值。本文主要结合化学学科中的图文并茂现象介绍多模态研究的理论依据和研究范围，并探讨该项研究对我国科学教育的启示。

2.理论基础

系统功能语言学理论由英国语言学家Halliday在20世纪70年代创立。当时占据主导地位的形式语言学主张将将语言视作一个自给自足的封闭体系进行研究。Halliday则反对把语言同其他社会现象隔离开来，强调语言是人际交流的重要产物和根本途径，研究言语活动必须考虑其产生的社会语境(social context)，包括具体语言形式背后的文化动因(Halliday，1978:18－19)。

系统功能语言学家透过层次化的视角揭示社会语境和语言现象之间的互动关系，将两者视作不同层次的符号系统，前者较为抽象，而后者较为具体。同时，语言本身按照抽象程度从高到低也可以分为意义①从系统功能理论视角来看(例如:Martin，1997:4)，语言可以构建三种意义:概念意义(再现主客观世界所发生的事件)，人际意义(说话人与受众之间构建何种人际关系)和组篇意义(语言使用者如何将各个语言片段组合成一个连贯的整体)。限于篇幅，本文只讨论概念意义。、语法、及媒介形式(声音，文字)三个层次。社会语境同语言的各个层次之间存在相互识解(construe)关系:一方面，特定的社会语境制约着语言的选择;另一方面，具体的某种语言形式也构建出相应的社会语境(Martin，1997:4－6)。社会语境和语言两种符号系统各个层次之间的互动对揭示科学知识的构建和传播具有重要意义。Halliday(1998:228)指出，科学探索既是一种物质活动，也是一种符号活动。科学家在利用技术设备对物质世界进行调查研究的同时，需要特定的语言形式来构建和组织相应的科学知识。例如:“木炭在空气中燃烧”同“碳与氧气反应”两句话可以用来描述类似的物质现象。但两者首先在语法层面上体现为不同的形式:第一句话中，名词“木炭”和“空气”的语法角色不同。“木炭”作主语，而“空气”则是地点状语“在空气中”的一部分;相比之下，第二句话中两个名词“碳”和“氧气”均作主语。从系统功能语言学的视角来看，两句话在语法构型上的不同也体现为语义层面上的差异:第一句话中“空气”的语义角色是表示空间位置的“环境成分”。与此不同，第二句话中“碳”和“氧气”的语义角色都是“参与者”。不同的意义在更为抽象的层面上构建出不同的语境:前一句表明空气在燃烧现象中的地位较为次要，诠释出的是日常经验;而后一句话表明碳和氧气两种物质在燃烧过程中缺一不可，诠释出的则是科学知识。

系统功能语言学者Lemke(1998:92－94)认为，学习科学知识的核心任务在于掌握科学概念的意义。由于意义直接同语境及语法两个层次互动，这就不仅需要了解科学概念产生的社会语境及理论背景，而且必须清楚科学家如何使用特定的语法结构来构建意义。相比之下，语法构型比语境层面更为具体，因此成为理解科学概念的一个重要途径。另外，科学探索活动的多模态特征也引起了语言学家的高度重视。从20世纪90年代开始，一批从事系统功能语言学研究的学者本着“语言是一种社会符号”的基本思想，将研究对象拓展到图像、数学符号、三维模型等多种交际手段(Kress＆van Leeuwen，1996;Lemke，1998)。Matthiessen(2009:12)，认为非语言模态同语言符号一样，都是社会语境的体现方式，各种模态内部也可以划分为意义，语法和媒介形式三个层次。

从多模态的视角来看，一个科学概念可以体现为多个意义的组合，而每个意义又由不同模态通过特殊的语法结构加以构建。例如:“甲烷”这一概念在媒介形式层面上可以体现为书面语，三维模型和科学符号等不同模态。这三种模态通过各自不同的语法构型构建出多重意义:名词短语“甲烷”利用“分类词+中心词”结构表明这种化学物质是烷烃的一种;球棍模型利用三维空间手段显示出碳原子和氢原子的位置关系;分子式则通过元素符号与数学符号的紧密结合让读者对分子内碳原子和氢原子的数量一目了然。值得关注的是，这里所说的“语法”，已经不再局限为正确使用语言的一系列规则，而是泛指某种模态内部或者不同模态之间成分与成分的组合方式及其构建意义的手段(Kress et al.，2001:12)。

除了系统功能语言学家，国际科学教育界也开始高度重视科学语篇的多模态特征。Pearson，Moje＆Greenleaf(2010)在新近出版的国际权威学术期刊《科学》(Science)上撰文指出:文字、图像、化学符号、三维模型等并非只是被动记录和传播现有知识的载体;相反，各种模态都可视为探索物质世界的研究工具，同科学仪器的功能相似;而阅读及撰写科研报告、绘制图表、进行公式演算等活动本身就是科学探究的组成部分，因此教师必须重视语言等各种符号表征手段在科学教育中的重要作用，并努力将学生的阅读、写作、讨论、绘图、使用三维模型等活动同其他科学探究活动有机结合在一起。

例如，美国爱荷华大学开展了一项大型教学改革项目(Hand＆ Choi，2010)，在学习“芳香烃”部分时，教师为学生提供了一份实验报告模板，要求学生在进行科学实验的过程中，以书面形式首先进行假设，提出研究的问题，然后设计实验过程，描述实验中观察到的现象，解释这些现象并得出结论，最后检查并确认自己的结论。除此之外，教师还要求学生在实验报告中合适的位置绘制插图和分子式。该研究证明，将科学表征同科学实践密切结合的方式有效地提高了学生的科学素养。但同语言相比，如何清楚解释多模态表征的功能以及有效帮助学生掌握恰当的表征形式等问题对教师提出了更大的挑战。而借鉴系统功能语言学研究的成果，熟悉和使用多模态研究的方法，为攻克这一难题提供了有效途径。

3.科学教育语篇多模态研究的范围和方法

从现有文献来看(O’Halloran，2011)，多模态研究的范围主要包括符内符号化研究(intrasemiosis)、符际符号化研究(intersemiosis)以及重新符号化研究(resemioticization)等三个不同侧面。其研究方法均秉承了系统功能语言学的基本思路，将图像、科学符号、三维模型等各种表征手段都视作构建意义的资源，并借鉴语言研究的功能范畴和标签对多模态表征的语法构型进行分析。以下部分将结合三种研究在科学教育领域中的应用分别进行阐述。

3.1 符内符号化研究

符内符号化研究运用系统功能语言学的基本分析方法剖析非语言表征形式的意义构建方式。例如，语言研究使用及物系统考察句子构建经验的方式。其中“过程”(process)是一个具有核心地位的功能范畴，在语言中主要体现为一个动词(比如:“反应”)。多模态研究表明:类似的功能在视觉语法中常常体现为一个或多个倾斜的箭头，而在科学符号中体现为一个加号。同样，“参与者”(participant)这个功能范畴在语言中主要体现为一个名词(比如:“氯化钠”)，在视觉语法中可以体现为呈现一堆白色物质的图形，而在科学符号中体现为一个化学式NaCl。这些研究表明，不同模态的表征可以利用独特的语法形式构建出相似的功能。

另一方面，符内符号化研究强调任何一种模态都无法完全复制其他模态的功能，在表达意义时各有所长。Lemke(1998:92－94)就曾指出:语言这种表征形式擅长用于对各种现象进行分类，从而构建出“范畴意义”(categorical meaning);图像则能清楚地显示各种细微的变化，从而构建出“程度意义”(topological meaning)。这些语义上的差异也是源于各种模态不同的语法形式。比如，语言中名词之前可以添加一系列名词作为定语(例如“钠”、“硫酸钠”、“硫代硫酸钠”)，这种语法构型有利于对研究对象进行详尽的分类。同样，图像有形状、大小、颜色等多种语法资源可以凸显细节上的差异，因此能够有效地描述各种不同程度(例如学生通过观察PH试纸颜色可以判断不同物质的酸碱度)。

上述研究表明:科学语篇中的多模态表征能够构建出语言无法单独表达的意义，因此对于科学知识的理解和传播至关重要。近年来，西方科学教育界学者开始以符内符号化理论为指导进行实证研究。Dimopoulos，Koulaidis＆ Sklaveniti(2003)运用图像语法中的及物系统分析了希腊中小学20世纪90年代所使用的六种科学教科书及同期希腊国内四家主流报社所刊发的1867篇科技报道中的图像类别。他们发现:两种媒体中一半以上的图像从语法构型上看都属于“分析过程”(analytical process)。这就说明，教材和报刊中图像的设计者都把理解科学对象整体和部分之间的关系视作最重要的学习任务。但是，教科书与报刊的及物系统类型在另外一些方面存在较大差异。例如，教科书中有10.4%的插图属于“分类过程”而在科技报道中这一比例仅占2.4%，说明前者比后者更为重视科学对象之间的类属关系。Dimopoulos et al.(2003:205)据此强调:教师如果将科技报道用作科学教育的补充资料时必须了解这些差异，并对报道进行合理的挑选，这样才能避免科普读物在内容上同中小学教材出现脱节的现象。

3.2 符际符号化研究

符际符号化研究主要关注两种或两种以上不同模态之间的关联和互动及其对整个语篇意义构建所造成的影响，其基本思想和分析方法主要借鉴了系统功能语言学中的衔接理论。Halliday＆Hasan(1976:26)认为，与字、词、短语和句子等语法单位不同，语篇是一个意义单位。因此判断某个语言片段是不是语篇，一条很重要的标准不是看其中字词或句子的数量，而是看这个片段中不同部分之间有没有语义上的联系，或者说是否存在衔接手段。我们可以通过人教版初中化学教科书中的一段话对衔接手段进行简要介绍:

(1)纯水是无色，无臭，清澈透明的。而自然界中的河水、湖水、井水、海水等天然水由于含有很多可溶性和不溶性杂质，因此常呈混浊。

这段话中有两个句子，要判断它们究竟是任意拼凑的语言片段还是一个连贯的语篇?需要我们对两句话之间的语义联系进行分析。从系统功能语言学的视角来看，前后两句话中的名词“纯水”和“天然水”属于“共同下义词”(co-hyponymy)。具体来讲，纯水和天然水都是水的一种形式，因此同属“水”这个名词的下义词。另外，第一句中形容词“清澈透明”和第二句中形容词“混浊”属于“反义关系”(antonymy)。这两种词汇衔接手段如同胶水一般发挥作用，将前后两句话有机地结合起来成为语义上的一个整体。

从事多模态研究的学者尝试使用语言研究中的衔接概念来分析多模态语篇中不同模态之间的互动。这种借鉴具有合理性，原因在于衔接理论强调的是语义关系，而图像等多模态表征同语言一样都是构建意义的资源。例如，Royce(1998:33)在考察《经济学家》杂志上一则图文并茂的公益广告时指出，照片上人物穿的是工作服，这一图像所构建的意义同文字中名词“公司”所构建的意义常常出现在同一语境当中，因此两者之间存在“搭配关系”，该衔接方式有助于读者在解读广告时将两种不同模态视作是一个有机的整体。

研究不同模态之间的衔接方式可以揭示学生在理解科学语篇过程中遇到的困难和挑战。英国剑桥大学两位学者Crisp＆Sweiry(2006)考察了英国525名中学生在解答带有插图的科学试题时的表现。他们的结论是，尽管插图在某些时候能够帮助学生更快速和准确地理解试题，但在另一些时候也会造成误解。例如，有道试题配发了一张显示牙膏、牙刷、漱口杯、洗发香波、香皂等日用品的照片(见图1)，其文字叙述中提到“牙膏含有碳酸钠，能够中和口腔中的酸性物质从而保护牙齿”。提出的问题是“碳酸钠和盐酸反应会生成哪些产物(products)?”结果相当高比例的学生把答案错填为“洗发香波”或“香皂”。Crisp＆Sweiry(2006:148)认为，该题目的插图误导了学生。由于products这个名词有两个不同意思:一是指学生比较熟悉的“日用品”，二是指化学领域中的“反应生成物”。而图1照片显示的都是日用品，因此误导部分学生把题目中的“products”理解成第一种含义。

图1 化学试题中的插图范例

现存多模态研究成果(例如:Dimopoulos et al.，2003)已经证明，图像是构建科学语篇的重要资源，因而在题目中使用插图本身无可厚非。值得关注的是，上述例子表明尽管学生没有系统学习过衔接理论，他们在读题时实际上已经开始自觉寻找不同模态之间的语义联系。从衔接的视角来看，学生犯错主要是因为误解了这道习题中的图文关系(Liu，2014:80－81)。出题方使用包括牙膏照片在内的插图，其主要目的是构建与文字叙述中名词“牙膏”在语义上的“对应关系”，这样做可以把考试同学生的日常生活联系在一起，从而降低题目的抽象性。然而，部分学生没能领会到题目设计者使用图像的初衷，他们误以为该图像同问题中“products”(日用品)一词之间存在“上下义”关系(例如，洗发香波，香皂等都是日用品)，因此给出了错误答案。由此可见，要正确理解多模态科学语篇的意义，并按照考试要求正确解答习题，一个关键之处在于厘清不同模态之间的关系。

3.3 重新符号化研究

重新符号化研究同符际符号化研究一样，其考察对象均为不同模态之间的互动。但不同之处在于，前者是从空间的视角分析多模态文本，例如考卷同一页面上文字和插图的语义关系;后者则是从时间的视角分析符号现象或事件的发展历程，主要研究各种表征之间的转化。社会符号学者Iedema(2003:30)提出“重新符号化”(resemioticization)概念。他解释说，现有多模态研究主要关注多种符号表征参与构建文本的复杂性，而很少解释意义在构建过程中所发生的动态变化，重新符号化研究恰好能弥补这一不足之处。例如，英国中小学英语课程将“人物形象”作为教学的一项核心任务，在考试中要求学生分析文学作品中特定人物的形象，并对不同人物进行比较。然而，课堂上文学作品的载体既有原著的书本形式，也包括最新制作的光盘等多媒体材料，这些不同的文本对人物塑造产生了深刻影响。英国教育学家Jewitt(2002)注意到了这个问题，并借助重新符号化视角分析了美国小说《人鼠之间》(Of Mice and Men)中的人物形象。她发现，文字小说和多媒体光盘对同一人物所塑造出的形象有时候会大相径庭:其中一名男配角黑人柯鲁克斯在原著中被描述成一个卑贱的奴隶;而光盘中叙述者运用舒缓而又深沉的嗓音表现出对柯鲁克斯的敬意，同时采用的插图(穿戴整齐，并以大量的书籍为背景)也凸显了该人物的睿智和有教养Jewitt(2002:192－193)。据此提醒教师，人物形象并非一成不变，必须重视教学中多模态表征所进行的重新塑造。

重新符号化现象在科学教育领域中也十分普遍。比如，考试中常常要求学生根据物质的名称写出其正确的化学式，这其实就是一种从文字到科学符号的重新符号化现象。但是在讲解此类题目时，老师强调的重点往往是形式上的某些规约性条款。例如，氯化钠应该写成NaCl而不是ClNa。这样使得不少学生误认为化学式和物质的名称在意义上没有什么区别，而前者只不过是用一种比较新奇独特的形式来表达后者的内容(Liu，2009:138)。

然而，从历时的角度来看，重新符号化现象蕴含着深刻的科学背景并带来了语义的扩张，使得新出现的表征形式能够用来构建新的科学理论。19世纪初，众多化学家都在努力探索一个重大问题:为什么某些物质能同另一些(而非全部)物质发生化学反应?瑞典科学家Berzelius受到“电偶效应”理论的启示，尝试将化学反应解释为原子之间正负电荷的结合。例如，Berzelius使用符号形式“2H+O”对“水”这个名称进行重新表征。值得教师和学生共同注意的是，化学式“2H+O”构建出了一个动态的反应过程，而名词“水”则只是在诠释静态的事物。从语义的视角来看，重新符号化这一机制就成为了科学探索的重要工具，使得科学家可以从微观的角度重新解释物质现象，从而推动相关科学理论的创立和发展(Liu＆Owyong，2011:832)。

4.启示与展望

多模态研究为我国科学教育的发展提供了一种有益的新模式。长期以来，科学教育工作者希望学生通过接触图像、化学式、三维模型等科学表征方式，能够潜移默化地在大脑中建立起一种特殊认知模式(徐宁、郭玉英，2009)。这实际上是一种隐性教学模式。由于科学表征方式的抽象性较高，如果没有清楚而详尽的讲解，就很难发展出一套行之有效的教学法，要初学者理解复杂的多模态现象恐怕只能是教师的一厢情愿。

与此不同，多模态研究将“科学概念”视作在一定社会历史语境中产生出的多种特殊意义的集合，而文字、图像、三维模型、科学符号等表征手段是构建意义的重要资源，而不是像管道一样仅仅发挥传输的作用。由此可见，多模态表征本身就具备极高的教学价值，而解读科学语篇也就成为学生进行科学探究活动的重要内容。由于系统功能理论已广泛用于描述图像、科学符号、三维模型等各种表征的表义方式，借鉴多模态研究成果有助于明确教学内容，细化教学策略，从而发展出一套显性教学模式提高教学水平。例如，教师可以通过分析名词“Methane”(甲烷)，化学式CH4及其三维模型的语法构型帮助学生理解三者在功能上的差异，从而有效地帮助学生全面掌握“甲烷”这一科学概念。同时，明确不同表征手段在功能上存在差异和互补关系也有助于学生更准确地把握相关外语(例如:英语)表述的意义，从而更有效地学习“特殊用途英语”。

除此之外，多模态研究也为我国学科教育教材的编纂提供了合理的设计原则和评价标准。教材作为课堂教学的重要资源，其编写与改革需要考虑多个要素。鉴于当代学科教育(例如生物、地理、物理、化学)教科书的图文并茂现特点十分突出，多模态研究为编纂工作提供了理论依据，可以帮助编者决定在教材中选取什么类型的图像，在不同种类的图像之间保持何种比率关系，以及图像与文字部分应该建立何种关系。除此之外，多模态研究成果也可以用来系统地评价现有教材中多模态表征的设计水准，从而改进不合理的地方。

多模态研究还为我国教育领域内不同学科之间的交流合作开启了大门。如前文所述，多模态研究特别强调着语法和意义之间的互动，而这两个层次涉及不同学科的教师。一方面，语文和外语教师往往擅长分析语法构型;另一方面，其他学科教师则能够更为准确地把握某一概念所蕴含的意义。由此看来，多模态研究为语言教师同学科教师之间的密切协作提供了一个合适的平台，这个平台将帮助他们打破学科限制，携手并进，共同参与学科教育的课程设计和教学实践，最终确保教学质量的提高。

［1］Crisp，V.＆ E.Sweiry.Can a Picture Ruin a Thousand Words?The Effects of Visual Resources in Exam Questions［J］.Educational Research，2006(2):139–154.

［2］Dimopoulos，K.，Koulaidis，V.＆ S.Sklaveniti.Towards an Analysis of Visual Images inSchool Science Textbooks and Press Articles about Science and Technology［J］.Research in Science Education，2003(2):189－216.

［3］Halliday，M.Language as Social Semiotic:The Social Interpretation of Language and Meaning［M］.London:Edward Arnold，1978.

［4］Halliday，M.Things and Relations:Regrammaticizing Experience as Technical Knowledge［M］//J.R.Martin ＆R.Veel.ReadingScience:CriticalandFunctional Perspectives on Discourses of Science.London:Routledge，1998:185－235.

［5］Halliday，M.＆ R.Hasan.Cohesion in English［M］.London:Longman，1976.

［6］Hand，B.＆ A.Choi.Examining the Impact of Student Use of Multiple Modal Representations in Constructing Arguments in Organic Chemistry Laboratory Classes［J］.Research in Science Education，2010(40):29 －44.

［7］Iedema，R.Multimodality，Resemiotization:Extending the Analysis of Discourse as Multi-semiotic Practice［J］.Visual Communication，2003(1):29－57.

［8］Jewitt，C.The Move from Page to Screen:The Multimodal Reshaping of School English ［J］.Visual Communication，2002(2):171－195.

［9］Kress，G.，Jewitt，C.，Ogborn，J.＆ C.Tsatsarelis.Multimodal Teaching and Learning:The Rhetorics of the Science Classroom［M］.London:Continuum，2001.

［10］Kress，G.＆ van T.Leeuwen.Reading Images:TheGrammar of Visual Design［M］.London:Routledge，1996.

［11］ Lemke，J.Multiplying Meaning:Visual and Verbal Semiotics in Scientific Text［M］//J.R.Martin，R.Veel.Reading Science:Critical and Functional Perspectives on Discourses of Science.London:Routledge，1998:87 －113.

［12］Liu，Y.Teaching Multiliteracies in Scientific Discourse:Implications from Symbolic Construction of Chemistry［J］.K@ta，2009(2):128–141.

［13］Liu， Y. SocialSemioticMultimodalResearch:A Meaning-based Approach［J］.Signs＆Media，2014(8):73－92.

［14］ Liu，Y.＆ M. Owyong.Metaphor，Multiplicative Meaning and the Semiotic Construction of Scientific Knowledge ［J］.LanguageSciences， 2011(5):822－834.

［15］Martin，J.R.Analyzing Genre:Functional Parameters［M］//F.Christie，J.R.Martin.Genre and Institutions:Social Processes in the Workplace and School.London and Washington:Cassell，1997:3 －39.

［16］Matthiessen，C.M.I.M.Multisemiotic and Contextbased Register Typology:Registerial Variation in the Complementarity of Semiotic Systems［M］//E.Ventola＆ A.Guijarro.The World Told and the World Shown:Multisemiotic Issues.Basingstoke:Palgrave Macmillan，2009:11－38.

［17］ Moje，E.Foregrounding the Disciplines in Secondary Literacy Teaching and Learning:A Call for Change［J］.JournalofAdolescent＆AdultLiteracy，2008(2):96－107.

［18］ O’Halloran，K.L.Multimodal Discourse Analysis［M］//K.Hyland ＆ B.Paltridge.The Continuum Companion to Discourse Analysis.London and New York:Continuum，2011:120－137.

［19］Pearson，P.，Moje，E.＆ C.Greenleaf.Literacy and Science:Each in Service of the Other［J］.Science，2010(328):459－463.

［20］ Prain， V. ＆ B. Waldrip. RepresentingScience Literacies:An Introduction［J］.Research in Science Education，2010(1):1 －3.

［21］Royce，T.Synergy on the Page:Exploring Intersemiotic Complementarity in Page-based Multimodal Text［J］.JASFL Occasional Papers，1998(1):25 －49.

［22］人民教育出版社课程教育研究所.义务教育课程标准实验教科书化学(九年级上册)［M］.北京:人民教育出版社，2006.

［23］徐宁，郭玉英.国外物理概念转变研究:借鉴与启示［J］.课程·教材·教法，2009(6):92－96.

［24］张德禄，王璐.多模态话语模态的协同及在外语教学中的体现［J］.外语学刊，2010(2):97 －102.