英语课堂教师多模态话语功能的认知探析

江加宏，余义兵

(1.安庆师范学院 外国语学院，安徽 安庆246011；2.池州学院 外语系，安徽 池州247000)

1 引言

教师话语是教师组织课堂教学和传授知识使用的语言，既是学习的目的，也是教学的媒介，其质量对学习者学习效果带来极大影响。此外，教师话语还能引导和组织学生积极参与各种交际活动，为学习者创造交流信息、表达思想的环境和机会，使学习者通过交际和意义协商促进语言习得。话语分析研究表明，话语的实际发生具有多模态性(multimodality)[1,2]，在具体社会情境中，意义建构总是由多种符号资源共同实现的，特别是随着现代科学技术的发展，教师课堂话语意义建构大部分是由非语言因素体现的，如伴语言、身体特征、教学设备和周围环境等因素共同实现[3]。目前，国内多模态话语研究还处在起始阶段[4]，研究主要集中在对多模态话语理论基础的论述和介绍[5-6]，多模态话语在外语教学中的应用[3,7]，但鲜有研究分析其在课堂交际语境中的功能。本文拟在概述多模态话语理论的基础上，依据图形-背景理论，从认知角度探析英语课堂教师多模态话语的功能，以揭示其对课堂话语交际信息传递和提取的作用。

2 多模态话语理论

多模态话语是指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象[5]。多模态话语理论以韩礼德[8]的语言是社会符号的思想为出发点，结合社会符号学和话语分析来研究意义的建构。韩礼德[9]元功能理论认为，不管是口头语篇还是书面语篇，在表达思想的过程中总是同时完成三个元功能，即概念功能、人际功能和语篇功能。多模态话语理论也接受了这样关于语言是社会符号和意义潜势的观点，其认为，随着社会的发展和科技的进步，多模态交流已成为社会交流的主流，视觉符号以及其他传统习惯中被人们认为是副语言(paralanguage)的图像、音乐、颜色等符号，越来越处于突出、优势和中心地位。这些符号不仅是交流的形式，且是意义表达的手段；这些符号资源不仅各自独立，且相互作用，在具体语境中共同实现交际意义。可见，该理论以韩礼德[9]功能语法为基础，把语言作为社会符号所具有的三大元功能延伸到除语言之外的图像、音乐、颜色、印刷版式等其他符号。

模态是以媒体为物质基础的，即没有媒体，模态就无从谈起。所有符号系统的载体都是媒体，媒体分语言媒体(言语行为)和非语言媒体[7]。非语言媒体包括交际者肢体(如头部移动形成的动作，由躯干动作形成的媒体符号等)和非肢体媒体(如交际者使用的工具、实现交际的渠道和交际环境等)[3]。随着现代科学技术的发展，交际者肢体以外的交际媒体也十分发达，如PPT、网络平台、图画等工具性媒体。此外，交际者还常利用环境中已有的任何相关因素来进行交际，包括现场环境中的人和物；各种有象征意义的符号等。在外语教学中，为了能更清楚表达信息，教师常选择学生最容易理解和接受的除语言以外的其他媒体创建意义，实现课堂教学交际。

3 教师课堂多模态话语功能分析的理论依据

作为一种认知观，图形-背景理论是由丹麦著名的心理学家Rubin在1915首次提出，该理论提出后就被格式塔/完形心理学家借用，用以分析知觉现象。图形-背景理论以视觉三维空间中的相关概念为基础，根据人类的生理、心理，以及视觉空间的物理特征，从各个层面有效地解释了语言中的图形-背景关系[10]。用图形-背景理论是完全可以解释分析英语中如介词这样的语言表达式，因而该理论引起了认知语言学家的极大兴趣，近年来认知语言学家以该理论对语言结构进行了广泛研究[11]。该理论认为，人类在对周围环境中的事物进行感知时，存在一个知觉场，该知觉场总是由图形和背景组成，被感知的物体是知觉上的图形，环境则是背景，也就是说，在轮廓上很清晰、具有高度的结构性、知觉者能对其感知分化的就是图形，而在细节上较模糊、知觉者未必对其感知分化的就是背景。图形/背景同时存在于知觉场中，但不会同时被感知，这就是认知语言学中的认知突显观。

交际学研究发现，信息是通过语言以外的其他话语模态，即非话语模态传播的，而对这些模态的非言语信息的提取又直接影响交际效果[12]。故在交际过程中，交际者常同时使用或交替使用言语模态和非言语模态的话语传递或提取话语信息，以达到交际目的，获得高质量的交际效果。为准确传递信息和表达情感，交际者往往用非言语模态话语取代言语话语，因为非言语的多模态话语在交际会语意义建构中起着肯定或否定的决定性作用；此外，非言语模态的话语还能加强或减弱话语意义的效果[12]，交际另一方常常对对方交际真实意图的推断是依据言语以外的话语模态，通过认知加工，从而真切体会未被显性表达的交际内容。也就是说，交际者对交际信息的判断、推理、体会等信息处理过程实际上就是一种认知过程，因为所有的交际行为都存在一定的认知基础，而语言交际又离不开认知基础[13]。言语以外的话语模态之所以具有这样的交际功能，是因为非言语模态的话语同言语模态的话语一样起着突显话语信息、前景化蕴涵的语用信息等认知作用，这符合图形-背景论中的认知突显观。

4 图形-背景理论对英语教师课堂多模态话语认知功能的阐释

4.1 多模态话语的信息突显功能

话语是一个过程，是说话者在某个特定语境中用来表达自己的意思或实现自己意图所使用的某个语言单位，其可为一个单词，或一个短语，也可是一串句子[14]。与传统句法学对句子论述不同的是，这里的话语是在特定的语境中生成，随语境的消失而消逝，是动态的物质事件[15]。在实际话语交际中，脱离非语言媒体(包括说话时的声音、身体动作等)配合的孤立的语言行为是很难实现有效的交际目的；同样，非语言媒体也只有在一定的话语语境中才能表达明确的意义。因为，语境因素和多模态话语的意义解读之间有着密不可分的联系[16]。构式语法理论[17]认为，话语接受者/听话者首先进行的语言处理是一种纯语言分析，即获取话语的意义或字面意义，然后根据情景信息去调节自己的理解，进而进行一定的语用加工处理。而话语又具有言内信息和情景信息，且二者共同构成认知的背景；根据情景信息，听话者可将话语的语用信息(言外信息)图形化，被图形化的语用信息成为交际的焦点，是交际的重点信息。由此可见，现实语言交际中的背景是由话语的言内信息与情景信息体现，而现实语言交际中的图形则是由语用信息体现，且在很大程度上图形信息是由非语言媒体传递的，即非语言媒体在这样的认知过程中充当媒介的作用。

实际上，图形-背景的体验过程就是一个动态的认知过程，如Ungerer[11]157著名的“脸-花瓶”试验，究竟是以“脸”为背景来突显图形“花瓶”，还是以“花瓶”为背景以突显图形“脸”，这在很大程度上依赖于观察者的具体情况，因为图形与背景之间存在一种互动关系。如在课堂话语交际过程中，教师一般在向学生讲解比较难理解的概念时，通常借助于物体、动作、手势等非语言媒体，像轻叩黑板，PPT展示中字体的不同颜色、字号、声音等。教师在PPT上显示句子 “Peter was killed in a traffic accident”，同时可读出句子，在PPT画面上配以车祸的照片、或播放一段发生车祸的录像，配上车祸发生时的声音等。通过获取的听觉或视觉模态，学生常常很容易从这些非言语模态话语中提取相关信息。因为在课堂交际语境中，讲台空间成为该交际语境的子框架，该框架内的图形即为教师，屏幕/黑板则是背景，教师常为使学生掌握主要板书信息或关键信息，采用不同的非言语媒体如用手轻轻叩击黑板等形式突显关键信息，这样，主要/关键信息就由原来的背景位置被前景化，转化为图形，可见，此时的话语信息被图形化是由非语言媒体实现的，显然，图形-背景的动态变化充分体现了不同模态话语的认知功能。

4.2 多模态话语的交际组篇功能

在课堂教学话语交际中，话语结构通常以两种最基本的形式呈现：1)IRF结构：initiation-responsefeedback，即引发-反应-反馈；2)IRFR结构：initiation-response-feedback-response，即引发-反应-反馈-反应(模仿或重复)[18]。在以上两种话语构型中，交际者常会交换话轮，目的是让话语交际能够顺利进行并成为具有一定意义的话语语篇，为此，交际者往往会以一些非语言媒体的方式启始或引发交际话轮，从而有效地传递话语信息，完成交际，实现相应的交际目的。可见，非语言模态的话语对话轮的启始具有显著影响。在课堂交际环境中，教师常以一些非言语媒介如发出如Uh,Uhm,Well, Oh,Yeah等声音，或伴随的肢体媒体如手势、微笑、点头等常见的副言语/身势语，对话语信息给予反馈或引发可能的后续话轮。受话者/学生则在认知上从这些非语言媒体中提取教师的鼓励、欣赏、赞同等认知语用信息，因为这些非言语模态的话语增加了学生继续下一话轮的勇气和信心，使课堂教学交际持续，教师的教学意图也可实现。如下一典型课堂交际实例：

T:Uhm,how to respond to others’gratitude? (引发)

S1:Never mind.(反应1)

T:Yeah,uh,never mind.(反馈1)

S2:It is my pleasure.(反应2)

T:Yeah,anything else?Uhm?(反馈2)

S3:It doesn’t matter.(反应3)

T:Uh,right.Never mind.It is my pleasure.It doesn’t matter.(反馈3)

认知语言学把图形-背景看作是一种认知结构或认知模型，图形是所要描述的对象，认知上较突显；背景是环境，认知上不突显[19]，图形/背景的分离是语言组织信息的一个基本原则。如上文所述，图形在语言中的现实化体现为话语的语用信息/言外信息，背景在语言中的现实化体现的是话语的言语行为/言内信息和情景信息，而语用信息才是说话者的真实意图。非言语模态的话语成为沟通二者的桥梁，即非言语模态的话语将背景中蕴涵的话语语用信息分离出来，构成现实语境中的图形，交际者可依此感知分化相关的语用信息，这样交际话轮会顺利延继，预期的交际目的也会很好地实现。显而易见，非言语模态的话语在话语语篇中起着组篇的作用。由此可知，非言语模态的话语能使交际双方完成对话语信息的认知，使话语过程得到延续，并最终使交际双方完成话语交际。与此同时，非言语模态的话语还可以对话语的交际过程进行调整，对交际题材和交际形式进行优化，以实现最佳的话语交际效果。

4.3 多模态话语的认知语用功能

单一模态的话语行为的显著特征就是其能够指示一定的意义，且其还可依据不同的交际语境传递不同的话语语用含义，非言语模态的话语行为在实际交际中同样具有相应的认知语用功能。语境分为情景语境和语言语境，情景语境包含一个语段或话语的整个非语言背景[20]。而与一个语言单位有密切关系的上下文或语言背景就称为语言语境。因此，非语言模态的话语总是与一定的情景语境和语言语境联系在一起的。可以说，非语言模态的话语突显和强化了话语交际中的言语行为的语用信息，前景化原本蕴涵的语用信息，使之成为交际语境中的图形。如一些学生因不能按时完成老师布置的任务，常借各种理由如“太忙”等予以辩解，此时教师可能会以含责备或讽刺的声音调式说：“I really know you are very busy!”从教师的声音调式这一媒介，学生不难从听觉模态上辨别出教师的“口是心非”，这时的非语言模态的话语虽与实际言语行为相矛盾，但学生的认知能力足以从教师的这一话轮中将话语中所隐含的批评和责备等信息提取出来。因为交际过程中，说话者/教师与听话者/学生共享课堂这一语用环境，学生能有效地分离图形信息与背景信息，这样的信息处理实为一个动态的认知语用过程[20]。根据已有的“未完成作业”这一背景信息，学生很容易对教师的“言非所是”进行解读，教师的“言非所是”就是突显的图形信息。

此外，非言语模态的话语本身同样具有指向某种话语意义的功能。在课堂语境中，教师常借时空非言语媒介，表达多模态话语信息。通常情况下，教师很多时候都是在讲台上授课，同座位上的学生有着一定的距离，这样的距离可称之为体距。显然，体距语这一非言语模态的话语在课堂交际中具有一定的认知语用功能。一方面，其显示的是教师此时的威信和地位，因为在课堂教学中，教师的威严是教学的必须，另一方面，其表明了师生间应具有的界线，因为课堂交际中师生间的界线有助于教师控制课堂纪律。但在讲课过程中，教师却不时走下讲台，来到学生身边，学生从视觉模态上感受到与教师距离的缩短。师生间距离的动态变化实际上体现了在课堂交际语境，交际双方/教师和学生的角色发生了变化，即交际中的图形和背景的发生了动态变化。教师走下讲台使其在空间上缩短了与学生的距离，这就使教师由课堂交际语境的图形位置移到该语境的背景位置，学生则由原先的交际背景变成交际中的图形。因为师生间的空间距离缩小，他们之间原有的心理距离也因此缩小，所以课堂气氛也会由此改变，自然活跃起来，这时体距语这一非言语模态话语又指向其他的认知语用信息，如老师和学生之间存系的某种人际关系。毋庸置疑，非言语模态的话语在课堂交际语用语境中具有很多认知语用功能，如调整、替代和补充等，这些认知功能会有助于交际另一方/学生有效提取课堂交际中所隐含的交际信息。非言语模态话语的这些认知语用功能在一定程度上可以加强和优化话语的交际效果，使交际双方更有效地传递或提取话语信息[20]。

5 结语

多模态已成为人类言语交际的普遍特征[21]。各种不同的非语言媒体为话语交流提供了大量的可选择方式，它们可以通过不同的模态来实现话语的意义。本文对教师课堂交际中的多模态话语功能从认知维度进行了探讨，旨在识解多模态话语的语用和认知功能，使交际者尤其是课堂交际主体之一的教师充分意识到多模态话语对于交际效果所产生的举足轻重的作用。由分析可知，多模态话语为教师在外语课堂教学交际中提供了话语意义建构的多通道表达方式，多模态话语的恰当运用会使课堂教学效果得到有效提高。

[1]Kress,G.&van Leeuwen,T.Reading Images[M].London: Rouledge,1996.

[2]Kress,G.&van Leeuwen,T.Multimodal Discourse:The Mode and Media of Contemporary Communication [M].London: Amold,2001:21-22.

[3]张德禄,王璐.多模态话语模态的协同及在外语教学中的体现[J].外语学刊，2010(2):97-102.

[4]张德禄.多模态话语分析综合理论框架探索[J].中国外语，2009(1):24-30.

[5]李战子.多模式话语的社会符号学分析[J].外语研究，2003 (5):1-9.

[6]胡壮麟.社会符号学研究中的多模态化[J].语言教学与研究，2007(1):1-10.

[7]张德禄.多模态话语理论与媒体技术在外语教学中的应用[J].外语教学，2009(4):15-20.

[8]Halliday,M.A.K.Language as Social Semiotic[M].London: Arnold,1978.

[9]Halliday,M.A.K.An Introduction to Functional Grammar [M].London:Arnold,1994.

[10]刘国辉.图形——背景空间概念及其在语言中的隐喻性表征[J].外语研究，2006(2):23-29.

[11]Ungerer,E.&Schmid,H.An Introduction to Cognitive Linguistics [M].Beijing:Foreign Language Teaching and Research Press,2001.

[12]曹合建,林汝昌.体势语在确立话语意义中的作用及其类别划分[J].现代外语，1993(4):8-13.

[13]冉永平.认知语用学：诠释与思考[C]//辛斌，严世清.当代语用学理论与分析.2003:122-137.

[14]Brown,G.&Yule,G.Discourse Analysis [M].London: Cambridge University Press,1983.

[15]Hurford,J.Semantics:A Coursebook [M].London: Cambridge University Press,1983.

[16]朱永生.多模态话语分析的理论基础与研究方法[J].外语学刊，2007(5):82-86.

[17]Goldberg,A.Constructions:A new theoretical approach to language[J].外国语，2003(3):1-10.

[18]李悦娥,范宏雅.话语分析理论与外语教学[M].上海：上海外语教学出版社,2002.

[19]文旭,刘先清.英语倒装句的图形——背景论分析[J].外语教学与研究，2004(6):438-443.

[20]何兆熊.新编语用学概要[M].上海:上海外语教育出版社，2000.

[21]杨信彰.多模态语篇分析与系统功能语言学[J].外语教学，2009(4):11-14.