多模态话语研究理论综述

■彭晓妍/琼台师范学院

一、前言

随着新媒体技术的发展和各种社交媒体的应用，人类的交际模式也呈现出多元化。语言或语篇交际不再是人类信息交流主导方式，各种符号如图像、音乐、视频、图表、标识等的交际作用日益凸显。换言之，人类交流方式的多样化使得现代交际呈现出了新的特点，现代交际是由多种符号共建完成的。因此，如果我们研究语言的时候，仅从语言的角度对话语进行研究，这是不全面的，因为很多非语言因素(如语调、手势、面部表情等)，也在很大程度上决定了话语意义。在真实的交际环境中，我们需要调动多种感官共同参与，这种多感官参与的语言就是多模态话语。张德禄指出：“多模态话语是指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。”

表2

二、多模态话语分析的研究意义

多模态话语存在于我们日常交流的语言中，如儿童绘本故事配上了插图；说话时使用手势来强调情绪或引起注意；配音时根据不同人物特点使用不同腔调和语气，这些都是非语言特征和伴随语言特征。通过研究，语言学家们发现这些并非仅仅是语言的辅助表达系统，而是被赋予了一定的意义。因此，语言学家认为，多模态话语可作为意义表达模态的一个单独的学术领域来研究。

三、多模态话语分析的依据和起源

研究多模态话语的理论，还要说起系统功能语言学的社会符号学理论。Halliday把语言看做一个社会符号系统，即一个表义系统。语言外的其他表义系统还有绘画、雕刻、音乐、舞蹈等。这些表义系统与语言共同实现社会意义。也就是说，人类与外界的交互是多模态。系统功能语言学中的社会符号学的理论基础正是多模态话语分析的理论基础。

(一)语言与符号

语言有很多不同的定义，有语言学家将语言视为符号，认为语言就是个符号系统。这其中的定义包括：“语言是约定俗成的符号系统”。“语言是表达思想的符号体系”。“我们言语中的词是表达概念或思想的象征或符号”。

(二)符号的功能观

由此可见，研究语言符号学的语言学家的符号功能观大大丰富和扩展了语言研究。韩礼德在《作为社会符号的语言》一书指出了语言的三大功能，即概念功能(语言可表达说话者的亲身经历和内心活动)、人际功能(语言可帮助说话者和受话者之间建立和维持一定的社会关系)和语篇功能(语言又必须用一定手段和规则来实现上下连贯及符合语境)。

对语言符号的功能观有所贡献的语言学家还有标勒(Buhler,K.)、雅各布森(Jakobson)、理查兹(Richard)和赖昂斯(Lyons)等。他们在语言功能的数量和分类上有所差异，朱永生经过分析，列出了一张功能对照表，以示其大致的对应关系。(表1)

表1

如表1所述，功能语言学家提出了语言的多功能，也就是说，语言除了具备其本身的表义功能，即对客观事物进行描述和表达思想，语言还具有交际功能，即语言可以实现社会交际。

(三)语言的社会性

“语言符号的功能”是功能主义的主要研究内容，功能主义与其他语言学理论相比，其最大的长处在于将语言视为与社会环境因素互动和紧密联系的行为。语言是社会活动的产物，作为人类交际的工具，它承担着各种功能。语言实现的全过程可以归纳表2。

由表2我们可以得出以下结论：

(1)语言具有社会性。语言是说话者和受话者用语言符号作为媒介进行的社会交流，而且语言的各种“潜势”是存储在社会成员之间的。

(2)行为潜势隐含着社会文化关系，意义潜势包含社会语义内容；言语行为体现言语表达形式。三者可依次表达“what you can do;what you can mean?;what you can say?”。

(3)意义潜势受行为潜势的制约，通过言语行为表示出来。由于它是对社会行为编码的结果，所以意义潜势是三个环节中的关键。

四、多模态话语分析的理论基础：系统功能语法

(一)语言的五个层面

系统功能语法承袭了索绪尔的将语言视为符号系统的观点，但它也提出，语言符号系统不是心理的，而是社会的。也就是说，语言不单纯是符号和声音在受话者脑子里产生的心理活动，而是其所起的交流功能。简言之，语言活动是一种社会交际活动。

1992年，马丁提出了语言的五个层面的系统，这个理论框架可以直接用于分析多模态话语。分别是：

(1)文化层面，即说话者的意识形态和体裁结构潜势等;

(2)语境层面，包括由话语范围、话语基调和话语方式组成的语境构型；

(3)意义层面，包括概念意义、人际意义和谋篇意义等；

(4)形式层面，语言在形式系统实现意义，词汇、语法本身有自己的系统，并且词汇、语法在视觉性表意系统、听觉性表意系统、触觉性的表意系统等都有自己的一套系统；

(5)媒体层面，它是话语实现的媒介，如面部表情、手势、身势和动作等因素，也如教师授课的PPT、网络直播、音响等。

由此可见，与语言符号的功能观相比，多模态话语扩充了两个层面，即形式和媒体层面，这也是语言学的有待进一步研究的范围。语言借由媒介在媒介层面实现意义，再通过形式层面的组织关系来实现意义。下面就分别阐述下形式层面与媒体层面。

(二)多模态话语的形式层面

如上文所述，话语意义是通过媒体这一载体进行传递的，而有些媒介符号本身就具有意义，比如网络聊天中的表情符号。还有一些媒介符号按照一定的规则进行组合，这就是我们所称的语法。多模态话语的主要研究课题应该是发现不同的媒体形式是通过怎样的语法规则组合在一起形成和体现意义的，也就是不同模态的媒体之间是如何相互关联共同实现说话者要表达的意义。

为了达到某种语言效果，我们借用多模态去充分表达话语意义。有时候可能是随意的行为，但是在更多情况下，说话者在实际交流中，确实仅凭一种模态无法表达清楚某些话语意义，这时候不得不有意借助另一模态来进行强化、补充、调节、协同，使意义表达更加充分，使听话者更清楚、直接地理解说话者的意图。语言学家发现，多模态话语形式之间的关系可分为互补关系和非互补关系。其中互补关系又分为强化(包括突出、主次、扩充)和非强化(包括交叉、联合、协调)。其中的非互补关系又包括交叠(包括冗余、排斥、抵消)、内包(包括整体部分和抽象具体)、语境交互(包括独立和依赖)。研究不同模态之间的的形式特征和关系如何相互协作，这是个复杂但又值得进一步研究的课题。

(三)多模态话语的媒体层面

实现语言传播和意义传递的媒体形式包括语言媒体和非语言媒体。语言媒体又分为纯语言媒体和伴语言媒体，纯语言就是所见的书写符号和所听的声音符号，比如在手机上阅读文字信息和接收语音消息。由此可见，声音和文字都使得语言能够得以传播。而单纯的声音和文字形式有时候是单薄和苍白的，很多时候我们还需要借助音响、声音大小和音调、口气，再比如不同的字体和字号以及空间布局来对语言意义的传递起到辅助、补充和强化的作用。

非语言媒体的第一类是说话时使用的面部眼神表情、肢体和身体躯干的各种姿势和动作，这些都在传达意义。与此同时，语言的交流是在某个环境下发生的，很多时候我们可以利用现场环境的人和物如道具等，帮助实现意义的传递。另外，随着科技技术和新媒体的运用，语言的交流也不再局限于面对面的交流了，人类会利用各种工具性媒体来交流和沟通如各种网络平台甚至同声传译室等。总而言之，非语言媒体包括身体语言和工具与环境。

五、结语

由此可见，我们可以用系统功能语言学理论来直接作为多模态话语分析的理论框架。换言之，就语言的五个层面中的文化层面、语境层面、意义层面而言，多模态语言交际并不区别于单模态的语言交际。然而在形式层面上，各个模态的形式特征通过各种方式来进行关联，从而共同实现话语意义。研究多模态话语的难度在于，在形式层面上，每个模态，如视觉、听觉、触觉，都有其相应的形式语法系统等，而这些模态的语法就有很大的主观性，不像语言的语法一样有固定的规则。但是研究多模态话语的重点并不在于研究其语法形式，而更应该关注各个模态间的协调，联合，互补是如何共同运作的，研究不同模态的形式特征和他们之间的关系。