多模态话语模态协同性研究

马茜芸

(长安大学 陕西 西安 710000)

在信息高速发展的时代，人们的交际方式发生了翻天覆地的变化。交际方式不再是以单一的语言为主，而是由多种模态相互配合完成交际。图片、文字、音乐、视频、表情、手势等参与交际，呈现多模态话语交际模式。在多模态话语模态中，一般以听觉模态为主，视觉模态和触觉模态为补充和配合。目前国内对多模态的研究逐渐进入一个全新阶段，国内学者的研究对象从单一的文本、图像等转向以动态视频为研究对象。基于张德禄的多模态话语分析理论，从文化语境、情景语境和模态协同性分析两个不同的演讲视频，探究两种不同的视频在听觉模态、视觉模态和触觉模态上是如何相互配合，实现演讲的完美效果。

一、多模态话语模态的协同性

相对于国内，国外对多模态话语模态的研究起步早，范围广，影响大。学者们在Halliday的系统功能语法的基础上提出了不同的观点。Royce（1998）提出了符号间的互补框架，他认为符号间的互补框架是不同的符号系统可以形成整体含义。多模态话语模态可以分为语言分析、视觉分析和符号系统三个部分。Matinenc＆ Salway（2005）在Halliday的系统功能语法的基础上研究了小句复合体，并根据小句复合体的分析方法对文本和图像之间的关系进行探究。O’Halloran（2003）提出了符号隐喻的概念，在符号隐喻中，重构功能和语法类别发生了很大的变化。Lim（2004）研究了多模态话语模态中大量的语言和图片符号资源等。陈瑜敏,王红阳（2008）对文本和图像之间的关系进行了更深层面的研究，分析了我国教材上的图像和文本之间的关系，并对此进行了解释。杨信彰（2010）认为文本和图像是一种相互依存的逻辑语义关系。张德禄（2010）在系统功能语法的基础上首先提出了多模态的综合理论框架，他认为协同作用有两大类：一类是互补性的，另一类是非互补性的。他基于多模态话语模态分析理论，研究了外语课堂和天气预报中的多模态话语模态间的协同性。

二、演讲视频的多模态话语分析

（一）文化语境

1.TED演讲视频的文化语境分析

马林诺夫斯基最早提出文化语境的概念。文化语境是影响交际的关键因素，是多模态交际的重要方面。它受意识形态、文化传统、思维习惯、民族习俗等影响，在一定程度上决定人们的交际目的。文化语境具体到不同的演讲视频中，呈现出演讲人不同的意识形态。TED演讲作为美国经典演讲节目，深受观众的喜爱，它的主题内容多种多样，演讲人也是来自各行各业的顶尖人物。本文从两方面分析TED演讲视频中的文化语境。

首先从意识形态分析。TED演讲人都是不同领域的成功人士，如科学家、哲学家、艺术家、心理学家、人类学家和语言学家等。他们的社会角色和社会责任是把握好自己事业，推动社会的进步和时代的发展，他们有着崇高的社会地位，同时也承担着更多的责任。在我们选择的TED视频中，演讲人是Rober Waldinger。他是一位精神病学家和精神分析学家，哈佛大学成人发展研究的第四位主任。Rober Waldinger的社会角色和社会责任在某种程度上推动了科学发展，为观众树立了优秀的榜样。

其次从文化语境下的体裁结构分析。TED演讲视频利用听觉模态、视觉模态和触觉模态的协同发展达到说服观众的目的。文化语境下，TED演讲的体裁结构有五个阶段：一是开始阶段。Rober Waldinger教授向观众问好开始演讲。二是主题阶段。Rober Waldinger教授以提问的方式开始这次演讲：What makes a good life?引起观众深思，认真地思考问题的答案。三是高潮阶段：Rober Waldinger教授讲述自己的观点：使人们感到快乐和健康的真正原因是什么？他以哈佛大学的成人发展研究的例子来论证。四是过渡阶段：以PPT上的图片向观众展示获得幸福的真正方法，从他们长达75年的研究中得出结论。五是结尾阶段：Rober Waldinger教授总结自己的观点，分享正确的观点给观众，并以手势示意演讲结束。该TED演讲视频时长为12分钟48秒，Rober Waldinger教授以幽默诙谐的方式，声情并茂的演讲，针对What makes a good life这个具体问题，发表自己独到的观点，并以长达75年的追踪调查为例子，使其更具有说服力。这样的演讲有着强烈的感染力和影响力。

2.《我是演说家》演讲视频的文化语境分析

《我是演说家》是北京卫视的演讲节目，其主题是为新时代发声。演讲人可自愿报名参加《我是演说家》的演讲，分享各自的经历，论证自己的观点。该节目以比赛的形式进行，每次都会邀请来自平凡岗位的普通人如交警、教师、警察、消防员、医生等参加比赛。在本文选取的这期演讲视频中，演讲人分别是法医、消防员和警察。在文化语境下分析《我是演说家》的意识形态发现，其传输的是在平凡的岗位上无私奉献、尽职尽责、做出平凡人的努力的精神。《我是演说家》利用了听觉模态、视觉模态和触觉模态的协同性，达到预期的演讲效果，它的体裁结构有五个阶段，具体如下：

开始阶段：每位演讲人上台，主持人介绍演讲人的基本信息。

主题阶段：演讲人以讲故事的方式开始这次演讲。

高潮阶段：演讲人讲述自己的故事，和观众分享自己的亲身经历，阐述自己的观点。

过渡阶段：演讲人向观众展示平时执行的任务，介绍自己的职责，消防员日常训练和出警的情景。

结尾阶段：演讲人以手势示意完成这次演讲。

《我是演说家》视频时长约为1个小时左右，一期节目约有3—5个演讲人分享自己的人生故事，每个人都有15分钟的演讲时间。它是一场鼓舞人心的演讲比赛，传递了演讲人身上的正能量。

在文化语境下分析发现，两个节目的演讲人有着不同的意识形态，传递着不同的价值观念。前者传递的是某个领域顶尖人物的价值观念，以科学实验来论证观点，后者传递的是平凡岗位上普通人的价值观念，以亲身经历来论证观点。在特定的文化语境下，不同的文化在发展过程中都会产生不同的意识形态，从而对听众产生不同的影响。

（二）情景语境

1.TED演讲视频的情景语境分析

根据Halliday的系统功能语言学理论,情境语境中有三个变项：语场（field）、语旨（tenor）和语式（mode）。语场指的是语篇中正在做的事情；语旨指的是会话过程中的交际双方的角色；语式指的是交际的途径。在TED演讲中这三个变项分别是：

（1）语场：2016 年4 月 9 日，Rober Waldinger教授的演讲。

（2）语旨：Rober Waldinger教授和现场观众。

（3）语式：TED演讲作为传播媒介。Rober Waldinger教授穿着大方得体，语言诙谐幽默，语调平缓，语速适中，并结合PPT图片和小视频等来补充听觉模态。通过多种模态间的协同，达到演讲的完美效果。

2.《我是演说家》演讲视频的情景语境分析

（1）语场：2017 年3 月 18 日20 时至 21时，三位演讲人。

（2）语旨：北京卫视节目主持人，三位演讲人和现场观众。

（3）语式：北京卫视作为传播媒介。三位演讲人身穿制服，语言简单朴素，语速适中，以听觉模态为主模态，视觉模态和触觉模态为补充，通过各模态之间相互配合来呈现这次演讲。

TED演讲和《我是演说家》这两个演讲视频的情景语境有着不同的含义。在情景语境下对两个演讲视频的演讲人分析可以发现，TED演讲的情景语境是以演讲人为主体进行演讲，这中间不存在主持人参与交际。《我是演说家》的情景语境是以主持人和演讲人相互配合完成演讲。以演讲人和主持人的口语为主模态，听觉模态和触觉模态为补充，从而构架更好的语篇。听觉模态和触觉模态的关系是互补的，演讲人在演讲的过程中可以一边说一边用手势、肢体动作、图片、音乐、视频等方式来补充所表达的内容。在整个语篇中，听觉模态和触觉模态都是不可缺少的一部分。演讲人在演讲过程中，可以以口语为主模态，配合手势、肢体动作等完成整个语篇的构建，达到影响、说服观众的目的。

三、演讲视频的多模态话语模态的协同性分析

TED演讲视频主要是以听觉模态为主模态，但仅仅从演讲人的演讲内容来获取信息过于单一，达不到最好的演讲效果。这时需要借助其他模态，如手势、肢体动作等，协同完成一场优秀的演讲。Rober Waldinger教授在演讲过程中，借助了丰富的表情、眼神及肢体动作，利用听觉模态、视觉模态和触觉模态三者之间的协同性，向观众呈现了完美的演讲。《我是演说家》的演讲视频也是以听觉模态为主模态，视觉模态和触觉模态为补充，但是由于演讲人身份的不同，所以视觉模态是以强化协调的形式出现。在视觉模态下，演讲人的穿着打扮都会影响听众对演讲的理解。2017 年3 月 18 日这一期《我是演说家》的第一位演讲人的职业是法医，她身穿白大褂，接下来两位演讲人的职业是消防员和交警，他们同样身穿制服，三位演讲人以着装向观众传递出视觉模态信息。

四、结语

通过对TED演讲视频和《我是演说家》演讲视频的多模态话语模态协同性研究发现，在这两个不同类型的演讲视频中，演讲人根据不同的受众群体和交际目的，选择不同的话语模态。两个视频有着不同的意识形态、体裁结构及情景语境含义。在演讲过程中，以演讲人的口语为主模态，视觉模态和听觉模态对其进行补充。三种模态相互配合，相互协调，构建更好的语篇，达到说服和影响观众的目的。