多模态话语中模态协同的多维分析：系统功能视角*

韩艳方

（同济大学外国语学院，上海 200092）

提 要：多模态协同虽引起学界关注，但对其系统性探源较少。 在系统功能视角下，本文从宏观、中观和微观三个层面，探讨模态协同的多维分析。 研究表明，模态间发生协同在语境、符号分工、符号可供性和表达通道／媒介等维度均有体现。 这些维度反映了模态协同在非物质性与物质性构成的连续体间实现，服务于多模态话语目的。

1 引言

随着交际的多模态性凸显，如何理解模态间协同变得愈加重要。 这一问题引起了学界关注。 比如，O'Tool（1994：230）针对绘画中语义超荷现象提出符号空间概念，为解读意义联合指出方向。Kress 和van Leeuwen（1996）提出视觉设计语法，为视觉模态意义的功能联合提供了依据。 Royce（1998：27）探讨多模态页面符间互补，提出符号联合的协同效应，解释了符间互补产生的联合意义。对于多模态语篇，Kress 和van Leeuwen（2001：21）指出在设计时语篇的形成、模态间协同及其方式会并行发生。 Lemke（2002）基于网页的超模态现象，提出模态间存在多重联合，侧面回应协同效应产生的根源。 Martinec 和Salway（2005）借鉴系统功能语言学（SFL）的逻辑语义关系，提出图文地位关系，扩展了协同的逻辑空间。 Matthiessen （2007：10）讨论了语言内在多模态性和符号系统分工，为模态协同提供了深层解释。 随后他又从符号整合角度探讨了符号分工后的协作和整合，指出物质距离、社会过程、现象域对符号和谐的影响（同上2009）。 Bateman et al. （2017：109）也提出符号媒介的多模态识解方案，但未对模态协同做深入讨论。

从上可知，模态协同研究虽涉及模态间的关系、语义空间、整合、联合等多方面， 仍存在几点不足：（1）命名繁多，如语义超荷、多重联合、符号整合、符号和谐等，均属于模态协同的下义现象；（2）模态协同的原因未有效阐明，如符间互补、多重联合等的动因不明晰；（3）对模态协同的体现维度缺少探讨。 据此，本文尝试回答： 如何界定和描述模态协同；哪些因素促动其发生，在哪些维度；如何对其发生的维度进行阐明与研究。

2 模态协同的界定

根据研究问题，我们要先明确模态的基本指域、属性和功能，这样才能更好地对模态协同的内涵进行描述和界定。

2.1 模态的基本指域、属性与功能

模态是平行实现话语和互动的符号资源（Kress， van Leeuwen 2001：21），社会形成和文化赋予的创造意义的资源（Kress 2010：15），属于表意系统。 它是“对物质进行文化塑造的产物”（Je⁃witt 2009：21），即“文化资源”（Kress 2009：54）。因此，模态是创造意义的符号系统，是对“modali⁃ties”的抽象概括，具有系统、组织、文化、社会等属性。 Kress（2015：77）提出“某种模式被社会群体视为模态使用时，须满足三种功能：说明世界事物，描述社会关系，产出在内外部环境均连贯的实体。”从SFL 看，它们是模态的概念、人际和谋篇功能，是其文化性、社会性、组织性的体现。

2.2 模态协同的内涵与类型

Royce（1998：27）认为协同产生的效应是单个模态影响的叠乘而非加和，因为“在多模态话语中移除一种模态可能还会产生连贯的语篇，但会削弱其交际力。”Matthiessen （2009：12）探讨多符号系统整合时也关注到协同效应，指出所创造意义具有融合性和协同性。 Kress（2010：12）阐述符义化框定时也提出设计的模态编合，依据修辞目的调用适切模态进行意义创造，而且模态调用应符合知识建构常规。 从他们的观点看，模态协同指调用适切的模态进行协作或编合达到语境所需修辞效果的意义创造过程，协同效果体现在知识表征、关系定位、连贯强化等方面。 因此，模态协同是新“复合模态”产生过程。

Kress 和van Leeuwen （2001：22）指出同一模态可以跨媒介表达，如书信和演讲。 一种媒介可以是多模态的和互动的（同上：103），如海报文字的字体和颜色。 据此，我们将模态协同分为同质和异质两类：前者指不同模态在同一媒介发生协同，如报纸中图像和文字；后者指不同模态在不同媒介发生协同，如演讲时手势和声音。

2.3 模态协同的基本原则

不管何种模态协同类型，均用来创造意义和实现功能。 模态作为意义的承载方式（Kress 2010：114），发生协同时应考虑其最优性，即意义传送完整、功能体现适切及协同省力。 这样，我们将最优协同作为总原则。 在总原则指导下，存在相互关联的子原则：意义完整、功能适切、时空省力（如图）。 第一，意义完整原则要求协同以意义传送完整性为前提，最大化降低意义损耗。 根据协同类型，意义完整原则还包含转移完整原则和转导完整原则。 前者指意义传送通过同一媒介从一种模态到另一种模态，如学术语篇中的插图；后者指意义传送通过不同媒介从一种模态到另一种模态，如惊讶意义从语调到表情。 第二，功能适切原则要求模态协同适切体现模态相应功能，即表征、定位和布局，具体指知识建构、社会关系定位和相关布局信息分配适切。 第三，时空省力原则要求模态协同在时间和空间上俭省符号资源。

图1 多模态话语中模态协同的基本原则

3 模态协同的动因与拓扑维度

3.1 模态协同的动因

从模态协同的内涵、类型及原则看，实现元功能成为模态协同的诱因。 元功能的实现又由语境触发，而且符号系统整合也发生在作为内涵符号系统的语境（Matthiessen 2009：15），故语境成为模态协同的根本动因。 由于语境包含意识形态、体裁和语域（Martin， 1992），接下来我们从这3 方面探讨语境如何触发协同。

意识形态作为“文化的编码取向系统”（Mar⁃tin 1992：496），关注各类话语。 编码取向是语境中意义选择的系统倾向（Halliday 1978）。 不同社群拥有相异意义表达规约，形成不同话语类型和社会身份，故模态协同是话语生产和身份定位中编码取向的体现。 而且意识形态是“话语联合形成的复合体，服务于可描述的特定社会目的”（Kress 2010：113）。 据此，话语组成意识形态的内涵，一类话语体现一类意识形态。 如教育、医疗、法律等由机构／社会知识组成的话语用于“建构认识连贯性”（同上：110）。 这样，意识形态中特定话语成为模态协同的“前景化”动因，即特定话语关联的身份和社会知识，语境的凸出方面。

体裁作为意识形态的表达，同样影响模态协同。 Martin（1992：180）提出外部的经验关系大多指向话语范围：编码社会组织，而内部的修辞关系指向体裁：编码话语结构。 话语结构的对比特征形成体裁系统，故话语结构源自体裁（同上：505）。 体裁作为“具有阶段性和目标导向性的社会过程”（同上），会对话语结构产生影响，即对体裁结构潜势（Hasan 1989）的影响。 这样，体裁选择会携带相应修辞目的，其修辞目的和结构潜势成为模态协同的诱因和基础。 所以体裁为模态协同提供了语境化的结构潜势和社会空间。

语域作为体裁的表达，通过3 个语境变项实现体裁的结构潜势和社会空间。 其中，话语方式位于中心地位，因为“话语方式和特定语境下符号系统的作用相关，决定了协同意义产生过程中的符号分工”（Matthiessen 2009：34）。 话语方式提供的媒介和通道（如听觉、视觉等）承载不同符号系统间分工（同上：23）。 分工是为更好协同（张德禄2018）。 话语方式触发模态协同，表现为模态可供性和通道分工／协同，故话语方式引发的符号分工也是模态协同的凸出动因。

综上，构成意识形态的话语为模态协同提供“前景化”动因；体裁选择对话语结构的影响提供语境化动因；话语方式触发符号系统分工，提供最直接动因。 总之，语境提供了模态协同发生的根本条件和动因，最终体现在表达媒介和通道。

3.2 模态协同的拓扑维度

由上可知，分工即是协同。 模态协同表现在内容符号分工和表达媒介／通道协同。 Matthies⁃sen（2007：11）在探讨语言内在多模态性和符号系统分工时，指出语言模态的符号、字系、音系等特征历时衍生出肢体语言、副语言、绘画、布局、雕刻、建筑、图标、纹饰等符号系统。 语言表达是视／听觉的，所以衍生符号的表达通道也主要是视／听觉的，日常多模态协同也主要由它们表达。

通道具有方向性，即无方向、单向和双向三种（Martin 1992：511）。 在SFL 中，话语方式不只涉及通 道， 还 有 媒 介 与 修 辞 模 式。 Matthiessen（2007：31）指出话语方式的修辞模式作用于内容层，媒介和通道作用于表达层，它们均受符号分工影响。 由于媒介的复杂性，Martin（1992）探索了视听觉间的通道接触分类。 受此启发，我们以视觉和听觉为通道矢量轴，将语言和其衍生符号纳入同一矩阵序列中，提出模态协同的拓扑维度（如图）。模态的分工以视听觉通道协同为基础，从符号分工到表达媒介／通道协同的分型，如［单+零］［双+零］［单+双］［双+双］矢量等协同维度。 由于协同的矢量性，可将其归纳为通道内和通道间协同。

图2 模态协同的拓扑维度

4 多模态话语中模态协同的多维分析路径

由上文可知，模态协同在语境、符号分工、模态选择、通道／媒介等维度均有体现。 依据“例示化沿着从潜势到实例的连续体定位多模态构型”的观点（Matthiessen 2007：55），这些体现维度反映在非物质性与物质性构成的连续体中。 本节结合SFL 的例示化，重点对体现维度进行探讨。

语境是“符号／意义环境，所有符号系统均在该环境下工作”（同上2009：12），故模态协同离不开语境。 根据模态协同动因，在语境维度应关注语境提供的“前景化”、语境化、和具体分工动因。例如，意识形态主导社会知识塑造和身份定位，决定体裁选择和修辞目的。 体裁和修辞目的对语境变项产生影响，具体体现在社会过程和主题的选择，话语方式的选择，以及机构、关系、评价的选择。 它们促使不同符号系统在知识表征、身份定位、连贯强化等功能分化时分工。

在语境下符号系统实现了从内涵到外延的例示化，产生外延系统分工。 基于SFL 系统进化观，社会-符号系统分工和符号系统间分工组成“分工说”（同上2007）。 修辞模式将内容所承担责任分配给不同符号系统，符号系统间发生分工，将相应符号责任分配给表达通道／媒介。 （同上2007：32） 这样，符号系统分工和模态间的修辞模式是对应关系。 这种对应是在知识表征、身份定位、连贯强化的表达过程中完成。 故模态协同伴随符号分工和功能分化发生（如图）。

图3 符号分工与模态协同的关联

符号分工触发模态选择，而模态选择不仅受语境和符号分工影响，还受其可供性（affordance）制约。 可供性是Gibson（1977）说明环境可供性及相关生物性和心理性提出的，Kress（1993）用它来表达模态的可用特征。 所以，模态可供性指其物质性、文化性或二者兼有的潜在可用特征，但它们缺少系统描述。 Halliday 和Matthiessen（1999：610）的系统进化观触碰了该问题。 他们认为符号的特征是累积的，不同符号域由物质向非物质发展：物质性→生物性→社会性→符号性。 这样，系统可供性包含物质性、生命性、社会性和符号性系统特征，即模态可供性是社会符号资源的累加特征，可以系统概括为（（（（物质） + 生命） + 社会） +符号）可供性。

模态协同对可供性选择的表达最终体现在通道协同。 上节我们指出通道协同包含通道内和通道间矢量协同。 这里的矢量性指模态表达时通道的具体交际方向。 例如，单矢量性指模态表达时单通道内单一方向，如广播的单通道单矢量性；而双矢量既可指视觉单矢量和听觉单矢量协同，如电视的视听通道协同，还可指单通道内的双矢量交互，如手语交际的视觉双矢量协同。 通道协同细化为模态协同分析提供了依据。

这4 个维度是模态协同的宏观、中观和微观体现。 语境是模态协同的宏观层，提供模态发生协同的“前景化”动因，即语境内涵符号系统提供的意识形态、体裁潜势和语境变项。 符号分工是中观层，关注外延系统分工和模态间修辞模式，为模态协同提供系统分工和功能分化诱因。 符号可供性和通道协同是微观层，模态间在符号分工动因和协同原则作用下完成从内容到表达的过程（总结如图）。 该分析架构凸出模态协同的表现层次和系统性，以非物质性和物质性组成连续体为指导，依据研究目的可从不同维度切入分析。

图4 模态协同的多维分析

5 多模态协同实例研究

为说明该分析路径的有效性，本节以全国2018 垃圾分类宣传片（时长2′13″）为例，对其展开模态协同多维研究。

5.1 宏观层面的语境

在多模态话语分析中，无需描述语境的全部社会文化系统，只需描述与事件相关的话语、知识和身份，以及相应社会空间、行动系统和多模态构型条件即可。 在垃圾分类的特定语境中，垃圾是人类生产生活的产物。 随着城市扩容、人口增加，生活垃圾越来越多，污染和破坏环境。 因此，需要通过有效方式倡导全民垃圾分类，公益宣传片即是有效体裁方式。

5.11 意识形态提供的话语、知识系统和身份

当前交际事件属于环保话语，其核心是环保意识和垃圾相关知识。 环保意识和知识系统须在倡导者和实践者间建立身份关系。 垃圾分类在环保文化中形成复杂的知识系统。 比如，垃圾状态有干和湿；垃圾（不）可再利用，但不可再利用是垃圾典型特征，因为大多垃圾无法二次利用。 垃圾又有有害和无害之分。 不同垃圾类别可同时具备多种特征（如图），如厨余垃圾，废纸、塑料等可回收垃圾，电池、油漆等有害垃圾。 所以，政府作为倡导者，通过分类知识宣传培养大众垃圾分类意识，使其成为实践者。

图5 垃圾分类知识系统

5.12 体裁作为行动系统和社会空间建立

描述意识形态后，需了解实现交际目的的常用手段。 采用公益宣传片，让全民接受一种理念：垃圾分类是一种责任。 因而，体裁提供全民垃圾分类的行动潜势。 宣传片通过一些社会行动建立垃圾分类倡导者与实践者的社会空间。

5.13 语境变项作为多模态语篇构型条件

语境变项描述为多模态构型提供基本条件，即话语的主题和内容、参与者、交际形式和通道。该宣传片的语境变项为：话语范围（垃圾破坏环境，应分类处理），话语基调（政府倡导，全民实践），话语方式（口语、书面语，视听通道间单矢量协同，也涉及到对话）。

5.2 中观层面的符号分工

社会—符号分工是活动的社会系统和符号系统间分工，各符号系统间依据交际目的进行语义分工。 该事件中，环保责任、义务等社会系统和垃圾分类知识系统在体裁结构中分工，又由语言、图像、声音等协同体现。 该事件主要由“主题＾引出话题＾垃圾问题凸显＾传统处理手段及弊端＾如何分类处理及优点＾倡导全民参与”体裁结构成分组成，每种成分由语言、图像、肢体等符号分工表征知识、定位身份、强化连贯（如图），由表达媒介／通道体现。

图6 垃圾分类多模态语篇的体裁阶段与主要系统分工

5.3 微观层面的供用特征表达和通道

6 结束语

综上，本文在SFL 视角下探讨了多模态话语中模态协同的多维分析。 研究表明模态协同在语境、符号分工、符号可供性和表达通道／媒介等维度均有体现：（1）语境提供了模态协同时表征知识、定位身份、强化连贯的“前景化”、语境化和系统分工条件；（2）在语境下符号系统实现了从内涵到外延的例示化，产生外延系统分工；（3）模态协同不仅受符号分工影响，还受其（（（（物质） +生命） +社会） +符号）可供性限制，反映在表达媒介；（4）模态可供性协同最终体现在通道协同，包含通道内或通道间协同。 最后，希望该研究能为多模态话语分析提供一定借鉴。

①Kress（2010：12）认为模态编合发生在设计过程，但设计实则是有关语境中话语和体裁选择的思维活动体现。设计作为动因较人工语篇（artifact）分析具有优势，于自发性强的会话性多模态体裁缺少分析依据。 因此我们倾向Matthiessen 的观点，认为语境提供模态协同的最根本条件，设计主要是将这些条件媒介化和物质化。