多维视角下多模态话语研究的共性与差异探析

滕达

（大庆师范学院，黑龙江大庆 163712）

人工智能和科技的进一步发展，改变了人们的交流行为方式。人们的交流方式由人与人，到人与机器，到人与机器与人，多媒介，多符号，多信道的输入和输出模式广泛地存在于人们的日常交流中。单一的模态的交际已经不能满足人类的交际诉求。语言的内在本质就是多模态的，语音、文字和其他符号是语言表达的3 个系统。不同的符号是不同意义潜势的体现，各种符号资源相互在各自的分层系统和故事语法系统中构成可以表征的意义。多模态话语有着单纯语言模态不可替代的表意作用，也更加全面地反映人作为主体的交际者和读者的表达意图及识读感受。

近年来，从静态的图文符号到动态的身势语，多模态话语的研究逐步形成热点。互动交流方面的研究，如网页、海报、电影、微博，漫画到面对面的互动交流，手势和声音对语言表达的辅助作用。多模态话语研究从研究视角来看，其本身就具有跨学科性，教育学，心理学，神经学，传播学及语言学都有所涉及[1]。宽泛的研究视角架构了多模态话语研究的融合性发展特点。近年来，从语言学视角研究多模态话语的意义建构，文化负载和交往互动的研究成果颇丰。该研究探讨语言学内部，有关多模态话语研究的共性特征和差异性表现，仅此为多模态的融合发展提供借鉴。

1 多维视角下多模态话语研究

多模态研究非常有价值的观点，最早由R，Barthes, 在Rhetoric of the image 一文中提出，探讨了图像与语言之间的关系。Barthes 在对报纸照片的分析中提到表意信息的整体由两种不同的结构来承载。这两种结构相互合作共同构成整体意义的表达，但同时由于他们的异质性，他们又彼此分离。语言信息的实质是由单词组成的;图像信息有线条、表面、阴影等元素构成。此外，消息的两种结构各自占据各自定义的空间，这些空间是连续的，但不是“均质化”的。实际上，Barthes 探讨了图文之间的互补性和非均等性特点，它们之间的配比是由于整体意义的表达和建构决定的[2]。文字确定了图像的意义，图像是对文字的进一步解释，图像和文字各自表达整体意义的一部分。

多模态符号研究的主要路径包括：“符号语法的构建，多模态语类特征研究，社会场所再符号化过程研究等。”（李战子，2013）研究主要分成四大部分，一是基于社会符号学的分析。二是从系统功能语言学角度进行元功能分析； 三是从社会互动语言学汲取营养，采用会话分析的方法研究多模态互动现象。四是从语用学角度，研究在说话人的多模态协同表达取得的语用效果，及语篇的多模态属性对读者的语用作用[3]。

1.1 社会符号学视角下的多模态话语

社会符号学的研究目的是揭示意义形成的过程，探讨作为人的个体所使用的语言及非语言符号系统是如何表征的。一般认为符号资源是人们进行互动的载体，社会符号学关注符号的制造者，符号的模式和社会的需要。Robert Hodge, Kress, Van Leeuwen 基于符号学，系统功能语言学和批评话语分析进一步推动了社会符号学的发展。传统的符号学认为语言的意义是静止的和固定的，需要参照编码系统进行解码。社会符号学更注重符号的创造者，也就是说符号系统在社会使用中形成的，不可能脱离语境而存在。因此社会符号学的发展势必要与人的意识形态，社会关系，社会实践相关联，也必将是多模态话语分析的走向。从社会符号学来看，Kress&van Leeuwen 的视觉语法理论对多模态话语研究做出了重要的理论贡献。该理论从功能语言理论出发，从社会符号学视角提供了多模态研究框架，拓宽了多模态研究的范围。社会符号学于20 世纪90年代末，开始关注更广泛得多模态模式。van Leeuwen（1999）考察了声音在交流中的材料，媒体和类型等的符号学潜力[4]。在21 世纪初以来，多模态的社会符号学研究开始从识别和描述单个模态转向在模态内部和跨模态运行的符号学原则。例如，空间和建筑、多媒体、声音和音乐的符号学潜力。

1.2 系统功能语言学视角下的多模态话语

系统功能语言学（SFL）的多模态研究是系统功能语言学研究的一个子域。韩礼德继承了J. R. Firth的思想，Firth 关注的是语言在不同语境中的使用方式，而不考虑语言使用形式的感知价值。语言学是理解个人与文化之间关系的社会行动。韩礼德和弗斯的语言观与马克思主义的语言学是完全兼容的，都强调研究语言与社会之间的不可分离的关系，语言和社会过程是系统之间的相互作用。发源于语义学的系统功能语言学对于其他符号资源的研究是适用的。SFL 适用于分析口语和书面语言以及非语言资源创造意义的方式。Kress、van Leeuwen 和O’Toole分别开发了分析图像的视觉语法理论和展示艺术的系统框架，率先将SFL 用于多模态研究[5]。在O’Toole 之后，O’Halloran 运用SFL 方法来研究数学文本和课堂话语、实现图像和数学符号的整合研究。目前从SFL 视角出发多模态的研究涉及三维空间、博物馆展览、建筑、网站、在线新闻、肢体语言、儿童绘本、学科知识等方面的研究 （O’Halloran, 2004;Dreyfus, Hood, & Stenglin, 2011）[6]。2020年马丁中心举办的多模态会议中，相关的学者O’Halloran，张德禄、冯德正涉及的相关议题有多模态的大数据驱动研究，多模态话语与认知和文化的融合研究及对多模态本体的语法研究。

1.3 互动语言学视角下的多模态话语

人类在交际过程中，语言是主要的载体，非语言的信息输入往往被认为是语言的附属。虽然关于语言和非语言之间的相互作用已经建立了许多有价值的工作，但毫无疑问的是把语言放在中心位置的观点限制了我们对交互的复杂性的理解。因此，笔者将不再认为语言总是在互动中扮演中心角色。互动语言学更加关注人与人之间的面对面的交流活动，语言也只是众多交际手段之一，手势、凝视或头部运动可能从属于语言交流。哪一种交流模式起到主要作用，要看语境和交际目的的需要。在特定的互动中，手势、注视和头部运动也可能占据优势地位，而语言可能处于从属地位或完全不存在。或者，有时许多沟通渠道在一个特定的互动中发挥着不可或缺的作用，而没有一个渠道比另一个渠道更重要。该文所说的多模态互动是互动的多模态性。

Kenneth Pike 提出的语言整合理论是多模态互动的语言学理论基础。Pike 的语言整合理论认为人的互动行为是由语言行为和非语言行为共同构成的整体。在传统的语言学理论中，语言被认为是一个抽象的，独立的，自足的结构系统，以此为基础在分析人类交际行为中，必然忽略非语言成分的作用，也很难对参与人类交际的手势、眼神、肢体动作、韵律等做出合理的分析和解释。所以一套整合理论才更适合研究人类的交际活动。多模态互动正是这样一种整合理论视角和方法。互动分析关注微观的语言模态中的词汇、句法与韵律和肢体运动相互协同作用。

多模态互动重视对互动参与者的语言、身体活动和周围环境进行微观序列分析，其哲学基础是现象学。以胡塞尔早期理论和Merleau-Ponty 为代表的现象学主张将事物的本质还原到其现实存在中，通过对人自身的存在体验和周围环境及二者之间直接原始关系的思考来达到对人和世界的理解。多模态互动主要研究主要涉及如下几个方面。一是多模态互动单位研究。研究语言单位，包括词汇，句法和韵律单位。身体活动单位包括手势单位，头部活动单位。二是多模态语法研究，目前对这一研究尚存争议。构式语法研究和互动研究两个领域是目前讨论的焦点。三是多模态资源与行为构成研究。该研究不探讨语言的实施行为，主要关注身体活动在构建行为中的作用。四是多模态资源与话轮组织研究。该研究主要关注日常会话在组织方式过程中，话轮前、中和结束3 个环节中，身体资源和其他多模态资源如何开启话轮，在话轮中如何建构话语，在话轮结束时，多模态资源的规律性作用研究。

目前，我们对手势、头部活动、身体空间位置、面部表情等符号系统内部组织特点已经有了较为深入系统的认识。比如，手势单位的形式和结构，头部活动的结构，参与者身体相对空间位置的组织结构，以及面部表情的分类等。总的看来，当一个行为可以只用语言、身体活动、或两者共同来完成时，这些资源在选择和分配中是如何实现协同作用的？这是目前互动语言学和多模态互动研究值得探讨的问题。

1.4 语用学视角下的多模态话语

语用学一直以来被理解为一种研究言语交际的方法，但是语言学家们已经在语用范畴内研究语境中的其他交际方式。正如Novitz 在1977年提出，奥斯汀已经承认，虽然言外之意通常是通过说话来实现的，但使用非言语手段来实现这些行为是没有限制的，只要使用的手段是常规的。因此Abell（2005）,不得不求助于分析类言语行为和Gricean 沟通准则，试图解释图片是如何产生意义和被表征的。

意义生成的语篇层面的研究隶属于社会符号学和功能语言学对多模态的研究。语用学有关多模态的研究起步较晚。语用学关注的是接受者如何对多模态语篇进行推理的。语用学的多模态分析学者强调的是在特定语境中如何实现交际目的的共同兴趣并提出语境中多模态语篇交际使用的研究。基于语用的多模态交际分析方法与基于语法或话语的多模态交际分析方法相比，并不将语言系统作为在语境中进行意义交流的基础。语用学者更关注使用多模态文本做了什么，以及如何得到它们的解释，而不是关于它们的结构和连贯性的问题[7]。可见，交际行为理论可以比符号的多模态组合理论更好地解释多模态关系。

语用学应用于多模态研究重要的是理论框架的合理选择问题，Mubeng 以韩礼德的系统功能语法及符号学理论为基础提出了多模态语用分析方法,包括功能、符号和认知3 个基本组成部分,以及每个组成部分的3 个分析层次,即概念、人际和语篇。国内学者陈新仁和钱永红借鉴系统功能语言学理论框架构建适用于语用分析的多模态语用分析框架。同样。在自然会话中探讨即席话语的手势及其表意和言语行为与多模态的协同作用。国内学者黄立鹤自建多模态语料库，基于鲜活整人研究框架，以言语行为为切入点，探讨人的体貌、韵律等方面的协同作用[8]。

2 多模态话语研究的共性与差异

在研究的共性方面，研究的主体都涉及人的多模态交际方式。研究的目的都是探讨多模态话语的交际目的性和在交际过程中的实现方式及固有的规律。研究理论方面相互借鉴，功能语言学研究涉及言语行为的多模态性，语用学的研究涉及语境中的多模态符号资源的影响。

研究的差异方面存在研究视角的不同，符号学和功能语言学是以元功能理论为基础，探讨概念意义，人际意义和语篇意义在多符号化中的再生成过程[9]。社会符号学和功能语言学更关注语义层面的多模态话语的生成。互动语言学以整合理论为基础，一般采用会话分析的模式探讨人与人的互动过程中的多模态交际手段的实施过程，寻找内部的规律性特征。语用学对多模态话语的研究，在理论上有对功能语言学的借鉴，也有自身的独创性，考查在语言使用中，如反问句、言语行为等语用方面与多模态的融合研究。

3 结语

在新媒体时代，人的交际活动，无论是通过音视频还是通过图片，交往形式的多样化决定了人们交际方式的改变，对于多模态研究的需求与日俱增。多模态符号的研究本身就是一个跨学科和多学科融合的过程，该文概述了多模态话语研究的几个语言学分支，分析各自研究特点，理论架构，符号传承和在本领域的概念解读。随心智哲学的进一步发展，多模态研究要以体验认知为基础，结合心理学理论，为其发展方面提供相应的理据。研究总结发现多模态研究在各自的语言学研究领域中，形成既自成一体，又可以相互交叉，互为补充的关系。通过对多模态话语研究的源起和发展进行简单的梳理，为模态话语研究的理论范式和归属进行清晰的界定，为多模态话语研究提供借鉴。