我国近20年多模态话语研究综述

史泽华

(中国矿业大学(北京)文法学院，北京 100083)

一、研究历程

自从1952年话语分析(discourse analysis)理论提出以后，人们多数从语言符号系统的视角出发进行话语研究。从起源上看，多模态话语分析是1994年由新伦敦小组设计的国际多元文化项目的结果。从20世纪90年代起，国际语言学界就开始了对多模态话语研究的热潮。国内在2003年才出现了介绍多模态话语的论文。多模态话语的产生一方面得益于科学技术的发展，另一方面得益于话语分析理论的不断成熟。

(一)科学技术的发展

现代科技的发展一方面深刻地影响着话语的互动，另一方面又影响着人们采集和分析语料，影响话语转录的方法，手段和工具。

一方面，科技的发展影响着话语的互动。多模态话语是当代社会背景下社会、经济、通信和技术变革的结果。科技的快速发展推动了各种媒介(medium)的出现，如录音机，电视机，录像机，计算机等。媒体的出现促进了多模态的产生。胡壮麟指出，“模式是用某种媒体表达信息的特殊方式。媒体是表达信息的物理工具。”朱永生也提出，媒介是交际所使用的技术(technology)。口语是用声音媒介表达的一种方式，而书面语和面部表情是用光线或图表进行表达的模式。显然，采用某一种媒体仍可以有不同方法表达信息。Scollon&Levine认为：模态是可对比和对立的符号系统，媒体是符号分布印迹的物质手段，如产生语篇采用印刷的或手写的手段，说话时发出的声音，身体的动作，或计算机显示器上的光脉冲。总的来说，模态与媒介的关系可以理解为话语和技术的关系，二者相互渗透，密不可分。多模态话语分析的产生离不开科学技术的支持。互联网和多媒体技术的发展，能够调动更多的感官系统，如使用手机收看bilibili视频网站的视频时，不仅可以看到画面的内容，听到视频的各种声音，还可以感受到手机的震动。

另一方面，科技的发展影响着语料的记录和处理。现在技术的快速发展催生了监控摄像头，数码摄像机，扩音器，各种声音，视频等处理软件。目前比较普及的多模态语料库工具就有 Elan、Anvil、Praat、Transcriber AG等。以Elan举例，Elan(EUDICO linguistic Annotator)是由马普心理语言学研究所的Brigit Hellwiig设计开发的一个多模态话语分析软件。这一软件与VLC Media Player共同使用能够对视频文件进行多层级同步标注。其有以下特点：支持用户对标注层进行自定义内容；支持对一视频文件的文本，声音，图像同步标注；标注结果输出格式多样化，数字化，统计结果自动计算，满足使用者的多层需求。这些多功能，多层次的语料库标注软件也反过来促进了多模态话语分析的发展。

(二)话语分析理论的发展

从多模态话语的诞生起，系统功能语言学就作为基础。功能学派出身的学者，其中最主要的代表人物是Kress和van Leeuwen。他们在个人和合作的著作中详细介绍了其系统功能语法理论基础上发展起来的多模态语篇分析理论。

具体来说，视觉分析语法是关于什么的语法呢?第一，视觉语法描述的是一个特定群体的社会资源，包括对这种资源的显性和隐性知识，以及它在该群体实践中的用途的描述。第二，它是一个非常普遍的语法，因为人们需要一个可以涵盖油画以及杂志布局、连环画和科学图表的术语。但是这里的“普遍”针对的是描述对象的普遍性。在Kress&van Leeuwen的Reading Images：The Grammar of Visual Design一书中，他们以系统功能语言学理论为基础，提出了视觉语法的三个意义层面，分别是再现意义、互动意义和构图意义。选择韩礼德的系统功能语言学作为基础，主要是由于针对所有的符号表现形式，三大元功能可以提供思考的动力。人们也将该理论运用到图像和教学等方面，他们为多模态语篇分析的产生和发展做出了突出的贡献。

二、多模态话语研究在中国的发展

对于国内多模态话语的研究，文章选取“北大核心”和“CSSCI”学术期刊为主要分析对象，时间跨度为2000年到2020年，对搜索的结果进行统计。根据论文的内容，可以分为理论论述类、理论应用类、教学应用类和综述类四个大类。统计结果如表1所示：

表1 期刊论文统计结果

2000年到2002年，国内核心期刊中没有出现相关主题的期刊论文。2003年，李战子首次介绍了多模式话语分析的相关内容，她以 Kress&van Leeuwe提出的视觉语法为基础，向国内学者做了一个比较完整的框架介绍，同时提出了多模态话语的教学意义。2004年到2005年国内核心学术期刊上没有这一主题的学术论文。直到两年之后，国内学者逐渐关注多模态话语研究。2006年期间出现2篇论文利用Kres&Leeuwen提出的多模态话语分析框架的应用研究。2007年朱永生比较系统地介绍了多模态话语的产生和定义，多模态话语分析的性质和理论基础等，是国内较早系统地关注多模态话语的学者。他为国内学者从系统功能语言学角度开展多模态话语研究提供了理论基础和分析方法。

从2008年开始，以多模态话语为主题的北大核心和CSSCI范围内的论文数量每年都保持在5篇以上，2007年到2013年呈现快速递增的趋势，2013年到达最近20年的顶峰，共有26篇学术论文发表，2014年与2013年相比发文数量迅速下降，2015年到2020年保持一个起伏不大，比较平稳的水平，基本每年都在18篇～22篇的数量范围内。具体数量如图1所示。

图1 期刊论文年度发文数量和趋势

2013年发文状态处于高峰，通过阅读这一年的论文发现，这一年的论文在选材上堪称丰富：覆盖了电影海报和视频，广告类文本，小说诗歌，广播新闻，民族舞蹈，英语教学等。但是其理论基础上仍然以韩礼德的系统功能语言学为基础，在26篇论文中，有10篇以此理论为基础，占比38.5%。一些学者把多模态理论与积极话语分析、动机理论及张德禄的多模态话语分析综合理论框架探索结合起来进行应用分析，这体现了多模态话语分析的跨学科性。与2013年相比，主要变化情况如下：2014年发表的同类论文数量明显变少：如电影这一题材由5篇降为3篇。在这三篇中，包括2篇更细致的字幕翻译研究；传媒类也由2013年的6篇降为2014年的3篇，且有2篇为政治性的内容分析，教学方面的实证和探讨在增加，由3篇增加为6篇。理论方面，有4位学者借鉴了张德禄的多模态话语分析理论。可以看出2014年多模态话语分析应用在新的语类方面比较少，国内的多模态话语分析理论被应用的情况变多。

(一)理论研究

1.基于系统功能语言学理论的多模态话语分析

国内的理论研究包括引入介绍Kress&van Leewen创建发展的以系统功能语言学为基础的多模式话语基本框架；发展和讨论多模态话语分析理论基础和研究方法；话语的模态协同作用以及多模态课堂话语的设计。

除此之外，国内学者也介绍并探索多模态话语分析的工具，如王立非、文艳介绍了多层标注软件ELAN的使用方法；张立新使用ELAN这一软件对课堂中教师话语进行了视觉语法的分析；ELAN这一软件在国内经常应用在课堂话语的分析中。这可能是因为教学的视频语篇容易得到，教学过程存在着一定的模式和步骤，学者能够进行比较系统的标注和分析。李学宁、马利霞介绍了MAC多媒体信息检索工具，黄立鹤对现场即席话语多模态语料库的建设作了讨论。从语料的采集、转写、切分、标注和最终建库等方面都进行了探讨；多模态语料库的使用在近5年内应用的次数较多，如刘芹和潘鸣威、杨明星、付光辉等。

2.多模态话语隐喻意义的构建研究

多模态话语分析在认知语言学领域的应用也是立足于概念隐喻理论，即：隐喻本质上是一种思维和行为方式，人们往往借助具体的身体体验来理解和感知抽象的概念。多模态隐喻(multimodal metaphor)主要研究隐喻如何在各种社会符号中体现，人们如何感知和理解这些社会符号，把概念隐喻的理解范围从语言扩大到社会各种符号的范围。

多模态隐喻虽然起步于语言学领域的概念隐喻研究，但它的研究成果远远突破了后者的研究局限，不仅发展了传统的认知隐喻理论，也为多模态话语分析提供了许多新的视角。多模态隐喻不仅发展了认知因与理论，也为多模态话语分析提供了一个新的视角。多模态隐喻衔接了概念隐喻的不足之处，由于“源域”的来源变得丰富，其“目标域”有了新的内容。从这一角度看，多模态隐喻能够更加全面地分析隐喻的本质。Forceville认为，为了证明隐喻的本质是概念的而非局限于语言的，就需要证明隐喻不仅仅可以通过语言构建，还可以通过其他符号构建。这对于隐喻的研究有推动意义。此外，多模态隐喻的研究有助于展现概念隐喻的其他特征，这些特征难以在语言模态中展现出来。所以弥补了语言学领域概念隐喻研究的不足之处，也更加有助于全面客观地触及隐喻的本质。多模态隐喻在我国的分析和应用还比较少。张德禄、郭恩华阐述了两个研究视角之间的连接与互补。王小平、王军通过对语料进行多模态标注，探究模态调用的特点。

(二)多模态话语的应用

从理论应用来看，可以分为系统功能语言学为基础的视觉语法分析和以多模态隐喻为基础的隐喻话语分析。但是从数量上看，前者比例较大。

从应用领域来看主要有二维的平面设计：如传统广告，海报，会徽，诗歌，电影字幕，也有三维的如电影，微电影，纪录片等。从发展的趋势看二维的话语研究在下降，这是因为这一话题目前为止，国内应用的比较成熟和透彻；视频动态话语和互联网话语的研究在不断上升，这是因为互联网与人们的关系越来越密切，密不可分，随着微信，微博，短视频平台等大众社交工具的广泛使用，学者对于多模态话语的研究对象也日益广泛。

在2011年之前，多模态话语的分析范围主要集中在电影，广告，海报，字幕和诗歌小说的分析。在2011年之后，理论应用的载体和分析的对象都有了一些创新。如出现了对于《爵士乐》小说中的音乐性分析，利用文本载体分析其音乐性，比较有新颖性。《印象·刘三姐》的多模态话语分析则对于大型山水实景演出这一新的话语载体进行分析。2013年及之后，多模态话语分析的载体呈现出更加多样化的趋势，如微博，舞蹈，电视访谈节目，QQ群话语，微信语体，淘宝网，戏剧，儿童绘本等。从上述统计可以看出，互联网的迅速发展对于多模态话语分析的影响非常大。

较早把多模态话语应用到外宣文本中的是郑群和张博，他们通过分析《经济学人》中国主题封面的设置，从再现、互动和构图意义上分析了《经济学人》中国主题封面的意义，分析其展现的中国形象。他们希望西方能够从中客观地认识中国，并呼吁国家重视中国国际形象的构建和宣传。陈曙光把多模态话语和“中国模式”结合起来，并应用在马克思主义学术话语体系，体现了多模态话语的跨学科性。此外，还有陈风华、董成见、周毅、杨明星等学者从多模态翻译，计算机信息交互，平行语料库等角度研究外宣话语。

从期刊论文的主要分类情况的统计结果来看(见图2)，教学方面的应用占比最大，达到一半以上，究其原因，多模态话语的产生就与教学法密不可分。“多模态”自从引入我国开始，就与教学密切相关。如，顾曰国2007年就较早地区分了“多媒体”“多模态”学习的关系，还重点分析了“计算机”这一新媒体出现带来的话语分析领域的变革。朱永生在2008年介绍了新伦敦小组提出多模态和多元读写能力这两个概念的过程，介绍了国外对于多元读写能力的研究概况和一个培养学生多元读写能力的具体例子，并对国内的教学提出建议。张德禄在2009年也在多模态话语分析和研究理论框架基础上，为现代媒体技术条件下的外语教学实践提供有效选择教学过程和实践的指导；在2010年又最早提出了多模态协同的原则，并为外语教师利用多模态资源，利用多模态协同展开教学提出建议。可以看出，教学中多模态话语的理论探索和建议比较多。这可能是因为英语教学的过程是一个实践的过程，诸多学者可以直接在课堂上对上课的情况进行观察和记录，对于多模态教学的应用十分便利，对于教学结果的收集和效果的评判也较为便利。多模态话语与教学活动有着密切的联系，研究多模态话语对于教学内容、教学形式、教学评估都有重要的意义，这一研究趋势也呈现上升趋势。在2008年到2013年，在“北大核心”和CSSCI期刊上一共检索出19篇关于教学的论文，但是在2014年到2020年，则一共检索出30篇论文。可见对于多模态话语对教学的结合与应用日益受到学者的关注。

图2 期刊论文的主要分类情况

通过阅读发现，教学方面既包括理论层面的探讨，也包括实践层面的实验。根据论文的主要内容可以分为如下几个方面。从教学的阶段来看：可以分为高中英语和大学英语。从教学的科目来看：研究可以分为英语的听说读写，专门用途英语教学，汉语视听说教学，汉语词汇教学，公开课教学，思想政治课教学。从教学的形式来看：可以分为口头报告教学，多模态翻转课堂，网络教学。从师生的学习情感来看：可以分为学生积极性，师生关系等。

网络技术和计算机的快速发展为教学方式带来新的变革，与多模态话语的结合也更为紧密，研究视角呈现出多姿多彩的景象。谢蓉蓉为“多模态虚拟课堂”这一理论进行创新性、前瞻性地探讨。计算机技术的发展也为教学提供了更加准确的数据支持。如刘晓斌等借助计算机实现语音可视化，这一技术把听觉信息转化成视觉信息，为更好地纠错学生语音提供了更加准确的帮助。郑瑶菲通过教学对比研究，证明基于“云服务”的多模态课堂口头报告教学对于提高学生的口头报告能力具有明显地提高作用。在这一实验过程中，多模态教学和“云服务”结合起来，体现了互联网在助推多模态话语发展中的突出优势。钟世潋、张洪冲阐述了“互联网+”时代多模态教学话语的特点及运用。最近三年，翻转课堂与多模态话语的结合研究兴起，赵维萍从理论层面论述了翻转课堂的多模态话语分析理论框架研究，对其五个层面进行分析；田苗等在2019年也从多模态翻转课堂的角度，对学生听力培养成果进行了实证研究。随着我国综合国力的提升，我国应该讲好中国故事，展示文明大国、负责任大国形象，国家层面也积极倡导中华文化“走出去”。这一指导思想同样体现在学术研究领域，所以近三年来多模态话语也应用到对外汉语教学中，如王祖嫘，李雅等。

多模态教学的实证研究也方兴未艾，张征通过对比实验的方法证明了多模态PPT演示教学对于提高教学效果的作用，他提出了多模态PPT教学的优缺点，和多模态教学设计的原则。从2014年以来几乎每两年就有一篇实证论文发表。多模态语料库的构建也是另一个值得关注的方向，如潘鸣威，张立新等学者都在尝试探索。

三、总结和不足

经过对于233篇文献的阅读和整理；可以发现多模态话语在国内的目前的主要研究方向如下：

(1)理论层面：传媒学，心理学，计算机科学相结合的跨学科方向，如多模态话语分析与符际互补理论，认知负荷理论、和谐理论等的结合应用。

(2)方法层面：语料库等可视化软件分析为研究对象和研究工具的方向，必然随着网络和科技的发展而兴起，也为多模态话语分析提供了更为科学可靠的研究方法和工具。

(3)研究对象层面：人们对于社交软件的使用越来越广泛，多种模态在聊天过程中混杂出现，这是一个新兴的研究方向；随着我国综合国力的增强，以多模态话语实际指导我国的外宣和汉语国际教学，有重要意义。

但是多模态话语的创新主要在于应用领域和技术的创新，对于以下方面仍需要改进：

(1)理论不成熟，待发展。中国的多模态话语应用没有突破Kress&van Leeuvan的视觉语法，对于国外其他理论只是停留在介绍的阶段，没有深入应用分析。视觉语法是基于西方文化视觉设计的语法，国内众多学者虽将其应用到各个领域，而忽视了这种文化背景本身所含有的差异性。国内张德禄的多模态话语分析框架和多模态协同理论被较为广泛地应用。总体来说，多模态话语分析理论仍然存在理论不够成熟，需要继续发展和深化。Kress&van Leeuvan的图文分析语法理论本身存在局限性，这提醒研究者需要寻找更好的研究路径和方法来向纵深发展。

(2)研究人员的多学科背景弱，没有掌握跨学科的知识，很难承担起持续性，系统性的多模态话语分析。目前国内张德禄一直在努力构建多模态教学设计，多模态协同研究等。但是像这样的学者数量并不多见，且缺乏学科之间的互补研究会使得使多模态研究出现盲点或缺陷。

(3)研究方法存在诸多困难。虽然多模态语料库已经出现，但是众多语料撰写方式没有一个较为统一的标准，对于具体模态的识别也需要进一步规定。如对于“微笑”这一表情的定义，何种程度为微笑，何种程度为大笑等这类问题，需要一个长时间的探索和交流。实证研究过程中，可变因素较多，不容易控制变量等问题都需要进一步的完善。定性研究不能成为唯一的方法，因为它的研究目标不仅仅是个体语篇的价值，而更多的是探究多模态语篇的普遍规律和原则。