国内多模态话语互动意义研究回顾与展望——基于中国知网2010—2019年的载文统计分析

桑 修 月

(西安外国语大学 商学院，西安 710128)

随着科技创新呈跨越式发展，以视听媒体为传播途径的信息载体被广泛应用于生产生活中，由此，大量新型多模态话语得以涌现。同样地，对模态话语互动意义的构建与探索也亟须打破传统仅局限于图文关系之间的解读，而是要综合考虑多模态话语在整体意义上交际互动的实现。王红阳于2007年发表的《多模态广告语篇的互动意义的构建》[1]一文，是CNKI期刊全文数据库中关于多模态语篇互动意义研究最早的文章。其运用视觉图像的语法框架，对一位中国歌唱家于2006年10月12日在美国肯尼迪艺术中心举行独唱音乐会时的宣传广告画进行了多模态分析。该文开启了国内关于多模态互动意义的研究，在语言学领域受到广泛关注。本文梳理2010—2019年CNKI期刊全文数据库中对多模态互动意义研究的载文情况，旨在展示国内该研究的发展趋势、研究成果与现状，以此梳理分析当前研究存在的问题，进而为学者开展相关研究提供新的启示。

一、多模态话语互动意义

(一)多模态话语互动意义的本质

人类互动是多模态的。[2]随着现代技术、媒体的飞速发展，人们的话语交际越来越呈现出多模态化。[3]关于多模态话语互动意义，不单单是多模态话语和互动意义的简单叠加，抑或是两者间的任意结合，而是针对某一特定多模态话语，去探讨不同符号资源是如何协力运作以实现与互动参与者之间的交际。就其研究目的而言，多模态话语的互动分析与基于社会符号学的多模态话语分析在本质上是一致的，其都在于解读语言及语言以外的其他模态之间是如何协同以“产生合力”来完成人类互动交流的。[4]

多模态与符号资源的共存有关。[5]19符号资源系统是兼有形式与意义的系统，通常用在特定语境中以构建意义。[6]18多模态语篇通过整合多种符号资源以实现其互动意义构建，进而达到社会交际目的。实时交互中各个模态的重要性是由所拟定的模态配置来确定的，不存在任何一个模态本质上比另一个重要的假设。[7]112在话语构建过程中，各个模态之间存在着千丝万缕的联系，它们之间协同运作、互补增效，进而使其整体意义的构建大于各个单一模态资源的效用。[8]Kress认为交际是多模态化的，有时通过言语，如口头评论、指示和请求；有时则通过凝视、行动或接触等。具体来说，在多模态话语构建互动意义时，语言文字模态用来直接传递客观性的实质内容，听觉模态调动听力感官，负责推进交际互动进程，视觉模态则对言语模态和听觉模态进行补充或加以强调，甚至还利用视觉指向与受众建立联系，进而去实现多模态话语互动机制的建构与意义的生成。[9]32

(二)多模态话语互动意义的研究价值

对多模态话语互动意义的解读与探讨不同于多模态、多模态话语以及互动意义等单一层面的研究，该话题研究的重要性及价值所在主要体现在：

首先，多模态话语互动意义以某一具体多模态书面或动态语篇，抑或是某一多模态物质实体为研究对象，符合当前动态社会下互动交际的真实情况。另外，对具体的多模态话语互动意义构建进行解读，能全方位、深层次地揭示影响该话语实现互动交际的各种因素。

其次，多模态话语分析侧重于研究各种符号模态是如何表达意义的。[10]8与单纯的多模态话语分析不同，对多种符号模态间互动意义的探究能更深一步剖析符际互补关系是如何实现以及意义共建是如何发挥其作用的。多种模态资源相结合在互动构建时存在符际互补关系，其所实现的意义要大于单个模态所表达意义的简单叠加之和。

最后，通过对互动过程中多种模态结构配置的分析与解读，理清了互动活动中模态所参与的数量、不同模态对互动意义构建的影响以及各个模态之间的关系等问题，进而能够揭示出不同模态完成交际互动构建的使用规律。

二、研究过程与结果

(一)文献选取

研究选取CNKI期刊全文数据库，检索时间为2020年9月14日，发表时间设置为2010年1月1日至2019年12月31日，分步骤展开数据搜索与筛选工作。首先，以“多模态”“多模态话语”“多模态语篇”以及“互动”和“互动意义”为主题和篇名，以外国语言文字和中国语言文字为学科基准，对该数据库中的中文学术期刊进行交叉检索，共得到47篇关于此话题研究的文章。根据内容对这47篇文章进行有序分类，剔除与新闻学和电影学相关文献，最终确定40篇为有效文章。

(二)研究趋势

2010—2019年国内关于多模态话语互动意义研究的发文统计结果见图1。

由图1可以看出，2010—2019年国内关于多模态话语互动意义的研究趋势呈不规则的“N”字型。根据发文量统计的数据，可将这10年对多模态话语互动意义的研究分为三个阶段。

第一，增长期(2010—2013年)。这4年间，其发文量逐年攀升，与语言学领域相关的发文量多达12篇。这一时期，多模态话语分析理论成为新的研究热点，也成为学者们展开研究的理论依据。因而，这一阶段语言学界对多模态话语互动意义的解读与多模态话语分析理论的蓬勃发展息息相关。

第二，高潮期(2014—2016年)。2014年的发文量较2013年相比，数量稍有下降。但值得注意的是，自2014年开始，发文量又不断增多，且在2016年出现发文量的高峰期。这一阶段，中国知网载文量为8篇，占比为20%，是这10年间发表相关论文数量最多的时期。这一阶段研究达到近年来峰值的其中一个重要原因为多模态公益广告话语的大量涌现，使该类型话语成为学者们对多模态话语互动意义探究的一个新型研究对象，如中央电视台多个频道所播的一则以呼吁人们关爱父母的公益广告[11]。

第三，反弹期(2017—2019年)。自2016年发文量达到最高峰值后，2017年的发文量急剧下降，出现大幅度跌落。2017年以后，其发文量又呈逐年上升趋势。这一阶段，研究范围不断扩展，研究对象层次性更加明显，由以往大多仅限于对公益广告和城市旅游宣传片的多模态互动意义解读延伸到对儿童绘本、公益海报、多模态教科书以及请求话语行为等为研究对象的多模态话语互动意义构建的探讨。

从图1可以看出，国内这10年来关于多模态话语互动意义的研究论文数量整体波动较大。尽管发文量呈上升趋势，但大多数文章多来源于普通期刊，核心期刊上的发文数寥寥无几。

图1 2010—2019年国内多模态话语互动意义研究发文量统计

(三)发文作者来源、研究文本类型

从发文作者的来源上看，总体来说，国内这10年研究多模态语篇互动意义的学者们大多为各大高校的教师及在读硕士研究生。其中，高校外语系讲师占比最高，英语专业在读硕士研究生次之，所占比率分别为40%和35%。另外，发文作者来源还包括2名助教、1名教授和1名在读博士研究生。

就研究的多模态文本类型来看，通过对多模态话语互动意义研究的历年发文统计分析发现，国内这10年关于多模态话语互动意义的研究文本类型大多为广告语篇，各种广告语篇都有所涉及，共发表相关文章18篇，其中包括房地产广告、电视公益广告、化妆品广告、禁烟广告、平面公益广告、美国征兵广告和境外旅游广告。还有4篇文章以城市旅游宣传片为案例，对宣传片中多种模态资源的互动意义进行了系统分析和深入解读。此外，还有一些文章将海报、会徽/徽标、平面媒体文本信息以及其他多模态语篇文本作为研究对象，具体研究多模态话语的文本类型见表1。

表1 多模态话语文本类型统计结果

(四)研究方法

从研究方法上来看，国内针对多模态话语互动意义解读的研究方法主要以案例探究为主(发文数36篇，占比90%)。通过对某种语篇采取个案研究，解读不同符号资源所表达的意义，能让受众更加全面深入地了解语篇的意义创生功能，对提高其宣传效果具有一定的促进意义。

总体来看，国内研究多模态语篇互动意义的学者们多半采用质性研究去解读多模态语篇，而对于定量研究方法，如调查法和实验法的运用较少。这也说明，该领域学者更加注重语篇整体意义的探究，力争做到全方位意义解读。但应注意的是，今后的研究者也可从数据收集和统计分析角度进行量化研究，以追求研究的科学化，从而避免对多模态语篇的主观性解读。

(五)主要研究内容

在对这40篇文章进行三个时期的对比分析后发现，增长期学者们的关注点主要聚焦于对多模态语篇中图文互动意义的建构以及符际间互动的探究。高潮期学者们则将研究焦点集中于以某个多模态语篇为案例进行探讨，去分析该语篇中模态的配置及互动意义的构建。反弹期的研究则在以往研究的基础上，扩充了新媒体时代下互动意义研究的新型研究对象与研究范围。

根据研究内容的不同，笔者将这10年关于多模态话语互动意义的研究成就梳理为四大类,即案例分析类、符际间互动探究类、多模态隐喻性语篇互动意义解析类、人际互动意义构建类。

1.案例分析类

国内语言学界大多学者以个案研究为主，对多模态语篇的互动意义进行案例分析，取得了一系列相应成果。严博和张发祥以一篇BBC新闻网页为例，对多模态网页语篇互动意义的构建进行了解读和分析。[12]陈聪和赵颖以浦东机场网站图像库为例，对多模态宣传语篇互动意义进行了解析。[13]这两篇文章也从侧面揭示了视觉语法理论对分析多模态语篇的可操作性及阐释力。之后，张春燕和陈思一叶以IOS版《朗文当代高级英语词典(第5版)+》为例，对多模态电子词典的互动意义进行了解读，较之于传统纸质版词典，多模态电子词典整合了多种模态资源，调动了多种模态感官，优化了词典编纂者、参与者和学习者之间的对话和互动，多方位地体现了多模态接触互动和情感意义的构建。[14]

张小雁、刘丹妮、孙占丽、王道友等分别以一则公益广告为例，对多模态语篇的互动意义进行了分析。以上学者分别选取了央视关爱老年人公益广告《打包篇》[15]、来自Greenpeace网站的一则倡导保护濒危动物苏门答腊虎的公益广告[16]、来自TIME杂志的一张表达1/5的孩子还在面临着饥饿主题的广告图片[17]和公益广告《老爸的谎言，你听得出来吗？》[11]作为研究对象，从接触、社会距离、态度和情态四方面探讨了视觉—语言模式是如何相互合作共同构建动态多模态语篇框架下的互动意义的。这些文章不仅指出了对传统语篇分析阐释力的质疑，同时也验证了系统功能语法对多模态语篇分析的优势及可行性。

陈俊、廖玉慧、陈子娟、万超群分别以淮安旅游宣传片之《一座漂浮在水上的城市——运河之都淮安》[18]、国家形象宣传片《不同方式游中国》(广告片)[19]、江苏城市旅游宣传片 《美好江苏》[20]和水乡嘉兴旅游《舞彩嘉兴》[21]为研究语料，对宣传片中多模态意义间的互动进行了剖析，探讨了旅游宣传片是如何通过多种符号、多种模态感官互动以共同构建语篇意义的。

徐静以2014年索契冬季奥运会会徽为例，对奥运会会徽互动意义进行多模态话语分析。[22]宋健楠以我国三大国际赛会徽标为基点，对汉字徽标多模态隐喻互动意义进行解析。[23]李冬艳和孟庆玲以摘取美国多个奖项的电影《朗读者》的海报为语料，探析了图像、文字和色彩等多种符号模态之间是如何协同一致，以产生合力成功实现与海报观看者之间互动意义建构的。[24]

此外，不同学者也对境外旅游广告、世界名画《美国哥特式》、VLOG、儿童绘本等不同种类的多模态文本进行了互动意义构建研究。[25-28]

2.符际间互动探究类

这10年间，国内学者也对多模态语篇符际间的互动关系进行了不同程度的分析。伍彩芬、吕晶和尹嘉都以WWF公益广告为基点，从视觉符号和言语符号两方面探索了图像和文字作为社会符号是如何与读者互动的，研究结果也显示出多种模态在互动意义上存在符际互补关系，多种模态整合的意义要远大于单个模态所叠加的意义之和。[29-30]此外，尚喜梅以2012年伦敦奥运会会徽语篇为语料，阐明了在语篇意义建构过程中，符际间的互动和协商不仅能建构语篇意义，还能进一步深挖出隐藏在语篇背后的意识形态。[31]

3.多模态隐喻性语篇互动意义解析类

多模态隐喻是认知语言学与多模态话语的有机结合，Forceville是该研究领域的主要领军人物[32]。多模态隐喻的研究焦点集中于隐喻意义构建过程中不同模态间的协同互补及互动关系。

赵秀凤和苏会艳以一则多模态广告语篇出发，基于转喻和隐喻互动下的整合，探讨了隐喻性广告语篇意义的认知构建。[33]宋健楠通过隐喻微观构建视角与宏观互动话语的有机结合，解析了汉字徽标多模态隐喻的互动话语意义。[23]

增长期和高潮期的学者对多模态隐喻互动意义的探究主要是因为这一时期恰好为国内多模态隐喻研究的起步阶段，与之相关的发文量较少是因为国内外对多模态隐喻研究的探讨尚不成熟，还未自成一套相对完整的理论体系。[32]

4.人际互动意义构建类

国内有些学者在分析多模态语篇时，将系统功能语法理论下的人际功能与视觉语法理论视角下的人际意义相结合[34]，分析多模态语篇中图像、文本及其他符号资源是如何实现互动，进而构建意义的。有的学者运用系统功能语法分析文字模态的人际意义，而采用视觉语法理论探讨图像符号的互动意义。[35]

孙凤娟和夏晓琳都以系统功能语法和视觉语法为视角，分别对三大不同类别的多模态汽车警示语，以及从2010—2012年间搜集到的80幅世界环境日中国主题宣传海报的人际、互动功能进行了剖析，旨在探究图像和文字模态是如何共同构建语篇意义以实现与读者之间的互动交际的。[34-35]这两篇文章都进一步验证了多模态话语分析理论对带有图像和文字的多模态语篇分析操作的可行性。另外，不同于以上学者的研究方法，葛璐群采用量化和描述的分析方法，对英国杂志GoodHousekeeping的15篇化妆品广告中的文本和图像如何实现人际意义和互动意义的构建进行了解读[36]。

三、思考与展望

(一)研究总述

通过统计分析综观这10年(2010—2019年)该领域的研究可以发现，国内对于多模态互动意义构建的研究整体上已经取得了一系列的研究成果，其研究主题大体上可归类为案例分析、符际间互动探究、多模态隐喻性语篇解读以及人际互动意义构建探究四大类。但总体而言，现有研究仍有一些问题值得深入思考。

第一，研究方法以单一文本分析为主。当前研究对案例分析处于一边倒的局面，且所选取样本量不足，缺乏理论的实质性探讨以及分析阐释的普适性。同时，在理论建设上，依然以“拿来主义”为主，未能真正构建出一套契合某一特殊多模态话语研究的理论框架。

第二，研究辐射范围较窄。首先，现有研究多集中于静态书面语篇及部分动态多模态话语的探讨，如对广告类语篇和城市旅游宣传片的研究占整体研究的半数以上。研究“扎堆”痕迹明显，多为以往研究的重复性解读。然而，对新媒体时代下涌现出来的多种新型多模态文本未能给予充分关注度。其次，当前研究多局限于对某种单一话语或语篇的解读，而未能做到将同质性话语进行对比探讨，进而分析与总结该类模态话语在互动意义构建时的规律性和差异性所在。

第三，研究整体层次不高。首先，这10年对多模态互动意义构建的研究主要集中在对动静态多模态话语的泛泛式经验分析上，而未能真正剖析出话语意义建构过程中，符际间存在怎样的关系以及各种符号资源之间是如何共同实现人际互动的。其次，现有研究多局限于从互动意义的四个要素(接触、社会距离、态度/视角和情态)对所选取的多模态话语进行逐一式解读，而未能深挖出隐含在话语背后的意识形态。因而，现有研究仍不够深入，整体研究层次有待提高。

第四，研究以主观性解释为主，缺乏客观阐释力。现有研究多以某个或某类多模态语篇为研究对象，对该类型语篇进行质性分析，且多为个人主观化的经验解释，缺乏真正调查之后客观数据的证实与支撑。人类互动交际是动态性的，同样对多模态话语的互动解读也应深入实践，进行调查，不能只坐而论道，还得起而行之。主观能动性解读与客观性数据支撑互补存在，主客观分析共同发力才能将模态话语中各个模态资源的配置及其互动意义构建规律深入剖析开来。

(二)研究展望

综观以上对这10年相关文献的梳理与综述，笔者对多模态话语互动意义构建的未来研究提出以下四点展望，希望给相关领域研究一些的启示。

1.改进研究方法

针对国内现有研究在方法上的不足，未来研究可从以下两方面加以改进，以使研究方法多样化和科学化。

第一，采用定性分析和定量研究相结合的方法，打破以往仅局限于以案例分析为主的纯文本性研究。实证个案研究所得出的结论，需要靠客观的数据来验证其有效性与真实性。未来在从事相关话题的研究时，可选取样本数量大于或等于30的文本或语篇来进行量化研究。通过对所选取的数据进行统计学意义上的数据分析，以证实研究结果的可靠性。

第二，加强对国内外或东西方同质性多模态文本对比分析的研究力度。从国内现有研究上来看，当前研究大多仅停留在对文本纯文字性解读的探讨上，未能真正做到与国外从事相关话题研究的对比分析。因此，未来研究可从对比分析的角度对东西方两种不同文化背景下的多模态文本进行比较性探讨，之后找出两种不同背景下的多模态文本类型设计的优势与不足所在，从而为国内未来对多模态语篇文本的解读及设计提供新的启示。

2.扩充研究范围

国内研究主要集中于广告语篇、旅游宣传片、电影海报、会徽/徽标以及平面文本信息等方面，而对其他类型的多模态语篇文本关注度不够。具体来说，当前新媒体时代下的新型多模态文本也可作为未来从事相关研究的选题，如慕课或微课话语、电子图书或教科书、微信版式话语、多模态公共卫生教育话语、带有故事情节的游戏等。互联网时代，多种新型的多模态文本类型相继出现的同时，与此相关的研究也应大踏步紧跟时代发展，把握当下新兴多模态生活类语篇的脉搏，扩充新型多模态文本类型的研究范围。

3.提高研究层次

从发文期刊来源来看，与该话题相关的研究多来自非核心期刊。研究结构存在集中化倾向，且论文质量不高，同质化现象严重，缺乏理论与研究对象的创新，亟须加强。高层次水平文章的缺乏也验证了选取研究文本时的盲目跟风、人云亦云，历年选题多为往年研究的重复循环，从而导致论文质量一再下滑，研究层次不高。未来研究的论文数据选取要坚持理论与实践相结合原则，应尽可能向当下背景涌现的新型文本靠拢，重在与国际研究接轨，高站位、宽视野、全方位分析问题，以创作研究层次较高、研究视角较新颖、研究方法客观、研究意义明确以及研究层次更高的优质文章。

4.加强跨学科性研究

现有研究整体上局限于单一视角的多模态话语分析，而与认知语言学、计算机语言学的跨学科交叉研究明显不够。当前对多模态文本互动意义的研究应突破单一学科研究的模式，加强与认知心理学、计算机科学以及传播学等多学科交叉的综合性研究。未来在多模态文本分析的研究中，可从多学科交叉视角有意识地探寻多模态文本互动意义的构建，深挖跨学科视域下同一多模态文本不同研究视角的互动意义构建研究。

四、结语

本文对2010—2019年国内关于多模态话语互动意义的建构进行了回顾与梳理。国内相关领域学者的研究热情愈来愈高，也取得了一系列研究成果。根据研究趋势可将其划分为三个阶段，即增长期、高潮期和反弹期。研究内容大体上可归类为案例分析、符际间互动探究、多模态隐喻性语篇解读以及人际互动意义构建探讨四大类。在分析与总结的基础上对未来研究进行展望，希望为未来展开相关领域研究的学者提供一些新的启示。本文的局限之处在于所采用的文献均是学术期刊，未来在进行相关方面的研究时可将硕博学位论文、论文集、著作等也作为研究对象。