国内多模态研究热点与趋势(2010—2020)——基于CiteSpace的可视化分析

刘玉梅 王晓峰

(1.四川外国语大学 教务处，重庆 400031；2.四川外国语大学 英语学院，重庆 400031)

0 引言

索绪尔的结构主义语言学仅关注符号学意义上的一种模态，即语言，并通过剥离与其相关的文字、语音、政治、社会、文化、地理、历史、人等因素，将语言学研究的对象归结为语言结构。但事实上，人们在日常交际活动中常会协同使用语言、音律、图像、身体姿势、气味、颜色、环境等多模态符号，构成多模态事件，以此来表情达意，完成交际和社会行为。过去30多年来，国内外学界从社会符号学、系统功能语法、认知语言学、会话分析、中介语篇分析、语料库研究及互动语言学等不同视角对构成多模态事件的语言和非语言模态资源开展研究，汇聚成了既有共识性假设，又各有侧重的新兴跨学科研究领域(O’Toole, 1994; Kress et al., 1996;李战子,2003;胡壮麟, 2007;冯德正, 2011;刘玉梅 等, 2020)。Bateman等 (2017)甚至提出，包括语言学在内的交际研究出现了多模态转向。

国内公认最早发表有关多模态研究文章的当属李战子(2003)。此后近20年，国内发表的多模态文章所涉足的领域与方向愈发广泛，尤其是近十多年的研究成果颇丰。但国内针对近十年多模态研究的综述性文章较少，且主要集中于外语类核心期刊的多模态话语或语篇研究、多模态隐喻等相关文献。鉴于此，本文以中国知网、万方数据知识服务和维普资讯中文期刊服务平台中的核心期刊以及《人大复印报刊资料》为数据基础，采用CiteSpace (5.7.R2)文献计量软件，以“多模态”为关键词，筛选出2010—2020年期间公开发表在这些期刊平台上的多模态研究文章进行详细分析，以把握该领域研究的基本现状、热点领域和发展趋势，以期对今后相关领域的研究提供参考。

1 多模态研究的缘起与发展

多模态研究发轫于O’Toole(1994)对艺术品的分析，他借鉴了Halliday的三大元功能概念，通过对绘画、雕像与建筑中视觉语法的探究，提出人类对其进行观察时可同时获得再现、模态和构成三种意义。20世纪90年代国外学者将多模态与话语分析相结合产生了多模态话语分析理论，代表作当属Kress与van Leeuwen(1996)的《阅读图像——视觉设计语法》(ReadingImages:TheGrammarofVisualDesign)。不同学者对多模态研究径路的认识不同，如Jewitt(2009)认为多模态研究主要有社会符号学、话语分析和互动分析三种路径；Li与Ono(2019)则将研究径路归结为多模态会话分析、多模态交际、多模态语法及多模态互动等四种。不过，国内外学者都公认，多模态这一术语是由社会符号学派首次提出。作为符号学的一个支流，该学派吸取了系统功能语言学部分理论，认同Halliday(1978)的 “语言即是一种符号系统”的思想。

从生物学角度讲，人类主要通过眼、耳、鼻、舌、身等五大感官获取外界知识，因而在交际中自然会获得语言、音律、图像、身体姿势、气味、颜色、环境等多种模态传递的信息和意义。媒体的快速发展更是带来了多样化的交际方式。国内学者也察觉到多模态研究迫在眉睫。李战子(2003)、胡壮麟(2007)、张德禄(2009a/2009b)等逐渐从引介国外理论到探索本土多模态研究。由于多模态理论不仅要求研究者有较强的语言学理论积淀，还要对非语言符号的研究方法有所了解，因此早期的多模态研究整体发文量较少。2010年以来，国内多模态研究无论是研究对象还是所涉及领域都逐渐丰富和多样化，例如潘艳艳、李战子(2017)在综合国内外研究现状的基础上总结出了多模态研究的九种研究径路。鉴于此，本文将研究重心放至2010—2020年公开发表在国内优质数据资源平台上的高质量文章，以探索国内多模态研究的基本现状、热点领域和发展趋势。

2 研究设计

2.1 研究问题

本研究试回答如下问题：

(1)2010—2020年间国内多模态研究的基本现状如何？

(2)2010—2020年间国内多模态研究的热点领域有哪些？

(3)国内今后多模态研究的发展趋势是什么？

2.2 数据来源

为形成涵盖较为全面的数据源，本研究以中国知网、万方数据知识服务和维普资讯中文期刊服务平台中的核心期刊(CSSCI与北大核心期刊)以及《人大复印报刊资料》为数据基础，运用CiteSpace (5.7.R2)分析软件等工具对2010—2020年多模态研究文章进行筛选和归并关键词同类项，然后详细分析。我们首先在中国知网上以“多模态”为篇名检索文献，共检索出23390篇论文。接着以篇名“多模态”、出版年“2010—2020年”、文献类型“期刊”、来源类别“核心期刊、CSSCI”为条件对上述检索结果进一步筛选，初步筛选出1271篇论文。随后，将筛选结果中篇名中含“多模态”一词，但与语言学研究无关的文章剔除，最终获得中国知网收录的语言学领域内多模态研究相关文章495篇。接着，我们以相同的检索方法在万方数据知识服务、维普资讯中文期刊服务平台以及《人大复印报刊资料》数据库中获取语言学领域内多模态研究相关文章共633篇(已去重)。至此，共获得目标文献1128篇(含重复)。最后，将去除重复文章后共获得的687篇论文作为数据源。

2.3 研究方法

CiteSpace是一种信息可视化软件，现为学界广泛使用。它主要基于共引分析等理论，对某一学科的文献进行计量分析，并通过一系列可视化图谱来分析特定研究领域发展潜势及发展前沿(陈悦 等,2015)。我们在确定数据源后，批量下载了这687篇论文的题录信息，并将这些信息导入到CiteSpace之中以获得年度刊文、高产期刊、高产作者与机构、高频关键词、关键词聚类图谱等信息用于分析。

3 文献基本概况

3.1 年度刊文量分布

年刊文总量的变化能大致反映研究趋势，因此，我们对数据源中不同年份发表的文章数量进行了统计，并以图1呈现统计结果。该图表明，2010—2020年总体发文数量在快速上升后呈现趋稳态势。具体来说，2020年发文量较2010年有明显增加，其中2010年至2013年期间发文量呈快速攀升趋势，2013年发文量约为2010年的3倍，多达85篇，成为近11年来年度发文量的一个顶峰。自2014年起，发文量呈现下降后小幅波动、总体稳定的态势。从近六年的多模态研究论文刊登情况来看，除2015年发文量偏低外(仅56篇)，每年发文量基本维持在70篇左右，处于平稳状态。

图1 2010—2020年国内多模态研究论文刊登情况

根据康佳萍等(2020)对1999—2018年国外多模态研究热点与趋势的研究，国外1999年以来的多模态研究整体呈上升趋势，先后经历了“低速发展期”(1999—2007年)、“迅猛发展期”(2008—2012年)、“轻微回落期”(2013—2015年)和“稳定繁荣期”(2016—2018年)。通过数据对比可见，国内多模态研究发展态势受到国外研究态势的影响：国外呈现迅猛发展时，2010—2013年国内相关发文量也不断攀升，而接下来两年国内研究出现逐渐下滑的趋势，与国外研究的轻微回落的趋势一致； 2016年之后，国内研究与国外同步进入了稳定期，但似乎还说不上进入了繁荣期。

3.2 高产期刊分布

为观察各个刊物的刊载量，我们对数据源期刊进行统计并将发文量排名前10位的刊物用图2表示。

图2 2010—2020年前十位高产期刊发文信息

图2表明，2010—2020年期间，国内刊载多模态研究成果排名前十的期刊依次为《外语电化教学》《电影文学》《外语教学》《外国语文》《外语学刊》《外语研究》《西安外国语大学学报》《中国外语》《教学与管理》和《现代教育技术》等，主要集中在外语类核心刊物上。这十个期刊共发文238篇，占总数的34.8%。其余文献散布于以语言学类研究为主的刊物上，如《外国语》《现代外语》《外语界》《外语与外语教学》《解放军外国语学院学报》《山东外语教学》《汉语学习》《当代修辞学》等。一些大学学报哲学社会科学版也刊登此类文章，如《福建师范大学学报》《西南民族大学学报》等。翻译学、传播学等研究领域的期刊也零星发表相关文章，如《上海翻译》《编辑之友》《当代传播》等。

3.3 主要发文作者及研究机构

我们继续运用CiteSpace对主要发文作者及研究机构进行分析，结果如图3所示。11年间发文量最多的学者为张德禄，共发表相关文章25篇，接着是冯德正、赵秀凤、陈风华、潘艳艳、刘剑等学者。国内多模态研究的主要机构为同济大学、中国石油大学、香港理工大学等高校。其中，同济大学的研究团队由张德禄和黄立鹤等组成，中国石油大学的研究团队由赵秀凤带头，香港理工大学研究团队有冯德正和陈风华等。

图3 2010—2020年国内多模态研究主要发文作者及研究机构

4 研究热点与趋势

4.1 高频关键词和关键词共现

为了解11年间国内多模态研究的热点和趋势，我们对数据源中关键词进行考察，通过合并含义重复项(如将“多模态话语”“多模态话语分析”“话语分析”合并为“话语”)筛选出数据源中排名前20的关键词，结果如图4所示。接着，通过进一步文献考察，发现“写作”和“自主学习”实际上讨论的是与教学相关的问题，而“图文关系”讨论的是意义建构相关问题，因此，我们通过合并近似项，将其分别归并入“教学”和“意义”。据此，国内多模态研究的热点主要集中在“话语”“隐喻”“教学”“语篇”“意义”，频次分别为100、89、84、47、44；“视觉语法”和“语料库”研究的频次紧随其后，其余不足15，包括“转喻”“字幕翻译”“多媒体”“电影海报”“多元识读能力”“图像”“中国形象”“政治漫画”等。“视觉语法”“系统功能语言学”“社会符号学”分别体现了多模态研究的理论背景和框架。

图4 2010—2020年国内多模态研究关键词词频统计

我们通过剔除论文关键词中诸如“模态”“多模态”“话语”等不能说明热点领域的广义词汇及含义重复项，获得CiteSpace关键词共现可视化网络图(图5)，以进一步说明当前研究热点和趋势。陈悦等(2015)指出，聚类模块性指数 Q 值和聚类轮廓性指数 S 值可用作评价图谱绘制效果的依据，Q 值应当在0.3以上，S 值需大于0.5。如图5所示，Modularity Q = 0.731, Silhouette S = 0.948 8，可见我们所得到的关键词聚类图谱具有一定的合理性。图中节点大小和颜色深浅表示关键词显著性的高低。节点越大，颜色越深，显著性越高，越能凸显多模态研究的热点领域和话题。

图5 2010—2020年国内多模态研究关键词聚类图谱

根据图5所示，在排除计量数据中的含义重复项后，2010—2020年间国内多模态研究的热点主要集中在多模态话语或语篇、多模态隐喻、教学、写作、意义建构、图文关系、视觉语法、社会符号学、语料库建设等方面。图4和图5相互映射，呈现出11年间多模态研究的热点，也表明多模态研究虽主要以视觉语法、社会符号学、系统功能语言学为理论背景，但也逐渐引入认知语言学、语用学、诗学、叙事学、文体学等其他语言学理论以丰富多模态研究。图5也表明，11年来国内多模态研究应用领域越来越广泛，除了话语或语篇分析、教学研究、意义建构等热点话题外，多模态隐喻成为近几年关注的焦点。此外，人们还将多模态研究融入其他学科研究之中，应用于文学、叙事、诗学、修辞、翻译、语料库、影视节目、戏剧表演、广告、音乐、政治等领域，呈现出跨学科交叉融合的态势。

4.2 研究趋势分析

4.2.1 多模态话语或语篇

出于不同学派对“text”和“discourse”的界定不同，国外学者尚未采用统一说法，国内对这两个词语的翻译也未做明确区分，常将“话语”与“语篇”混用。因而我们也权宜将主题为多模态话语分析和多模态语篇分析的研究合并讨论。

如前所述，Kress与van Leeuwen(1996)以社会符号学为理论框架开创了多模态话语分析路径，从表现意义、互动意义和组篇意义三个维度考察了图像、颜色、线条、声音等视觉符号的语义关系和交际功能。国内早期一些研究(如李战子, 2003;朱永生, 2007;胡壮麟, 2007)主要以引介和评述为主，探讨多模态话语的产生、定义及分析方法。近年来，国内学者逐渐尝试在国外原有理论基础上建立适用于各类语篇的分析框架，如张德禄(2009a/2018)先后尝试构建一个将系统和功能综合为一体的多模态话语分析模式，引起国内学者关注。近年来，也有学者尝试将多模态话语分析理论与新兴语言学理论结合，形成了创新性研究成果，如田海龙等(2018)提出了多模态批评话语分析框架，侧重研究交际者如何利用多模态实现交际意图和社会活动；黄立鹤(2019)将言语行为理论融入多模态研究，分析交际者情感态度对言语交际和语义推理的影响；徐燕等(2020)结合语域类型理论提出了新媒体商务话语分析框架。

近年来我国多模态话语研究不仅理论成果颇丰，在实际应用方面也尤为广泛，所涉学科越来越全面，如符号学、哲学、心理学、翻译学、教育学、新闻学、传播学、戏剧与影视学、政治学、法学、美学、诗学等。可见，学科并非静止不变，相关学科相互补充、相互依赖，形成共同的话语体系、方法和目标，甚至有可能生成超学科向量推动新学科的产生和发展(刘玉梅, 2018)。多模态话语研究不仅具有学科多元融合的特点，其研究对象也日趋丰富多样。在这11年间国内不少学者对电影、影视剧、戏剧、小品、新闻、天气预报、广告、海报、封面、海报、杂志、logo(徽章)、绘本、课堂话语、司法话语及小说等素材中的多模态静态与动态语篇陆续展开了研究。他们从形式层面的模态间关系入手，运用互补理论探讨具体语篇中的文字、声音、图像等多模态手段和符号资源，试图说明多模态之间是如何协同运作以实现语篇整体意义，如赵秀凤(2013/2020)、王天翼等(2015)、余忆萍等(2016)、许幸等(2018)、周思邑(2020)等。但与国外这些交叉领域的多模态研究相比，国内在这些领域的研究还不成体系，尚未形成汇聚性成果。

4.2.2 多模态隐喻

Forceville(1996)基于Lakoff 和Johnson(1980)的概念隐喻理论，首次对广告中的图像隐喻进行了分析，指出多模态隐喻是一种始源域和目标域分别由不同模态呈现而形成的隐喻，由此拓宽了隐喻研究的范畴。2009年他与Urios-Aparisi合著的《多模态隐喻》推动了该领域的发展，也引发了国内对多模态隐喻的关注。我们对这11年的多模态隐喻相关文章中的关键词词频进行分析后发现，采用该研究路径的学者倾向于以电影、广告、政治漫画等为语料进行研究(如王天翼 等,2015;王扬 等,2015;潘艳艳,2020)。但国内有关多模态隐喻的研究主要以应用研究为主，还有待进一步挖掘认知语言学丰富的理论资源和多元的研究方法，以深化多模态隐喻的理论研究，优化研究方法。

4.2.3 多模态教学、写作

伴随着媒体及信息技术的快速发展、多模态话语研究成果的增加、多元读写能力的引介以及外语教学的改革，国内多模态教学应用研究自2007年逐渐发展起来。胡壮麟(2007)、张德禄(2009b)是较早探讨多模态外语教学实践的学者。他们从宏观上探索多模态外语教学，对该领域内的研究具有一定指导性意义。在理论引进与探索的基础上，学者们纷纷从微观上对多模态教学开展研究。从面向层次看，覆盖了基础教育及高等教育的教学活动(刘明 等,2011;戴慧敏,2020)；从教学环节看，涵盖了听、说、读、写、译等多项语言技能(黄伟,2016;许幸 等,2018;李晶晶,2019)；从研究对象看，涉及PPT、课堂话语、教学模式、教材编写、金课设计等教学内容(张征,2013;刘凤贤,2019;王珊,2020)。其中，“写作”是多模态研究高频出现的关键词。不少学者关注写作过程的多模态特征并提出教学设计建议。如梁晓晖(2015)认为，作者在构思的过程中，脑中浮现的并不仅是书面文字，同时被唤起的还有以音响符号、韵律、动作和图像等方式承载的百科知识，这就决定了写作过程的多模态性。许幸等(2018)构建了具有多模态属性的写前项目来刺激学生的写前动机，进而促进整体写作水平的提高。但多模态教学领域还有待深入开展实证研究，探索将心理实验法、脑神经实验法等量化分析方法应用到多模态教学实验中，发挥量化分析在多模态研究中的积极作用。

4.2.4 视觉语法、图文关系、意义

O’Toole(1994)同Kress和van Leeuwen(1996)首次提出视觉语法这一概念，并将韩礼德的三大元功能思想延伸到图像符号分析理论中。对应于语言的概念、人际、语篇功能，图像和声音等符号系统也有一套符合自身模态的语法，以体现再现、互动和构图意义。十余年来，我国学界多名学者在视觉语法适用性问题上进行了较为深入的研究，形成了较为丰富的研究成果。如余忆萍等(2016)将视觉语法与多模态隐喻相结合解读了可乐广告的多模态动态意义构建；陈风华(2019)以视觉设计语法、图像认知框架和图文符际模型为理论背景，考察了金庸小说中插画图文的再现意义、互动意义、构图意义及图文关系。但是国内绝大多数研究都是以Kress和van Leeuwen的视觉语法为理论基础来分析具体语料，从再现意义、互动意义和构图意义三个维度考察多模态意义实现和语法构成，理论上还没有新的突破。虽然有个别学者在Barthes(1977)图文关系理论的基础上引入评价理论，提出了多模态语篇分析的态度意义建构理论框架(冯正德 等,2014)或多模态评价语义分析框架(石春煦 等,2015)，但都还未形成一定的影响力。此外，有关图文关系背后的认知动因和文化因素还有待进一步挖掘。

4.2.5 多模态语料库

多模态语料库是指由音频、视频和文字等多种信息集成的、研究者可通过多模态方式加工、检索和统计建立相关研究的语料库，可谓“语料库4.0”(黄立鹤, 2015)。近年来，国内语料库建设尚处于起步阶段，但也有学者(顾曰国,2013;黄立鹤,2015)开始探讨多模态语料的采集、转写、切分、标注与建库等问题，还有一些学者尝试并建立了小型多模态语料库，如大学英语口语、口译多模态语料库和汉语儿童多模态口语语料库等。除对语料库建设的初步探索外，也有学者尝试开展多模态语料库的实证研究，如王正等(2016)、张培佳等(2018)、刘剑等(2020)、周思邑(2020)等。但总体而言，国内多模态语料库研究尚处于起步阶段。

4.3 近三年发展趋势

为进一步考察国内今后多模态研究的发展趋势，我们对数据源中近三年的关键词分别进行了统计，经过近似项合并选取排名靠前的“教学”“话语”“隐喻”“语料库”“语篇”等五个关键词进行对比，并按类别表示为图6。

图6 2018—2020年语言学领域多模态研究关键词词频统计

前文通过对2010—2020年间高频关键词和关键词共现的讨论表明，国内多模态研究聚焦在“话语”“隐喻”“教学”“语篇”“意义”等方面。图6中近三年高频出现的关键词恰巧又与这11年间多模态研究路径及其应用研究相吻合，由此可根据最近三年关键词来判断未来研究走势。首先，从论文总体刊登数量来看，多模态研究年发文量比较平稳，变化幅度不大，分别为65、69、65篇(参见图1)。接着，从图6中列出的关键词词频来看，多模态隐喻研究呈现逐年上升趋势，多模态话语研究变化趋于平稳，其余研究在下降后有所回升，多模态语料库研究还有待拓展和开发。最后，从研究路径的占比来看，近三年多模态在教学中的应用研究总量位居榜首，之后分别是多模态话语分析、多模态隐喻、多模态语料库、多模态语篇。除上述热门研究路径外，近两年多模态互动分析也在国内出现(李晓婷,2019;刘玉梅 等, 2020)。Li与Ono合著了论文集《汉语互动中的多模态》(MultimodalityinChineseInteraction)，探索汉语互动中的多模态协作与组织方式。但国内学者采用这一路径开展的研究尚不多见，该领域发展前景广阔。

5 结语

从本文分析可见，2010—2020年间多模态研究的总体发文量从快速上升到逐渐平稳的态势，且这一态势基本与国外研究态势同频共振，国内外研究呈现一定的同步性。这说明，国内多模态研究受到国外相关研究的影响较大。国内研究出现了一些本土理论及其应用研究，但总体而言，理论创新尚不足，基本没有突破系统功能语言学、社会符号学、视觉语法等理论框架。自Forceville之后，María Jesús Pinar Sanz(2015)编著出版了《多模态与认知语言学》(MultimodalityandCognitiveLinguistics)，尝试提出以认知语言学为主导的多模态跨学科研究，但主要局限于概念隐喻理论、意象图式、融合空间理论等。未来可进一步挖掘认知语言学、甚至构式语法对多模态研究的价值。此外，多模态研究的热门主题主要集中在“话语”“隐喻”“教学”“语篇”“意义”“视觉语法”“语料库”等方面。11年间国内学者对这些话题的关注也并不均衡，大多还是集中在多模态话语或语篇分析、多模态隐喻研究。我们对近三年热点研究关键词的分析进一步表明，多模态隐喻研究呈现出逐年上升趋势，多模态话语研究趋于平稳。从研究路径上看，人们更关注多模态在教学中的应用研究，其次是多模态话语分析、多模态隐喻研究，也有少量语料库研究。虽然国内现已建成多种小型多模态语料库，但尚未形成体系，缺乏系统性。此外，微观层面的多模态研究，尤其是多模态互动研究尚处于起步阶段。总体上，国内多模态研究呈现出学科交叉的特点，应用范围更广泛，这与国际发展趋势基本吻合，但研究深度和系统性还有待提高。