基于Citespace的国内多模态话语研究计量学分析

罗 茜

(江西中医药大学 人文学院，江西 南昌 330004)

自20世纪50年代初美国结构主义语言学家哈里斯(Z.S Harris)提出“话语分析”这一术语，它便作为现代语言学的专业术语被广泛使用，国内外学者围绕语言符号系统的各个层面(如语法规律、篇章结构、衔接与连贯等)对话语开展相应的研究。但随着数字技术与多媒体的深入发展，屏幕(如电脑、电视、投影、手机)逐渐取代了书本的地位，传统习惯中处于副语言的图像、声音和动作等符号成为重要的知识载体，与语言符号一起共同参与意义构建。人们发现单纯从语言的角度已经无法对话语进行全面深入的分析和研究，20世纪90年代开始兴起多模态话语研究，即把语言、图像、颜色、声音等多种符号资源作为研究对象，分析它们在意义建构中的作用。国外多模态话语研究始于法国符号学家R.Barthes，他最早开始分析图像在意义建构上与语言的相互关系，并于1977年发表论文《图像的修辞》[1]，之后Kress& van Leeuwen于1996年联合出版论著Reading Images: The Grammar of Visual Design[2]183，他们以Halliday的功能语法理论为基础，首创多模态话语概念，研究图像、声音和颜色等在语篇中的作用，为多模态话语的研究建立了较为完善的分析框架。国内多模态话语的研究起步较晚，2003年李战子教授发表论文《多模式话语的社会符号学分析》[3]，开创了国内多模态话语分析理论研究的先河，但该话题并未引起国内学者的足够关注，2007年朱永生教授发表论文《多模态话语分析的理论基础和分析方法》[4]，为国内学者开展多模态话语的应用研究提供了路径和思路，之后，国内多模态语言的相关研究逐渐增多。

为掌握近年来国内多模态话语的研究现状、前沿热点及发展趋势，本研究采用Citespace软件对相关文献的发文作者、研究机构、关键词、文献引用等方面进行可视化分析，希望能为丰富和完善国内多模态话语研究提供参考，推动相关领域的深入探索。

一、数据来源与研究方法

英国著名文献学家B.C.Bradford提出的文献分散规律经验定律表明：大多数关键文献通常会集中发表在少数核心期刊上[5]。因此，本研究的数据来源于北大中文核心期刊上发表的关于“多模态话语”的文献，按照这一界定，结合本研究的研究目的，对符合研究需要的数据进行了查询(见表1)

表1 本研究数据纳入条件一览表

本研究运用上述检索方式，在CNKI数据库共检索到279篇文献，随后将数据进行手工筛选和清理，原则如下：1)清除公告，活动，书评等无效信息，如《本期话题：修辞问题研究之研究》，《韩里德/哈桑访谈解评》等；2)排除明显不属于本领域的文献，如《古典舞媒介系统构成探索》等，最后得到253篇有效文献，每条题录包括作者、机构、摘要、关键词等信息，将检索数据的全记录与引用的参考文献以refwork形式导出，命名为“download-多模态话语”，再将数据导入Citespace软件，利用软件提供的数据格式转化器转化成默认的格式，并通过软件计算，从年度发展趋势、核心作者群体、期刊分布及高频关键词等内容进行分析并绘制可视化知识图谱，得到目前多模态话语领域的研究现状、热点与前沿[6]。

二、研究结果与分析

(一)文献年度分布

衡量某个学术领域发展状况的重要指标之一就是学术论文的数量变化，通过对文献数量进行统计并绘制相应的增长曲线，对于评价该领域所处的阶段及预测未来的发展趋势具有重要意义[7]。如图1所示，自2007年朱永生教授为多模态话语研究提供研究路径和范式之后，2008～2013年间多模态话语的核心论文发文量成垂直上升趋势，2013年核心期刊发文量达到顶峰值32篇，说明国内学者对该领域关注度持续升温，学者运用多模态话语理论对电影海报、外语教材、教学模式、手机广告、影视字幕等多个领域开展研究，丰富了多模态话语的研究对象，这一时期可以称为多模态话语研究的快速发展阶段；2013年之后，多模态话语研究领域的论文数量呈现波浪式下降态势，2018年核心论文发文量降至16篇，19年与18年持平，出现“多元读写能力”“多模态隐喻”“图文关系”等比较新颖的切入角度，多模态话语研究更加多元和深入，这一时期可称为多模态话语研究的稳定发展阶段。

图1 2007-2019年国内多模态话语核心论文统计

(二)学术期刊分布

为了更清晰地了解多模态话语领域在我国中文核心期刊的发文情况，对各核心期刊的载文量做了整理、统计与分析，发现253篇论文分布在85种北大核心期刊中，其中载文量在5篇以上的有12种刊物，占总刊物数的14.1%；载文量在1～4篇的有73种刊物，占总刊物数的85.9%，由此可以看出，刊载多模态话语研究论文的期刊比较分散，这与多模态话语涉及多学科存在一定关联。

表2 2007～2019年刊载多模态话语论文数排名前十的刊物

表2汇总了刊载多模态话语研究论文数量排名前十的学术期刊，从载文量来看，《电影文学》载文量为23篇，排在第一，《外语教学》和《外语学刊》载文量均为19篇，并列第二。排名前十的学术刊物中，绝大多数属于外国语言学来源期刊，表明目前关于多模态话语的相关研究主要还集中在外语学科，但值得一提的是，排名第一和第十的刊物分别是《电影文学》和《电影评介》，通过关键词共现网络分析，发现这两个期刊侧重于从多模态视角解析电影海报、电影视频等的意义构建，表明多模态理论与叙事学、文艺理论、修辞学等结合成为多模态研究的发展方向。随着数字媒体技术的进一步发展，多模态理论对解析各种新媒体语篇的符号化过程提供了新颖的视角。

(三)科研机构分布

将题录数据导入Citespace软件，时间设置为2006～2019年，参数设置中选择Institutions、Links、Cosine，Selcetion Criteria中选择Top 20 per slice(表示提取了每个时间切片排名前20的数据生成网络)，选择网络路径简化采用寻径算法，最后得到N=46，E=14，Density=0.0135(图2)。每个节点代表一个机构，节点之间的连线代表机构之间的合作关系，图谱表明2007～2019年，共有46家科研单位围绕多模态话语发表论文，产生合作14次，快速聚类之后，Modularity=0.724 5，表明聚类有效性较高，Silhousette=0.200 1,由于聚类成员偏少，同质性较低。

图2 2007～2019多模态话语研究高产机构合作知识图谱

通过对253篇文献的发文机构进行统计分析，得出排名前五的分别是同济大学(23篇)，香港理工大学(11篇)，厦门大学(9篇)，中国石油大学(8篇)和西安外国语大学(7篇)，数据表明多模态话语领域发文量较高的研究机构均为高校，高校是多模态话语研究的主要阵地。另外，在排名前十的研究机构中，绝大部分的研究力量均来自外国语学院，表明国内多模态话语的研究人员学科分类比较单一，多模态研究的跨学科性还未得到充分的体现。

表3 多模态话语发文量排名前10位的机构

(四)核心作者分布

将题录数据导入Citespace，参数设置中选择Author、Links、Cosine，Selection criteria中选择Top 20 per slice(表示2007～2019年间发文量前20的作者)，生成多模态话语研究领域高产作者合作可视化图谱(图3)，其中N=40，表明文献为40位作者所著，E=14表明这些作者之间进行了14次合作，Density=0.0179表明作者之间合作密度不高，比较松散。

图3 2007～2019多模态话语研究高产作者合作知识图谱

通过对高产作者合作知识图谱的进一步分析，发现发文量排在前五位的分别是张德禄(24篇)，冯德正(12篇)，李战子(5篇)，潘艳艳(4篇)和赵秀凤(4篇)，且这些高产作者之间的合作比较紧密，其他作者则高度离散，呈现“一枝独秀，百家齐放”的状态。同济大学张德禄教授在多模态话语领域深耕多年，形成了比较稳定的研究团队，几乎每年都在核心期刊发表论文2～3篇，研究范围涵盖多模态外语教学、多模态教材、动态多模态语篇、多模态文体学、多元读写等诸多领域。香港理工大学冯德正教授作为后起之秀，在多模态隐喻及转喻的符号学框架领域建树颇多，以他为核心的研究团队在核心期刊的发文频率也比较高。

表4 多模态话语发文量排名前5位的作者

(五)研究热点和前沿分析

关键词是研究文献的核心切入点，关键词词频的变化可以反映出相关的研究热点，关键词共现形成的中介中心性则能揭示热点之间的转化关系[8]。将题录数据导入Citespace，参数设置中选择Keyword、Links、Cosine，时间切片设定为3年，网络路径选择Path finding，运行软件，生成多模态话语关键词热点聚类(图4)，Modularity=0.773，表明聚类效果比较明显。N=56，E=62，表明在253篇文献中抓取56个关键词，这些关键词之间共有62次关联，表明国内学者对多模态话语进行了多角度的探索和研究，但研究体系还未成型，呈现多元化和宽泛化的态势，这与多模态语篇具有天然的跨学科性质密不可分。作为一门年轻的学科，多模态话语的很多理论(如视觉语法、多模态隐喻等)还不够成熟，未来的研究需要通过语料和实验等验证并发展相关理论，同时结合传统的文体学、叙事学，实现研究方法的创新，推动多模态话语领域向纵深发展。

图4 多模态话语关键词共现可视化图谱

以共现频次和中介中心性为指标，对关键词进行整理，得出二者分别位居前十的关键词列表(表5)。由表5可知，“多模态”共现频次最高，共66次，其次是“多模态话语”，共现45次，另外，“多模态话语分析”的共现频率也比较高。“概念隐喻”的中介中心性最高，为1.17，“多模态语篇分析”次之，为1.05，“系统功能语言学”和“图像”等的中介中心性也比较高。高频关键词和高频中介中心性关键词并不存在严格的正相关关系，不过像“多模态话语分析”“多模态语篇分析”“多模态隐喻”“模态”等关键词既具有较高的共现频次，又具有较高的中介中心性，表明这些词在多模态话语的知识演化中扮演了重要角色。

表5 高频关键词和高中介中心性关键词

为了进一步了解多模态话语领域最新、最有发展潜力的研究主题，在关键词共现网络基础上，将Y值设置为0.7，对关键词进行burstness检测(突现指一个变量的值在短期内有很大变化)[9]，共提取5个突现词(图5)，它们代表了多模态话语研究前沿领域的转化。从变化时间上看，突变大致可以分成四个阶段：2007～2008年集中在“多模态话语分析”，这两年国内的多模态话语研究刚刚起步，学者基本围绕核心概念进行研究；2009～2010年社会符号学和符号突现明显，学者更加关注从社会符号学角度切入多模态领域，并进行了大量研究；2011～2012年电影海报突现明显，表明电影海报受到诸多关注，成为多模态话语领域的热门研究对象；近三年中图文关系突现明显，有可能是多模态话语领域的新兴趋势。

图5 突现值排名前5位的关键词

三、结 论

本文利用Citespace软件，以CIKI全文数据库收录的关于多模态话语领域的核心期刊文献信息为研究对象，从文献年度、学术期刊、研究机构、核心作者及关键词共现和突变等角度，对2007～2019年间国内的多模态话语研究文献进行了计量学分析。研究结论如下：

从文献年度分布来看，国内多模态话语可以分为三个阶段：初级萌芽阶段(2007～2008年)，这一阶段主要集中在多模态话语的理论和方法引介；快速发展阶段(2008～2013年)，这一阶段学者运用多模态话语理论对电影海报、外语教材、教学模式、手机广告、影视字幕等多个领域开展研究，丰富了多模态话语的研究对象；稳定发展阶段(2014-至今)，这一阶段，发文量虽然有所下降，但学者的研究更加多元和深入，出现“多元读写能力”“多模态隐喻”“图文关系”等比较新颖的切入角度，未来一段时间，多模态话语领域有望呈现更多的跨学科研究。

从学术期刊来源看，刊载多模态话语研究文献的期刊比较分散，载文量前十的来源期刊中有八个为外语类期刊，说明多模态话语的相关研究主要还集中在外语学科，但由于多模态语篇天然的跨学科性质，言语符号与图片、手势等非言语符号在交际和传播中共同构建意义，故电影文学类和新闻传播类期刊也经常可以看到多模态话语研究的相关成果。

从科研机构分布看，国内多模态话语研究的主要力量来自各大高校，主要机构有同济大学和香港理工大学，另外，在排名前十的研究机构中，绝大部分的研究力量均来自外国语学院，表明国内多模态话语的研究人员学科分类比较单一，多模态研究的跨学科性还未得到充分的体现。

从核心作者分布来看，张德禄、冯德正、李战子等人发文相对较多，高产作者之间合作比较紧密，其他作者群体相对分散，合作不多。主要学术共同体有同济大学外国语学院以张德禄教授为核心的研究团队，以及香港理工大学人文学院以冯德正教授为核心的研究团队。

从关键词共现及突现来看，国内多模态话语的研究主题从早期的多模态话语分析逐渐细分，衍生出多元读写能力、多模态隐喻、图文关系、符号学等多个主题和电影海报、视觉诗、广告、教材等多个研究切入点，未来的研究可能将更多地关注新媒体、新闻等复杂语篇的图文关系解读。

四、结 语

当前科学技术发展迅速，各种网络媒体层出不穷，面对纷繁复杂的图文世界，多模态话语是话语研究的必然要求。本研究基于CNKI核心数据库，充分借助可视化工具citespace软件挖掘文本信息，从多个方面系统考察国内多模态话语的研究现状、热点及前沿趋势，并对未来的研究提出了一些展望。但由于数据库文献收录范围有限，数据统计和分析存在一定局限，未来的研究还需要在更庞大的语料和更广阔的视野上完善现有的研究发现。