多模态话语研究的知识图谱演化分析——基于国内外核心期刊的研究

○陈风华 [巴西]弗朗西斯科·维勒索

多模态话语研究的知识图谱演化分析
——基于国内外核心期刊的研究

○陈风华 [巴西]弗朗西斯科·维勒索

运用国际公认的权威可视化解析工具CiteSpace，对国内核心期刊(CSSCI和全国中文核心)与国际核心期刊(SSCI和A&HCI)刊发的历年多模态话语研究文献作知识图谱演化分析。研究认为：首先，国内和国际学界的多模态话语研究的领军人物均为高校学者；其次，国内学界在过去的10余年里不断重视建构适合中国国情的多模态话语理论框架，但是团队合作的研究现象较为匮乏；再次，国际学界在过去20多年里的多模态话语研究覆盖更为广泛的学科领域，取得的丰富研究经验和精湛研究水平值得国内学界参考，国内学界需要在理论探索、学科合作以及内涵构成等方面加强对多模态话语的研究；最后，国内和国际学界需要共同努力深化多模态话语研究的理论探索。

多模态话语；国内核心期刊；国际核心期刊；CiteSpace；知识图谱；可视化分析

一 引言

“多模态话语”概念首次由Kress & van Leeuwen*Kress.G，van Leeuwen.T.Reading Images:the Grammar of Visual Design.London & New York: Routledge, 1996.提出。多模态话语包括语言、图像、声音、颜色和音乐等在内，运用听觉、视觉、触觉等多种感觉进行交际的多元渠道和媒介，语言和其它符号资源在其中共同存在，一起建构意义*Kress.G，van Leeuwen.T.Multimodal Discourse:The Modes and Media of Contemporary Communication.London:Arnold,2001.*朱永生：《多模态话语分析的理论基础与研究方法》，《外语学刊》2007年第5期，第83页。*辛志英：《话语分析的新发展——多模态话语分析》，《社会科学辑刊》2008年第5期，第208页。*张德禄：《多模态话语分析综合理论框架探索》，《中国外语》2009年第1期，第24页。。多模态话语研究发轫于20世纪90年代的国际学界，该领域通过使用图像、声音、视频等多元意义体现(Meaning-making)元素，弥补了传统研究窠臼于语言单一类型的缺陷。对非语言资源的关注使得话语研究更加充分和全面*Van Leeuwen.T.& Kress,G.Discourse Semiotics.In van Dijk,T.A.Discourse Studies:A Multidisciplinary Introduction.London:Sage,2011,pp.108.。多模态话语研究已成为话语分析的一个重要研究领域*代树兰：《多模态话语研究的缘起与进展》，《外语学刊》2013年第2期，第17页。。

20多年以来，在国内外学者的共同努力下，多模态话语研究取得了有目共睹的进步和蔚然大观的成绩，然而也存在一些值得关注的不足和亟待解决的问题。基于此，对过去及当下学界在多模态话语研究取得的成就进行总结和存在的问题展开反思很有必要。本研究旨在通过国际学界权威公认的知识图谱分析软件CiteSpace，结合国内CSSCI/全国中文核心期刊和国际SSCI/A&HCI期刊上发表的论文探索多模态话语研究的客观状况，期冀为今后学界对多模态话语的深入研究提供一些参考和借鉴。

二 多模态话语计量研究回顾

通过计量方法能够揭示语言现象的形成内因、语言系统的适应机制和语言演化的本质动因*冯志伟：《〈计量语言学导论〉评介》，《外语电化教学》2017年第4期，第95页。。国内学者对多模态话语综述展开了系列的计量研究。罗永胜分析15种国内外语类CSSCI期刊发表的多模态话语研究论文，认为就发展状况而言，刊发论文的数量在各期刊分布不均衡，多模态话语研究在外语界尚未成为主流，该领域呈现“慢速→快速→飞速”的发展态势；就研究方法而言，思辨性研究占主导地位，紧随其后为描述性研究、评述性研究和追溯性研究；就研究内容而言，应用性研究占主要比例，评介性研究集中于国际学者的多模态话语著作和国内举行的多模态话语会议，探讨性研究大多从多模态话语分析和多模态隐喻研究视角开展；就研究趋势而言，国内学者应该建构自己的多模态研究理论体系、加强验证性定量研究及丰富多模态研究内涵*罗永胜:《近十年来中国多模态话语及其应用研究述评》，《现代教育技术》2012年第4期，第62—66页。。

国防对国际SSCI期刊近12年(2004—2015)刊登的多模态话语研究论文关键词词频进行文献计量统计，发现多模态研究领域存在10个热点内容，依次为言语、手势语、视觉、互动、身份、符号学、系统功能语法、计算机媒介、语境和隐喻，该领域的未来发展趋势是由描述性的思辨研究转为应用性的实证研究，具体体现为语料库、教学和协作关系*国防:《多模态话语分析研究热点及趋势分析——基于文献计量学方法》，《外语与外语教学》2016年第3期，第58—64页。。程瑞兰、张德禄考察国内11种外语类CSSCI期刊13年(2003—2015)的载文数据，指出多模态话语研究成果存在分布不均衡、理论视角呈现多元化、研究类型表现多样化、研究方法定性主导化，该领域存在的问题主要是理论发展不成熟、多学科适应性差和定性研究亟待突破，由此未来的发展方向应该聚焦于深化语篇多元化视阈分析、增加高科技数据软件应用、发展实证化研究规模、拓展个案与大数据分析数量、历时研究与共时研究有效结合*程瑞兰、张德禄:《多模态话语分析在中国研究的现状、特点和发展趋势——以期刊成果为例》，《中国外语》 2017年第3期，第37—43页。。潘艳艳、李战子归纳以国内外语类为主的CSSCI期刊近15年(2003—2017)的文献，发现国内多模态话语研究紧跟国际研究的步伐，主要体现在四个路径：以系统功能语言学和社会符号学为理论基础的多模态话语分析、多模态隐喻分析、多模态语料库分析和多模态互动分析，多模态话语研究的未来发展应该融合视角和创新理论、扩展领域及拓宽视野、探索其它可行路径。*潘艳艳、李战子：《国内多模态话语分析综论(2003—2017)—以CSSCI来源期刊发表成果为考察对象》，《福建师范大学学报(哲学社会科学版)》2017年第5期，第54—59页。

综合上述学者的研究可以发现：首先，对多模态话语计量研究的学者主要是国内学者，国际学者尚不多见，这表明中国学界比海外学界更注重纵向性的宏观研究；其次，对CSSCI期刊的计量研究数量显著多过SSCI期刊，这说明国内学界需要更多关注国际核心期刊的发展动向；再次，国内和国际学界综合CSSCI期刊和SSCI期刊的系统研究较为少见；然后，国内学界对CSSCI期刊或SSCI期刊的历时研究局限于某一固定的时间段，缺少对多模态话语自诞生伊始到发展至今全局性的系统研究；最后，目前学界对CSSCI和SSCI期刊的数据解码缺乏融客观性、可视性、科学性和权威性于一体的高科技研究工具。鉴于此，本研究通过使用CiteSpace研究多模态话语分析能够在一定程度上弥补该领域研究中存在的一些不足。

三 多模态话语计量研究的可视化分析

多模态话语研究滥觞于O’Toole*O’Toole, M.The Language of Displayed Art.London:Leicester University Press,1994.研究展览艺术的语言和其后不久Kress & van Leeuwen*Kress,G.Van Leeuwen.T.Reading Images:the Grammar of Visual Design.London & New York: Routledge,1996.研究视觉设计的语法。1990年以来，多模态语篇研究逐步成为语言学和传播学的研究热点之一*冯德正、张德禄、Kay O’Hallora：《多模态语篇分析的进展与前沿》，《当代语言学》2014年第1期，第88页。。代树兰归纳多模态话语研究的缘起与进展，认为多模态话语起源于话语的多模态性，早期的话语研究窠臼于语言单一模态，对话语多模态特征的系统研究从20世纪90年代开始兴起，涉及的主流学派有社会符号学、互动社会语言学和认知语言学，多模态话语研究呈现领域广泛化和视野开阔化的特点，主要体现在研究内容(多种模态的融合现象，模态之间的相互联系)、研究对象(新型媒体，互动话语)、研究方法(批判性分析，多学科交叉)和研究领域(多模态语言教学，多元读写能力)*代树兰：《多模态话语研究的缘起与进展》，《外语学刊》2013年第2期，第18—22页。。陈秀兰提出多模态语篇研究的发展能很好地说明，形如手势、动作和环境等一切帮助意义建构的非语言符号均可视为非语言特征。*陈秀兰：《语类结构潜势理论的局限性分析——以公司简介为例》，《华侨大学学报(哲学社会科学版)》，2013年第2期，第139—140页。

张德禄等指出Kress & van Leeuwen于1996年出版的著作《阅读图像——视觉设计语法》(Reading Images: The Grammar of Visual Design)使得多模态话语研究蓬勃发展，该领域成为热门话题的主要原因是语篇分析理论的发展、现代科学技术的进步和现代交际手段的变化*张德禄等：《多模态话语分析理论与外语教学》，北京:高等教育出版社, 2015年，第1—2页。。Jewitt et al.提出多模态话语研究的领域主要包括系统功能语言学、社会符号学和话语分析，在这三个领域基础上衍生出5个研究内容：地理符号学(语言人类学，社会符号学，位置符号学)、多模态互动分析(媒介话语，社会互动，社会符号学)、多模态民族志(资料开放，见解定位，研究反思)、多模态语料库分析(线性数据，非线性数据)和多模态感知分析(社会符号学理论，认知理论，追踪和分析眼球运动的方法)*Jewitt,C.Bezemer,J.O’Halloran,K.Introducing Multimodality.London & New York:Routledge,2016,pp.6-128.。

(一) 研究问题

研究目的是探索以下问题的解答：

问题1：国内学界多模态话语研究呈现出怎样的特征？

问题2：国际学界多模态话语研究展现出怎样的特征？

问题3：国内与国际学界的多模态话语研究给未来的进一步研究带来了怎样的启迪？

(二) 研究方法

学术论文能展示其所在学科的本质及水平*Gupta,B.Kumar,S.Citation Analysis of Theoretical Population Genetics Literature.Library Herald,2001(4),pp.208.。研究选取的语料来自于国内广泛认可的核心期刊CSSCI(中国社会科学引文索引)与全国中文核心(亦称为“北大核心”)(下文将此两种期刊统称为“国内核心”)以及国际广泛认可的权威期刊SSCI(社会科学引文索引)与A&HCI(艺术人文引文索引)(下文把这两种期刊统称为“国际核心”)刊发的论文。国内核心数据来源于CNKI中国知网(http://www.cnki.net)、CSSCI官网(http://CSSCI.nju.edu.cn)和Google scholar官网(http://scholar.google.com)，国际核心数据遴选自美国科学信息研究所(Institute for scientific information)研发的Web of Science(WoS)核心合集官网(http://www.webofknowledge.com)。

研究方法及步骤安排如下：首先，按照杨信彰的观点，语篇是话语的实例，属于话语的具体体现*杨信彰：《话语与语篇的研究:理论和方法》，《中国外语》2013年第4期，第1页。。由此我们在CNKI官网上分别以“多模态话语”和“多模态语篇”为主题词，“从—年”与“到—年”均选为“不限”，文献“来源类别”选择“核心期刊”和“CSSCI”，结果得到220条国内核心文献；其次，在WoS官网的主题栏依次填写“multimodal discourse”和“multimodal text”，时间跨度选取“所有年份”，“引文索引”框定“Social Sciences Citation Index(SSCI)——1970年至今”和“Arts & Humanities Citation Index(A&HCI)——1975年至今”，“语种”和“文献类型”分别选为“English”与“Article”，从而析出877条国际核心文献；最后，综合国内与国际学者广泛使用的软件CiteSpace(5.1R6版本，官网http://cluster.ischool.drexel.edu/～cchen/citespace)对国内核心和国际核心文献进行的可视化计量分析数据和CNKI与WoS官网的自动统计数据展开研究及反思。以上数据都经过去重处理，检索时间为2017年10月11—12日。

(三)研究发现

CiteSpace是美国Drexel university学者陈超美(英文名：Chaomei Chen)基于java语言开发的计量分析科技软件。该款工具的工作原理是对特定研究领域的文献进行共引分析与寻径计算，以期呈现该领域知识演化的知识图谱路径，包括对演化动力机制的解析、知识单元之间的共现和领域发展前沿的探测。该软件用户分布遍及世界各地，用户数量十分庞大*李杰、陈超美：《CiteSpace:科技文本挖掘及可视化(第二版)》，北京:首都经济贸易大学出版社, 2017年，第7页。。

1.高引文献与作者

结合CNKI、CSSCI和Google scholar的官网数据，我们统计出在国内核心期刊上被引排名前十位的文献。根据表1统计数据可知：其一，从文献标题上看，位居排名前两条的是关于理论推介和框架建构。其二，从第一作者上看，10名作者均为高校一线教师，其他类型的研究人员如行政管理人员和实验研究人员没有出现，说明国内研究多模态话语的学者类型相对固定，也预示着该领域的研究群体比较狭隘。其三，从期刊和著作类型上看，8条文献来自国内外语类核心期刊，2篇来出自非外语类核心。同时，这些文献都是以论文形式存在，专著尚未发现，这预示国内学界具有广泛影响力的多模态话语研究专著比较欠缺。其四，从发表时间上看，10条文献的发表时期在2003年—2012年之间，反映出该段时期国内学者对多模态话语研究的热衷程度。最后，从被引频次上看，朱永生、李战子和张德禄的论文位居前茅，意味着高校语言学科的博导和教授群体是国内多模态外语研究的先行者和引路人。

表1 多模态话语研究国内被引排名前十位文献

通过CiteSpace我们可以依托WoS官网的国际核心期刊数据库统计出多模态话语研究论文国际共被引排名前十位的文献。在“Term source”(词语来源)一栏分别选择“title” “abstract” “author key words(DE)” “Key words plus(ID)”， “Node types”(节点类型)选取“Cited reference”(共被引)，析出表2的数据呈现。根据表2可以推断：第一，就标题而言，8条文献目的是推介学术概念、理论或建构学术理论，2条文献与多模态话语实证研究密切相关。这表明国际领军学者和国内学者一样，都非常重视理论引介和理论建立。第二，就第一作者而言，4位国际学者都是高校研究人员，这与中国学者群体极为相似，也为中外学者加强多模态话语研究的密切合作提供了便利的学术基础。

表2 多模态话语研究国际被引排名前十位文献

第三，就期刊/著作类型而言，这些文献均为著作，尤其是一些著作经过数次出版而经久不衰，凸显出高水平的研究质量。如Kress & van Leeuwen的著作Reading Image: The Grammar of Visual Design包括1996年的第一版和2006年的第二版*Kress,G.Van Leeuwen.T.Reading Images:the Grammar of Visual Design.London & New York:Routledge,1996/2006.，Halliday著作An Introduction to Functional Grammar包含1994年的第二版和2004年的第三版*Halliday,M.A.K.& Matthiessen,C.M.I.M.An Introduction to Functional Grammar.London:Routledge,1994 /2004.，其后Painter et al.利用儿童图画书对视觉设计语法作了进一步改进*Painter.C.Martin,J.Unsworth,L.Reading Visual Narratives:Image Analysis of Children’s Picture Books.London:Equinox,2013.，Halliday与Matthiessen合作对系统功能语法的著作作了相应的修订*Halliday,M.A.K.Halliday’s Introduction to Functional Grammar.London & New York:Routledge,2014.，侧面印证了张德禄等的精准判断：Reading Image: The Grammar of Visual Design一旦问世，多模态话语研究很快便生机盎然、炙手可热*张德禄等：《多模态话语分析理论与外语教学》，第1—2页。。

Forceville认为该部著作意义重大，具有创新性，可以作为大学教材*Forceville,C.Educating the eye? Kress and Van Leeuwen’s Reading Images:The Grammar of Visual Design (1996).Language and Literature,1999(2),pp175.。彭宣维指出An Introduction to Functional Grammar是Halliday语言学思想的集中体现，系统功能语言学是整个语言学研究传统的“集大成者”*彭宣维：《An Introduction to Functional Grammar 的“集大成”地位》，《中国外语》2009年第1期，第109页。。这充分说明国际学者比国内学者更重视通过专著而不是论文著书立说、传道授业，也揭示出多模态话语与系统功能语法之间的密切联系。多模态话语研究是系统功能语言学由语言之内向语言之外其他符号系统的延伸*张淑杰、张德禄：《系统功能语言学:发展及应用——张德禄教授访谈录》，《山东外语教学》2015年第4期，第7页。。

第四，就出版时间而言，10部著作的出版阶段是1978—2010年。相比国内学者而言，国际学者从事多模态话语研究的时间提前了10余年，表明国际多模态研究存在一定的学术优势值得国内学者学习和借鉴。最后，就被引频率而言，位列前三位的文献作者均为Kress，彰显出他在国际多模态话语研究领域中杰出的学术水准和公认的领军地位。值得注意的是，国内排名前列10条文献的被引指数遥遥领先于国际前10条文献，大概是因为国内领军学者的巨大影响力所致，也证明国内学界在多模态研究领域取得显著成就。

2.热点领域与前沿

在CiteSpace的共现网络图片中，节点的大小表示论文主题(Term)、关键词(Keyword)及类别(Category)的出现频次，它们之间的连线表示共现强度。频次(Frenquency)和中介中心度(Centrality)参数是关键词的重要指标，关键词频次与光环的大小、节点连线粗厚度与节点关系紧密度、中介中心度与圆环外层年龄的宽度成正比。大节点、厚光环的关键词表示很高的显著性，其所表征的就是多模态话语研究的热门课题。突现(Bursts)也是横向网络节点的重要指标，突现值体现突现的强度。

共词分析先驱Law & Whittaker指出，论文被引的关键词是反映研究主题及研究重点的核心术语*Law,J.Whittaker,J.Mapping Acidification Research:A Test of the Co-word Method.Scientometrics,1992(3),pp.418.。把国内核心期刊的220篇论文导入CiteSpace，得到图1解析数据，剔除与多模态话语研究含义重复的课题如多模态、多模态话语、多模态话语分析、多模态话语分析理论，可以看出，从2007年迄今，国内多模态话语研究排名前10位的引发关注的热点话题依次为话语分析、多模态隐喻、社会符号学、电影海报、图文关系、视觉语法、模态、外语教学、互动意义、课堂教学。科学文献引文和共引轨迹是研究前沿的知识基础*Chen,C.CiteSpace II:Detecting and Visualizing Emerging Trends and Transient Patterns in Scientific Literature.Journal of American Society for Information Science and Technology,2006(3),pp.359.。通过选取聚类(Cluster)中的“Indexing terms”选项，我们可以获取软件自动生成的15个研究前沿聚类主题，排除与多模态话语研究含义重复的主题之后，依次为话语、话语分析、语言学理论、话语分析理论、多模态隐喻、课堂教学、语言学者、语言性、电影主题、全球本土化、评价理论。从中可以看出，多模态话语分析的热门话题与前沿主题出现些许重叠现象，如话语分析、多模态隐喻和课堂教学，这说明一些热门话题本身就是前沿主题，多模态话语研究需要同时兼顾二者的基本特征和发展趋势。国内核心论文尚未发现突显节点，这或许是因为国内学界研究多模态话语的历史不够长久和广度不够深入所致。

图1 国内多模态话语研究热门课题

使用相同的方法我们可以获取国际多模态话语研究热点领域与前沿的计量数据。根据图2数据不难推测，从1994年至今国际多模态话语研究的10个热点领域依次为discourse(话语)、language(语言)、literacy(识读)、gesture(手势)、text(语篇)、communication(交流)、classroom(课堂)、identity(身份)、social semiotics(社会符号学)、semiotics(符号学)。通过聚类选取得到的前沿主题排序为media literacy(媒介识读)、speech(演讲)、English(英语)、organization(组织)、context(语境)、twitter(推特)、care(关心)、science education(科学教育)、health promotion(健康推广)、working memory(工作记忆)、reading(阅读)及primary school English(小学英语)。参照国内研究的跨越时间，我们以“2003—2017年”为遴选标准，在CiteSpace的“Time slicing”(时间切分)中选择“from 2003 to 2017”，也得到类似的可视化数据。

图2 国际多模态话语研究热门课题

最近十几年来国际多模态话语研究主要有9个研究路径：系统功能语言学多模态话语分析，社会符号学，多模态隐喻分析，多模态互动分析，会话分析，地理符号学，多模态民族志，多模态语料库分析，多模态感知分析*潘艳艳、李战子：《国内多模态话语分析综论(2003—2017)——以CSSCI来源期刊发表成果为考察对象》，《福建师范大学学报(哲学社会科学版)》2017年第5期，第50—52页。。我们通过凸显查询，发现从2015年到现在，国际核心突现术语(按照重力值大小)分别为online news(在线新闻，重力值:6.7694)、picture books(图画书，重力值:5.3263)、health(健康，重力值:5.2766)及identity text(身份语篇，重力值:3.7309)，2013年来2017年的突现术语依次为corpus(语料库)、higher education(高等教育)、framework(框架)、text-making(文本制作)、middle school(中学)、identities(身份)、affordances(可供性)和responses(反应)。把国内与国际多模态话语研究的焦点领域和前沿话题作比较，可以发现：首先，国内与国际研究焦点都包括社会符号学，国内更重视对多模态教学的研究，如外语教学和课堂教学，国际更强调对多模态符号的探索，如social semiotics和semiotics。其次，国内学界倾向于把语言话题作为前沿选题，如语言学者和语言属性，国际学界倾向于将识读话题当成前沿论题，如媒介识读和推特。再次，国际学界的研究领域及前沿相比国内学界更为广泛，不仅包括教育与媒介，而且包含心理学和新闻传播等范畴。

表3 近5年国际多模态话语研究突现术语

然后，国内和国际学者都使用多元研究方法推进多模态话语研究。冯德正将多模态话语的研究方法分为理论建构、定性和定性语篇分析以及通用语专用语料库探索*冯德正：《多模态语篇分析的基本问题探讨》，《北京第二外国语学院学报》2017年第3期，第7页。。张德禄在理论建构方面为国内学界树立了光辉榜样，可谓是功勋卓著的开拓人物和领军学者：他先后率先建立多模态话语分析综合框架*张德禄：《多模态话语分析综合理论框架探索》，《中国外语》2009年第1期，第28页。、适用社会符号学框架*张德禄：《适用性社会符号学的理论与实践研究》，《外语与外语教学》2010年第5期，第9页。、多模态外语教材编写原则框架*张德禄、张淑杰：《多模态外语教材编写原则探索》，《外语界》2010年第5期，第32页。、动态多模态话语分析框架*张德禄、袁艳艳：《动态多模态话语的模态协同研究——以电视天气预报多模态语篇为例》，《山东外语教学》2011年第5期，第10页。、多模态话语设计的操作模式*张德禄：《论多模态话语设计》，《山东外语教学》2012年第1期，第15页。、多模态功能文体学分析框架*张德禄、穆志刚：《多模态功能文体学理论框架探索》，《外语教学》2012年第3期，第3页。、外语教学多模态选择框架*张德禄、丁肇芬：《外语教学多模态选择框架探索》，《外语界》2013年第3期，第46页。、多元读写设计学习综合框架*张德禄、张时倩：《论设计学习——多元读写能力培养模式探索》，《解放军外国语学院学报》2014年第2期，第6页。、多模态话语转译变化理论框架*张德禄、瞿桃：《多模态话语中的转译现象研究——以从大学英语课本到英语课堂教学的转译为例》，《外语电化教学》2015年第06期，第21页。、多模态互动分析框架*张德禄、王正：《多模态互动分析框架探索》，《中国外语》2016年第2期，第57页。和多模态论辩修辞分析框架*张德禄：《多模态论辩修辞框架探索》，《当代修辞学》2017年第1期，第4页。。冯德正建立了图像互动意义与构图意义隐喻模型以及文字-图像隐喻模型*冯德正：《多模态隐喻的构建与分类——系统功能视角》，《外语研究》2011年第1期，第27—28页。、基于诱发条件的态度意义系统、态度诱发条件的多模态表征模型和态度意义的行为反应体系*冯德正、亓玉杰：《态度意义的多模态建构——基于认知评价理论的分析模式》，《现代外语》2014年第5期，第589—592页。。在国际核心期刊舞台上，冯德正也长袖善舞，先后建立了广告话语互文声音模型、电视广告的参与模型*Feng,D.Wignell,P.Intertextual Voices and Engagement in TV Advertisements.Visual Communication,2011(4),pp.569-572.、图像情感意义建构框架*Feng,D.O’Halloran,K.L.Representing Emotive Meaning in Visual Images:A Social Semiotic Approach.Journal of Pragmatics,2012(44),pp.2071-2079.、再现结构中的视觉不规则模型*Feng,D.O’Halloran,K.L.The Visual Representation of Metaphor:A Social Semiotic Approach.Review of Cognitive Linguistics,2013(2),pp.327.、电影观众的情感元功能模型*Feng,D.Qi,Y.Emotion Prosody and Viewer Engagement in Film Narrative:A Social Semiotic Approach.Narrative Inquiry,2014(2),pp.356357.和视觉转喻意义建构框架*Feng,W.D.Metonymy and Visual Representation:Towards a Social Semiotic Framework of Visual Metonymy.Visual Communication,2017(4),pp.441-458.。类似的香港学者还有Hu建立多模态音乐情绪分类评估框架*Hu,X.Choi,K.Downie,S.A Framework for Evaluating Multimodal Music Mood Classification.Journal of the Association for Information Science and Technology,2017(2),pp.276.。

国际学界建立的多模态话语分析框架包括视觉叙事的多模态话语理论*Bateman,J.A.Wildfeuer,J.A Multimodal Discourse Theory of Visual Narrative.Journal of Pragmatics,2014,(74),pp.180-208.、新闻话语批评性话语分析的新方法框架*Bednarek,M.Caple,H.Why do News Values Matter?Towards a New Methodological Framework for Analyzing News Discourse in Critical Discourse Analysis and beyond.Discourse & Society,2014(2),pp.135- 158.、网站互动多模态分析的社会符号框架*Adami,E.What’s in a Click?A Social Semiotic Framework for the Multimodal Analysis of Website Interactivity.Visual Communication,2014(2),pp.142.、科学教育多模态意义再现的整体分析框架*Tang,K.S.Delgado,C.Moje,E.B.An Integrative Framework for the Analysis of Multiple and Multimodal Representations for Meaning-Making in Science Education.Science Education,2014(2),pp.311.、科学博物馆展览的社会符号学分析框架*Anyfandi, G. Koulaidis, V. Dimopoulos, K. A Socio-semiotic Framework for the Analysis of Exhibits in a Science Museum. Semiotica, 2014(200), pp.239-244.、在线新闻馆藏多模态分析框架*Caple,H.Knox,J.S.A Framework for the Multimodal Analysis of Online News Galleries: What Makes a “Good” Picture Gallery?.Social Semiotics,2015(3),pp.310.、辩论的认知符号学理论探索*Hoven,P.V.D.Cognitive Semiotics in Argumentation:A Theoretical Exploration.Argumentation,2015(29),pp.157-176.、多模态互动认知框架*Cohn,N.A Multimodal Parallel Architecture:A cognitive Framework for Multimodal Interactions.Cognition,2016(146),pp.320.、视觉元话语分析模型*Groot,E.D.Nickerson,C.Korzilius,H.Gerritsen,M.Picture This:Developing a Model for the Analysis of Visual Metadiscourse.Journal of Business and Technical Communication,2016(2),pp.179-180.和图像框架的解码理论*Abdel-Raheem,A.Decoding Images:Toward a Theory of Pictorial Framing.Discourse & Society,2017(4),pp.327-352.。比较国内与国际学者建构的多模态话语研究的理论与框架不难断定：虽然中国学者研究多模态话语的时间比国际晚10余年，但是以张德禄和冯德正为领军的学者持续集中建立系列多模态话语研究理论框架，国际学者能够做到这一点的寥寥无几。同时，国内学者建立的框架与模型呼应了中国发展的客观实际，因而比国际相关理论与框架更具有针对性、操作性和实用性。

最后，国内与国际学界的多模态话语研究都涉及跨学科领域。跨学科性是多模态研究领域的天然属性*O’Halloran,K.L.& Smith,B.A.Multimodal Studies.In O’Halloran,K.L.& Smith,B.A.(eds.).Multimodal Studies:Exploring Issues and Domains.London:Routledge,2011,pp.2.。多模态研究的发展方向是跨学科与学科融合，发展动力是理论与方法创新*冯德正、Francis Low：《多模态研究的现状与未来—第七届国际多模态会议评述》，《外国语》2015年第4期，第111页。。多模态话语研究推动了语言学、美学、文学、修辞学和传播学等学科*潘艳艳、李战子：《国内多模态话语分析综论(2003—2017)——以CSSCI来源期刊发表成果为考察对象》，《福建师范大学学报(哲学社会科学版)》2017年第5期，第49页。。

3.研究成绩与不足

我们在CiteSpace中的合作网络“Node types”中选定“author”(作者)和“institution”(机构)，发现国内多模态话语研究的核心期刊文献中，发文数量居于前10的作者依次为张德禄、冯德正、刘晓斌、李战子、刘秀丽、李妙晴、张宜波、孙毅、汪燕华和张维，机构排名分别为同济大学、厦门大学、中国海洋大学、中山大学、山东大学、华南师范大学、香港理工大学、西安外国语大学、广东商学院及西南大学。

与上述选定方法相似，我们在CiteSpace中的“Node types”中选定“author”(作者)和“institution”(机构)之外，再选定“country”(国家)。数据显示国际多模态话语研究的文献中，发文数量名列前10的作者依次是Machin、Tan、O’Halloran、Pantaleo、Archer、Tang、van Leeuwen、Harvey、Lirola和Ledin，机构排名为Orebro University、National University of Singapore、University of Lancaster、Nanyang Technological University、University of Victoria、University of Hong Kong、Griffith University、University of Bremen、Macquarie University及Columbia University，国家排名分别是USA、England、Australia、Canada、Spain、People’s Republic of China、Germany、Sweden、Netherlands与Singapore。

据此可见，一方面，在过去的10多年里，国内学者的发文总量世界排名第6位，说明在国际多模态话语研究中，我国学者能够奋起直追，从而拥有一席之地；另一方面，国内和国际多模态话语研究的高被引作者及其所在机构分布较为广泛，这为有效提升多模态话语研究的影响力提供了便利的地理条件。虽然会给彼此之间的密切合作带来一些不可避免的时空障碍，国际学界的众多学者和机构依然取得了定期、长久的合作。从CiteSpace展示的作者与机构之间的合作网络可知(参见图3)，国内学者之中张德禄的影响力最大，与他保持学术往来的学者有冯德正、刘秀丽、张宜波、程瑞兰与张征。其他的学者学术合作网络有冯德正与赵秀凤、王艳，刘晓斌与张维。然而，除了这些学者和机构之间存在合作联系，其他排名前列的学者与机构之间几乎没有显示任何协同关系及迹象，这说明国内多模态话语研究单兵作战、孤军前进的现象十分突出。

图3 国内多模态话语研究发文领先的学者与机构 图4 国际多模态话语研究发文领先的国家、学者与机构

相比之下，国际学者与机构之间的合作比国内密切很多，尤其以美国高校(如Columbia University, Stanford University，Temple University，University of California, Los Angeles)、英国高校(如Open University，University of Loughborough，University of Leeds, University of Warwick)、澳大利亚高校(如Griffith University，Queensland University of Technology，Curtin University，University of Western Australia，University of Technology Sydney，University of New South Wales)、加拿大高校(如University of Toronto，University of British Columbia)和新加坡高校(如National University of Singapore)最为明显(参见图4)。

从图4可以观察到，中国高校在国际多模态研究领域拥有一定话语权的有香港大学、香港理工大学和中山大学，但只有香港大学与美国伊利诺伊大学(University of Illinois)、香港理工大学与德国不莱梅大学(university of Bremen)学者Bateman、香港理工大学学者Feng D.Z.(冯德正)与比利时鲁汶大学(Katholieke university of Leuven)存在学术交往。多模态话语研究是跨学科的前沿研究课题，需要多学科的协同研究*张淑杰、张德禄：《系统功能语言学:发展及应用——张德禄教授访谈录》，《山东外语教学》2015年第4期，第5—6页。。这说明国内学界的多模态话语研究需要加快与国内及国际学者和机构之间的深入交流和协作。

(四)研究讨论

多模态话语研究在国内外语界尚未成为主流，还有很大的提升空间*罗永胜：《近十年来中国多模态话语及其应用研究述评》，《现代教育技术》2012年第4期，第63页。。时至今日，这种状况依然没有得到显著的改进。一方面，我们的研究数据显示，从2007年迄今，国内影响力排名前5位的外语类核心期刊刊登多模态话语/语篇研究的论文数量依次为：《外语教学与研究》(0篇)、《外国语》(1篇)、《外语界》(1篇)、《现代外语》(3篇)、《中国翻译》(0篇)，这既说明多模态话语研究在国内外语界没有引起足够的重视，也同时表明国内研究多模态话语的整体水平需要上升到一定的高度。另一方面，CiteSpace可视化数据表明，从1994年至今，国内学者在国际核心共发文46篇，与排名前三位的美国(230篇)、英国(110篇)和澳大利亚(102篇)相比，中国学者对国际核心表现出相当的兴趣和热忱，同时也表明我学者的多模态话语总体水准与国际主流学者之间存在着较大的差距。基于此，我们认为国内学界需要从以下诸方面进一步努力：

1.深化理论探索

多模态话语研究作为新兴学科，至今仍然广受质疑*冯德正：《多模态语篇分析的基本问题探讨》，第8页。。Jewitt指出目前学界主要使用语言学的理论与方法研究多模态，缺乏独立、完整的理论储备*Jewitt,C.The Routledge Handbook of Multimodal Analysis.London:Routledge,2009,pp.26.。朱永生认为多模态话语研究容易出现语法分析主观性过强、模态之间的互动关系和互补作用难以确定、研究群体主要是系统功能语言学者等不足*朱永生：《多模态话语分析的理论基础与研究方法》，《外语学刊》2007年第5期，第85页。。程瑞兰、张德禄强调多模态话语研究缺乏跨模态既统一又完善的多模态语法*程瑞兰、张德禄：《多模态话语分析在中国研究的现状、特点和发展趋势——以期刊成果为例》，《中国外语》 2017年第3期，第42页。。因此，国内与国际学界需要齐心协力、密切配合，共同开发出覆盖多种模态而又全面系统实用的多模态话语研究理论体系。对于中国学者而言，需要以张德禄和冯德正等领军学者为榜样，努力建构出符合中国国情和时代发展、具有中国特色和指导作用的多模态话语研究理论框架和模型。多模态话语研究与符号类型、社会活动及社会文化联系密切，因而需要关注符号系统在特定社会环境下、社会活动中和价值体系上的运行机制和嬗变过程*李战子、陆丹云：《多模态符号学:理论基础，研究途径与发展前景》，《外语研究》2012年第2期，第6页。。

2.加强学科合作

学科间性的研究模式能使新知识成为共同应对的主要目标*胡壮麟：《超学科研究与学科发展》，《中国外语》2012年第6期，第16页。。多模态话语研究同时关注语言和非语言的符号资源，需要将不同的符号流派如人类学、艺术学和民族志等学科融入系统功能语法、视觉设计语法、概念隐喻理论等体系进行综合研究。多模态话语涉及多种模态资源的协同，因而定性研究成为多模态话语研究的主导方法。van Leeuwen指出多模态研究的未来方向包括自我思辨、文化多元和技术应用*Van Leeuwen.T.Multimodality.In Simpson,J.(eds.).The Routledge Handbook of Applied Linguistics.New York: Routledge, 2001, pp.679.。冯德正等认为近年来多模态话语研究开始转向对多模态表意资源的跨学科系统阐释与实证研究。认知语言学与功能语言学之间的对话及融合是今后多模态语篇研究的发展方向*冯德正、张德禄、 Kay O'Hallora：《多模态语篇分析的进展与前沿》，《当代语言学》2014年第1期，第88—90页。。冯德正进而指出，国内未来的多模态话语研究可以分析中国形象、社会主义价值观的多模态建构、新媒体教学(如慕课、微课)、公益广告(如反腐败、普法教育、环境保护)等具有重要社会意义的跨学科语篇*冯德正：《多模态语篇分析的基本问题探讨》，第5页。。形如传播学、心理学、教育学和社会学的跨学科多模态研究理论体系亟待逐步完善，多模态话语研究要有学科融合意识来构建跨学科的理论体系*冯德正：《多模态语篇分析的基本问题探讨》，第6—8页。。

3.完善研究内涵

在研究对象上，李战子、陆丹云认为话语秩序、意识形态、社会关系和社会实践是多模态话语研究的发展路径*李战子、陆丹云：《多模态符号学:理论基础,研究途径与发展前景》，《外语研究》2012年第2期，第6页。。张淑杰、张德禄指出模态话语研究需要关注三个方面：多模态语篇符号系统的词汇语法、不同符号系统的语法特点和不同符号系统在多模态语篇中的选择特征*张淑杰, 张德禄：《系统功能语言学:发展及应用——张德禄教授访谈录》，《山东外语教学》2015年第4期，第6页。。在研究方法上，胡壮麟强调多模态研究是有科技含量的新学科，需要语言以外的素养*胡壮麟：《我读系统功能语言学研究现状和发展趋势》，第十二届全国功能语言学研讨会大会发言，南京:南京师范大学, 2011年。。罗永胜提出我国多模态话语研究主要停滞在对国外理论的消化和吸收上，缺乏验证性实验研究和理论溯源性研究*罗永胜：《近十年来中国多模态话语及其应用研究述评》，《现代教育技术》2012年第4期，第64页。。其后不久，国防主张国际多模态话语研究已逐渐从描述性思辨研究转向应用性实证研究*国防：《多模态话语分析研究热点及趋势分析——基于文献计量学方法》，《外语与外语教学》2016年第3期，第64页。。冯德正提醒多模态话语研究需要同时具备跨学科意识、实证意识和应用意识，不仅要立足于理论与方法创新，而且要着眼于解决多媒体时代传播与交际中的实际问题*冯德正：《多模态语篇分析的基本问题探讨》，《北京第二外国语学院学报》2017年第3期，第1页。。实际上，问卷调查、面对面访谈、建立语料库、运用大数据分析软件能有效提高实证化研究方法的可信度与说服力，如对实证数据解析的软件有SPSS*胡永近、张德禄：《英语专业听力教学中多模态功能的实验研究》，《外语界》2013年第5期，第20—25页。、Nvivo*甘容辉、何高大：《大数据时代学习分析与外语教学研究展望》，《外语电化教学》2016年第3期，第40—45页。、Wmatrix*陈风华、查建设：《外宣语境多模态认知视角国家领导人形象建构——以习近平特稿为中心》，《外语教学理论与实践》2017年第3期，第42—49页。，对视频数据解码软件有Elan*顾日国：《多模态感官系统与语言研究》，《当代语言学》2015年第4期，第448—469页。、Praat*冯德正：《数字技术与多模态语篇分析》，《北京科技大学学报(社会科学版)》2010年第4期，第12—17页。、Multimodal Analysis Software*Lim-Fei,V. O’Halloran,K.L.Tan,S.Marissa,K.L.E.Teaching Visual Texts with the Multimodal Analysis Software.Educational Technology Research and Development,2015(6),pp.915-935.。

四 结语

本研究基于国内外核心期刊运用文本挖掘功能强大的知识图谱可视化工具CiteSpace考察了学界多模态话语研究的整体状况，并就国内学界的未来研究提出了一些建议。研究发现：首先，国内高校的教授和博导群体是多模态话语研究的领航者，国内学界比国际学界更善于建构多模态话语分析研究框架；其次，国际学界和国内学界都重视建构及推介多模态话语理论以及对跨学科多模态话语的研究，国际学界的丰富经验和精湛水准值得国内学界学习和借鉴；再次，国内学者在今后的多模态话语研究中需要在理论探索、学科合作和研究内容等方面提高重视和付出努力；最后，多模态话语研究理论的深入探索有待国内和国际学界的密切配合。本研究在时间、空间和内容等维度拓宽了学界以往对多模态话语综述研究的不足，为今后多模态话语研究提供了一定的参考价值。毋庸讳言，囿于研究语料所限，本研究获取的结论或许存在不够客观与科学之处。展望未来研究，我们相信在更庞大的语料和更多维的视野基础上的研究会进一步完善我们现有的研究发现。

ChronologicalKnowledgeMappingAnalysisofMultimodalDiscourseStudies:CaseStudyofCoreJournalsatHomeandAbroad

CHEN Feng-hua,Francisco Veloso

Using the internationally recognized authoritative visualized analysis tool CiteSpace,this paper analyzes the evolution of the knowledge mapping of multimodal discourse research literature published in the domestic core journals (CSSCI and National Chinese Core) and international core journals (SSCI and A & HCI) over the years.The research holds that: First of all,the leading figures in the study of multimodal discourse in both the domestic and international academics are all university scholars. Secondly,the domestic academic circles have been paying attention to constructing a multi-modal discursive theoretical framework suitable for China’s national conditions in the past 10 years or so,but the phenomenon of teamwork research is rather scarce.Thirdly,in the past period which lasts over twenty years,the international academic circle has covered more subject fields than domestic academic circle,and their abundant research experience and exquisite research level is well worthwhile for domestic academic circle to learn.Fourthly,it is quite necessary for domestic academic circle to strengthen research in terms of theoretic exploration,subject cooperation and content composition.Finally,domestic and international scholars need to work together to deepen the theoretical exploration of multimodal discourse research.This study is believed to be able to provide some reference value for the future research of multimodal discourse in academic circles.

multimodal discourse;domestic core journals;international core journals;CiteSpace;knowledge mapping;visualized analysis

陈风华，香港理工大学人文学院博士研究生，主要研究方向：多模态符号学及多模态话语分析。[巴西]弗朗西斯科·维勒索(Francisco Veloso)，香港理工大学人文学院助理教授，博士生导师，主要研究方向：多模态符号学及多模态话语分析(中国香港 999077)。

H0-06

A

1006-1398(2017)06-0154-13

2017-10-20

【责任编辑龚桂明 陈西玲】