多模态批评话语分析研究概述*

郜丽娜，齐 丽

(滁州学院 外国语学院，安徽 滁州 239000)

多模态批评话语分析研究概述*

郜丽娜，齐 丽

(滁州学院 外国语学院，安徽 滁州 239000)

在现代社会中，人类运用语言、图像、声音、动作等多种符号资源进行交际。不同模态层面的交际活动都蕴含着特定的意识形态和权力关系。多模态话语分析和批评话语分析在理论构建和具体的应用分析上具有一定的互补性，多模态批评话语分析已经成为语言学领域的一个研究热点。本文首先介绍多模态话语分析理论及其认知转向，然后分析国内外多模态批评话语分析的研究现状，最后指出了相关研究的不足及发展方向。

多模态；批评话语分析；研究现状

一、引 言

随着互联网和多媒体的迅速发展和广泛应用，语言文本不再是交际的唯一手段，图像、手势、动作、颜色、声音等其他非语言符号也成为信息传递的重要方式。我们生活在一个由多种符号资源构成的社会中，意义的构建不再单纯依靠语言文本，而是越来越依赖各种符号资源的整合。人类交流所依赖的媒介和渠道被称之为“模态”(modality)，例如：语言、声音、颜色、图像、手势等符号系统。作为人类的一种重要交际行为，话语自然具有多模态性。

传统的话语分析以大于句子的语言单位作为研究对象，对实际使用中的语言进行观察和分析，研究语言的组织结构、使用特点、语法规律、语言中的制约因素等内容，忽略了能够传递大量重要信息的其他非语言符号。可见，传统的话语分析已经不能满足人们的实际交际需要，多模态话语分析符合当下信息时代发展的要求和趋势。多模态话语分析为人类理解丰富多彩的符号系统提供了新视角，目前已发展成为一种重要的话语分析方式。像语言一样，视觉符号和声音符号貌似正常或中立(平淡无奇)，实则隐含着个人或社会团体的不公正、偏见和歧视。因此，在多模态话语分析中，我们应坚持批评的立场，给予非语言模态符号足够的重视，关注其中含而不露的意识形态意义，尤其是那些被人们习以为常的思想和观点。在多模态话语和批评话语分析互相影响和借鉴的基础上，多模态批评话语分析应运而生。

二、多模态话语分析的概述性研究

20世纪90年代，多模态话语分析在西方开始兴起，引起越来越多语言学家的关注。传统意义上的话语分析注重分析语言符号系统和语义结构本身，忽略了对其他符号系统(例如：图像、声音、颜色、手势等)的研究。随着现代科学技术的发展，人类交际开始依靠多种模态共同完成，包括图像、音乐、声音、颜色等。而这种运用语言、图像、声音、动作等多种符号资源进行交际的现象就是“多模态话语”(multimodal discourse)。学界对交际中出现的图像、手势、姿态以及空间的运用也产生了浓厚兴趣。学者们认识到，对于意义理解不仅需要对话语语言的分析，更要对独立或相互依赖的其他符号资源进行研究。法国语言学家Barthes Roland是最早从事多模态话语分析研究的学者之一。他在1977年发表的论文《形象的修辞》中探讨了图像在表达意义上与语言的相互作用[1]。Kress和Van Leeuwen[2][3][4](P343-368)[5](P35-50)作为社会符号学的代表研究了模态与媒体的关系，在系统功能语言学的基础上，构建了视频话语的分析模式和多模态话语分析框架，探讨了多模态符号表达意义的现象，包括视觉图像、颜色语法以及报纸的版面设计和不同媒介的作用等方面。2007年，朱永生[6](P82-86)提出了两种多模态话语的识别标准：(1)同时使用两种模态的话语叫做“多模态话语”；(2)只涉及一种模态，但包含两个或更多符号系统的话语也是“多模态话语”，比如：视觉模态中的平面公益广告，既有文字又有图片。

近十年来，多模态话语一直是国内外语言学界的研究热点。对相关文献进行计量学统计，可以发现：(1)多模态话语分析的主要理论基础是系统功能语法和符号学；(2)多模态话语分析的研究热点主要为：言语、隐喻、身份、手势语、系统功能语法、语境和视觉；(3)多模态话语分析主要研究静态多模态话语中的视觉和语言模态。虽然相关研究在理论探索和应用实践方面取得可喜的成绩，但仍存在不足：(1)忽视构建语篇的整体意义的动态操作和多模态语篇背后的认知机制；(2)理论研究为主，实证研究偏少；(3)静态研究偏多，动态研究较少；(4)忽视各个模态之间的关系；(5)缺乏多模态语料库建设和软件开发。另外，未来的多模态研究应加强以下方面：(1)跨学科研究与学科的融合；(2)理论与方法的创新。多模态话语分析不仅是一个语言研究理论，更是一个应用领域。一些其他学科领域(例如：后现代哲学、社会学、心理学、人类学)的理论和方法都可以应用到多模态话语分析中，分析人类如何通过各种模态资源传递信息、产生意义、表达情感、构建权力关系和意识形态。

三、多模态话语分析的认知研究

到目前为止，大多数多模态话语分析研究者，以系统功能语法的三大元功能为工具，分析文字、图像、动作等符号模态，但是一些学者开展了以认知语言学核心概念为界面的跨学科研究，运用认知语言学中的认知工具和理论进行多模态话语分析，其中应用最为广泛的是认知隐喻理论。荷兰阿姆斯特丹大学的学者Charles Forceville[7]于1996年出版了博士论文《广告中的图片隐喻》，将隐喻研究延伸到非语言模态中，掀起了多模态隐喻研究的热潮，极大地促进了多模态话语分析的发展。后来，他在国际顶级期刊上发表了一系列学术论文，主要研究多模态隐喻的理论基础及应用分析，同时关注多模态隐喻分析中的焦点问题，例如：多模态隐喻的区别性特征、语类性特征、模态配置方式。另外，他的研究所涉及的语类十分丰富，包括政治漫画、广告、动画、电影、音乐、手势、雕塑等，为同领域的研究者提供了重要的参考和启迪。他在多模态隐喻研究领域的成果丰厚，不仅奠定了多模态隐喻研究的理论基础，而且为其他应用研究提供了典范。2015年，María Jesús Pinar Sanz[8]出版了论文集《多模态与认知语言学》。该论文集不仅在理论层面把认知语言学的意象图式和合成空间等概念扩大到多模态隐喻研究中，分析多模态隐喻创建和解读的认知机制，而且形成了以文献回顾为辅、实证研究为主的多模态话语分析新模式。另外，该书综合多模态研究的各种理论，将多模态研究置于认知语言学框架之内，汇集众多学者专家的最新研究成果，标志着多模态和认知语言学的互补融合，也为多模态话语分析的认知转向提供了理论依据和方法论参考。

国内也有学者运用认知语言学理论和方法进行多模态话语分析，但基本上集中在多模态隐喻分析方面。国内多模态隐喻研究起步相对较晚，曾立[9](P11-14)于2004年开始关注非语言模态的隐喻认知机制，探索认知隐喻的相似性和语义冲突在图文隐喻运作中的作用。国内多模态隐喻研究的相关论文从2010年开始零星出现，其中赵秀凤[10](P18-29)[11](P45-47)发表论文2篇，结合实例探讨了多模态广告语篇中隐喻的构成、识别和解读，以及隐喻性多模态广告语篇中整体意义的动态构建过程。虽然起步相对较晚，但国内多模态隐喻研究在近几年内发展迅猛。《外语学刊》2011年第一期和《外语研究》2013年第五期分别开辟了“多模态转喻和隐喻”研究专栏并刊登了4篇相关文章，或对国外最新研究成果进行系统引介，或结合具体语类展开实例分析，或勇于创新、积极借鉴其他理论，至此国内掀起了多模态隐喻研究的热潮[12](P54-57)。另外，李健雪和俞越聪[13](P137-140)对《多模态与认知语言学》进行评介，不仅介绍主要内容，还总结了该专著的主要贡献、特色及不足，为相关研究提供重要启示。无论在语言观还是方法论上，认知语言学和多模态话语分析都具有一定的渊源关系，认知语言学可以为多模态话语分析提供更多的方法选择，多模态话语分析拓宽了认知语言学的研究范围。

四、多模态批评话语分析研究现状与存在问题

国外一批优秀学者致力于批评话语分析和多模态话语分析的理论基础和分析方法的研究，并在上述两个研究领域取得了显著的成就。虽然有些学者敏锐地发现或指出，二者存在很好的融合性和互补性，但很少有人真正地将二者融合并正式提出“多模态批评话语分析”这一概念及分析框架。直到2012年，David Machin和Andrea Mayr[14]出版合著《如何进行批评话语分析：多模态的视角》，并首次提出“多模态批评话语分析”的概念。多模态批评话语分析是对批评话语分析的进一步发展，主张图像、颜色、动作、声音等其他模态符号像语言文字一样，也应该成为批评分析的对象。多模态批评话语分析主要从批评的视角分析多模态语篇中的各种符号资源如何互动和建构语篇意义，重点关注多模态话语中隐含的权力关系和意识形态。Theresa Catalano和Lauren Gatti[15](P59-80)选取4篇有关亚特兰大公立学校教师的“作弊丑闻”的网络新闻报道，从语言层面和视觉层面分析不同媒体如何使用各种模态符号框定教师的行为和身份，并揭示涉案教师的语言表征和视觉表征背后反映和隐含的特殊利益和权力关系。英国兰卡斯特大学Christopher Hart[16][17][18]教授在认知语言学和批评话语分析融合领域的研究成绩斐然，出版了《批评话语和认知科学：移民话语研究新视角》《语境和认知中的批评话语研究》《批评话语分析中的认知语言学：应用及理论》等学术价值极高的专著。在此基础上，Hart[19](P335-350)于2016年开始针对多模态话语开展批评话语分析研究，解释语言话语中的意识形态传播，并提出一个整合认知语言学和多模态的综合分析方法。他认为，理解语言涉及到多模态心理表征的构建，话语中语言模态和非语言模态在意义构建方面互相影响。Hart[20](P3-30)从多模态视角对英国各大报纸关于1984-1985年英国矿工大罢工的相关报道进行了认知批评话语分析，研究发现：“战争”隐喻思维存在于语言和视觉层面，媒体使用语言和图片把“罢工”框定为“政府与英国矿工联合会之间的战争”。

近年来，国内有关多模态批评话语分析的研究不断涌现，但并没有展开系统研究，仍是处于起步阶段。早在2009年，陈美足[21](P87-90)以“多模态批评话语分析研究”为题撰文，借助Kress和Leeuwer的视觉语法分析框架和批评话语分析方法，阐释英国《太阳报》上的一幅头版新闻图片中隐含的深层次信息。陈文提出的“多模态批评话语分析”综合方法和研究视角在当时十分具有创新性和前沿性，值得参考和借鉴。仲夏阳和孙志祥[22](P131-135)以ChinaDaily上的英文公寓广告为例，采用视觉语法和批评话语分析的三维分析模式分别对广告图片和文字说明进行解读和分析，揭示广告设计者如何利用各种符号资源对消费者的情感、态度和观念进行影响和控制。截止到笔者撰文之日，“中国知网”上可以检索到6篇以“多模态批评话语分析”为主题的硕士学位论文。江南大学李健雪教授曾经指导的4份硕士毕业论文均借助了Machin和Mayr[14]的多模态批评话语分析方法，但他们根据各自的研究对象和研究目的对分析框架进行了调整。例如：顾阳阳[23]以信托机构网站文本为语料，一方面对网站话语中的语言现象借助系统功能语法进行微观分析，另一方面借助多模态批评话语分析工具对图像信息进行个案分析；田建萍[24]基于多模态批评话语分析框架，以系统功能语法和视觉语法为工具，探讨公益广告中的语言模态和视觉模态如何协同构建话语意义和传达社会责任、伦理、道德等意识形态；孙富强[25]选取30则奥巴马竞选视频广告，并根据视频语篇的特点，构建由语言分析、视觉分析和图文互动构成的多模态批评话语分析综合分析模型；郑慧[26]在前人研究的基础上，自建多模态批评话语分析综合分析框架，使用检索工具、视频注释软件和语音分析软件实施三维动态语篇的批评性分析。另外，王玉竹[27]通过整合Fairclough的三维分析模式、系统功能语法和视觉语法制定综合研究框架，对中美报刊政治漫画进行批评话语分析，揭示多模态话语中隐含的意识形态和权力关系。杨开烨[28]引入多模态批评话语分析的综合视角，采用Van Leeuwen的“社会行动者表征”理论体系和Halliday的及物性理论分析英国两大媒体如何从语言和视觉层面构建学生抗议者和警察的身份，探讨如何通过对多模态符号进行全面深入的解读来认识社会问题。

五、进一步研究的展望

多模态话语分析是一个发展势头良好的语言研究领域，多模态话语本身也越来越多样化和复杂化。多模态话语需要更多稳健可靠的分析工具和方法，从而满足不同研究目的的需要。多模态批评话语分析也应广泛吸收语言学、社会学、认知科学、符号学、民族志、政治学等学科领域的知识，不断发展成为一门超学科。其中，多模态话语分析、批评话语分析和认知语言学之间的有机结合尤其重要。经过三十多年的发展和完善，批评话语分析已从系统功能语言学和认知语言学中吸收了一系列分析工具和方法，从而实现特定的分析目的。鉴于话语具有构建社会和文化的功能，批评话语分析研究者结合社会、历史、文化等宏观背景，对话语进行语言学层面的微观分析，揭示话语生产者如何使用各种词汇、语法、语篇、修辞等语言手段在一定的社会政治环境中实施权力的滥用、不平等或控制。同样，多模态批评话语分析致力于通过对多模态话语的分析实现对社会的分析，揭示话语生产者所构建的含而不露的意识形态以及如何维护自身利益和影响他人的思想意识。多模态批评话语分析的批评层面不局限于语言层面，而是对多种模态符号进行批评性分析。

开展多模态批评话语分析领域的研究，需要具备开阔的学术视野，避免进行无谓的重复研究。值得思考的是，多模态话语分析中的哪些概念、理论和方法能够适合批评话语分析的需要。另外，如何从理论和方法上进一步发展和构建多模态批评话语分析的综合分析框架将是这一研究领域的关键问题，也是学者们需要解决的重要课题。自诞生之日起，批评话语分析就饱受争议和质疑。总体上来说，持反对意见的语言研究者认为，批评话语分析缺乏客观性和科学性，这些缺点同样存在于多模态批评话语分析中。多模态批评话语分析的理论完善和应用研究离不开计算机技术的发展、语料库建设以及语言分析软件的开发。相对于批评话语分析来说，多模态批评话语分析的研究方法将更加多样化和综合化，其研究对象更加丰富和复杂。总之，对于多模态批评话语分析的理论发展和应用研究来说，困难与希望同在，挑战与机遇并存。

[1] BARTHES R. Image Music Text[M]. London: Fontana Press, 1977.

[2] KRESS G, VAN L T. Reading Images: The Grammar of Visual Design[M]. London: Routledge, 1996.

[3] KRESS G,VAN L T. Multimodal discourse: The modes and media of contemporary communication[M]. London: Arnold, 2001.

[4] KRESS G,VAN L T. Colour as a semiotic mode: Notes for a grammar of colour [J].Visual Communication, 2002(3).

[5] KRESS G,VAN L T. Multimodal discourse analysis[J].The Routledge Handbook of Discourse Analysis, 2012.

[6] 朱永生. 多模态话语分析的理论基础与研究方法[J].外语学刊, 2007(5).

[7] FORCEVILLE C. Pictorial Metaphor in Advertising[M]. New York: Routledge, 1996．

[8] SANZ M J P. Multimodality and Cognitive Linguistics[M]. John Benjamins Publishing Company，2015.

[9] 曾立. 广告图文隐喻运作机制初探[J].外语与外语教学，2004(6).

[10] 赵秀凤，苏会艳. 多模态隐喻性语篇意义的认知构建——多模态转喻和隐喻互动下的整合[J].北京科技大学学报，2010(4).

[11] 赵秀凤，展伟伟. 多模态视角下爱情新体验——“40-Love”诗歌为例[J].中国石油大学胜利学院学报，2010(4).

[12] 陈彦瑞. 国内外多模态隐喻研究新动态[J].许昌学院学报，2013(6).

[13] 李健雪, 俞越聪.《多模态与认知语言学》评介[J].现代外语, 2017(1).

[14] MACHIN D,MAYR A. How to do critical discourse analysis: A multimodal introduction[M]. London: Sage, 2012.

[15] CATALANO T,GATTI L. Representing teachers as criminals in the news: a multimodal critical discourse analysis of the Atlanta schools’ “Cheating Scandal”[J]. Social Semiotics, 2017(1).

[16] HART C,LUKED.Cognitive linguistics in critical discourse analysis: Application and theory[M]. Cambridge: Cambridge Scholars Publishing, 2009.

[17] HART C. Critical Discourse and Cognitive Science: New Perspectives on Immigration Discourse[M]. Basingstoke: Palgrave, 2010.

[18] HART C. Critical Discourse Studies in Context and Cognition[M]. Amsterdam: John Benjamins, 2011.

[19] HART C. The visual basis of linguistic meaning and its implications for critical discourse studies: Integrating cognitive linguistic and multimodal methods[J].Discourse & Society, 2016 (3).

[20] HART C. Metaphor and intertextuality in media framings of the (1984-1985) British Miners’ Strike: A multimodal analysis[J].Discourse & Communication,2017(1).

[21] 陈美足. 多模态批评性话语分析研究——以英国《太阳报》的一幅新闻图片为例[J]. 宜宾学院学报，2009(10).

[22] 仲夏阳, 孙志祥. 公寓广告中意识形态渗透手段的多模态批评性话语分析[J].西南政法大学学报，2011(5).

[23] 顾阳阳. 基于语料库的多模态批评话语分析——以网站机构话语为例[D]. 无锡：江南大学，2014.

[24] 田建萍. 公益广告的多模态批评性话语分析——以Ad Council为例[D]. 无锡：江南大学，2015.

[25] 孙富强. 奥巴马竞选广告中人际意义的多模态批评话语分析[D]. 无锡：江南大学，2016.

[26] 郑慧. 视频广告的多模态批评话语分析——以整形广告为例[D]. 无锡：江南大学，2016.

[27] 王玉竹. 中美报刊政治漫画的批评性多模态话语分析[D]. 重庆：西南大学，2014.

[28] 杨开烨. 2010年英国学生抗议学费上涨活动的多模态批评话语分析[D]. 南京：南京师范大学，2015.

AReviewofResearchesonMultimodalCriticalDiscourseAnalysis

GAO Lina,Qi Li

(School of Foreign Studies, Chuzhou University, Chuzhou 239000)

In modern society, human beings communicate through kinds of semiotic resources, such as speech, image, voice, gesture and so on. Multimodal discourse analysis and critical discourse analysis can complement each other in the respects of theory construction and application analysis. All these different levels of communicative activity are infused and shaped by power relations and ideologies. The study of multimodal critical discourse analysis has become a research hotspot in the field of linguistics. Based on a theoretical review of multimodal discourse analysis and its cognitive turn, this paper analyzes the present state of researches on multimodal discourse analysis and points out their limitations and future directions.

multimodal; critical discourse analysis; research status

H0-83

A

1009-1734(2017)11-0082-05

2017-09-15

安徽省教育厅人文社科项目“基于认知语言学的批评话语分析范式研究”(项目编号：SK2015B03)；“廉政电视宣传片的动态多模态话语分析”(SK2016B08)；2017年滁州市第四届社会科学应用对策研究课题“滁州市党风廉政教育片的动态多模态语篇分析”(项目编号：B2017006)。

郜丽娜，讲师，硕士，从事批评话语分析研究。

[责任编辑铁晓娜]