多模态话语的认知符号学理路——以人民币为例

李俊义，苏炎奎

(1.福建师范大学外国语学院，福建 福州 350007；2.福建师范大学协和学院，福建 福州 350117)

一、引言

人类的生活和交际越来越多模态化，意义的建构更多地依赖各种符号资源的整合，多模态已经成为现代交际的一个重要特征，因此多模态话语分析成为业内学者关注的焦点。多模态话语“是运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象”[1]。多模态话语分析则是将多种模态纳入研究视野，探讨各种模态如何协同互动构建话语意义。目前，多模态话语分析的主要理论基础是系统功能语言学和认知语言学，研究视角集中于社会符号学和概念隐喻。[2]社会符号学是基于“系统功能语言学理论”[3-4]发展起来的理论框架，韩礼德认为语言是社会符号，具有意义潜势，语言学的阐释原则对其他符号系统具有同样适用性。[5]19多模态隐喻研究则是建立在“将模态看作一种使用具体感知过程来阐释意义的符号系统”[6]基础上进行的认知视角探讨，而作为隐喻的在线建构维度——概念整合理论，在多模态话语分析研究中却并不多见，即多模态意义建构的动态过程被忽视了。鉴于此，本研究结合概念整合理论与社会符号学表征理论，构建认知符号学分析框架，以期为多模态话语分析提供新的理论视角，并以人民币版面的多模态设计为案例，阐释认知符号学之于多模态话语分析的可适性。

二、多模态话语分析的理论视角

多模态话语分析是对构成语篇或交际事件的不同符号模态的分析，它整合了语言符号和相关的非语言符号资源，考察不同符号资源表征的意义和符号之间的互动意义，以便分析和解释符号资源是如何共同协作，创造出一个完整的语篇或交际事件。多模态话语分析不仅拓展了语篇的语言学研究，同时加深了对符号学的认识[7]，进而激发了学界对符号认知过程的研究兴趣。社会符号学视角主要探讨某一特定文化实践中符号如何在社会语境中创造语篇意义，而认知语言学视角主要研究各种符号实践如何作用于人的认知语境，影响人们的认知识解，即符号如何在人的头脑中进行概念化识解。

(一)社会符号学

系统功能语言学创始人韩礼德认为，意义是通过元功能语法系统的选择而产生的，一次选择(符号或语法)的意义是相对于系统网络中的其他可能选择(聚合选项)来理解的。他使用社会符号学这个术语解释了符号的意义取决于符号选择使用的社会语境，即意义是在系统网络中选择，并在该社会和文化背景的协商中产生。可见，系统功能语言学扎根于社会符号学领域，后者关注的是符号意义的社会解释。受社会符号学和系统功能语法的影响，Kress & van Leeuwen将韩礼德的语言概念扩展到视觉领域，他们在《阅读图像——视觉设计的语法》著作中展示了图像的符号资源在视觉上实现意义功能的3个语法层面：再现意义、互动意义、构图意义。换言之，Kress & van Leeuwen认为图像符号资源具有意义潜能，可以用来建构话语意义，甚至传递意识形态。这一开创性的见解为系统阐释广告、科学、绘本、电影等多模态符号资源的话语意义建构提供了有力的理论工具，确立了多模态话语研究的社会符号学视角。

社会符号学框架下的意义建构是指在特定的社会语境中，符号生产者基于自身的兴趣，激活了与语境密切相关的符号资源来构建意义，该意义构建具有多模态性质。正如Kress所说：“多模态在意义形成中的作用恰恰在于探索表达观点、立场、态度、事实手段的不同潜能，并产生最适合特定任务或需要的符号资源。”[8]Jewitt也认为：“意义构建往往是多模态的，如图像、手势、姿势、凝视、动作、音乐、颜色、3D产品，以及演讲和写作，这些符号资源都具有表征意义的潜能。”[9]多模态社会符号学视角关注的是符号资源的多模态意义解读，但并未涉及符号构建意义过程中的内在框架是如何运作的，即能指的交际意义在符号深层是如何展开的，为此有必要认真考察多模态符号资源意义构建的认知框架运作。

(二)认知语言学：概念整合理论

概念整合是一种常见的认知活动，它与心理空间密切相关。Fauconnier & Turner认为心理空间就是：“我们思考和说话时构建的概念小包，为了便于局部理解和行动。它们是元素、框架结构和认知模型的部分集合。”[10]20换句话说，心理空间是基于与特定领域相关的更普遍、更稳定的知识结构，它们是意义建构时使用的临时空间。[11]概念整合是发生在认知层面的一个动态过程，它是经由生成的心理空间，通过彼此的互动作用产生心理空间的整合并由此实现语言意义的在线建构。因此，“所谓概念整合理论，就是关于对言语交际过程中各心理空间相互映射并产生互动作用的系统性阐述，其宗旨就是试图揭示言语意义在线构建背后的那座认知冰山”[12]。尽管概念整合也利用了概念隐喻中的映射原理，但它是通过创建输入空间，特别是通过创建一个类属空间，从而激活整合空间来实现的。概念整合理论框架很丰富，Fauconnier & Turner论述了整合的指导原则和机制，一是概念整合的组构性原则，二是管制性原则。同时，他们还阐述了实现这些原则的具体路径，如压缩、解缩、优化、关联、结构、递归等。所有这些原则是对言语解读认知机制的高度抽象，为人类正确认识自身的言语心理认知能力提供了一个有力的诠释。当然，其中最重要的理论结构当属新显结构这个概念，这是建立在整合基础上的，区别于隐喻和类比。该新显结构经由以下3种运作方式实现：(1)组合：整合输入空间映射的元素或成分；(2)完善：通过框架或图式补充完善背景知识的内容范围；(3)优化：先模拟整合，并根据整合原则操纵整合空间实现富有想象力的详尽优化整合。[10]42-48

根据皮尔斯的符号学理论：“符号之所以能成为符号，其中一个重要条件是符号必须被心灵认为是一个符号，因为只有符号才能使心灵进行思考；如果某物对任何心灵来说都不是符号的话，那么它就不是符号。”[13]皮尔斯在此强调了符号的心智特征，他阐述了符号链接心智才能使符号构建符号对象的某种观念，该观念就是意义表征的一种形式，即符号只有链接心灵与思维才能创建意义。换言之，符号只有诉诸心智认知，表征对象才能被概念化，并作为某种心理习惯，具备了连接“n+1”个被表征对象的潜能，从而实现符号的意义建构。回到认知与符号层面来看，多模态意义潜能就是通过符号层面的概念整合而实现意义的认知构建，即概念整合理论不仅是心理空间的整合，同时也是符号资源的认知再加工与整合。

值得注意的是，概念整合理论并不仅限于语言层面，或者说语言学领域。Joy等人[14]从概念整合理论的角度研究了消费者对广告修辞的认知理解过程，强调了在广告修辞中重新定义视觉图像和言语信息的必要性。该研究表明了整合理论是可以进入非语言符号领域的，同时阐明了概念整合与社会符号学相融合的可能，即认知符号学。

(三)多模态话语分析的开拓性视角：认知符号学

认知语言学和社会符号学之间的互动是近年话语研究的一个热点。言说者通过言语或者非言语的方式传递着某种信息，该信息既是“外在”的符号表征也是“内在”的符号生产，如果没有任何内在的、源自心智的符号产生，外在的符号表征就失去交际功能和交际目的。换言之，在交际领域，符号生产的过程是生产者通过对交际双方的兴趣、特征、交际需求等特征的认知选择，并内化为符号的交际意义层面展开的；当一个交际事件中的一个或多个参与者的注意力集中在某种提示(符号)上，并且该提示被该参与者解释时，就发生了交际，参与者结合即时的交际语境，通过对符号传递的意义潜能的认知识解达到交际功能。因此，考察社会符号学的符号资源与认知语言学的概念整合之间的协同作用，可以为多模态意义建构提供新的理论分析视角。

根据概念整合理论，输入空间展示了来自不同经验领域的内容，整合理论是经由多空间的映射、处理和完善达成的。两个输入空间的框架选择建立在一个符号空间中。在符号空间里，通过符号表征传递了话语意义，这是一个表意空间，也是所有其他空间建立的基础，人们称之为“基础空间”[10]151。从符号学的角度来看，话语基础空间是说话者进行意义建构的表征。兰盖克认为，该话语基础空间的“基础”指的是“实际的言语事件、参与者及其直接环境”[15]，即言说的事实以及话语指涉的诸多因素。这个符号事件是所有空间构建的基础，在阐释中锚定了符号的意义构建。符号基础空间是认知者呈现认知现状的心理空间，它要么是一个交流的场景，涉及语义网络参与共享意义构建的人；要么是一个涉及反映主体和所发生的情况的场景，如主体表征。

社会符号学和概念整合理论已显示出互补的迹象，因为概念整合理论很好地解释了符号学不能解决的“内在”符号化。Van Leeuwen[16]认为，符号资源具备理论和现实潜在意义，理论意义潜势把焦点放在规范话语的力量和符号资源的意义潜势绝不是无限的这一事实上。现实意义潜势是解释者在一定的历史、文化和社会规约限制下对符号资源的利用和表征。而对符号的这种论述与Fauconier & Turner认为的“大脑不断地构建许多整合物，只有其中的一部分被挑选出来用于进一步的开发和应用”[10]321不谋而合。他们认为，心理空间可以激活丰富的概念整合，尽管人类的认知能力是无限的，但他们的创新必须在某种框架下进行，以确保整合是在人类的实践活动中创造的——即唤起人类容易理解的熟悉的框架，我们在分析符号资源和心理空间的潜在意义时，这种互补性是显而易见的。Feng[17]对静态和动态图像中的概念转喻进行了社会符号学解释，探讨了视觉表征中的转喻类型。Alonso等人[18]通过将社会符号学理论与心理空间、概念整合理论相结合，探索了Kress & van Leeuwen的视觉语法原则如何有助于理解叙事的整体意义。这些富有开创性的探索整合了一个新的跨学科领域——认知符号学，该领域致力于通过结合认知语言学、手势研究、符号学和具身思维等一系列研究领域对意义进行多方面的研究。本文基于这两个理论框架的内在契合维度，以多模态设计的人民币为语料，考察不同的符号资源是如何在心理空间内组合和编排，最终实现概念意义的整合。

三、多模态认知符号学视角的案例研究：以人民币为例

(一)人民币的多模态符号设计

纸币与人们的日常生活息息相关，除金融价值之外，纸币的符号设计在意义表征上嵌入了民族文化、塑造了国家形象，它向本国公民、国外游客和货币收藏者展示了一个国家的历史、政治和文化等诸多方面的话语表征意义。Mudd认为：“一个国家的钱币通常是游客对一个国家性质的第一印象。”[19]纸币作为一种强有力的国家形象(品牌)塑造工具，其设计方案和风格凸显了多模态的符号意义潜能。在社会生活中，“货币不仅是一种自然的‘物’，而且是一种社会的‘事件’”[20]，纸币作为交际符号形成的话语事件——“任何话语事件都可以被同时看做一个文本、一个话语实践的实例，一个社会实践的实例”[21]，不仅让人们得以审视一个国家的社会和政治生活，也反映了国家利用符号资源构建身份并进行对外传播的本质特征。

中华人民共和国成立以来，中国人民银行发行的货币经历了较大的变化，反映了国家政治舞台和民族文化遗产的历变。2019年版人民币在保持现行第五套人民币主图案等相关要素不变的前提下进行了局部调整。具体而言，2019年版人民币在纸币规格、主图案、主色调、行名、国徽、盲文面额、汉语拼音行名、民族文字等方面保持不变，提高了票面色彩鲜亮度。对于毛泽东头像、装饰团花、横号码、背面主景和正背面面额数字的样式进行了调整，增加正面左侧装饰纹样，取消正面右侧凹印手感线和背面右下角局部图案，票面年号改为“2019年”。新版人民币的版面设计，是在科技进步与社会发展新形势下做出的主动调整，具有更美观、易识别、耐流通等特点。从符号资源应用与设计来看，作为国家名片的符号表征，人民币使用了图像景观和语言文字组合的多模态设计，“图像的分析和图像的维护以及图像的那种思考能力已经被编织到了一种文化的基本结构之中，在这种基本结构之中，语言的分析和语言的维护也都占据着他们自己的重要位置”[22]43，集视觉、文化、科技等多方艺术表现于一体，再现了国家和公民高度的认同价值。通过图像的颜色、大小、线条、位置等不同元素框架，结合文字(包括数字)模态，传递了国家的信仰和尊严。票面的每一个民族符号、地域文化和国家特征都蕴藏着国家对于法定货币设计的法律权威和价值理念。

人民币作为一种多模态符号设计，其视觉符号设计的意义表征及阐释过程尚未得到足够的关注。纸币通过图案、色调、文字、盲文等多种符号资源的协同作用构建了其作为国家法定货币法律权威的话语意义。“货币的标记是一个法律隐喻：货币上的印记与君主授权发行货币的法律文件中的实物描述相符，这些文件通常包含对印在每一种货币上的图案和文字的详细描述。”[23]作为国家象征符号的人民币是主权国家的法律文件授信央行施行社会交际意义的符号表征，兼具指称意义、符号意义以及文化意义。人民币的多模态设计图案链接了多种符号资源，不仅表征了国家的政策走向和社会文化历史的变迁，而且在日常的社会经济活动中具备了符号的交际意义和功能。

(二)认知符号学视角下的人民币话语分析

“对于如何读出这些模态中的意义，多模态话语分析(以及符号学)发展出令人信服的方法。”[24]当前的多模态话语分析主要集中于社会符号学视角、系统功能语言学视角、社会互动分析以及多模态隐喻视角，对于多模态的符号如何建构话语意义的认知过程关注不足。鉴于此，本文将以百元人民币的多模态版面设计为案例，探讨人民币作为国家文化历史的视觉交际表征模式，揭示人民币使用多模态符号资源构建话语意义的认知过程，旨在为多模态认知符号学框架提供理据。

以百元人民币为例，其正面(图1)的版面设计思路主要采用色彩亮丽的图案与文字相结合。中心人物图像——毛泽东置于前景位置，采用较大尺寸，颜色饱满，显得十分突出，同时融合了茶花、国徽等元素，共同构建了图像的象征价值，“钱币的流通建立在信任的基础上，只要图像使金钱变成被定义为代表国家尊严的支付手段，图像便会使钱币的价值规定获得信任。认证功能越加强，图像越能多方面、多层次和更安全可靠地应对伪造”[22]174。版面设计还使用了文字和数字，通过语言符号锚定纸币发行机构的权威性和交易价值，特别是“中国人民银行”6个文字符号的印制保持了国家规定的发行机构的权威性和排他性。从法典的形式来看，这种话语潜力无疑折射出一种更古老的宪法实践，即货币的发行是具有排他性的国家权力和法律权威的特征。纸币本身并没有价值，“但是有了圣像化，这些钱币就变成了一个有信任保证的对象，它的价值被阐明，并且固定下来”[22]175。图像和文字两种模态的选择性投射，隐喻了法定货币的国家权力。换言之，图像模态中毛泽东的头像和文字模态中“中国人民银行”的语言文字，这两个不同模态的协同作用，产生了纸币价值的权力锚定与转移，使纸币在日常交际认知中实现了符号的支付功能和交换价值。从符号意义的整合视角来看，版面设计实现了两种符号属性的表征，而在概念上，它归属图文双域整合网络，实现了Kress & van Leeuwen论及的符号属性关系。图文整合唤起了两个不同符号体系的输入来满足解包原则，“尊严与权威”来自图像符号，“信用与价值”则来自文字符号。在双域网络整合中，“两种不同输入框架往往对整合做出重要贡献，有时它们的显著差异提供了创造性整合的潜能”[25]。在图文映射过程中，图像的输入空间(尊严与权威)和文字的输入空间(信用与价值)的部分属性的选择性映射有助于类属空间(多模态符号设计)整合，网络空间的外层符号关系被压缩到独特的内层图文关系的符号空间中，即完成不同符号属性的表征、媾和与调适。换言之，输入空间Ⅰ(图像符号)与输入空间Ⅱ(文字符号)部分地投射到整合空间后，构建了一个公民习以为常的纸币作为国家信用符号的多模态表征框架，通过“组合”“完善”和“优化”3个彼此关联的心理认知过程的相互作用而产生新显结构。新显结构的产生过程即为符号空间话语意义的运演与产生过程，实现了纸币多模态设计的话语意义的构建与传播。

图1 100元人民币版面设计(正面)(1)图1、图2来自网络授权，仅做语料研究使用。网址为：https://baike.baidu.com/pic/2015%E7%89%88100%E5%85%83%E4%BA%BA%E6%B0%91%E5%B8%81/18385590/1/f636afc379310a55b319d034110e54a98226cefcba92?fr=lemma#aid=1&pic=f636afc379310a55b319d034110e54a98226cefcba92。Fig.1 100 RMB layout (front)

人民币背面(图2)采用了图文结合的多模态设计思路。中心的建筑图像——人民大会堂及天花板吊灯被归置于前景位置，采用正面视角呈现，图像清晰、颜色鲜艳，属于“信息提供类的图像”[5]119，不仅彰显了人民大会堂作为国家符号表征的尊严与庄重，而且通常与符号价值相关联，隐喻了“现代国家的权力来自人民，人民与国家的关系直接决定着国家的合法性”[26]，即作为国家权力中心符号表征下的人民民主的话语意义。版面设计使用了拼音文字和数字，通过语言符号锚定纸币发行机构的权威性、交易价值以及发行年份等意义表征。从多模态符号的概念整合来看，在视觉上实现了两种符号属性的表征，而在概念上它归属图文双域整合网络。在多模态意义构建过程中，图像呈现的是人文历史景观符号，经由输入空间Ⅰ，映射了人民民主和国家尊严的权力话语框架；文字呈现的是币值和发行银行的语言符号；经由输入空间Ⅱ，映射了国家的权力在货币的演变和使用中发挥着核心作用的框架。值得注意的是，票面印制的发行银行的语言使用了汉文、蒙古文、藏文、维吾尔文、壮文5种民族文字，不仅体现了党和国家始终坚持民族平等、团结和共同繁荣的民族政策，而且隐喻了“国家认同的构建既依赖于国家建设的有序性和国家发展的人民性，也依赖于民众在与国家各层级相联系的过程中所感受到的制度民主性和价值合理性”[26]的话语意义。两种不同符号输入空间的部分属性进入了多模态设计的符号类属空间，同时投射进整合空间(符号协同构建话语意义)，通过“组合”“完善”和“优化”3个彼此关联的心理认知过程的相互作用而产生新显结构，即创建了主权国家货币权力的多模态表征框架，实现了纸币作为一个主权独立国家民族与文化的多模态表征的话语意义构建。

图2 100元人民币版面设计(背面)Fig.2 100 RMB layout (back)

四、讨论

本文基于社会符号学和概念整合理论，构建了多模态话语分析新的理论视角——认知符号学，并以人民币的版面设计为案例，阐释多模态符号意义分析的认知过程，从而探索认知符号学理论视角之于多模态话语分析的可适性。

首先，从多模态的社会符号学分析，可以发现，人民币在版面设计上，通过人物、花卉、国徽等图像符号和发行银行名、人民币币值、盲文等文字符号的综合应用，实现了历史、政治和文化潜在话语意义的构建与传播。简言之，作为国家符号的象征，人民币融合了国家文化、历史和遗产的精髓，表征了国家的尊严、民族融合与团结、以及人文自然景观的壮丽宏伟的话语潜能，助力构建国家积极向上、繁荣昌盛的正面形象。

其次，从多模态符号整合的动态认知过程分析，人民币设计采用图像符号和语言符号分别构建不同的符号输入空间，部分属性(符号能指与所指表征)选择性地投射到类属空间(多模态设计符号表征空间)，经由认知整合产生了新显结构，即多模态认知符号学分析框架(图文符号协同构建话语意义，见图3)。具体地说，人民币综合利用图像的大小、颜色、形状、位置等设计元素构建了货币主权价值开放性和国家机构权力核心话语意义，同时使用了文字、数字符号锚定人民币发行银行、币值以及民族(团结)文化元素，构建了国家符号的法律权威和历史文化特色话语意义。图文符号空间的协同运作产生的话语潜力经由认知整合产生新显结构，即图文符号协同作用构建了作为国家经典名片的人民币，不仅体现了社会经济活动的交易价值和支付功能，更是作为一种历史文化符号流动的交际话语，具备了国家信仰和法律性权威的符号表征意义。

图3 多模态认知符号学分析框架Fig.3 Multimodal cognitive semiotics analytical framework

综上可知，多模态的不同符号间空分别对符号进行能指投射和所指投射，经由大脑认知的选择，各自进入了多模态符号设计表征空间并进行实时在线建构，基于不同模态意义构建路径的关联、压缩、优化等一系列整合操作，产生了“图文符号协同构建话语意义”这一新显结构而被大脑认知识解，这既解决了不同模态符号表征形式共融的问题，也解决了不同模态符号意义内化和概念化表征的认知问题。由此可见，多模态话语分析的符号动允性构建是在概念认知识解的过程中实现的，换言之，认知符号学在符号描述性解释的基础上获取了符号动态意义构建的总览概貌，是一个适合多模态话语分析的新理论视角。

五、结语

本文从认知的角度探讨不同模态符号如何整合以实现意义概念化，对多模态意义表征的描述和阐释的动态过程做了一个探索性研究。研究表明，在多模态视觉识解过程中，不同模态符号空间的交互作用有助于意义潜能表征。视觉系统在人类大脑空间占据着重要的位置，它能将复杂的信息概念化为具体的、显性的意义表征。社会符号学与认知语言学的融合，可以充分揭示不同模态(图像、语言两种模态)使用的符号资源建构话语意义的认知过程，是一种实时的符号意义概念化的动态建构，它超越了原有社会符号学的静态描述和认知语言学只关注语言模态的范畴，从而实现两种理论视角的汇流。研究发现，多模态话语分析的符号学视角与认知语言学视角并轨构建的认知符号学，可以为多模态的动态意义建构和阐释提供一个有效的分析视角。