多模态体认诗学——基于体认语言学的研究

赵秀凤 崔亚霄

(中国石油大学 外国语学院,北京 102249)

0 引言

近年来,在欧美兴起了一种新的文学研究动向——多模态认知诗学研究,从认知的角度考察多种模态协同表征的文学的交流过程和效果。 这一研究动向由以英国谢菲尔德大学艾莉森·吉本斯(Alison Gibbons)为代表的一批学者推动,他们把研究对象从纯文字小说拓展到运用多种模态符号创作的各类文学如后现代实验文学 (Page, 2009; Gibbons, 2012; Caracciolo, 2014)。 该研究动向关注语言和非语言符号协同构成的多模态实验文学对读者认知体验和接受产生的影响,反过来,也考察读者的认知体验对后现代实验文学创作发挥的制约性作用,即关注多模态文学与读者之间的互动体验。

多种模态符号协同互动所创建的文学作品对读者的常规阅读图式,包括感知体验、认知解读、理解和情感反应,都带来了新的改变或挑战,其突出特点就是后现代多模态文学高度彰显文学作品自身的物质性、互文指涉、排版的新奇性等,对读者在文学体验过程中的涉身参与提出了新要求。不同于传统纯文字小说,多模态小说不但需要读者想象性参与虚构小说故事世界,而且需要切实调动身体器官实施相应行为,需要不断在小说创建的文本世界和作者及读者所在的话语世界之间穿插切换,这种新型文学交流得以顺畅进行的前提正是多模态符号的体认性。

正是基于对后现代实验文学多模态交互体认特征的认识,吉本斯于2012 年出版了《多模态认知诗学和实验文学》(Multimodality,Cognition,andExperimentalLiterature)一书,整合认知语言学、神经认知科学、视觉感知、多模态符号学等多领域研究成果,强调沿用广义认知原则,如多感官感知原则、涉身体验原则等,探究多模态叙事对读者叙事体验和情感反应的影响。 在该书中,吉本斯以四部后现代实验小说为例,详细阐述了读者的阅读感知体验。 之后,吉本斯沿用这一研究路径,发表了系列研究成果 (Bray et al., 2012; Gibbons, 2016; Gibbons, 2021),使多模态认知诗学成为文学认知研究领域的后起之秀。

纵观已有的多模态认知诗学研究,笔者发现无论其理论阐述还是应用实践都与王寅(2014)提出的“体认语言学”(Embodied-cognitive Linguistics,简称:ECL)的核心观点不谋而合。 本文意在基于体认语言学的理论视域,梳理并考察多模态认知诗学阐述的多模态体认观,加强两个不同研究领域之间的互动,进一步推动文学和语言学研究在“后现代哲学”语境下的“同堂对话” (贾娟 等,2020: 32),丰富“体认”内涵,拓展体认语言学的应用范畴,推动构建“多模态体认诗学”。

另一方面来看,体认语言学(王寅, 2014)无论是在理论建构,还是个案分析及应用方面,都得到了蓬勃发展。 体认语言学对语言的各个层面都展示出了强大的阐释力,如转喻 (魏在江,2019)、指类句 (雷卿,2019)、兼语构式 (刘云飞,2019)、名谓句 (帖伊 等,2019)、虚拟位移 (张克定,2020)、歇后语 (王寅,2020) 等。 笔者认为,体认语言学不但精确概括了语言的本质,其基本观点和核心原则对其他社会符号也有强大的阐释力。 例如,在特定社会文化语境中,人们用于社会交往的各类手势、视觉符号乃至声音,更是在人与现实世界体验互动和认知加工过程中形成的,兼具认知性和社会性。 之所以能够进入社会交际,正是因为这类对复杂现实进行简约性表征的非语言符号也是“来自人与人、人与自然的互动,来自人对这些互动的体验和认知加工” (牛保义, 2021: 28)。 正是在这层意义上,我们赞同王铭钰等 (2021)的主张,应把体认语言学上升为“体认符号学”,有必要结合多种符号组合和应用实例,阐述“体认”在更广泛符号层面的普遍意义和价值。

基于以上考虑,本文试图结合已有研究,从多模态文学交流的体认特征入手,阐述借鉴体认语言学的核心理论和方法,针对多模态文学的语类特征,推动“多模态体认诗学”研究。

1 多模态文学交流的体认特征

1.1 体认的多模态性

王寅(2014)在认知语言学涉身体验基础上,结合中国传统哲学和后现代哲学的基本立场,提出了语言意义的“体认观”,将其哲学立场命名为“体认哲学”,强调“人本性”和“唯物论”的辩证统一。体认观一方面坚持了乔姆斯基和认知语言学从人的心智角度研究语言的基本取向 (王铭玉 等,2021: 2),另一方面又与后现代哲学的人本主义立场一脉相承,突出强调语言和语言研究中的人本性 (贾娟 等,2020: 33),主张语言研究必须强调人对现实世界进行的体验 (王寅,2014: 61-67) ,因此,体认哲学观更加全面综合,更接近人类语言交际的现实。

“体认的人本观决定体认的多模态本质。”(黄萍 等,2021:118)正如顾曰国 (2013: 3)所言:“人类在正常情况下跟外部世界(包括人与人之间) 的互动都是多模态的。”由视觉、听觉、触觉、嗅觉、味觉组成的多模态感官系统参与到人体察世界的过程中,形成人与世界的多模态互动体验,经由认知系统的认知加工,形成理性认识(顾曰国,2015)。 这一过程说明体认本身蕴含多模态性,体认是多模态感官系统和认知系统互动的产物。 有学者指出:“语言的产生和使用是基于‘多模态感官系统’的‘互动体验’与基于‘认知系统’的‘认知加工’进行互动的结果。”(黄萍 等,2021:118)事实上,多模态互动体认不限于语言的产生和使用,而是体现于人类话语交际的全过程。 在实际的话语交际过程中,交际双方往往是多感官协同参与,并不断互动。 多模态感官的协同联动不但刺激产生互动感知体验,而且诱发对意义的认知加工升华。

人类交际过程的“多模态”性,不仅体现于面对面交际中的身体姿势、手势、声音、语调、表情,还体现在书面交际中的字体、排版、颜色、物质性媒介等多模态特征。 也就是说,在实际交际过程中,多模态既是人类用于交际的符号手段,又是人类多种感官协同参与的体认通道。 正是基于这一认识,我们认为有必要探讨多模态交际的体认性特征,丰富体认语言学的理论体系,拓展其应用范畴。

在这一方面,多模态认知诗学先行一步,结合后现代实验文学的多模态特征,进行了开创性研究。 吉本斯运用认知-叙事学研究路径(cognitive-narratological approach),不但把模态视为表意资源,还把不同表意系统所诱发的多感官感知、体验和认知方式纳入研究视野,她所建构的多模态认知诗学综合性分析框架旨在剖析阐释多模态文学交流的体认过程。 当然,多模态体认过程研究的前提是认知诗学的基本主张——文学是“人类经验的一种具体形式”(Gavinset al., 2003: 1),“文学研究可向我们揭示认知实践,借此我们不但可以阅读文学作品,还可以感知和理解世界” (Gibbons,2012:26)。 多模态认知诗学认为“人们不仅通过语言,而且也通过视觉、听觉和心理等其他方式接触世界” (Gibbons, 2012:38),因此,多模态认知诗学把研究焦点确定为读者对多模态进行理解和体验的复杂动态过程,并运用科学的方法对该过程进行动态描述。

多模态文学倾向于突出符号的物质性和意义理解的多模态性,往往通过调动读者的身体参与,诱发和强化心理体验。 因此,多模态文学的认知研究高度关注读者在字体、排版、图像形状、颜色、布局等视觉因素的刺激或操控下作出的行为反应或注意力变化。 如吉本斯 (Gibbons, 2012: 45) 运用图形-背景理论,解释眼睛如何在一个视域内部或跨视域之间移动。 “在阅读视觉语篇时,意义的理解尤其需要阅读路径的动态调整”(Gibbons, 2012:25),眼睛在阅读文本中的移动路径是在视觉结构诱发下人所做出的主体性反应,如图1(见下页)。

图1 《书页之屋》(Danielewski,2000:133)节选

读者在阅读到该页时,会主动做出选择,调整阅读路径。 在《书页之屋》这一多模态小说中,有很多类似的视觉操控手段,调动和激发读者的阅读行为,读者需要根据对故事世界的理解自动调整阅读顺序,甚至需要手动调整书页的方向,这类设计突出了图书作为阅读对象的物理属性,赋予读者更多自主性,可以自行选择阅读顺序和路径。 这种在物理行为上的“身体”介入,往往会诱发读者心理上的自我投射(projection)、自我暗示(self-implication)、情感或认知反应(emotional response)(Gibbons, 2012: 27),从而直接影响读者对故事世界的体验和认知。 再如,在托马苏拉(Tomasula)小说《VAS: 平地上的歌剧》(VAS:AnOperainFlatland:ANovel,文后简称:VAS)中,作者通过排版设计等视觉化手段使符号的物质性被高度前景化,调动读者的身体器官实施相应行为 (赵秀凤,2021: xiii),如翻页、调整书本方向、调控阅读视角等行为反应。 由此,读者直接参与叙事进程,从而“高度彰显了读者在文本体验过程中的涉身参与性”“强化阅读、存在、认知和想象等过程的涉身本质” (赵秀凤,2021: xiii)。

多模态小说VAS中的主题隐喻是运用多模态符号调动多感官参与,彰显动态性体认的典型实例。 该部小说以多种方式反复建构和表征一个主题隐喻[人类是书籍]。 一方面,这一隐喻体现为故事内聚焦人物感知觉的语言表达。 如主人公“四边形”(小说中主人公的名字)把手术视为“对自己身体的改写”(Tomasula, 2002: 193) 和“一次简单的编辑” (Tomasula, 2002: 312),以下段落更清晰地表征了人物感知和认知域中的[人体—书籍隐喻]:

四边形(小说内主人公的名字)停下了笔,看了看指尖的涡纹,这些由线构成的巧妙图像是祖祖辈辈,世世代代,甚至是经过 125,000 代追溯到类人猿时期传承下来的,它可以由AGCT 四个基本字母来表示,这四个字母又可以构成单词 GAT、 ATA、 AGG,然后这些单词构成了基因的双螺旋句子,进而填充细胞内染色体,最后由这些细胞构成躯体这本书。 (Tomasula, 2002: 312;吉本斯, 2021:80)

该段中关于身体的医学术语“双螺旋、基因、染色体、细胞”与关于书籍/写作的常用词语“句子、文章、书籍”整合编织在一起,最后直接用“躯体这本书”更加显性表征[书籍—身体隐喻]。 另一方面,该书还刻意创建物理相似性,激活读者的视知觉感知,亲身体会“书籍”域与“身体域”的整合:封面主色调为桃红色,数条蓝灰色横线隐约穿插而过,隐喻皮肤及皮下静脉;书页以肉色为主,其中的文本和图片渐变为红色、黑色和米黄色,使整本书的视觉构造仿佛人的躯体,随着读者阅读的深入(即人的年龄的增大),皮肤日渐失去光泽,布满皱纹。

在文字和视觉模态的协同作用下,读者“多模态器官”体验且认识到身体与书籍之间不仅是概念上的跨域映射关系,也是自己身体和心理互动体验下的“合二为一”。 这一实例完美地揭示了多模态文学对多模态体认的“前景化”调用,突出了体认的多模态性。

1.2 体认的交互性

体认语言学在阐述其核心原则“现实—认知—语言”时,格外强调体认的“互动性”:一是人通过对外部现实世界(包括自然、社会、文化等)直接感性接触所产生的互动体验,二是人在外界感性接触基础上进行的认知加工。 从“体的互动体验”到“认的认知加工”,再返回到体验,循环升华 (王寅, 2020: 22)。 从语言的产生、语言的发展到语言的习得都是以人的体认为基础的(林正军 等,2021),“现实”“认知”和“语言”之间的互动推动了语言的产生和使用。 体认语言学在阐释各类语言现象时所使用的理论工具,如概念隐喻、认知参照点、意象图式、理想认知模型、识解等都是围绕人与世界的互动展开的理论阐述,都强调人与人、人与自然互动过程中身体感知觉体验的规律性特征对于语言符号的产生、表达和理解的作用。 例如,王寅 (2020)结合大量实例,阐述了隐藏在歇后语背后统一的体认型式:歇后语的前项描写人较为直观的感性生活体验,后项揭示由该体验所引发的认识,“反映了人们从‘感性到理性’,从‘具体到抽象’,从‘外延到内涵’,从‘参照点到目标’,从‘明示到推理’,从‘背景到图形’,从‘表层到深层’(由表及里) 的体认过程” (王寅, 2020:2)。

体认语言学关于互动性的论述主要阐释语言产生和使用的规律性特征。 其实,体认的互动性理论能更充分地阐释读者在阅读多模态文学过程中的身心交互特征,如多模态小说VAS中第139页末端的文字为( “Still,itmoves”)在排版上颠倒了文字的方向(图2)。

图2 VAS(Tomasula, 2002: 139)节选

要识读这些文字,读者必须把书旋转过来。 这种设计配合该部分表达的主题——宇宙的本质一直处于运动之中,呼应该句“一直在动”的语义,因为读者必须做出翻转书本的身体行为,才能读到“一直在动”这句话。 在该情况下,读者的身体机能与语言对行为的触发双向互动,“执行一个动作有助于理解包含行为动词的修辞短语和文学短语”(Gibbs, 2005: 88)。 因此,读者翻动图书的身体动作同时启动了“移动/运动”这一概念,使读者得以身心协同体验“移动/运动”,加深对“一直在动”这句话的理解。 此外,该页配有众多箭头和线条组织成的旋转图像,视觉、行为动作、感知和文字理解多路径协同,创造关于宇宙旋转移动的感性体验和理性认知。

关于身心体认及其与世界的互动,认知科学家莱德曼 (Lederman) 和克莱茨 (Klatzy)曾指出:“人们使用触觉系统来感知真实物体和虚拟物体同时存在的世界,并与其进行互动。”(2001: 71)同样,马克斯 (Marks,2002:2)也指出:“我们正是通过协同触觉、动觉和本体感受,才同时在阅读书籍的过程中获得身体感知和内心体验。”从这一意义来说,通过调动读者的身体与书本在实体意义上的直接接触,VAS成功激活并强化了读者的交互性体认。 体认的交互性还体现为读者与人物之间的“协同共振”。 与常规文字小说不同,多模态小说往往借助多模态符号,频繁调动读者对故事世界的身体参与,这一点在叙述人物行为动作时,表现得尤为突出。 例如,在《书页之屋》第440-441 页,作者通过排版 (见图3)设计出如具象诗般的文字,描述人物戴维森(Davison)攀爬探险的行为过程:

图3 《书页之屋》(Danielewski,2000: 400) 节选

戴维森步伐缓慢,但是十分坚定,双手交互爬行上了梯子……他仍然继续攀爬,最终他的坚持不懈有了回报,爬行了大概半个小时后,他终于爬完了梯子的最后一根。 几秒钟过后,他站在一个非常……(Danielewski, 2000: 400;吉本斯,2021:58)

显然,这段文字被排列为一个梯子的形状,从底部一行开始,每个横档错落排开,在空白周边的映衬下,深黑色字体形成的横档越发突显,如同一架梯子斜依在墙上。 文字的排列顺序和空间摆放方式,决定了读者的阅读方向和顺序:自下而上,从左到右,这一顺序与人物的攀爬动作一致——从低到高。 可以说,读者在视觉符号的引导下,眼睛紧随人物攀爬的动作,拾级而上,与人物“亦步亦趋”,一起“攀爬”。 梯子横档一级级向上,迫使眼睛不时穿过空白处,形成视觉跳跃(Gibbons, 2021:60)。 眼睛发挥“动能闭合”(kinetic occlusion)作用,戴维森“不断换手”攀爬梯子。 从侧面来看,当他在前面的那只手抓到高一级横档时,后面的手便跟着向前,这个动作类似于眼睛的动能闭合——读完一段文字后,空白处便进入眼帘。 该例同时充分体现了两类互动:读者的身心互动及读者与人物的协同共振。 当然,这种双维互动的前提是多模态符号对读者体认感知的诱发性潜势。 从一般抽象意义来说,是不同模态之间的符号互动激发了读者的身心互动及读者与人物的互动。

正如吉布斯(Gibbs, 2005: 66-67)所言:“认知是身体与物理/文化世界互动的产物。 思维并不是存在于人的身体内部,而是存在于大脑、身体、世界……交织形成的网络。 ‘涉身’就是指大脑、身体和物理/文化环境之间的动态交互。”约翰逊(Johnson, 1987: 5)也指出:“我们所认识的现实由以下因素所塑造:身体运动型式、时空定位轨迹、我们与物体的互动形式;它绝不仅仅是抽象的概念和命题判断。”为此,吉本斯 (Gibbons,2012:42) 强调:“既然涉身是人类理解和体验的奠基之本,那么我们似乎可以做出这样的逻辑推演:身体在阅读中的参与度越多,阅读就越有意义,影响就越深远。”

以上实例分析表明,多模态文学语篇充分运用多种模态符号,调动读者的多维交互体验,无论是人与符号资源在物理意义上的本体互动,还是文本内多种模态符号之间互动所引发的读者在身体感知和心理认识之间的互动,都反映了多模态符号对读者整体体认过程的影响。

1.3 体认的复杂系统性

从复杂动态系统理论视角来看(Complex Dynamic Systems,简称:CDS), 在多模态文学的交流过程中,读者的体认也呈现出复杂动态系统性特征。 根据CDS 理论,复杂系统具有以下突出特征:“复杂性,即构成元素和施动体丰富多样、互动方式多元;动态性,即构成元素与施动体始终变化,互动方式亦始终在变;开放性,即新元素和施动体随时可进入系统;非线性,即系统的整体变化不可预测,无法以变量分析法找到规律;此外,系统可具自发组织性和共适性,有时体现为相对稳定的状态。”(单理扬,2019:94)

就多模态文学交流而言,一方面,读者的体认具有多模态感官联动性,另一方面,多模态文学的构成要素丰富多样,这些都对多模态文学的理解体认过程产生直接影响,使体认本身成为一种复杂的动态系统,呈现出复杂系统的一般特征。 首先,多模态文学交流的对象,文学作品本身就是一个由多个子模态符号系统构成的复杂系统,如后现代实验小说系统往往包含图像、图形、页面设计、空间布局、字体、颜色、词汇、语法、篇章结构、文学常规等等多个子系统。 多模态小说尤其是后现代实验文学达到了高度的形式自觉,大量运用元小说和互文指涉手段、彰显实体性、创新文本排版形式等。 吉本斯(Gibbons, 2012: 2) 把这种形式自觉在符号上的主要体现概括为以下八类:存在明显的文本布局和页面设计;排印方式多样,在文字和图像中运用色彩;类似于具象诗,把文本文字具象化;使用包括元小说写作在内的多种手段;吸引读者关注文本的物质属性;使用脚注和其他形式传递自我质疑;使用翻页书技巧设计部分章节;混合使用多种文学样类,包括文学创作风格上的混搭,如恐怖,也包括视觉效果的混搭,如剪报和剧本对白。 每个子系统之间相互联系,相互制约,表征和建构小说世界,创建文学意义。其次,读者个体也可以看作一个高度复杂的动态系统,对多模态符号的阅读理解过程本身也受个体、社会、认知、文化和环境等多因素的影响。 如在识读鲁宾 (Robin) 的花瓶图像 (图4)时,某人可能第一眼倾向于解读为“看到了一个置于白色背景的黑色花瓶”,而另一个人则解读为“黑色背景下的两张白色面孔”;“图像阅读并没有线性结构的强制要求,即读者具有主体性选择,当然即使有个体差异,在特定社会文化群体中,也一定有规律性体验阅读路径”(Gibbons, 2012:14)。 因此,他们又都可以在这两种解读之间任意切换,体现了读者体验的个体性差异。

多模态文学交流是一个多要素相互作用的系统,文学构成要素和认知主体要素的多样性和动态变化性,使文学意义的理解和体悟过程本身也呈现出复杂动态系统特征,多模态符号系统内部诸要素与读者的多模态感官系统及认知系统之间存在“竞争、互补、对立和适应等多种交错叠加的互动关系”(曾小燕,2017: 35)。

在真实交际活动中,体认的复杂动态性既体现于读者与文学作品及其环境之间的互动,又存在于读者个体多种素质和能力的互动,多维互动在多模态文学符号的诱发下呈现出高度的动态性和自组织性。 例如,当读者翻开多模态小说《书页之屋》,读到的开篇之句是“This is not for you ”(这不是为你写的)(Danielewski, 2000: ix)。 该句的否定语法结构 “not”和指向故事外读者的第二人称代词“you”,都令读者感到某种“不适”,该句似乎在实施一种禁止性言语行为,阻止读者进入小说世界。 这显然违背小说常规,与读者固有阅读体验及打开小说的阅读冲动和欲望之间形成直接冲突,令读者感到“认知失调”(cognitive dissonance)。 事实上,作者是“希望借此激将法诱使读者深入阅读”(Gibbons, 2012: 51)。 “失调给人带来心理不适感,会促使人们努力减少不适,达到协调。”(Festinger, 1957: 3)当人们的行为和认知发生冲突时,内心急求缓解这种失调的愿望便会异常强烈(Gibbons, 2012:53),因此,读到这句阻止性否定句后,读者反而往往会做出“认知对抗”(cognitive reactance)反应,即产生强烈的反抗心理,就会反其道而行之。 可见,常规、语言、读者的阅读欲望、心理预期及其个体心理调整适应等多要素联动,相互作用与制衡。 该句的阅读理解过程——从体会到符号意义表层上的被排斥,经认知对抗,做出逆反性继续阅读行为——充分体现了体认的动态性、复杂性和自组织性,是多种子系统连接互动的结果。 此外,该句单独构成一页,位于按照常规应该是献词页的位置,这一空间位置本身又形成了激活文学常规的符号要素,与文学作品的语类结构及其相应的阅读常规图式形成联动关系,直接影响阅读个体的体验和认知,以及随之产生的对抗认知反应。

2 走向多模态体认诗学

综上所述,“多模态体认观”拓宽了“语言体认观”的适用视域。 多模态文学实例表明,语言符号具有认知性、社会性和文化性,多模态符号更是如此;多模态符号的协同、组合、应用更涉及身体体验和认知加工的循环互动。 多模态文学交流也遵循“现实—认知—符号”这一核心原则,也大量启用图形-背景、意象图式、概念隐喻等体认机制。 因此,我们可以说,体认语言学理论为我们阐释多模态文学的交流过程提供了强有力的理论工具。 我们可以通过拓展体认语言学的应用范畴,从多模态符号的体认性出发,阐释读者与文学作品之间的互动体验,推动“多模态体认诗学”研究。 笔者认为可以从以下三个方面展开:

首先,拓宽体认语言学的外延。 体认语言学侧重从语言生产角度论述体认的作用,阐述“现实—认知—符号”三者之间的关系。 作为揭示语言人本性的体认语言学,理应从语言产生的一般规律出发探讨本源问题,但事实上人类用于交际的所有符号都具有体认性特征。 21 世纪起的后现代实验文学,充分利用各类图文符号,激活人的感知体验、情感和认知加工;这类文学的日渐兴盛也充分说明了多模态符号体认性对文学的影响。 因此,我们有必要拓宽体认语言学的外延,从广义的符号层面,考察体认的过程;如针对后现代实验文学的多模态组合特征,阐释该类文学得以产生、接受、形成独特文学样类背后的体认机制;通过透视读者的阅读体验和认知加工过程,揭示多模态文学交流背后的规律性特征。 这一“多模态体认诗学”的研究路径是对语言及其他符号体认性的有力补充,有助于更加全面立体考察语言及多模态符号交际全过程中的体认性,揭示符号的人本性、唯物性和互动性本质。

其次,丰富体认语言学的理论蕴含。 体认语言学倾向于在人类群体意义上阐发体认的意义,多模态体认诗学则可以关注真实、个体读者的体认经验,即关注真实的沉浸于文学作品中的真实读者,考察他们沉浸于文学自然阅读过程中的真实体认过程。 这可以通过实证检验的手段得以实现。我们可以从文本表层符号结构和读者实际体认之间的关联性角度,阐述多模态文学交流过程中体认的多模态性、交互性、复杂系统性。 读者在多模态文学阅读过程中的身体行为、多感官感知体验及其对认知加工的影响,反映出符号接受方具有“主动而复杂的互动体验和认知加工潜势”(Gibbons, 2012:19)。 多模态符号之间的协同互动诱发多模态感官的联动反应,使多模态体认具有了相当程度的“一体化”特征,正如加桑费尔等(Ghazanfar et al., 2006: 278) 所论:“我们与世界的交互涉及一系列感官输入,我们的感知是对世界的一体化表征。 新皮质按照使认知加工过程尽可能快速有效的方式组织起来。”多模态文学中的表征手段丰富多样,互动方式多元,给习惯于传统小说阅读的读者带来了很大挑战,同时也诱发了新奇的阅读体验。 多模态形成多感官刺激,使读者调用多个感觉器官及其处理各自信号的神经认知系统。 在阅读过程中,随着多种模态符号形式的铺展协同,读者的“多模态感官系统”和“神经认知系统”不断动态连接,调整变化,从而推动“体”和“认”的多维复杂联动。 概言之,多模态体认诗学对体认的阐发考察,可以极大丰富体认的内涵,有助于我们从人类话语交际的角度更加全面阐释和理解符号“体认”的本质和特征。

最后,推动体认语言学和诗学的交叉融合。 虽然从多模态话语交际的角度来说,语言交际和视觉交际是两种相互独立的符码系统,模态或模态组构不同,所激活的认知体验有所差异,但是从多模态体认观出发,我们就会发现,事实上在多种符号交际的背后存在某些更深层、更抽象的符码体认机制,如图形—背景、概念隐喻、转喻、概念整合等。 对此,克雷丝等(Kress et al., 1996:188) 明确指出:“语言的信息结构与视觉中的横向组织结构极为相近,这一点也印证了存在某种更深层、更抽象的符码倾向,这些倾向在不同的符号模态中有不同的体现形式而已。”因此,我们不应该把图像结构与语言结构进行简单的机械类比,语言和图像都是心理过程的外在符号表现形式,我们应该探寻其背后共同的心理加工机制 (Gibbons, 2012: 15)——体认机制。 从话语交际的实际过程来说,符号构成的文本是体认的语境,是唯物性基础,具有诱发性,诱发交际接受方的身体反应和心理感知。基于这一认识,多模态体认诗学应该高度重视人的视觉感知(visual perception)结构,理解和阐释人的视觉感知机能(Gordon,1997; Haber et al., 1973; Posner et al.,1997; Styles,1997),如哪些色彩与尺寸特征吸引感知者的注意力,或事物之间的相似如何使感知者把它们视为一类,视知觉调整如何影响心理的认知加工等(Gibbons, 2012: 16)。 基于此,通过既具体又综合的多模态体认分析,体认语言学所阐述的“体认”性分析可以被拓展到多模态话语交际层面,拓展其应用范围,而多模态文学交流体认的独特性也可以反过来丰富体认语言学的理论意蕴,在更高维度上推动体认语言学和诗学的交叉融合。

3 结语

作为共同关注后现代哲学和文化思潮的两大研究领域,体认语言学和多模态认知诗学在理论观点和应用分析方面存在诸多相同、相通之处,如都强调符号的认知性和社会性,都强调身体体验与认知加工的互动,都遵循“现实—认知—语言 (符号)”原则,阐释体认性。 多模态认知诗学对多模态文学交流过程中体认的多模态性、交互性、复杂系统性的论述,为体认语言学开辟了一个新视角,丰富了语言体认观的内涵,拓展了其应用范畴。

本文提出应从拓宽体认语言学的外延、丰富体认语言学的理论蕴含、推动体认语言学和诗学的交叉融合三个方面,构建和推动“多模态体认诗学”研究。 多模态体认诗学研究不但可以从真实读者体认角度“打破语言和图像研究之间的藩篱”(Kress et al., 1996: 183),阐释多模态文学交流的意义和价值,还可以从更深层的超越具体符码表征机制的角度,推动体认符号学研究。 本研究从文学和语言学跨学科视野,探讨人类符号交际的体认性,有助于在后现代语境下切实推动多领域的互动交流对话,践行体认语言学的后现代主义哲学观,推动学术研究更加多元和开放。