多模态语用互动的翻译意义构建

冯建明

(广东医科大学 外国语学院,广东 广州 523000)

0 引言

以互联网为主导的现代技术革命和交际方式的改变给文本形态与内部结构带来了深刻变化,文本要素及其表意手段正日益呈现多模态趋势。人们常常运用多种符号资源完成意义的建构(Kress et al.,2001),语言与其他模态的结合已经成为一种常态(Jewitt,2009)。自《图像的修辞》(Barthes,1977)尤其是《阅读图像:视觉设计的语法》(Kress et al.,1996/2006)出版以来,学界对多模态研究的理论基础、分析路径、框架建构以及应用实践等进行了多方面探讨,取得了丰硕成果,然而,或许出于“语言符号中心主义”的惯有思维以及多数研究者的语言学背景等原因,多模态翻译研究却相对滞后。尽管许多研究者已经意识到各符号间的关系,但他们的研究视角仍然集中于语言层面(Gambier,2009:7),主要关注的依然是文字意义的转换。除了影视翻译和漫画翻译等众多同质性个案研究之外,用于构建文本意义的其他符号资源的语(符)际转换以及多模态语义表征如何在目的语文本中原貌映现等问题在翻译研究中尚未引起足够重视。

作为一种渐趋盛行的叙事模式,多模态文本是一种多元且复杂的符号系统,影响意义构建的因素很多。译者不仅要考虑诸如语法结构、遣词造句、篇章连贯等语言层面的特征与规范,还要关注其他非语言符号模态对文本意义生成所起的作用;不仅要翻译单个模态符号的意义,同时更要把握各模态之间的逻辑互动对翻译带来的影响。文本形态的变化给翻译研究与实践提出了新的挑战,作为一种关涉多种符号模态的翻译类型,多模态翻译显然更具复杂性。这就要求译者首先对多模态进行正确解读,尤其要弄清楚不同模态符号之间存在怎样的逻辑互动关系以及在形式上缺乏统一“语法”的多模态文本中隐含着怎样的认知机制统辖不同的表意资源。限于篇幅和论述重点,本文拟从狭义多模态的视角分析在由语言和图像两种异质元素组成的叙事空间中两者的关系、互动、功能及其内在机制,并以此为基础,着重探讨图像模态创造性的文化调适以及多模态语义表征尤其是模态互动关系在文本间的完整映射,旨在构建多模态语用互动模式下的翻译意义。

1 多模态语用关联互动解读

马丁(Martin,2010)提出了翻译认知理论的一种观点,即我们翻译的并非文本,而是译者对文本的个人阐释。这意味着任何文本的翻译首先都是基于对原文的正确理解,多模态自然也不例外。就文本结构而言,多模态的表意手段比较丰富,文本之间的关系也更加复杂多样(侯建波,2016:176)。尽管不同模态并无严格的组合规则,但其中显然隐含着某种联系,彼此之间互相作用共同建构文本整体意义,而译者的首要任务就是探寻模态之间的各种关系、互动及其功能。

1.1 模态间性:关系、互动与功能

多模态之间除了简单的毗邻或共现关系,通常还表现为并列、从属、互补、矛盾和独立等关系图谱。“并列”指两种模态具有同等地位,语义等价,都是指向同一个事物,如图像显示某一建筑,语言则说明它的名称。“从属”指一种模态依附于另一种模态以增添附加信息,如一幅山水画下方的作者签名,它对于理解绘画信息本身并非必须的。“互补”指一种模态符号不能充分表达其意义,或者无法表达其全部意义,需要借助另一种来补充(张德禄,2009:26)。二者互相依存,离开彼此可能就会失去意义,如语言文字写着“开会请往这边走”,图像则显示所指方向和位置,反之亦然。此即所谓“文不足以图补之,图不尽而文说之”(周芜,1985:1)。“矛盾”指两个模态所携带的信息明显不相关甚至互相排斥,语义上彼此抵触或冲突,导致文本表面看起来不太顺畅。这种情形通常用于幽默或讽刺之目的,如一张显示联合国大厦的图片旁边写着“美国国会”。“独立”指的是每个模态可以独立存在,表面看来似无联系,但各自表达的信息均与文本主题相关,它们的组合并未造成信息冗余,而是可以创建更丰富的多模态意义或更宏大的文本主题,如语言文字描述水资源浪费现象,旁边附有一张非洲黑人小孩嘴唇干裂的图片。

多模态文本中,不同符号资源如何协同运作产生整体意义,这是文本解读的关键。斯迪克(Stöckl,2004:10)指出,我们似乎比较多地了解单个符号模态及其功能,但对于它们在文本中如何互动、如何组织起来却知之甚少。在多模态整体框架下,每个模态所提供的信息往往只是局部甚至不相关的,但其存在都有可能会影响其他模态的意义。如果不分析多模态互动就试图把握文本整体意义甚至仅是语言部分的意义,都是不太可能的。如在一整页的文字说明上面划了个“X”或盖了一个“作废”二字的印章,意义就完全发生了变化。尽管从模态提供的信息量来看,“X”或印章要比文字少得多,但它却是起着主导作用的重要模态——然而如果没有文字部分,这个“X”或“作废”印章则失去了存在的意义。文字以及文字表面所附加的符号传递着不同的意义,对多模态整体做出各自不同的语义贡献。二者彼此结合,互相作用,产生了全新的文本意义。多模态文本中的不同符号模态可比作时钟上的齿轮。尽管每一个齿轮都在不停地转动,但并不能就此确定时钟正在正常工作,显示准确的时间。每一个齿轮只有按照某种规则互相啮合起来进行有效运转,才能发挥时钟的作用。因此,就其整体功能而言,齿轮之间的互动与单个齿轮的存在一样同等重要。从这个意义上讲,多模态是不同符号模态在“资源整合”原则下互相作用而产生的新的意义统一体。鲍德里等(Baldry et al.,2005:21)甚至认为“多模态文本意义是各模态意义之乘法而非加法”,强调这一文本结构的意义增值性和乘法效应。在某种程度上,每个模态的意义并不是自给自足的,而是由其他模态或者文本整体赋予的。

不同符号模态以各种逻辑关系组合在一起,通常发挥着意义补充、降熵或强化等作用,在信息传递效率方面要优于纯语言文本。人类交际过程中,信息传播具有多种表现形式,同一信息可以从不同的模态符号中获取。因此,当文本中某一符号模态的概念或意义不清晰、不完整时,可以借助其他模态提供的信息加以确定,或进一步丰富其意义。比如在描写一个实物的外形时,语言描述可能显得啰唆冗赘且效果不佳,如果附上事物的图像,读者则可一目了然。图像充当文本交际最直接的参照语境,对文字内容进行补充说明,模态之间互文照应,显然这是一种非常有效的语用策略。有时候,图像符号所具有的多元性决定了画面本身可以存在多种解读方式,即具有多重表意的潜在可能性(刘佳,2013:80),这种情况下图像意义可能需要借助语言文字的阐释方可确定,即语言可以帮助消解图像的多义性。文本整体借助模态之间的相互作用赋予那些指代模糊的模态符号以明确的所指,消除对方的不确定性,降低其熵值,从而实现“降熵”或“消歧”的目的。此外,不同模态符号还可相互强化,如某一广告文本中语言模态在推销“耐克”运动鞋,旁边附有一幅乔丹的照片。显然这是在文字推介的同时利用公众熟知的篮球明星去进一步刺激受众的视觉器官,进行双重编码从而有意地去强化和凸显前者。

译者通过分析多模态关系、互动及功能等模态间性建立和完善文本的语义表征,并在语境知识和百科知识的帮助下解读其隐含意图。但仅仅做到这些还不够,他还必须弄清楚,是什么“吸引力”将这些不同的符号模态紧密粘连在一起的。

1.2 多模态关联黏合剂

多模态文本资源的异质性使它不太可能像语言文本那样具有统一的语法规则和严密的组织结构。不同模态之间的逻辑互动关系或多模态语义表征,显然不能用“语法”来描述。然而,倘若没有某种机制将分属不同模态的内容联结起来,译(读)者为什么会将不同符号成分看作是文本整体的一部分呢?换言之,是什么纽带将这些不同的模态符号“捆绑”在一起以便进行同质处理的?它们之间究竟暗藏着怎样的连接方式?显然,多模态文本中存在某种隐性的内联机制,正是它将不同模态联系起来,统辖和协调所有的符号模式。这一“粘合剂”——即统一的多模态准则,其实就是人类交际中的一个基本原则:认知关联。

自动关联性认知是人类天生固有的一种心智能力,在与自然界、人类社会和心理世界互动的过程中,人脑总是很自然地将各种事物和现象联系起来进行解读。话语交际亦是如此。对于信息接受方而言,说话人每个明示的交际行为都会本能地被认为具有最佳关联(陈新仁,2011:90),语言交际其实就是围绕交际意图而展开的一系列的明示—推理过程,从话语的明示义中识别出隐含义。关联是交际中最基本的一条原则,这不是因为说话人必须遵守这条准则,而是因为关联是认知的基础(何自然,1995:23)。关联性推理解读不仅存在于话语交际中,而且还广泛存在于语言之外其他不同形式的交际过程中。尽管格特(Gutt,2000:25)的“关联翻译论”没有太多关注多模态文本,但也提到了非语言交际。在他看来,语言和非语言交际的区别不在于是否存在推理,而仅在于刺激所提供的明示程度。福塞维尔(Forceville et al.,2014)也曾提出将关联理论拓展到明示交际中图像层面的可能性。事实上,语言以外的任何其他符号资源也都隐含着自身的最佳关联,通过推理的方式参与交际。当不同模态符号出现在同一文本中时,大脑总是会自动地将这些模态所携带的信息进行“连接”。关联无处不在,难怪斯珀伯等(Sperber et al.,1995)强调,关联性是人类认知活动中统揽一切的具有普遍意义的“纲”。

因此,在多模态翻译的前期文本解读中,译者应该意识到,多模态是文本作者在特定语境下利用各种异质文本资源传递特定消息、实现某种交际意图的最佳组织形式。尽管不同模态似乎在传递单独的信息,但它们之间肯定存在着某种能够识辨的联系,而且作者也一定会有意识地使这些信息与接受者产生最佳关联。鉴于文本形态的多样性,多模态并不像语言文本那样有一套语法规则为各个要素建立互动规则,将不同模态联系在一起的“交际黏合剂”(communicational glue)乃是最佳关联假设,这是多模态文本中的普遍原则。译者应基于这一假设,根据文本语境、社会文化语境以及百科知识对多模态关系和文本整体性进行认知推理和解读,积极寻找不同模态之间各种隐含的逻辑互动关系,以确定文本语义表征,推导出潜在意图。

与语言文本一样,多模态文本也是具有一定组织结构和逻辑关系的系统。不同模态之间、诸模态与文本主旨之间都隐含着某种联系,寻找关联是理解多模态文本的前提。译者只有依据关联原则才能真正揭示不同模态资源如何互动共建文本整体意义。事实上,这只“看不见的手”不仅是理解多模态文本的“钥匙”,同时也是指导多模态翻译的重要原则。

2 多模态翻译意义构建

多模态语用关联互动解读是多模态翻译的准备阶段,解读的结果充分揭示了不同模态符号之间互相影响、互相制约、彼此关联、相伴而生的文本复杂性。译者接下来需要认真考虑的是如何将这种逻辑互动关系原样转移至目的语文本以构建多模态翻译意义。

2.1 图像模态的文化调适

正如解读多模态整体意义之前需要单独分析不同符号意义单元那样,在多模态翻译过程中,译者首先必须“拆解”文本,将不同符号资源“分离”出来逐一进行翻译。由于语言符号的翻译已有海量研究,在此无须赘述,而是主要探讨图像符号的翻译。

人类有“先图后文”的阅读习惯,加之现代技术推动下的“视觉文化”盛行,使得图像在信息传递与处理方面越发占据着重要地位。通常情况下,图像能够直接作用于人的感官,具有表意迅速、直接逼真的视觉优越性(刘剑,2014:10),能透过视觉而直诉人的心灵(梁实秋,2007:159),给人们提供的内心感受和形象比语言给人们提供的要丰富得多(吴艾玲,2008:89),因此图像往往具有直观性、形象性、通识性、易解码性和无障碍性等诸多特征和表意优势,不同性别年龄、社会阶层、教育程度甚至不同语言文化区域的受众一般都能根据直觉和常识获得相似的感性认识,从而译者似乎产生一个误区:图像无须翻译,可以直接复制。但事实并非如此。对译者而言,图像翻译至少有两点值得注意。首先,图像意义解读的不确定性。在由符号所触发的意义阐释稳定性方面,语言文字的理解通常相对具体而明确,而图像则有可能会导致比较宽泛的潜在解释(Hagan,2007:52)。这是因为图像缺乏如语言那样的语法规定性,其解读通常具有多元性,因而给译(读)者留下较大的阐释空间,在一定程度上有可能造成表意的不确定性。其次,是图像运用有时也会受到文化制约。由于文化差异的存在,翻译过程中某些具有特殊文化内涵的图像在进入另外一种社会文化中时可能无法传递相同意义,或者不能被他者文化完全接受,因而无法在目标文本中直接复制。这就需要译者对图像符号进行跨文化转换和形态再加工。例如某一多模态文本中图像显示的是一个人掌心向内,食指和中指呈V型朝向另外一个人,这在英国文化中是一种粗鄙侮辱的手势,但在汉语文化中却无此意。译者需要在理解图像内涵以及源语文本整体的基础上,在译入语文化语境下做出适当的改变或调整,以免弱化或遮蔽原文图像意指的冒犯性内涵,影响目的语读者在关联原则指导下准确识读该图像与其他模态符号之间的逻辑语义关系,从而无法正确解读语境含义和交际意图。译者在此可以采取两种变通解决方案。鉴于图像意义无法跨越文化边界,目标文本中可以插入一个内含侮辱性语言的文字框,补充说明图像意义;或者对图像进行轻微修改,将其改为仅“举起中指”这一在译入语文化中被视为是“侮辱性手势”的图像,为译文读者提供文化内涵比较接近的图样,而无须增加额外的语言内容。这种处理方式可以较好地将目的语受众可能不太熟悉的文化意象进行转换,以便再现原文的交际意图(莫爱屏等,2014:112)。图像符号携带的文化信息越丰富,翻译难度就越大。译者必须谙熟两种文化,借助现代技术,对图像模态进行“本地化”调适,使目的语读者获得与源语读者相似的图解和文化感受。图像的这种“变形”是顺应译入语文化而使文本整体获得意义的方式之一,译者必须充分意识到多模态文本中单个符号资源的转换对翻译意义建构的介入作用。

模态本身会产生意义,而模态之间的相互作用也会产生意义(Kress et al.,2001:14)。在结合了语言和图像的多模态文本中,理想的翻译不仅反映了对单个模态的感知,还有对二者之间互动的感知,即图像和文字结合时做了什么(O’Sullivan,2006:113)。因此,多模态翻译不仅关涉单个模态的意义传递,更要考虑不同模态之间的逻辑关系及其互动给翻译带来的影响。

2.2 模态互动的文本映射

威尔逊(Wilson et al.,1988:138)认为,单语环境中两个话语在特定语境下经过解释后是相似的,它们共享分析含义和语境含义。格特(Gutt,2000)基于斯珀伯等的解释相似性概念,指出翻译也是一种“语言解释性运用”,准确地说是“语际解释性运用”。从关联理论的角度看,译文实际上就是文本阐释的具体表现(莫爱屏,2010:159)。这意味着为了与原文本具有解释相似性,目标文本应与之共享相似的分析结构(即语义表征),才有可能产生相似的语境效果(即明示义和隐含义)。翻译多模态时,鉴于文本的语境含义是建立在它的语义表征之上的,这就要求目标文本在其自身文化语境下尽可能准确再现源语文本的语义表征尤其是模态间的逻辑互动关系,使译文读者能够进行与原文读者相似的关联解读,产生相似的语境效果,从而获取相同的交际意图。那么,多模态目标文本如何才能实现与源语文本相似的语义表征,译者如何将模态之间的关系、互动、功能等一并复制到目标文本中呢?

译者如果认为只要将不同模态逐一进行翻译便算大功告成就大谬不然了,因为这种观点显然没有考虑到多模态翻译最本质也是最困难的环节:模态关系的文本映射。正如多模态意义并不等于各模态意义的简单总和,多模态翻译也绝非仅是各个模态翻译的直接堆积,译者还必须考虑如何译出模态之间的“互动关系”。多模态翻译过程中,由于两种语言不同的编码系统以及目的语读者可能缺乏文本理解所需的社会文化语境或相关百科知识,模态的直接翻译有时可能无法指引目标文本读者对多模态的语义表征进行预期解读。为此,译者需要在顺应对方文化的基础上对目标文本的显性内容、隐性内容或组织结构等文本资源或语境参数进行选择、修改或重置,进行“二度编码”,以弥补文化缺省而造成的信息阙失、不对等或者解读偏误,努力引导目标文本读者关注文本元素之间、语境参数之间以及文本与语境之间的潜在关系。译者采取何种策略重组和构建多模态目标文本,取决于这些策略和方法是否有助于实现多模态逻辑互动关系的语际映射和文本间的最佳解释相似性。例如,在一个关于医院就诊场景的多模态文本中,颤颤巍巍的老者手中拿着检查单,上面写着“孤独症”,而医生将一张写有“处方笺、当归、每周二次”的处方单递给老者身旁面带羞赧状的儿子。基于文本关联解读,译者可以发现图像和文字两种符号模态之间为互补关系,其意义不确定性(年轻人羞赧状的原因以及汉语文化中“当归”的双关语义)正是依赖对方的存在才得以消歧和化解。二者互相作用,彼此降熵,在认知关联粘连下进行功能性结合,构建多模态意义,传递文本潜在意图,即建议老者的儿子应当“常回家看看”,多点时间陪陪老人。译者如何翻译图像和文字两种符号模态之间的这一“互补”关系至关重要,因为它关涉到译文读者通过模态间的互动进行正确的关联解读和逻辑推理,从而领会文本的真正意图。鉴于图像在中西方文化中认知理解上的相近性,人物图像可以采取零翻译的方法直接复制到目标文本中,但较难处理的是文字当中“当归”这一双关语(“药材”义与“应当归家”义)的文化理解与正确处理。考虑到文本语境以及文化与语言的双重差异,此处“当归”可译为“LOVAGE”(一种多年生伞形科欧当归属的植物,其叶可作药草),以贴合医院就诊这一基本场景。与此同时,译者可将该词人为拆分成两个部分“LOV”和“AGE”,并把它们设置成不同的颜色,使同一单词在视觉感观上形成两种不同的视觉组合和表达效果,让目的语读者产生两种不同的意义解读(“药草”义与“关爱老者”义)。这样在目标文本中就有了与原文本类似的两种意义不确定性(年轻人羞赧状的原因以及“LOVAGE”的双重含义)。译文读者同样基于关联原则,根据文本语境以及自身文化背景进行与原文读者相同或近似的推理解读,探明图像与文字之间的“互补降熵”关系,进行意义消歧,从而实现模态互动的文本映射。译者对“LOVAGE”一词进行灵活处理,就是想在文字与图像之间预设和搭建关联,等待读者在其自身社会文化语境下去挖掘、识别它们。译者若无此积极策略,读者是很难发现模态间关联互动关系的。从这个意义上讲,译文的成功与否,并不在于译者是否遵循了某种翻译原则或理论,而是取决于是否遵循认知关联原则(Gutt,2000:199),翻译本质上就是一个明示—推理的交际过程(Sperber et al.,1995)。

译者处理不同符号资源及其互动关系的最终目标就是为了实现语(符)际解释相似性。通常来说,不同模态符号之间的逻辑互动越复杂微妙,译者处理起来就越困难;模态互动的文本映射性越充分,其解释相似性就越强,翻译意义实现的可能性就越大。

2.3 多模态翻译意义构建

多模态文本的翻译行为显然已经超出了传统意义上的翻译概念和内涵(谢天振,2015:14),传统线性的、文字的文本概念不能对所有的多符号文本现象做出解释(Gambier,2006:3)。基于上述多模态解读与翻译分析,我们尝试建立多模态翻译的一般框架(如图1)。

模态的界定此处暂不探讨。通常情况下,文本中只要出现两种及以上不同的符号形态,甚至是同一符号内部呈现某种变化用以传递特定含义时,即可视为多模态。如图所示,该框架的左边为多模态的解读部分。译者在确定多模态符号构成的基础上,根据关联原则着重分析并确认各个模态之间的逻辑互动关系是属于并列、从属、互补、矛盾或独立等关系图谱当中的哪一种类型,发挥着意义补充、消歧、降熵或进一步强化等功能,旨在充分理解多模态信息的生成过程。基于文本解构,译者从左至右开始进行多模态意义的文本重构,具体表现为原文本中不同的模态(模态a、模态b、模态c)及其互动关系(互动1、互动2、互动3)皆以虚线箭头的方式对应地投射到右边的目标文本中,且其中各模态仍以关联为主线粘连在一起。理想状态下,右边部分的各模态及其相互关系应是左边部分的镜像映射,以实现文本的语际解释相似性,但在实际翻译过程中,要实现这一点却非易事。鉴于语言文化差异,多模态之间的语用互动关系并不会随着单个模态的翻译而自动同步移植。这就需要译者充分发挥主观能动性,在顺应目的语文化语境的前提下,通过创造性的文字改写或图像变形等策略与技巧(如“模态a”变为“模态a′”“模态b”变为“模态b′”“模态c”变为“模态c′”),创建模态间的认知关联和互动关系,使目的语读者在译者所营造和仿制的文本语境中可以身临其境地体验与原文读者等同或近似的认知过程和解读结果。可以说,多模态翻译过程中,变化的是模态符号,不变的是模态间的语用互动关系,前者服务于后者。译者必须从静态的源语文本中发现这些动态的关系,再将这些关系投射到目的语文本中。

图1 多模态翻译一般框架

多模态翻译通过文本重构来实现意义再生,而模态以及模态间互动关系的完整映射则是翻译意义产生的根本保证。意义建构是文本所有元素合力作用的产物,同时也是译者个体在顺应多模态特征和双语文化基础上认知和创新的结果。

3 结语

特定历史阶段的主流翻译对象是形成该历史阶段主流译学观念的重要制约因素(谢天振,2009:viii)。长期以来,围绕宗教典籍、文学名著和社会科学经典的翻译实践及其理论研究导致翻译被视作是“将文字和意义从一种语言转换到另外一种语言”(Taylor,2013:99)。现代技术进步与交际方式的改变在带来文本形态变化的同时,也催生了新的翻译对象和译学思考。形式上异质的多模态文本通过认知关联粘连起来,协同构建内容同质的文本结构。译者的主要任务就是寻找关联,识别模态之间的各种逻辑互动关系,建立和完善语义表征,推断出文本交际意图。多模态互动建构了文本意义,而多模态翻译就是解构和还原这些关系。为此目的,译者应借助各种手段和方法,努力创设各种关联,帮助目的语读者识别模态间的互动关系,使其通过相似的认知推理获得相同的明示义和隐含义,实现翻译意义的成功构建。多模态翻译拓展了多模态和翻译两个不同领域的研究范畴,同时也给译者提出了更高的要求。语际翻译开始向符际翻译真正转变的时代已经来临。