从“描述”到“解释”<br/>——多模态语篇的系统功能符号学分析法与认知诗学分析法比较

从“描述”到“解释”
——多模态语篇的系统功能符号学分析法与认知诗学分析法比较

2017-01-17曾方本

当代外语研究 2016年6期

关键词：符号学诗学语言学

曾方本

(惠州学院，惠州，516007)

从“描述”到“解释”
——多模态语篇的系统功能符号学分析法与认知诗学分析法比较

曾方本

(惠州学院，惠州，516007)

多模态语篇的社会符号学分析法着力于“描述”构建语篇的符号资源及其意义整合，是目前多模态语篇分析的主流理论与方法。认知诗学致力于“解释”语篇结构可引起的语篇效果，它最初主要面向文学语篇，但也适用于多模态语篇的分析，它为多模态语篇分析提供了新的理论与方法。本文从理论基础、分析方法、分析对象、主体、语篇依据及分析模式等方面对二者进行了大致的比较。多模态语篇的系统功能符号学分析与认知诗学分析本质不同之处，在于”描述”与“解释”的区别。从“描述”到“解释”，系统功能符号学分析法与认知诗学二者具有一定的互补性。

认知诗学，多模态语篇，功能语法，视觉语法

1.引言

Jewitt(2009:28)将多模态语篇分析方法总结归纳为三种:系统功能符号学分析法、多模态互动法以及话语分析法。由于Kress和van Leeuwen(1996)借鉴功能语法建立了“视觉语法”，成功解决了非语言模态在语篇里的地位与功能问题，它成了系统功能符号学分析法的核心内容，系统功能符号学分析法也成为目前多模态语篇分析的主流方法。20世纪末，认知诗学直接基于认知语言学和认知心理学建立了起来，它特别研究文学语篇(文本)的结构对读者产生的心理和社会影响(Gavins＆Steen 2003:1)，即语篇效果。当代认知诗学领军人物Stockwell(2002:169)明确指出，认知诗学适用于包括非诗体在内的一切语篇。也就是说，认知诗学也适用于多模态语篇分析。Gibbsons(2012)专门就此开展了研究，为已经萌芽的多模态认知诗学(multimodal cognitive poetics)研究提供了理论视野与思想框架。面向认知的多模态语篇分析，或者说多模态认知诗学，既是认知诗学理论的应用拓展，也是对系统功能符号学分析法的不足的补充。本文拟从理论基础、分析方法、分析对象、主体、分析模式等方面对二者进行比较，以祈对多模态语篇分析理论与方法有个更宽视野的把握。

2.功能语言学对多模态语篇分析的借鉴作用与系统功能符号学分析法的缺陷

Halliday和Hasan(1976:1)认为，语篇是语言的运用单位，语篇分析就是要揭示运用句子组成语篇的机理(texture)，具体说就是衔接(cohesion)。传统的语篇分析是针对文字语篇的(口头的与书面的)。尽管可以发现，语篇分析也注意到了书写形式、排版、闪现、色彩等对语篇意义的影响，如对视觉诗(具象诗或形体诗)的分析与理解(Widdowson 1992: 163;黄国文1987:55;王佐良、丁往道1987:511)，但语篇分析理论对此的解释力显然不够，因为语篇的表征形式也表达意义的命题毕竟不是传统语篇分析理论所覆盖的。视觉诗是由文字模态的形态变化、排版等构建的，是典型的多模态语篇。随着计算机技术的发展与运用，多模态语篇的内涵与外延变得异常丰富，人们越来越多地构建并使用包含文字、图像、声音等符号资源的多模态表征形式。显然，传统的语篇分析理论值得完善。

为了解决这个问题，Kress和 van Leeuwen (1996:1)在语言社会符号理论的基础上将系统功能语法延伸至语言符号之外的符号模态研究中，认为“正如语言的语法如何决定小句、句子和语篇一样，视觉语法是对描绘的人物、地点和事物如何组成具体不同复杂程度的视觉陈述”。他们将功能语言学的纯理功能思想延伸到视觉模态，创建了以再现意义、互动意义、构图意义为核心内容的分析图像的“视觉语法”。“视觉语法”与针对语言模态的功能语法一起，形成了一套系统性的适用于多模态语篇的分析方法——系统功能符号学分析法。

Kress和van Leeuwen明确指出，“视觉语法”只是一种“视觉陈述”(visual statement)。显然，包含“视觉语法”在内的系统功能符号学分析法主要是对语篇结构或多模态整合进行“描述”，一般不对不同符号模态在语篇内的布局谋篇做出解释。“形式”或结构，本来就是“视觉语法”分析多模态语篇时所聚焦的对象。如Kress和van Leeuwen从基于页面的“形式”或结构出发，分析认为语篇里各种成分所占位置不同，价值也会不同。左边的往往是已知信息，右边的为新信息;被置于上方的信息是“理想”的，而下方的则是“真实”的。“理想”的指信息理想化或概括性，因此它也是信息的显著部分，“真实”指更具体的信息，如细节。中央与边缘则表明信息有主次之分。至于说人们对这些信息价值的判断依据何在，Kress和van Leeuwen(2006:197)则以欧洲教堂里普遍可见的中世纪三连画(triptych)为例予以“论证”:画作中间的往往呈现宗教主题，如耶稣、圣男或圣女，边沿的则是跪地祈祷膜拜的圣徒，类似的这种“视觉陈述”在当前的杂志、报纸、互联网页面随处可见。显然，这只是一番归纳推理，并没有揭示其深层原因。为此，一些学者为探讨模态整合的原理做出了尝试。Baldry和Thibault(2006)认为不同模态的整合或不同模态群(cluster)的识别是依靠人的视觉灵感(intuition)实现的，譬如颜色、事物大小、物体相似性等都可引起感官上的归类。Bateman(2008)认为灵感说太玄秘，他提出建立“多模态语言学”(multimodal linguistics)，具体可从模态成分、模态布局的变化、排版、修辞、语类等方面对多模态语篇进行分析。Bateman的研究似乎强调接受视角或认知视域，但认知科学和神经科学的研究不断表明，人的认知处理过程是综合性的，而不是分割的，人们对多模态语篇的识读也应是如此。Bateman的观点在整体上还是基于语言学的结构论。

总之，系统功能符号学分析法的主要贡献是首次系统性提出了适用于多模态语篇分析的手段或方法，但没有揭示出采取手段或方法的心理认知动因是什么，达到的效果是什么。“视觉语法”与所有语言学理论一样，试图解释语篇是如何获得意义的。当代认知科学认为，意义存在于人的大脑，所以语篇分析中引入认知科学，既可以为传统语篇分析提供新的思路，也有助走出“以语言解释语言”的老思路。

3.认知诗学与多模态语篇分析

诗学不是一个新鲜名词，可以从两千多年前的哲学巨人亚里士多德的著作《诗学》找到其源头。语言起源于诗歌，语言的本质是诗，诗歌语言原则是语言学最重要的原则。诗学原本立足于诗歌，是一种从语言学角度研究语篇的范式。俄罗斯语言学家雅各布森曾经研究发现，在19世纪现实主义文学作品中，一般是转喻结构占支配地位，而在浪漫主义作品里，一般则是隐喻结构占支配地位。以俄罗斯形式主义为重要推力的语言学与文学研究的联姻，开辟了从语言学角度研究文学语篇的新思路。Tsur (1992)首先提出了认知诗学(cognitive poetics)这个术语，他借用俄国形式主义和法国结构主义理论对诗歌语言进行跨学科研究，尔后其内涵不断丰富，研究对象从经典诗歌扩展至所有的文学文本以及对认知科学理论如何运用到文学文本分析进行探讨，弥补了传统诗学研究的不足，认知诗学已成为当下跨学科性质的热门学科。

Stockwell在其著作CognitivePoetics:An Introduction中提出了利用认知科学或认知语言学理论开展文学语篇研究的框架，现被广泛采用。但一些学者也认识到，概念隐喻、概念整合等诸多理论都是以语言符号为依据所得出并囿于纯语言学领域的研究，这肯定是不全面的，因为语言只是人类众多交际符号中的一种，其他如声音、色彩、线条、空间布局等也可以用来构建和表达概念(Forceville 1996，2006，2008)。因此，既有语言隐喻，也应有图像隐喻、声音隐喻，它们都是单模态隐喻。事实上，在同一个概念隐喻里，源域和目的域还可能以不同模态呈现或表征，那就是多模态隐喻(Forceville 2009: 24)。类似的情况还会发生在概念整合过程中，可称为多模态概念整合。2012年，英国谢菲尔德大学Alison Gibbons出版了她的博士论文Multimodality，Cognition，andExperimentalLiterature，她参照Stockwell的基本框架对多模态文学语篇的诗学研究做了系统性探讨。结合 Stockwell和 Gibbons的研究，可以归纳适用于多模态文学语篇分析的认知理论，主要是:图形－背景、认知指示、认知语法、脚本与图示、文本世界、概念隐喻、概念整合，还可以包括原型理论、语境框架理论、认知叙事学等。

值得指出的是，Gibbons表明自己的相关研究只是针对多模态小说(multimodal novels)语篇而言的，其中不仅包括各种符号模态，而且包括不同字体、排版、印刷设计、图像等。她还指出多模态小说语篇(文学语篇)具有如下“形式特点”:(1)非常规的语篇排版与页面设计;(2)各式字体;(3)各种色彩; (4)图形语篇，如视觉诗;(5)关注语篇本体的手法，包括超小说(meta－fictive writing);(6)脚注;(7)电子动画书;(8)语类混杂，如语词的图文对应(Gibbons 2012:2)。显然，从某种意义上来讲，多模态小说语篇与广告、海报等是同质的，区别只在于语篇篇幅的长短。多模态小说语篇的上述“形式特点”其实就是它的“视觉特点”，可以纳入“视觉语法”的范畴，它们是系统功能符号学的关注内容，类似于认知诗学的“语篇依据(textual evidence)”。但认知诗学所感兴趣的不仅是这些显性的“形式特点”或“语篇依据”，例如，解读一首爱情诗可以分析称谓的语言特征，如代词、称呼方式、词汇的正式度等，对这些视觉上非显性的语言特征进行识别后，可以进一步从认知的角度解释或领会这些特征的使用效果(Stockwell、马菊玲2012)。可见，对系统功能符号学分析法来说，“语篇依据”主要来自于语篇的上述“形式特点”;认知诗学分析法的“语篇依据”则不仅包括语篇的显性“形式特点”，还包括语篇的隐性语言特征。

4.多模态语篇的系统功能符号学分析法与认知诗学分析法比较

综合以上，可以对多模态语篇的系统功能符号学分析法与认知诗学分析法做如下观察:

第一，二者的理论基础不同。前者基于社会符号学理论、功能语法、“视觉语法”等，后者基于认知诗学理论。

第二，在方法上，二者的本质不同之处在于”描述”与“解释”的区别。系统功能符号学分析法主要是“描述”，这是由它的功能语言学基础所决定的，索绪尔建立的现代语言学的一个重要原则与特点就是它的“描述性”。认知语言学虽是现代语言学的分支学科，但它却是融合了认知科学的交叉学科，认知诗学以认知语言学和认知科学为理论基础，为追究多模态符号整合的认知心理机制提供了依据。认知诗学要“对读者如何在当时理解语篇做出合理的解释”(Stockwell 2002:7)，即解释语篇的理解是如何产生的。熊沐清(2012)觉得还不止于此，他认为认知诗学的分析方法是“从解释到发现”，通过解释从而发现“别的阅读方法未能读出的涵义或未曾关注的某一侧面”等。显然，“解释”是方法，但“发现”只能是“解释”的结果。

第三，系统功能符号学分析法关注语篇结构，包括结构体内的多模态意义资源，探究不同模态意义的互动与整合。语篇结构在某种程度上反映了人们的心理秩序(李荣启2005:187)，反过来说，这种秩序是由语篇结构表征出来的。因此，通过语篇结构表征的心理秩序其实就是认知诗学所关注的语篇效果。

第四，心理秩序、语篇效果的主体是读者，所以，读者也是认知诗学的主体。从这个意义上来讲，系统功能符号学分析法的主体是作者，因为作者才是模态资源的使用者和语篇的构建者。

第五，系统功能符号学分析法所感兴趣的模态资源或语篇的色彩、字体变化、结构变化等“形式特点”或“语篇依据”在表征上呈现出不同于习惯或传统的异化，它们在视觉上容易识别，是显性的。认知诗学分析法的“语篇依据”则不仅包括语篇的显性“形式特点”，还包括语篇的隐性语言特征。

第六，系统功能符号学分析法与认知诗学分析法对于具体的语篇都有一定的分析模式，如表1所示。对于系统功能符号学分析法而言，一般要分析语篇内所蕴含的模态类别，然后就是语言模态、非语言模态的功能分析，最后是不同模态的意义整合分析。对认知诗学分析法而言，通常是以其中的一个或几个理论为工具对语篇进行分析，如图形－背景理论、隐喻理论、概念整合理论等。

表1

5.结语

系统功能符号学分析法着力于“描述”构建语篇的符号资源及其意义整合，认知诗学则借用认知科学或认知语言学的理论，它是一种基于认知的“阅读”理论，探索语篇所引起的读者的心智感受，以语篇阅读效果为目的。认知诗学为多模态语篇分析提供了新的理论与方法。正如Verdonk(2005)等指出，会有越来越多的多模态形式的呈现，这与新时代的创新思潮(zeitgeist)紧密相关。借鉴认知诗学理论开展对多模态语篇的认知分析，这是一个很有意义的课题，但另一方面，系统功能符号学分析法和认知诗学各有侧重，它们之于多模态语篇分析具有互补性。因此，二者的整合性研究对多模态语篇分析理应会更深入、更全面，值得探讨。

Baldry，A.＆P.J.Thibault.2006.Multimodal Transcription and Text Analysis:A Multimedia Toolkit and Coursebook［M］.London:Equinox.

Bateman，J.A.2008.Multimodality and Genre:A Foundation for the Systematic Analysis of Multimodal Documents［M］.Basingstoke:Palgrave Macmillan.

Forceville，C.1996.Pictorial Metaphor in Advertising［M］.London＆New York:Routledge.

Forceville，C.2006.Non－verbal and multimodal metaphor in a cognitivist framework:Agendas for research［A］.In G.Kristiansen，M.Achard，R.Driven＆F.Ruiz de Mendoza Ibanez(eds.).Cognitive Linguistics:Current Applications and Future Perspectives［C］.Berlin，New York:Mouton de Gruyter.

Forceville，C.2008.Metaphorsin pictures and multimodal representations［A］.In R.W.Gibbs，Jr(ed.).The Cambridge Handbook of Metaphor and Thought［C］.Cambridge:Cambridge University Press.

Forceville，C.＆E.Urios－Aparisi.2009.Multimodal Metaphor［M］.Berlin/New York:Mouton de Gruyter.

Gavins，J.＆ G.Steen.(eds.).2003.Cognitive Poetics inPractice［C］.London and New York:Routledge.

Gibbons，A.2012.Multimodality，Cognition，and Experimental Literature［M］.London:Routledge.

Jewitt，C.2009.Different approaches to multimodality［A］.In C.Jewitt(ed.).The Routledge HandbooktoMultimodal Analysis［C］.London:Routledge.

Halliday，M.A.K＆R.Hasan.1976.Cohesion in English［M］.London＆New York:Routledge.

Kress，G＆ T.van Leeuwen.1996.Reading Images［M］.London:Routledge.

Stockwell，P.2002.Cognitive Poetics［M］.London＆ New York:Routledge.

Verdonk，P.2005.Painting，poetry，parallelism:Ekphrasis，stylistics and cognitive poetics［J］.Language and Literature14(3):231－244.

Widdowson，H.G.1992.Practical Stylistics［M］.上海:上海外语教育出版社.

黄国文.1987.语篇分析概要［M］.长沙:湖南教育出版社.

李荣启.2005.文学语言学［M］.北京:人民出版社.

Stockwell、马菊玲.2012.文学认知研究的精妙科学［J］.外国语文(6):2.