多模态语篇分析的社会符号学理据

汪燕华

(厦门大学，厦门361005)

1 引言

传统的语篇分析把语言符号作为研究对象，关注语言系统和语义结构本身及其与社会文化和心理认知之间的关系，却往往忽视了诸如图像、声音、颜色、动漫等其他意义表现形式(朱永生2007)。而随着时代的发展，单独以文字符号构建的语篇已不能满足意义表达和交际的需要。为了更快捷、有效的传递信息，达到交际的目的，语篇创造者运用诉诸于人们感官(视觉、听觉、嗅觉、味觉、触觉)的各种模式建构语篇，从而产生多模态语篇。多模态语篇分析是对组成一个语篇或一个交际事件的不同符号模态的分析，它将语言符号和其他相关的符号资源整合起来，旨在通过考察符号各自所体现的意义和符号之间的互动意义，分析和解释它们是如何共同协作，创造出一个完整的语篇或交际事件的。这类语篇分析既可以推动我们对语言学的研究，同时也可以加深我们对符号学的认识(胡壮麟2007)。本文将通过分析Saussure，Halliday和Kress的符号学理论，明确多模态语篇分析的符号学理据。分析旨在表明:多模态语篇研究是以语言研究为基础的社会符号学理论扩展至其他模态研究的结果，是符号学理论逐渐社会化的表现;Halliday和Kress的符号学研究是一套一脉相承的、以社会文化和人类心理认知为导向的理论体系，该体系奠基于这样一种认识，即社会符号学不是一门关于符号研究的纯理论，也不是一个自足的理论体系，它在分析社会现象，解决社会实践问题的过程中得以存在和发展。

2 Halliday的语言作为社会符号的理论

多模态语篇分析要求我们不仅关注语篇内部符号系统之间的关系，还需要我们把它本身看作一个符号系统寻求它和社会及符号使用者之间的关系。在这一点上，Halliday的社会符号学为多模态语篇分析提供了有力的理论基础。Halliday的社会符号学理论受到L.Hjelmslev符号学理论的启发。Hjelmslev在实施Saussure提出的建立“研究社会内部符号生命的学科”的任务过程中发现符号不仅包括物质实体(能指)和心理概念(所指)的关系，还包括符号本身与外界符号系统的关系，并且所有符号都要服从更高系统的组织原则。这些表现更高系统的符号具有内涵意义。像其他符号一样，它具有让业已存在的符号系统发生作用的潜能。Halliday提出的社会符号系统相当于L.Hjelmslev所说的“具有内涵意义的符号”，它需要通过语言来体现。所有理论系统(科学、哲学和美学等)以及社会规范、法律、意识形态等都属于语言符号所体现的高一级符号。Halliday同时认为，还有一些社会符号依附语言而存在，如视觉艺术、音乐、舞蹈、着装方式、饮食以及其他一些意义生成行为，还有图表、地图、图形、数字等等(Halliday＆Matthiessen 1999:606)。可见，Halliday的社会符号学理论扩展了Saussure的语言具有“社会性”的观点，把语言提升到符号主系统的地位，认为语言是能够掌控所有符号的生成的符号，而不单单是语言学描写的符号。这样，语言作为一个符号同时表述和构建社会结构和制度，而这种表述和构建并不限于语言自身，而且还表现于文化的各个方面。文化正是由许多符号系统构成的意义潜式，如建筑、美术、舞蹈、音乐、文学、民俗、礼仪、商品交换方式等都可以看做符号系统。在这个意义上，语言只是表现社会符号学的许多方式中的一种。另一方面，语言又是一种极为特殊的符号系统，它在表现其他符号的系统中也起了作用，因而是人们赖以缔造世界的主要手段，是建构和解构其他符号的媒介。

Halliday的社会符号学思想主要反映在其著作《作为社会符号的语言》中。他详细论述语言、社会和人的关系，提出“语篇、语境、语域、语码、语言系统和社会结构”6个反映语言和社会关系的概念。其核心思想是要在社会语境中解释语言，用语言来建构社会。这6个要素是我们分析多模态语篇的重要依据。和由单一的语言符号构成的语篇一样，多模态语篇也是人们根据语境所做的有意义的选择，是意义潜式的实例化(instantiation);语境是多种符号意义生成的环境，其本身也是一个社会符号系统。同时，多模态语篇内部的不同符号系统之间也互为语境，因语域变量(语场、语旨、语式)的不同而生成不同的意义;与由单一的语言符号所构建的语篇所不同的是，多模态语篇的语式更为复杂多样，涉及到诸如图像、声音、色彩、排版和构图等多种表达意义的方式;语码在多模态语篇中可以指同一社会文化背景的人所默认的符号系统的组织原则，它是社会系统产生的社会符号类型，具有一定的规约性，它如同一只“看不见的手”，调控着多模态语篇生产、识解和消费的整个过程;这里要强调的是，语言系统在多模态语篇中属于主系统，人们通过语言系统实现社会结构，确立自身的地位和角色，建立和传递共享的价值系统和知识系统，从而将社会符号化。通过解读这6个要素可以看出，Halliday的社会符号学理论反对过分强调用形式主义的方法研究符号系统，而是主张把语言行为作为实例，并把社会实践作为经常的、可重复的、可识辨的类型(胡壮麟2007)。它认为社会是有意义的行动所构成的各种社会符号系统，也正是这些符号系统为这些实践和其他实践赋予了意义。如果说Saussure把语言作为符号学的一个部分来研究是为了从语言与其他符号的异同中找到语言内在的特质，Halliday把语言作为社会符号的观点则是为了把语言和语言之外的其他符号系统置于社会文化的大背景下解释语言的功能。事实上，所有符号系统都是社会文化的一部分，社会文化本身也是一种符号结构。多模态语篇中各个符号的意义只有置于社会文化的大背景中才能得到准确的解读和界定。

3 Kress的社会符号学理论

虽然Saussure和Halliday都注意到了符号的社会性是阐释符号意义的必要条件，但他们谈论的主要是语言符号。而Kress则把语言符号之外的其他符号纳入自己的研究视野，提出旨在解释所有符号系统意义的社会符号学理论(Kress 1988)。Kress的社会符号学的研究是从分析幼儿对语言、文字和图像的反应和创造的过程入手的。在此过程中他发现在能指和符号使用者之间存在“动机”关系，动机的产生与人的社会环境有密切关系。在完成著作《作为意识形态的语言》后，他意识到纯粹语言符号研究对解释社会问题的局限性，认为在语言系统之外的其他系统(如视觉、听觉、行为等其他信号编码)也同样存在意义，仅仅探讨语言符号的意义远远不能解释社会实践中存在的问题。可以看出，Kress所提出的社会语言学理论旨在描述和解释语言符号和其他符号系统的意义生成、传播和接受的过程。

Saussure认为在符号学中，语言学起一个基准模型(master pattern)的作用。意思是说，其他符号体系的研究可以参照语言学来进行。Kress的社会符号学理论正是建立在语言学研究的理论基础之上的。他的社会符号学一方面补充完善Saussure的符号学理论，另一方面又借鉴Halliday的语言元功能思想并将之运用到其他符号领域。Kress在分析Saussure一系列二分法之后，发现被Saussure排除在外无暇顾及的恰恰是符号学应该关注的对象，并认为符号学至少应该包括:(1)符号所固有的社会、文化和政治因素;(2)与语言符号并存的其他符号系统;(3)言语行为;(4)符号的历史、发展和演变等历时性特征;(5)符号化过程;(6)所指的结构;(7)符号的物质属性(Kress＆Hodge 1988:18)。

在Kress看来，语言符号与其他符号系统之间有着千丝万缕的联系，任何一个符号意义的生成和理解都不能与其他的符号系统隔离开来，而必须将它放置在一个更为广阔的、由所有符号系统共同建立起来的背景下阐释，因为这些符号系统本身就是社会活动的一部分。在谈到语言学理论和其他符号系统之间的关系时，他认为，语言学理论的潜在价值可以在解释其他符号系统的过程中得到体现，而这种解释只有在和社会实践接轨后才能产生效果。

Kress不仅拓展Saussure和Halliday的符号学思想，还将他的理论思想运用到视觉符号的分析当中。Kress的社会符号学理论实践主要体现在他与van Leeuwen合作的著作《阅读图式》(Kress van＆Leeuwen 1996)中。Kress运用系统功能语法关于语法的解释来构建视觉语法。Halliday指出，“语法是再现经验的模式的手段……它是人类建立关于现实的心理图像，并理解发生在他们周围和自身内部的经验(Halliday 1985:101)。也就是说，语法是制造意义的资源，而不是一套决定对错的形式规则。Kress和勒文将Halliday对语法的定义延伸到视觉符号，认为，“正如语言的语法决定词如何组成小句、句子和语篇，视觉语法将描写所描绘的人物、地点和实物如何组成具有不同复杂程度的视觉的‘陈述’”(Kress van＆Leeuwen 2006:1)，视觉图像和语言符号一样都是社会文化的产物，是人们在生产和阐释社会现象用来创造意义的认知资源。图像中的视觉符号不仅可以反映客观世界和主观世界发生的各种事情，而且可以表现各种各样的人际关系，与此同时视觉符号内部也是一个有机的连贯的整体。因此可以借用Halliday的语言元功能，分别从概念功能、人际功能和语篇功能三个不同层面分析图像等视觉符号的语义关系(Kress van＆Leeuwen 2003)。Kress不同意Barthes所说的对图像的理解是依赖语言而获得的，而是认为图像和文字说明虽然有联系，但并不依赖文字说明，因为它本身既是有组织的又是又结构的(Kress van＆Leeuwen 2006)。他同时强调，“视觉结构并不只是对‘现时’结构进行复制。恰恰相反，它们生成的现实世界的各种图像，与那些生成、传播和阅读这些图像的社会机构的利益是紧紧联系在一起的。它们是表达意识形态的。视觉结构决不只是形式的，他们在语义上也是非常重要的”(Kress van＆Leeuwen 2006:46)。可见，每一种图形都有其特定的含义，我们称之为“图形语义”，即图形在“说什么”。的确，直到今天，我们还可以依靠刻划在阿尔塔米拉石窟的野牛图形和半坡遗址的彩陶鱼纹等稚拙的图案来研究和理解远古时代人类的生存状况。因此，在多模态语篇中，图形语义和语言是相互作用并互为语境的;它们的共同协作才能更好地表现语篇创造者和交际事件的意图。

4 结束语

社会符号学的宗旨是在社会实践中探索意义的生成。任何意义，无论是语言文字的意义还是其他符号系统(视觉、听觉、嗅觉、味觉、触觉)的意义，以至抽象的模型、结构、主体意识都是它所要研究的对象。通过分析Saussure，Halliday和Kress的符号学理论，我们发现多模态语篇分析的理论是基于Saussure对符号具有“社会性”这一论断之上的。Halliday的“语言是社会符号的理论”(Halliday 1978)是对此论断的扩展。须要指出，Saussure和Halliday的符号学理论是以语言符号为分析对象从而探讨符号的共性和意义。这些共性是多种模态共存于同一语篇的基础。Kress的社会符号学理论融合Halliday语言作为社会符号的思想，发展并创立旨在解释所有符号意义生成和传播的符号学理论。这一功能语言学的发展，关注的是特定于某一文化、某一社团的符号实践，它推动多模态表达的研究，最终形成能够包容多种模态意义生成和解释的社会符号学理论，为多模态语篇分析提供直接的理论来源。

胡壮麟.社会符号学研究中的多模态化［J］.语言教学与研究，2007(1).

索绪尔.普通语言学教程［M］.北京:商务印书馆，1980.

朱永生.多模态话语分析的理论基础和研究方法［J］.外语学刊，2007(5).

Halliday，M.A.K.Language as a Social Semiotic［M］.London:Amold，1978.

Halliday，M.A.K.An Introdiction to Functional Grammar［M］.London:Amold，1985/1994.

Halliday，M.A.K.and C.M.L.M.Maatthiessen.Construing Experience through Meaning［M］.London＆New York:Cassell，1999.

Kress，G.＆ Leeuwen，Theo Van.Reading Images The Grammar of Visual Design［M］.London:Routledge，2006.

Robert，Hodge.＆ Kress.Social Semiotics［M］.New York:Cornell University Press，1988.

Saussure，F.de.Course in General Linguistics［M］.London:Gerald Duchworth ＆ Co.Ltd.，1916.