基于符号学和系统功能语言学理论的图文关系综合探索

戴春玲 龚晓斌

引言

随着网络技术、智能手机、互联网等的发展，图像在语言中所占的比重逐渐加大，对图像与文字关系的研究也逐渐吸引了越来越多学者的兴趣。图文关系并不是一成不变的，它不但与文本语类有关（汪燕华 2011），而且与文化环境、阅读者的语言水平和年龄（国防 2017）、所处时代（谢忱霖 2014）都有关联。比如文学材料中的图文关系与网页材料中的不同；幼儿图书中的图文关系和成人图书中的不同；古代的图文关系与现代的也不同。除此之外，图文的意义还随着时代的变迁相互渗透。李佩颖（2016）曾对数字媒介时代的图文互文关系进行研究，发现文学在创作过程中受到图像思维的影响，图像艺术也受到文学精神的浸润。

对图文关系的研究纷繁而复杂。从语篇类型来看，图文关系研究涉及广告语篇、科学语篇、数学语篇、文学语篇、多模态教学、传单、档案、教科书、图画书等；从研究角度来看，有从信息结构、衔接、及物性、逻辑语义关系、语类结构潜势等不同角度切入研究图文关系的。本文主要分析了符号学和系统功能语言学理论框架下知名学者的图文关系理论，从而得出图文关系探索的大致框架。

一、符号学视角下的图文关系模式

20世纪德国著名哲学家恩斯特·卡西尔（Ernst Cassirer）在《人论》中给人下了一个全新的定义：从人类文化的角度来看，符号化的思维与符号化的行为是人类生活最富有代表性的特征，可以把人定义为符号动物（王铭玉 2015：4）。符号系统使得人类从本能地、被动地对外界刺激作出反应进化为积极主动地进行思考。依托符号系统，人类能够将个人感觉传达给其他个体，或者将知识进行储存以便传达给后代。没有符号就不可能有文化，同时文化的进化也使符号系统更加体系化。众多符号学家诸如皮尔斯（Peirce）、莫里斯（Morris）、艾柯（Ecco）、巴特（Barthes）等都对符号下过定义，然而由于思想基础、出发点不同，符号至今没有简洁而清晰的定义。王铭玉（2015：12）尝试性地对符号下定义，认为符号是指对等的共有信息的物质载体。具体来说，符号具有物质性，能传递一种接收者共同理解的、不同于载体本身的信息。并且任何符号都由符号形式和符号内容构成，二者之间是对等的关系。

语言作为最常用的符号形式，是一种特殊的符号系统。然而随着时代的变化和科技的发展，语言的地位发生了变化，特别是随着图像时代的到来，图像符号在人们的沟通交流中占据了越来越大的比重，使得人们开始认识到不同符号系统的优缺点，并且开始研究怎样使得不同的符号系统更好地结合在一起。

（一）巴特的图文观

索绪尔（1980：39）认为语言的问题主要是符号学的问题，我们的全部论证都从这一重要的事实中获得意义。要发现语言的真正本质，首先必须知道它与其他一切同类的符号系统有什么共同点。在索绪尔语言符号理论的启发下，法国符号学家巴特（1977）对图文关系提出了自己的认识。巴特选择广告图文作为研究对象，认为广告图像中包含三种信息：文本信息（linguistic message）、有符码的像符信息（coded iconic message）和无符码的像符信息（non-coded iconic message）。在巴特看来，所有的图像都是多义的，在图像的“能指”之下暗藏着一长串“所指”，而文字就是用来固定图像一部分意义的工具之一。同时，巴特还指出图像和文字之间存在三种关系：锚定（Anchorage：文字固定一部分图像意义）、图解（Illustration：图像解释文字）和接力（Relay：两者地位平等，相互补充）。

（二）Kress&Leeuwen的视觉语法

虽然国内有大量文献将克雷斯（Kress）和路温（Leeuwen）的研究成果归于多模态和系统功能视角下，诚然他们的理论框架建立在韩礼德系统功能语言学中“语言三大元功能”基础之上，然而这两位学者在Reading Images一书中这样写道：“我们关于视觉表征的研究是建立在‘社会符号学'的理论框架内的”（Kress&Leeuwen 2006：6）。故而本文将二位的研究成果置于符号学框架之内。

克雷斯和路温（2006：18）认为巴特的研究漏掉了很重要的一点：文本中的视觉成分本身就是一个有着独立组织结构的信息，虽与文本相连接，却并不依赖它，反之亦然。根据韩礼德的系统功能学理论，语言同时体现三种元功能：概念功能（ideational metafunction）、人际功能（interpersonal metafunctional）和语篇功能（textual metafunction）。与韩礼德的三大元功能相对应，图像也有三大意义：再现意义（representational meaning）、互动意义（interactive meaning）和构图意义（compositional meaning）。

再现意义主要有两种类型：叙事的（narrative）再现和概念的（conceptual）再现。叙事过程和概念过程的区别在于“叙事结构永远都有一个矢量，而概念结构中没有矢量的存在”（Kress&Leeuwen 2006：59）。叙事结构描述的是正在进行的动作、事件或变化过程，而概念结构描述的是概括性的、静止永恒的分类、结构或意义等。互动意义由接触（contact）、距离（social distance）和态度（attitude）三部分组成。除此之外，互动意义还有另一个重要的组成成分：情态（modality）。“情态”一词来源于语言学。在功能语法中，“除了yes和no之外，还有过渡状态，即处于中间的各种类别，统称为情态”（韩礼德 2010：99）。而在视觉语法中，“视觉效果可以将人、地点和事物视为真实，好像它们确实以这种方式存在，或者就像它们不存在一样——好像它们是想象、幻想、漫画等”（Kress&Leeuwen 2006：156）。视觉效果的真实度越高，情态越高；反之则情态降低。随着色彩饱和度（colour saturation）、色彩区分度（colour differentiation）、色彩调节度（colour modulation）的升高，情态会逐渐升高，至最高点后又会逐渐下降，如图1所示：

图1

构图意义对应功能语法中的语篇功能，有三个组成成分：信息值（information value）、显著性（salience）和边框（framing）。事物在图片中的不同位置有不同的信息值，比如左边的事物被默认为已知信息（given），而右边的事物被默认为新信息（new）。图像上方往往是理想性（ideal）的事物，而下方往往是现实性（real）的事物。显著性指的是图片某元素吸引注意力的程度，由色彩对比、所处位置、视角等复杂因素决定。最后边框指的是事物之间的连接程度。通过加入分割线或分割框架，元素被分离，元素之间的从属关系也更清晰。

克雷斯和路温的视觉语法意在表明图像也有自己的表意结构，与文字一样具有三大元功能，只是实现其功能的方式不同。图文关系可从构图意义中侧面推断出，比如，若文字在左图片在右，则说明文字相对于图片来说是已知信息。除此之外，路温（2005：230）进一步完善了巴特的图文关系理论，如表1所示。该表中将图文关系分为详述和延展两大类，并对两类关系进行进一步细分。可以看出，在巴特的三大图文关系的基础上增加了解释、类似和相反三种图文关系，补充了巴特理论的空缺。同时，克雷斯和路温（2002）对颜色有特殊的看法，他们认为颜色并不是实现元功能的元素之一，而是一种独立的模态。但是与文字模态和图像模态不同的是，颜色模态不能单独存在，而是“只能存在于多模态的环境中”。

表1

与克雷斯和路温的研究成果类似的有莱姆基（Lemke，1998：91-94）。同是在元功能思想的指引下，莱姆基研究了科学语篇的图文关系后认为多符号模态的意义构建包含表达意义（presentational functions）、指向意义（orientational functions）和组织意义（organizational functions），并认为不同模态的符号基本上是不可通约的。

（三）Peirce的符号思想

图像和文字作为两种重要的符号组成成分，在符号学研究中得到了充分的体现。皮尔斯（Peirce）在“范畴”思想的影响下提出了自己的“范畴”观点。他认为，任何判断或命题都应该包括三个成分：第一性、第二性和第三性（张彩霞 2015：76）。第一性是事物本身，与其他事物不发生关联。皮尔斯认为它是一种“感觉质（QualityofFeeling）”。第一性也可以被描述为一种可能性，比如颜色，无论某种颜色是否被视觉观察到，它都是独立存在的，不受时间、空间的约束。第二性是第一性的外在表现，相对于第一性而存在。它是两种事物的相互作用过程，这个过程没有被第三者感知或理解。比如雨滴掉落在树叶上发出沙沙的声音，就是一种第二性存在。第二性必须依存一定的时间和空间存在，是现实性的、经验性的。当雨滴掉落在树叶上的声音被某个人感知，从而生出了“下雨了”的想法时，就是第三性的存在了。第三性的存在将第二者和第三者相连接，没有了第一性和第二性，第三性也无法存在。简而言之，第一性以知觉或感觉的样式存在；第二性以经验或活动的样式存在；第三性则以思维或符号的样式存在。

在三个“普遍范畴”的理论下，皮尔斯又提出了符号的三要素：媒介关联物（M-medium）（代表第一项）、对象关联物（O-object）（代表第二项）和解释关联物（I-interpret）（代表第三项）（王铭玉 2013：109-114）。也就是说，任何符号都要具备这三个要素，否则就不是一个完整的符号。符号的三要素也可以两两之间相互组合，形成符号的“下位符号”。如表2所示：

表2

如表2所示，符号的三要素相互之间两两组合后可以形成9种下位符号。其中的象似符号是通过对所描写对象的写实或模仿来进行表征的。图像、图案、模型、草图、比喻等都属于象似符号，而文字则是一种完整的符号。从中可以发现文字和图像的区别。从皮尔斯理论角度来看，文字和图像共同拥有媒介关联物和对象关联物，区别在于文字拥有图像不具备的解释关联物。通俗地说，因为文字已经在一定人群范围内有规约的意义，不同的人对相同的文字有相同的理解；而图像却不具备这种规约性，不同的人对相同的图像往往有着不同的理解。然而，规约意义是由后天学习形成的，并且在一定程度上会限制人们的理解速度，相对而言，图像则更直观，更容易吸引人们的注意力。

二、系统功能语言学理论视角下的图文关系

系统功能语言学理论虽然以文字符号为主要研究对象，但也是最合适的研究不同模态之间关系的理论。张德禄（2009）认为“系统功能语言学理论本身不需要做任何改动就可以直接作为其理论框架”。韩礼德的语言学理论本身就受到欧洲语言学派和美国语言学传统的影响，认为语言是一种社会符号，是人类众多交流信息方式的一种，并提出了纯理功能、系统、语境等核心思想。在他的影响下，大量学者从系统功能语言学理论角度对图文关系作出了研究。

（一）多模态综合分析模型

利姆（Lim Fei，2004）建立了分析带有视觉图像和语言文字等符号资源的多模态综合分析模型，简称IMM（Integrative Multi-Semiotic Model）。如图2所示：

图2

该模型采用多层平面，将图像和文字的意义由上至下划分为表达层（expression plane）、内容层（content plane）和语境层（context plane）。表达层是文本（或图像）意义被读者理解的界面，分别表现为排印（typography）和图案（graphics）。表达层之下是内容层，由语法层和语义层组成，并且采用了三种不同的颜色来表示三大元功能。最后是语境层，利姆认为图像和文字共享语境层面，包括语域（register）、体裁（genre）和意识形态（ideology）。然而无论是意义的哪个层面，都与载体媒介和物质性（medium&materiality）有关。中间突出的平台被称为整合空间（Space of Integration，简称SoI），理论上指符号过程联系语境发生的地点。整合空间之所以突出来一块，是为了表示不同模态符号相互作用造成的语义延伸。考虑到多模态文本意义形成的复杂性，IMM模型将不同领域的研究成果统一到一个模型中，形象、直观地显示了图文关系研究的一个综合性框架，使研究者对图文关系有了更深入的了解。IMM模型的不足在于，就像作者自己指出的，这个模型过于简化和死板，实际研究中意义的分布会更复杂、更具灵活性。另外，三大元功能的比例不可能像模型中那样都处于相同地位，在实际应用中可能某一功能占主体地位，或者两个功能之间会有交叠。

与利姆的多模态综合分析模型相类似，罗伊斯（Royce，1998）同样认为在视觉符号和文本符号中存在“整合空间”，他称之为“符间互补”（intersemiotic complementarity）。罗伊斯认为每种元功能之间的符间互补关系不同，并对图像意义、符间互补和文本意义各自的元功能进行了详细分析。张德禄（2009）在利姆的基础上宏观地解释了不同符号模态（包括语言、图觉、声觉、感觉等）在文化层面、语境层面、内容层面和表达层面上的形式和它们之间的关系，相当于对利姆的模型进行了进一步解释和细分。

（二）Martinec&Salway的图文分析模式

马丁内克和萨尔韦（Martinec&Salway，2005）结合了韩礼德和路温的理论，提出了一个结合地位和逻辑语义关系的图文关系分析模式，并认为该图文分析模式适用于新、旧媒体的所有图文关系分析。如图3所示：

图3

马丁内克和萨尔韦认为前人的研究成果主要牵涉完整的图像和文本之间的关系，没有将图像和文本细分为不同的“单位”，从而研究“单位”之间的图文关系。由图3可知，地位系统包括平等（图文相互独立或图文互补）和不平等（图从属于文或文从属于图）两个子系统。在平等关系中，牵涉的是完整的图像和完整的文字之间的关系。在不平等关系中，若图像只牵涉一部分文字意义，则图像从属于文字；而文字从属于图像的情况则由文字中的指示词（deixis）决定。逻辑语义系统包括扩展（expansion）和投射（projection）两个子系统，主要按照图文内容进行分类：扩展主要指被表征的事件中的关系，而投射涉及的是已经被表征过的事件。扩展有三种形式：若图片和文字表征的内容相同，只是概括程度（level of generality）不同，就是详述（elaboration）；若图片或文字任意一方为对方提供了相关的新信息，就是延展（extension）；若图片或文字任意一方从环境（时间、空间、因果）限制了另一方，就是增强（enhancement）。投射则分为言语（locution）和思想（idea）两种，在语言中分别表现为间接引述和思考，在图像中分别表现为思想泡泡和语言泡泡。

三、小结

对图文关系的研究建立在对图像模态和文字模态单独研究的基础上。从以上学者的研究成果来看，符号学倾向于从符号本身发现不同模态之间的联系而系统功能语言学则更倾向于从功能角度，联系语境来建立图文关系模型。结合以上学者的研究成果，从概念意义来看，图文关系存在克雷斯和路温的详述和延展五种分类等；从人际意义来看，图文之间的语气和情态存在一致或冲突的情况；从语篇意义的角度来看，可以从排版中图文各自的显著性、信息值来分析图文关系。