言语—视觉模型及其运作——关联理论的新发展

国 防，曾晨璐

(华北电力大学 外国语学院,北京102206)

与面对面的交际相比，日常书面交际、文学文本以及媒体话语，普遍存在着一种对文本诠释的更大程度的不确定性。生产这类话语的作者受时间与空间的限制，无法把他产生该言语-视觉文本的意图向阅读其作品的信息的接收者明示。以媒体话语①媒体话语是指通过媒体(包括新闻机构、出版商和其他机构)传播的任何话语：漫画、电视新闻、电影、电视连续剧、脱口秀、报纸、文章等。为例，话语生产者和接收者之间缺乏真正的物理性共存，这种情况会导致信息的接收者过度强调文本的属性，并将文本中的语码当作理解其含义的唯一一种比较安全的含义来源[1]。除此之外，不同于面对面交流，媒体话语中还存在着多层次交流。这就意味着，将关联理论应用于媒体话语这种拥有言语和视觉交流渠道的话语，在语用分析中不仅要考虑交际情境与交流层次，还要考虑到因某种原因造成的错误沟通。FranciscoYus 是关联理论的追随者，并在这一领域进行了出色的研究。他注意到基于传统的关联理论对媒体话语进行的分析尚存在着很大的不足，试图从关联理论出发，创造一种能够适用于媒体话语不同交际情况的分析模型。

一、FranciscoYus 的言语—视觉模型产生的背景

Yus 的言语—视觉模型以关联理论为基础，是对关联理论创造性的发展和应用。他大量使用关联理论中的要点来解释和证明他的媒体交流模型。Sperber&Wilson 于1986 年，在《关联性：交际与认知》中提出了关联理论[2]。关联理论以认知关联和交际关联为两条基本原则，认为“话语处理时人们只需根据关联的交际原则与认知原则，以关联为取向，同时可以发挥认知主体的能动性”[3]。“关联理论从认知学的角度阐述并修正了Grice 的会话理论”[4]，选择从认知的视角对人类的交际进行研究，因此被人们认为是一种认知语用学理论。关联理论被认为是“迄今为止最有说服力的解释交际活动的理论”[5]。Yus 于1997 年在其出版的西班牙语著作La interpretación y la imagen de masas中提出了言语-视觉模型[6]。该模型吸收了Sperber 和Wilson 关联理论中的相关思想及概念，关联理论是该模型的理论基础。Yus 认为，将关联理论应用于媒体话语分析的优势在于关联理论是一个通用模型，可以预测所有类型话语的推理策略。但另一方面，关联理论在媒体话语分析的深度及准确性方面仍存在着不足。Yus[7]将媒体话语的交际划分为两个层次，包括通过媒体话语进行交流的作者/读者或观众这一层次，和媒体话语内部的交际的角色/角色这一层次。他认为，在这两个层次中，信息的接收者都必须计算出情境效应和刺激解释中涉及的处理工作的最佳平衡，并选择与关联理论中的相关性原则一致的一种假设。然而，关联理论主要分析了为说明该理论而发明的“实验室实例”，其主要应用于人们一对一的面对面交流。在此类型的交际中，说话者可以向听话者清楚地明示自己的意图。而在媒体话语中，话语的“作者”隐性存在，同时存在着多层次交流，因此必须对关联理论模型进行调整以适应媒体话语分析的情况。除此之外，关联理论主要关注言语交际而不是非语言交际，因此Yus 的言语-视觉模型是对关联理论的有益发展。

二、FranciscoYus 的言语—视觉模型的框架

Yus 的言语—视觉模型应用于以言语和视觉符号为交流主要渠道的话语，并且在这种媒体话语中，以角色为导向与以观众为导向的二分法必须清晰明了，如漫画、电影、电视剧等等。像脱口秀一类拥有观众在现场参与的话语并不满足该模型的以角色为导向与以观众为导向的二分法的前提。新闻发布会这种屏幕前有收看者，现场有观众，而且部分话语是事先就已准备好的非贴近现实生活中的自然交流的话语，也不太适合使用这个模型。Yus 根据交流的层次、信息传递者(addresser)给予刺激的方式、对信息传递者的意图进行细致的分类以及信息接收者(addressee)理解信息的效率这四个方面提出了言语—视觉模型的四个参数，即交流(Exchange)、信息(Message)、目的性(Intentionality)与效率(Efficiency)。这四个参数分别对应四个基本的二分法：(1)交流是直接在作者和观众之间进行，还是在相关媒体话语故事内的人物之间进行；(2)交流是通过言语手段还是非言语手段实现的；(3)交流是有意的还是仅仅是信息的偶然传递(如果是有意的，则听话人必须确定说话人交流的背后是哪种意图)；(4)听话者(观众或角色)选择的解释，是否是说话人想传达的那一个[7]297。Yus 将这四个参数与其对应的二分法组合起来，得到了16 个能够用来解释媒体话语的类别，见表1。

表1 言语—视觉模型及其16 种解释类别(摘自Yus 的论文关联理论和媒体话语言语-视觉交流模型:302)

(一)面向观众的交流与面向角色的交流

Yus 的言语—视觉模型中的第一个参数是交流(Exchange)。Clark[8]提出在分析文学话语时，要考虑到文学话语中存在的交流层次。他拿《哈姆莱特》举例，认为其中至少存在着三层交流互动：作者通过文本与读者或观众的交流、舞台上演员的交流以及文本中人物之间的交流[9]。受到Clark 关于话语中不同层次的提议的启发，Yus 认为，在分析媒体话语时，也应考虑不同的层次。因此，Yus 认为媒体话语中，存在两个基本的交流层面，即“通过话语进行交流的作者与读者/观众”和“在媒体话语中的角色与角色”这两个层次。通俗而言，作者是作品创作者，观众/阅读者是作品接收者，角色是作者笔下创作的人物。例如，在Yus 分析的英国漫画中，创作者为接收者提供了一种言语视觉话语，而在这些媒体话语中，角色之间也存在着互动。

在第一个参数“交流”下，以角色为导向与以观众为导向的二分法界限很明确。Yus 认为，以观众为导向的交流是作者与读者/观众之间的交流，覆盖到达观众的所有的言语或非言语的消息，而两个或多个人物之间没有中间的对话交互；以角色为导向的交流，则是角色之间通过言语或非言语方式进行的面对面的交流，这种交流类似于日常生活中处于同一时空的人际交流。

(二)言语信息与非言语信息

Yus 言语—视觉模型中的第二个参数是信息(Message)。这个参数探讨的主要是沟通者给予的明示刺激是言语还是非言语的形式。Sperber&Wilson 更倾向于言语的交流方式，因为它更能明朗化说话者的明示意图，让听话者去寻找关联性并付出尽量少的加工信息的努力。言语信息指的是通过话语或文字的方式与信息的接收者进行交流。例如，在角色与角色的交流层次下，沟通者之间的对话交流。言语信息也并不仅在对话中进行交流，也可能是用文字的方式，如作者对读者/观众的独白。非言语信息是指除使用语言和文字以外的一切传递信息的方式，其形式要远远多于言语信息的传递方式，“如肢体动作、面部表情、空间利用、触摸行为、除语言外的声音暗示、穿着打扮和其它装饰等等，甚至还可以包括没有表情的表情、没有动作的动作，从环境中渗透出的信息等”[10]。当然，言语和非言语交际经常会在单个交际中同时发生。Yus 认为，在分析媒体话语时，难免会含有大量的、丰富的非言语信息，这些非言语信息的地位并不亚于言语信息，他们可以强化、弱化甚至推翻言语信息，有必要得到重视。因此，Yus 在其言语-视觉模型中对交际双方传递信息的方式做了一个二分法，该二分会直接影响到被分析话语的分类。

(三)有目的的交流与非有意的交流

Yus 的言语—视觉模型中的第三个参数是目的性(Intentionality)。这个参数考虑的是说话者将信息传递给听话人时，是有意还是仅仅只是如Sperber&Wilson的术语而言—信息的意外传递。不同于大多数人在分析话语中的意图时，总是将交流者信息传递的意图默认为是带有目的性的，Yus 不仅承认传递信息的无目的性，而且还认为即使是有目的性地将信息传递给听话人，还需要确定说话人交流的背后是哪种意图。Sperber&Wilson 认为说话人用明示的方式呈现意图，听话人再根据说话人所提供的明示行为进行推理。Yus 认为，交流意图分析是关联理论中最重要的部分之一。意图至关重要，只有信息的接收者识别信息的传达者明示行为背后的信息意图，获得推理的直接依据时，交际才有可能会成功完成。Yus 认为，在分析媒体话语的创作者与潜在的读者之间的交流时，必须要考虑对信息传递者的意图的分析。

不同于面对面的交际，媒体话语除了要考虑多个交流层外，还存在着这样一个问题：观看媒体话语文本的信息接收者不能完全确定作者在创建该文本时的意图，并且创作者也因为受到时间、空间等因素的限制，缺乏向读者解释自己意图的机会。不同于接受理论(ReceptionTheory)强调读者是理解作品更大意义的重要要素，Yus 认为，作品准确的意义取决于作者的意图、文本提供的客观信息以及读者/观众对作品的理解这三个要素。

在分析言语—视觉媒体话语的交流模型中的意图时，Yus 在意向性这个参数下，给我们提供了两条路径：说话人明确希望将言语或非言语的信息传达给听话人，或说话人无意传达任何信息。为了帮助分析者在分析媒体话语时，更细致地解释说话者的意图，在第一种路径下，Yus 又建立了几个子意图，见图1。这些子意图为：(a)以观众为中心的意图和以角色为中心的意图；(b)直接意图和间接意图；(c)公开意图和秘密意图[7]299。子意图(a)与模型中的第一个参数相一致。在子意图(b)中，直接意图是指收件人可以从话语的命题形式中推断出含义，Sperber 和Wilson 将其称为显义(explicature)。但是，当说话人传达的是间接意图时，除了考虑到命题形式，听话人还需要根据语境信息来检索自己的百科知识，这类似于Grice 的含义(implicature)。在子意图(c)中，说话人表现出的明示信息会具有欺骗性，诱导听话人选择一种错误的意图，这种效果往往是听话人想要达到的。为了更加清楚地解释这个子意图，Yus 选择了漫画Downside来进行分析：一男一女两个角色在悬崖边缘争论不休。男人突然跳下悬崖。当受惊的女人俯身在边缘上，看到男人完好无损地站在下面几米的小石台上时，她意识到自己被男人欺骗了[7]300。漫画里，男人所表现的公开意图就是告诉女人他要自杀，他的秘密意图是骗女人相信自己要自杀，可能是为了娱乐，可能是为了让她担心等等。

图1 Yus 第三个参数的概念—意向性

有时候听话人对说话人的信息理解错误，很大一部分的原因是在于对说话人所传达的意图理解不清。Yus 认为在第三个参数中，“有意图”下的(a)、(b)、(c)所涉及的6 个子意图也可以用来解释媒体话语中解释错误的原因。分别具有以下三种情况：(1)直接意图被错误地理解。(2)直接意图被理解为间接意图。(3)间接意图被理解为直接意图。Yus 选择了属于言语—视觉模型中类别10 的一些媒体话语对上述三种情况进行说明。

第一种情况，听话人错误地理解了说话人的直接意图。Yus 给出的分析漫画内容如下：

(1)[amotherwithacoldtalkingtoherspoiltson]

A:Ohdear,IthinkI’vecaughtacold.

B:No mother.It’s natural selection.Nature is weeding out the runts ...you’ll probably die.Anyway,howaboutsomenicehotsoup?

A:Oooh...thatsoundslovely.

B:Yes,itdoes...anddon’tforgettomaketoastedsoldiersformeaswell.

A:What?...ButI...

(摘自Yus1998：304-305：‘Yobs’,Private Eye,1988:75)

在材料(1)中，母亲A 生病了，孩子B 给她的回答是“喝点好喝的热汤怎么样”。根据关联性原则，对于听话者而言，都有一个初始的上下文。但是，在话语处理过程中寻找相关解释时，可以(而且经常)扩展此上下文。听话人通常会拓展语境，主要从词汇信息、百科信息与逻辑信息这三个主要方向去扩展构建认知语境。A 因此会根据“自己生病了”这个已有的信息，结合自己的百科知识与对B 所说的话的逻辑理解，认为B 说这句话的意图就是想主动给感冒的自己做热汤。但是从B 的话语可知，他对人物A 感冒这件事情从一开始就是觉得无足轻重的，B 的直接意图是想表达自己想喝热汤。因此，人物A 对人物B 的话语会意错误的原因就是将B 的直接意图给误解了。

第二种情况，说话人的直接意图被听话人误以为是间接意图。Yus 选择以下材料来解释：

(2)GUS:Howmanytimeshaveyoureadthatpaper?

[BENslamsdownthepaperandrises]

BEN:[angrily]Whatdoyoumean?

GUS:Iwasjustwonderinghowmanytimesyou’d-

BEN:Whatareyoudoing,criticisingme?

GUS:No,Iwasjust-[pause]

BEN:[interrupt]You’llgetaswiperoundyourearholeifyoudon’twatchyourstep.

(摘自Yus1998：305-306：HaroldPinter:The Room and the Dumb Waiter,quotedinBurton,1980:89)

Gus 实际上想传达的是话语意义，想单纯了解Ben 看了多少遍那份报纸？但是Ben 却错误地认为Gus 的话语具有某种特殊的含义：Gus 是在质疑他或者批评他。Gus 与Ben 对话不愉快的原因在于Ben 将Gus 的直接意图误以为是具有某种含义的间接意图。

第三种情况，说话人的间接意图被听话人理解为直接意图。Yus 选择以下材料来解释：

(3)[apostman—AatcharacterB’sfrontdoor]

A:AveryMerryChristmastoyou!!

B:Thankyou.Andtoyou.

A:[holdingouthishand]Holdon!Isaid,MerryChristmas!

B:Oh!Isee!alight.Justletmegetmypurse!

A:Jesus!50p...Igotaquidfromnextdoor!

(摘自Yus1998：306：‘Postman Plod’,Viz,SpunkyParts,p.74)

人物A 对人物B 说圣诞快乐，这句话的命题意义是在祝B 拥有一个美好愉快的圣诞节，实际上B 是带有间接意图对A 说这句话的。而人物A 根据关联性，选择了这句话的命题意义，即显义，将B 的间接意图理解成了直接意图—祝自己圣诞快乐。接下来B 的非言语信息—伸出手对A 再一次强调圣诞快乐，让A 明白了B 所希望A 理解的间接意图—要打赏。A 需要将含义与语境信息相结合才能理解B 的间接意图。

(四)最高的解释效率与最低的解释效率

Yus 的言语—视觉模型中的最后一个参数为效率(Efficiency)，在这个参数下也存在着两个二分法：最高的解释效率与最低的解释效率。由于缺乏时空的共存或者信息接受者具备的必要的处理语境信息的能力不同，听话人很可能会做出不匹配的解释。Yus 提出的这个参数则是承认了这种可能性。最大解释效率和最小解释效率之间的区别主要体现在两个方面：首先，听话人是否准确地以说话人希望的方式解释说话人的意图；其次，听话人是否可以在没有意图干涉的情况下最佳地处理环境所散发的信息。对于第一种的判断是基于Sperber&Wilson 关于最大关联性和最佳关联性的关联原则，Yus 建议使用关联原则来识别听话人最大或最小解释效率。如果对于这两个方面的回答是肯定的，则就认为听话人具有最高的解释效率，反之，则为最低的解释效率。同时，Yus 所认为的最大解释效率与最小解释效率并不是一个绝对值，而是包含着一系列解释范围。

Yus 用数学的方式将这四个参数组合起来，得到了16 个种类。他认为这四个参数组合所产生的16 个种类能够涵盖媒体话语中交流的所有可能性。并且在他的著作中，Yus 提供了大量英文漫画，利用言语—视觉模型来进行分析[11]。同时，Yus 也强调，分析素材的选择并不意味着他所创立的言语—视觉模型只能用于漫画分析。只要是满足模型使用前提条件的媒体话语，即清晰明确的以角色为导向与以观众为导向的二分法的话语，就可以运用VV 模型进行分析。

三、言语—视觉模型的运作

Yus 选择了大量的另类英语漫画来利用言语—视觉模型进行分析。在他分析过的漫画中，创作者为读者提供了一种言语视觉的话语，而在这些话语中，人物在画面内也有互动，这些互动或多或少类似于现实世界内的人际互动。

(4)[panel1:completedarkness,soundofalarm-clockrepresentedasonomatopoeias]

[panel2:alightisswitchedon,thealarm-clockstrikes3o’clock,characterAhaswokenup]

A:Jesus-Thisfacking[sic]alarmclock’sgoneofftooearlyagain.

[panel3:characterAstretchinginthedimlight]

A:Mindyou-Imayaswellgetup.I’llnevergetbacktosleepnow.

[panel4:characterAdrawsbackthecurtains,thereissunshineoutside,theradioison]

Radio:...andnowit’stimeforSteveWrightintheafternoon...

(摘自Yus1998:303-304：‘Student Grant’,Viz55,8-1992:19)

首先，在这些场景中，不涉及两个或以上的角色进行对话，因此我们需要分析的交流层为作者/读者。作者为读者提供了大量的视觉上的信息：一片漆黑、闹钟响了三下、灯开了、人物A 醒来等。场景中的所有视觉信息都会与读者的认知框架产生大量的语境联系。读者借助作者所提供的背景信息，不难得出一种最相关的结论。读者会提出几种语境假设，但会选择最相关并且花费的努力较少的那一个，即认为闹钟是在凌晨三点唤醒了角色A。但是，接下来作者给读者提供的视觉信息会让读者发现，似乎并不是自己所想的那一个假设。人物A 醒来的时间并不是读者所认为的凌晨3 点，根据外面充足的阳光和广播提示音可知，现在已经是下午三点了。但是在场景4 之前，读者绝不会想到，自己认为最具有关联性的假设最后是错误的。实际上，为了达到某种效果，作者是有意图误导读者的。在参数目的性下，作者有意将信息传递给读者的。并且这种意图是子意图(a)中，面向观众的交流意图。除此之外，还涉及到子意图(c)公开意图和秘密意图。作者的公开意图是想让读者认为漫画中的时间是凌晨3 点，其秘密意图是通过最后的真相，与读者选择的假设形成一种反差，从而达到幽默的效果。虽然读者选择的假设与事实相反，但是作者后来所提供的信息推翻了之前的假设，形成了一种语境效果。并且，在参数“效率”下，读者所选择的解释正是作者所希望读者选择的那一个，即作者希望读者用错误的方式去理解漫画中的信息。因此，虽然读者选择的假设是错误的，但是我们仍认为读者具有最大解释效率(效率下的第一个二分法)。因此，这个漫画是属于言语—视觉模型中的类别5(面向观众的交流、非言语信息、有目的的交流与最大解释效率)。

(5)[CharacterAwatchinghisneighboroverafence.Theneighborissurroundedbybirds,heisgiving thembitsoffood]

A:Whatareyoudoing?

B:WhatdoesitlooklikeI’mdoing?

A:You’reabigsoftyatheart,“feedingthebirds”!

B:I’mnotfeedingthem;I’mpoisoningthelittlebastards!That’llteachthemtowakemeupat4 o’clockinthemorning!!

(摘自Yus1998:307：‘Happy Larry’,Smut26,1-1993:37)

在Yus 选择的这个漫画中，主要涉及角色之间的互动交流。因此在交流这个参数下，该媒体话语属于面向角色的交流(character-oriented)。同时在各个场景之中，认知环境中无意散发的信息，对A 而言存在着大量的视觉与非言语的信息：邻居B 被鸟包围着，在给鸟儿投喂食物。这些信息能够让A 的认知框架中产生大量的语境关联，A 借助背景信息与自己的百科知识，会得出一系列的假设。但A 会选择更具有关联性并且花费的努力较小的那一个假设，即B 出于好心，在给鸟儿投喂食物。对于B 而言，他这非言语的举动是被A 偶然看到的，他并不是有意地向A 传递某种信息，这只是一种“信息的意外传递”。并且B 的意图并不是A 所选择的以少量的处理工作提供了大量的语境效果那一个，他实际上是因为鸟儿打扰了自己的休息，想要毒死他们，这是他的真实意图。A 拥有最低的解释效率，因为他不能以最佳方式处理环境中渗出的信息。因此，这个漫画是属于言语—视觉模型中的类别16(面向角色的交流、非言语信息、非有意的交流与最低的解释效率)。

除了对大量的英语漫画进行分析，Yus 还分析了缺乏言语交流的广告语。例如，如今在大多数英语杂志上都可以找到的烟草公司的印刷广告，通常对广告的产品没有任何参考，只有页面下方的“卫生当局警告”可以帮助我们推断广告实际上在宣传一家烟草公司[7]303。Yus 认为，很多读者可能不能理解广告公司借助这个“卫生当局警告”来宣传其产品的意图，因此将此归为模型的类别6(面向观众的交流、非言语信息、有目的的交流与最低的解释效率)。

值得注意的是，在运用Yus 的言语—视觉模型进行分析时，选择的分析话语不同，所对应模型中的类别就不同。有的分析语料可能对应模型中的所有或大多数的类别，如选择电影、电视剧等视觉听觉信息较丰富的媒体话语；有的只对应少数甚至是一个类别，如广告语。这四个参数的组合所产生的16 个案例基本能够涵盖媒体话语中交流的所有可能性。

四、结束语

本文简单介绍了Yus 言语—视觉模型产生的缘由、背景、理论框架及其运作方式。言语—视觉模型主要是通过框架内的四个参数：交流(媒体话语的交流层次)、信息(信息传递的方式)、目的性(传递信息的具体意图)与效率(诠释信息的效率)下的二分法来确定所分析的话语属于模型中的哪一个类别。正如Mateo[12]所言，这是一次成功的尝试，将关联理论应用于除了面对面互动之外的其他语境，通过漫画的话语转向媒体传播和社会互动。Yus 的言语—视觉模型为我们分析媒体话语提供了可操作性的分析方法，弥补了关联理论在此类型话语分析方面的不足。该模型揭示了关联理论不能或很少揭示的东西，其应用前景十分广阔。也正是因为它主要侧重某类话语类型的分析，其不足也是存在的。Yus 对言语—视觉模型的应用提出了展望，他希望该模型经过适当地调整后能够有效地应用在互联网通信等领域。除此之外，更多模态的语篇是否可以应用此模型分析？这些都有待我们进一步研究和探索。