多模态语篇人际功能研究述评

杨增成

(北京工商大学 外国语学院，北京 100048)



多模态语篇人际功能研究述评

杨增成

(北京工商大学 外国语学院，北京 100048)

摘要：人际功能是多模态语篇的一项重要功能，多模态语篇通过语言、图像、色彩和字体等多种模态传递人际意义。学者们对之进行了诸多研究，研究涉及互动关系和社会关系的构建，还涉及到情态、评价系统和各个模态之人际意义的交融。本文对这些研究进行了梳理，并对今后的研究进行了展望。

关键词：多模态语篇；互动关系；情态；社会关系； 多模态交融

多模态语篇含有语言、图像、色彩和字体等多种模态，不仅有概念功能，还有人际功能。在多模态语篇中，人际功能是通过语篇中的各个模态来实现的，通过人际功能，多模态语篇为语篇的参与者们安排一定的角色，构建一定的互动关系和社会关系，并对一定的现象、事物和人物表达一定的态度、判断和评价。学者们对语言、图像、颜色和字体等几个常用模态的人际功能都进行过研究，但是研究的深度很不相同。本文对学者们的研究进行梳理，并对今后的多模态语篇人际功能研究进行展望。

一、多模态语篇中的互动关系构建

语篇是交际的载体，人们通过语篇进行交际互动，语篇的参与者们在交际中担当着一定的角色，并实现着各自的交际目的。语篇中的各个模态能为语篇的参与者们构建互动角色，还能在语篇参与者和语篇内容间构建互动关系。

(一)语言中的互动

系统功能语言学对语言中的互动进行了论述。Halliday认为，人们在互动交流时，主要担负“给予”(Offer) 和“要求”(Demand)两种互动角色，互动交流的内容包括两类：信息、物品或服务。上述角色与内容的组合形成语言的四个基本功能：“提供”(给予物品和服务)、“命令”(要求物品和服务)、“陈述”(给予信息)和“提问”(要求信息)。这四种功能体现于语言的语气系统。Halliday指出小句中主语和限定成分的组合构成小句中的语气，主语与限定成分的顺序不同，小句的语气就会不同。比如主语在前，限定成分在后，会构成陈述语气；限定成分在前，主语在后，会构成是非疑问语气。“给予”和“要求”信息通过直陈语气来实现，其中“给予”信息由陈述语气来实现，“要求”信息由疑问语气来实现。对物品或服务的“给予”和“要求”与语气间的关系有点复杂。Halliday指出“命令”通常通过祁使语气表达，也可以通过问句和陈述语气表达，如“Will you be quiet?” 和“You must be quiet.”表达“提供”的方式很多，如“shall I…”等形式。[1]

(二)图像中的互动

语篇也能通过图像模态表达互动关系。Kress & Van Leeuwen[2]指出若图像中的某个人物直视着语篇读者，这能表示该图像人物在向读者索要一定的东西，能表示图像人物要求读者进入到某种想象性关系。图像人物的面部表情有助于确定这种想象性关系。比如，若图像人物面带笑容地看着读者，这能表示图像人物和读者之间有一种密切友好的关系，图像人物邀请读者进入到这种关系中；若图像人物没有直视读者，该图像是在表达一种“提供”，把图像人物作为信息提供给读者。

二、多模态语篇中的情态

语篇的生成者通过语篇传递一定的信息。有时语篇的生成者对信息的真实性不很确定，他需要表达某个信息在一定概率下是真实的，这也是人际意义的一部分，这样的意义通过情态来表达。

(一)语言中的情态

情态是系统功能语言学中的一个重要概念，是表达不同程度的概率和频率的系统。Machin & Mayr[3]把情态分为三类：认知情态(Epistemic Modality)、义务情态(Deontic Modality)和动态情态(Dynamic Modality)。系统功能语言学认为，情态值有高低之分，情态值高表示确定性程度高。在表达概率的三个副词possibly，probably和certainly中，possibly表达的确定性程度最低，其情态值最低；certainly表达的确定性程度最高，其情态值最高。在表达频率的三个副词sometimes，usually和always中，sometimes 情态值最低，always情态值最高。

情态可以通过主观和客观两种角度来表达，这两个角度都有明确的和非明确的两种方式，两种角度和两种方式的组合形成四种表达情态的方式：1)明确主观方式，如“I think they study in that university.”2)非明确主观方式，如“They’ll study in that university.”3)明确客观方式，如“It is likely that they study in that university.”4)非明确客观方式，如“They probably study in that university.”

(二)图像中的情态

多模态语篇中的图像也能够表达一定的情态意义，能够传递出不同程度的真实性。Kress & Van Leeuwen[4]详细分析了图像中能体现自然主义情态的要素。他们指出，色彩饱和度、区分度和调谐度都能体现一定的情态。随着饱和度、区分度和调谐度的提升，情态值会得到提升，但饱和度、区分度和调谐度提升到一定程度后，情态值就会下降。细节也可以表现情态，细节展示得越细致，情态值会变得越来越高，但到了一定程度后，细节细致程度的进一步提升会导致情态值下降。图像中背景的展示也能够体现出一定的情态值，在有的图像中，背景完全得不到展现，背景的缺失会降低情态值。另外，图像中的深度和光与影的展现也能表现情态。

三、多模态语篇中的社会关系构建

多模态语篇不仅能够为语篇参与者构建互动关系，还能为语篇参与者构建社会关系，这也属于多模态语篇的人际功能，学者们对此进行了研究。

(一)吸引语篇读者

多模态语篇要把读者吸引到语篇中，这是建立和维持一定社会关系的前提。图像模态可以通过一定的方式把读者吸引到语篇中。多模态语篇中的图像周围可能存在边框，这样的边框会对人际关系的建立产生一定的影响。Paintet[5]指出若图像不存在边框，且图像边沿与页面边沿重合，读者与图像间的边界壁垒就会被最大程度地消除，读者仿佛被请入到图像中，感受图像所描述的世界，与图像世界建立关联。

图像模态还可以通过一定的角度把读者吸引进图像和语篇世界。如果图像作者和读者的正面与图像人物或场景的正面相互平行，作者和读者就正对着图像中的这些人物或场景；如果不平行，读者就不是正对着图像中的人物或场景，而是斜对着他们。Kress & Van Leeuwen认为第一种情况能够把图像的作者和读者卷入图像，第二种情况则没有这种效果，图像内容是“他们的”世界，而不是作者和读者的世界。

另外，颜色模态也能吸引读者至语篇世界。Cheong[6]在分析多模态广告语篇的语类结构时提到，语篇中有的成分由于其大小和颜色不同寻常而凸显，这个成分具有吸引读者的人际功能。

(二)社会关系

多模态语篇中的语言模态有标志和构建社会关系的资源，有学者对这些资源进行了研究。朱永生[7]指出语言中不同的称谓与交际者间的社会距离有一定关系。比如，若会话双方比较亲密，可以称呼对方的教名、昵称和绰号；若会话双方称呼对方的职位称谓，这可以表示双方的社会距离比较远。情态也能够标志和构建社会关系，张德禄[8]对此进行了研究，他指出情态值能够标志和构建权力关系。一般来讲，礼貌性、正式性增加，或对方权位高，则情态值会降低，因为情态可以表示试探性、不确定性或恐惧性。因此，无论是一般的情态还是隐喻化情态在语篇中的高频率出现都是有效地突出形式，可用来表示某种权位关系。

多模态语篇中的图像也能标志和构建人们之间的社会关系。Kress & Van Leeuwen指出，对人物进行特写或把人物置于远景之中，能标志或构建人们之间不同的社会距离。在图像中，若对人物进行远景呈现，读者与图像人物间的距离会被拉远，对读者来说，图像人物好像是陌路人一样。图像模态还能构建权力关系。Kress & Van Leeuwen指出图像可以通过垂直视角展示这种权力关系。如果图像中的人物被俯视，该视角能表示观看者拥有比图像人物更大的权力；如果图像人物被仰视，则表示图像人物拥有比读者更大的权力；若图像人物被平视，则不存在权力上的差异。[4]

四、多模态语篇中的评价意义

(一)语言中的评价

多模态语篇通过各个模态表达一定的态度，传递对人物、事物和现象的评价，并以此来影响语篇受众的态度和行为。语言主要通过评价系统来达到这一点。Martin & Rose[9]提出语言的评价系统分为三个次系统：态度、介入和级差。态度又进一步分为情感、判断和鉴赏三个子系统。情感分为un/happiness，in/security，dis/satisfaction三个子范畴，有直接的和间接的两种表达方式：直接的方式通过词汇表达情感，如happy和smiled等；间接的方式不直接表达情感，而是通过一定的叙述和描述来传递情感，比如不断地踱步和抽烟能传递出一定的情感。判断是对人物的行为和性格进行评价的系统，该系统也有直接的和间接的两种表达方式，直接的判断可以通过形容词和名词来表达，如respectable和responsibility等，对一个人的工作或职位的述及能成为对一个人的间接判断。鉴赏是对物品进行评价的系统。同判断一样，鉴赏也分为正面的和负面的两类评价，鉴赏通过一定的词汇描述物品的构成以及人们对物品的反应和评估。

情感、判断和鉴赏等态度可以通过一定的方式得到加强和弱化。在系统功能语言学的评价理论中加强或弱化态度的资源属于级差系统。级差系统分为语势(Force)和聚焦(Focus)两个子系统,语势涉及态度的强弱，聚焦涉及成员的典型性。Martin & Rose 提出语势可由程度修饰语(Intensifier)来体现，比如amazingly/unusually/breathtakingly beautiful中修饰beautiful的三个副词。另外，语势还可体现于一定的态度词汇，比如happy/delighted/ecstatic这三个单词传递了不同程度的愉悦心情。除上述两种方式外，他们认为隐喻和诅咒语也能起到加强语势的作用，如ice cold和dammit。聚焦涉及对一定范畴的锐化和柔化，如词组real policeman通过real锐化了身份，而kind of policeman通过kind of柔化了身份。[8]

(二)图像中的评价

在多模态语篇中，图像也能传递评价意义。Economou[10]对照片中的评价意义进行了研究，她指出照片能表达情感、判断和鉴赏等情感意义，也能表达语势和聚焦等级差意义。她分析了情感在照片中得以展现的方式，指出一些基本的情感可以通过一定的面部表情和手势得到很好的表达，比如微笑、皱眉、大笑和大哭等都能明确传递出一定情感。有些情感，比如“烦恼”和“厌倦”，往往不能通过图像准确无误地直接传递。她还指出情感能够被触发，比如一幅图片所展现的灾难后果能够触发“绝望”和“痛苦”的情感。她分析了判断在图像中的展现方式，指出一个人或一些人的动作和表情能表达对另一个人的判断，比如一个人的鼓掌能直接表达对另一人的正面判断，一群面带笑容的人高高地把另一个人举起来也是一种直接传递判断的方式，人们用这样的方式直接表现着对被举者的认可。她还指出判断也可以被一定的行为触发，比如一个成年人呵护或伤害一个孩子都可能会触发读者的判断：前者能触发正面的判断,后者会触发负面的判断。 Economou还指出照片也能通过触发的方式表达对事物和现象的鉴赏。图像中一定的事物会触发反应、组成和评估等方面鉴赏，比如fascinating，graceful,symmetrical和unique等。

Economou还分析了态度在照片中被强化和弱化的方式。态度可以被量化(Quantification)的方式得到强化或减弱,量化可以通过数目(Number)、容积(Mass)和范围(Extent)等得到具体体现。比如，若图像中有很多参与者，或一个人占据了很大的图像空间，一定的态度会得到加强。照片还可以通过色彩和重复来加强或弱化评价意义，照片也能表现 “聚焦”。具体来讲，照片会通过清晰度(Clarity)、维度(Dimensionality)和完整性(Completion)来锐化或柔化范畴的边界。

(三)颜色的评价意义

多模态语篇中的颜色也能够表达人际意义中的评价意义。Kress & Van Leeuwen[11]对颜色所表达的评价意义进行了分析。他们指出某种具体的颜色是由一定的区别性特征组合而成，颜色的区别性特征体现于明暗度、饱和度、纯正度、区分度和色调等方面，这些区别性特征具备一定的意义潜势，其中部分意义潜势表达评价意义。比如，颜色的饱和度可以用于表达情感，高度饱和可以传递“生气勃勃的”“敢作敢为的”和“炫耀的”等意义，低度饱和可以表达“冷漠的”“受压抑的”和“情绪低沉的”等意义。颜色的区分度也能传递评价意义，在某些语境下，颜色的区分度高能传递“冒险的”之意，颜色的区分度低能传递“胆小怕事的”之意。色调是一个从蓝色过渡到红色的连续体，红色能使人想到“温暖的”和“活力的”等意义，蓝色能使人想到“平静的”和“遥远的”等意义。

(四)字体表达的评价意义

多模态语篇中的字体也能传递出评价意义。Machin分析了字体特点所具有的意义潜势，有些意义潜势即在传递评价意义。首先，字体会呈现出粗重或纤细的特点，粗重的字体能表达“肯定的”“可靠的”和“大量的”等意义，纤细的字体能表达“拘谨的”“精细的”和“文雅的”等意义。字体也能呈现出延展性的特点，有的字体在文章中呈现出比较明显的延展性，占据很大的空间，这能传递出“自信的”意义。与之相对的是，有字体呈现出收缩的特点，占据很少的空间，这会表达“精确的”“节俭的”和“谦卑的”等意义。 字体还会呈现出一定的斜度，具有一定斜度的字体能传递出“动态的”和“充满活力的”的意义。另外有的字体有很大的曲度，这样的字体能传递出“柔软的”“温和的”“自然的”和“母性的”等意义，有的字体具有一定的棱角，这能使人想到“严厉的”“技术的”“男性的”“客观的”和“理性的”等意义。此外，有的字体显得高挑，能传递出“崇高的”“地位高的”和“有抱负的”等意义。有的字体呈现出扁平的特点，能传递出“情绪低落的”“停滞的”“稳定的”和“脚踏实地的”等意义。[12]

五、模态交融中的人际意义

多模态语篇的各个模态在语篇中都能够表达一定的人际意义，这些人际意义间会产生一定的相互关系。Royce[13]对这样的关系进行了研究，指出不同的模态在语气方面存在着相互加强与否的关系，在传递的态度方面存在着一致或相反的关系。他分析了一篇发表于《经济学家》的文章中人际意义交融的情况。该文涉及的是Lloyd’s公司所面临的困难，用了文字、漫画和线状图三种模态。Royce分析了这三种模态所传递的人际意义，以及这些人际意义间的关系。他指出该文中的漫画里不存在直视读者的目光和表情，所以漫画是在“提供信息”。该漫画还呈现出另外两个特点：第一，读者正面与图像中最凸显部分的正面形成直角关系，因此读者没有被卷入到漫画内容之中；第二，图像中的人物处在远景中，其整个身体都显现在图像中。这两个特点进一步强化了“提供信息”这种人际意义。该语篇中的线状图也是在“提供信息”，语言部分的各个句子用的是陈述语气，且没有使用把读者卷入到语篇的第二人称代词you和第一人称复数代词we/us/ours，因此语言模态也是在“提供信息”。归结起来，各个模态在这一方面是相互加强的。

Royce还分析了该文的不同模态所传递的态度间存在的一致性关系。在描述该公司的未来时，文字部分用了低情态值的词汇，如may，might，could，possible，possibly，perhaps和possibility等，素描画中表现公司未来的部分也传递出低情态。两种模态所传递的态度存在着一致性关系。

六、研究展望

(一)有些观点需进一步商榷

在图像之互动意义的研究中，Kress & Van Leeuwen[2]提到图像中直视读者的目光表示向读者提出要求，向读者索要某种东西，或要求读者进入到某种人际关系中。此观点值得进一步商榷，因为此观点与人们在生活中的经验有时不相符。在生活中，一方在交流中直视对方时，可能是在回答问题，也可能是在聆听对方提供的信息，还可能是在接受对方的服务，这几种情况都不是在向对方提出要求。

(二)部分模态的人际意义需要进一步研究

在多模态书面语篇中，语言、图像、颜色和字体是几种最常见的模态，这些模态所传递的人际意义都得到了研究，推动了多模态语篇研究的进展，对多模态语篇的理解和生成都有指导意义。各个模态的人际意义研究是不平衡的，颜色和字体的评价意义已得到了分析，但研究还不够系统和深入，学界尚未根据级差和态度等子系统对其评价意义进行分类分析，还没有根据情感、判断和鉴赏等类别进行分类分析。只有进行分类分析，才能把分析和研究推向深入。颜色和字体这两种模态主要靠联想来传递评价意义，联想意义会因文化背景的不同而不同，因此学界有必要结合文化背景来研究和分析这两种模态的评价意义。另外，字体和颜色在语篇中都会对人际关系的构建发挥一定的作用，但学界尚未对此进行系统的研究。

侯建波[14]指出“在人际意义的系统中，文字模态和图片模态相互补充，各有所长”，本文赞同此观点。另外，除了文字模态和图像模态之外，颜色和字体等其他模态在传递人际意义时，也有各自的优势和弱项，比如颜色模态构建互动关系的能力稍弱，但其表达评价意义的能力却很强。不同模态表达人际意义的强项和弱项应该得到进一步的研究。

(三)人际意义的模态交融还需得到进一步研究

各个模态在多模态语篇中是相互交融的，语篇传递的意义不仅来自于各个模态，还来自于各个模态的相互交融。Royce对各个模态人际意义的交融进行了研究，这推动了多模态语篇人际意义研究的发展，然而他的分析只关注了图像、图表和语言三种模态人际意义交融互补的情况，学界还应该研究颜色模态和字体模态与其他模态在人际意义方面的交融。另外，人际意义交融的分析还应进一步深化，不应止于只是发现是否存在一致性。未来的研究可从人际意义的交融能否服务于语篇交际目的这个角度来展开。有的语篇的交际目的是影响读者的态度，有的语篇是建立有利于语篇生成者的人际关系，有的语篇是拉近语篇参与者间的距离，学界应该结合这样的语篇交际目来研究人际意义的交融。

七、结语

人际功能是多模态语篇的一项重要功能，有效地表述人际意义是某些语类的首要任务，学者们对多模态语篇人际意义的研究有助于人们在交际过程中更有效地使用多模态语篇。到目前为止，学界对多模态语篇的人际功能进行了比较全面的研究，研究涉及到了语言、图像、色彩和排版格式等多种模态，涉及到了人际关系、情态和评价等诸多方面。虽然学界对部分模态人际功能的研究已经很深入，但是很多模态的人际功能目前只得到了零碎的和不系统的研究。模态交融是多模态语篇的主要特征，然而各模态人际功能交融的研究目前还不够深入。学界应该对多模态语篇的人际功能进行进一步研究，以推动多模态语篇研究的进展。

参考文献：

[1]Halliday M A K.An Introduction to Functional Grammar[M].London: Edward Arnold,1994.

[2]Kress G，Van Leeuwen T.Reading Image[M].2nd ed.London: Routledge,2006：118-119.

[3]Machin D,Mayr A.How to Do Critical Discourse Analysis[M].Los Angeles: Sage,2012:187.

[4]Kress G,Van Leeuwen T.Reading Image[M].London: Routledge,1996.

[5]Painter C.Organizing Visual Meaning: Framing and Balance in Picture-Book Images[C]//Dreyfus S.Semiotic Margin: Meaning in Multimodalities.London: Continuum,2011: 125-143.

[6]Cheong Y Y.The Construal of Ideational Meaning in Print Advertisement[C]//O’Halloran K L.Multimodal Discourse Analysis: Systemic-Functional Perspective.London: Continuum,2004: 163-195.

[7]朱永生.权势因素与同等关系在称呼语中的表现[J].外国语,1990(2):41-45.

[8]张德禄.语言的功能与文体[M].北京：高等教育出版社,2006:115.

[9]Martin J R，Rose D.Working with Discourse: Meaning Beyond the Clause[M].London: Continuum,2003.

[10]Economou D.Photos in the News: Appraisal Analysis of Visual Semiosis and Verbal-visual Intersemiosis[D].Sydney：The University of Sydney,2009.

[11]Kress G,Van Leeuwen T.Color as a Semiotic Mode: Notes for a Grammar of Color[J].Visual Communication,2002(1): 343-368.

[12]Machin D.Introduction to Multimodal Analysis[M].London: Hodder Arnold,2007.

[13]Royce T D.Intersemiotic Complementarity: A Framework for Multimodal Discourse Analysis[C]//Royce T D,Bowcher W L.New Directions in the Analysis of Multimodal Discourse.Mahwah，New Jersey: Lawrence Erlbaum Associates,2007:63-109.

[14]侯建波.房地产广告的多模态人际意义研究[J].中国外语,2014(7):48-53.

(责任编辑姚虹)

An Overview of the Studies Concerning the Interpersonal Functions in Multimodal Texts

YANG Zeng-cheng

(School of Foreign Languages, Beijing Technology and Business University, Beijing 100048, China)

Abstract：Interpersonal function is one important function of multimodal texts which convey interpersonal meanings via such modes as language, image, color, font and so on.Scholars have conducted many researches which concern interactional relations, social relations, modality and appraisals in multimodal texts, as well as the integration of the interpersonal meanings conveyed in different modes.This paper summarizes these researches and presents suggestions for further researches.

Key words：multimodal text; interactional relations; modality; social relations; multimodal integration

中图分类号：H05

文献标识码：A

文章编号：1008-3715(2016)01-0068-05

DOI：10.13783/j.cnki.cn41-1275/g4.2016.01.015

作者简介：杨增成(1971—)，男，山东沂源人，博士，北京工商大学外国语学院副教授，主要研究方向：功能语言学、语篇研究、多模态研究。

基金项目：教育部人文社会科学研究项目“基于系统功能语言学的汉语多模态书面语篇研究”(10YJC740122)

收稿日期：2016-01-15