语言与图像的运用：一则电视公益广告的概念意义多模态分析

岳豪

摘要：本文介绍了OHalloran构建的语言和视觉图像的概念意义系统功能模型，并运用这个理论模型分析了一则中文电视公益广告的概念意义，发現其在构建语篇概念意义的过程中有着优势和积极作用;同时还探讨了语言、文字和图像等多种符号资源如何以各自独特的方式共同构建动态语篇的整体意义。

关键词：系统功能语法;多模态语篇分析;电视广告;概念意义

随着社会的进步和科技的发展，语篇的意义传递已经不再是单一的文字符号模式，而是包含图像、音频、视频等多种符号的复杂形式和系统。因此，语篇分析从最初的对纯语言的语篇分析转向多模态语篇分析（Multimodal Discourse Analysis， MDA）。研究者们根据Halliday的符号理论和系统功能语法理论（Halliday，1994，2000）尝试解释各种模态的语法，如Kress & van Leeuwen（1996）的视觉语法、Martinec（2001）的动作符号学和新加坡国立大学的OHalloran（2008）的语言和图像的概念意义系统功能模型。文章尝试用OHalloran构建的语言和图像的概念意义系统功能模型，以2014年春晚的一则的电视公益广告《筷子篇》为研究对象，运用系统功能多模态语篇分析理论对其概念意义进行解读。

一、相关理论

自上个世纪50年代初Harris提出语篇分析以来，新的话语分析理论和方法不断受到语言学者们研究关注并得以发展。但这些理论和方法，主要集中在对语言系统和语义结构本身的分析，在图像、声音、颜色等其它的表意符号方面的研究存在一定的不足，导致传统的语篇分析具有一定的局限性。MDA到了 20世纪90年代开始在西方兴起，从而实现了对由几个或不同的符号模态构建的意义表达的文本语篇分析，很大程度上克服了传统语篇分析的局限。系统功能语言学认为语言是系统的有层次的，包含内容和表达两个层次。内容层由语篇语义（从段落到语篇）和词汇语法（小句复合体、小聚、词组和词）构成;表达层面涉及到口语和书面语的音系学、笔体学或印刷样式（Halliday，2004; Martin，1992; Martin & Rose，2003）。但两个层面的系统功能语法的本质却有着不同，语篇语义和词汇语法系统有着明显的语言纯理功能对等倾向，但表达层面却没有类似的严格的语言纯理功能的分类对等。

语言语篇的基本单位是小句，每个小句都有小句的结构成分组成，并且每个小句都在语篇中有一定的功能，即语篇分析有可遵循的语法。图像语篇能否如语言语篇一样可以构建一个理论框架？Kress & van Leeuwen （2001，2002）以社会符号学的理论为基础构建了视觉语法（Visual Grammar），建立了以再现意义、互动意义和构成意义为核心的视觉语法。在系统功能语法的语言框架和视觉图像框架构建的基础上（Halliday，2004;Martin，1992;Martin & Rose，2003;OToole，1994等），OHalloran整合构建了一个语言和图像概念意义的系统功能框架（OHalloran，2004a， 2004b， 2005， 2007a， 2007b， 2008） （见下页表1）。

语言概念意义的构建中一个重要的特征就是语法隐喻。语法隐喻为符际的意义构建中的隐喻意义转换提供了概念基础，符际的意义转换称之为符号隐喻，这一概念是对语言中语法隐喻的进一步发展，回应了视觉图像中不同符号资源承担语篇的不同功能（OHalloran， 2003， 2005）。图像的概念意义主要关注图片、绘画和素描中的叙事关系，图像的再现意义体现在场景中，场景包含一定的人物和对象在一定的背景下其移动-动作-事件-状态序列。在这个场景中可能存在次场景或情节间的互相影响，并且每个次场景或情节也有它们自己的移动-动作-事件-状态序列。图像的逻辑关系体现在一定场景、次场景中展现的时间、空间或因果关系上。

二、语篇及语篇的概念意义分析

（一）语篇介绍

自2013年春节晚会直播时加入一则电视公益广告以来，此创意受到观众的普遍好评。文章中要分析的语篇是2014年春节晚会直播间的一则公益广告，其创意视角是中国人每天都会用到的筷子，一双蕴含了中国丰富情感的筷子，成为了一个民族文化与情感传承的载体。广告以筷子为主要元素，通过几个的家庭小故事，传递出不同家庭丰富的内容与情绪，传达给观众中国人含蓄的美德和有滋有味的新年。

文章选取了视频语篇中5个典型的场景（S1-S5）和言语内容作为分析的数据样本（见下页表2），运用OHalloran的理论框架来探究其概念意义及多模态语篇中多符号资源如何相互协作、共同构建整个语篇意义。语篇言语和图像内容以筷子为主线，穿越五个时空，分别传递“启迪、传承、明礼、关爱、睦邻”等信息，汇聚成“一双筷子/承载中国数千年的情感/有滋有味/幸福中国味”的主题。

（二）语篇的概念意义分析

电视广告语篇是一种更为复杂的多模态语篇，因为它涉及多个模态种类，有着多种符号资源，有图像、文字、声音及非语言结构等共建一个动态的而非静止的语篇或交际事件。由于语篇中要素较多，我们分析时将语篇分为4个聚类（Cluster）：C1口头语和非语言因素、C2图像再现意义和身体特征、C3图像特写和文字信息、C4多模态的意义共建和概念隐喻，C1-C3分别对照语篇的5个场景进行概念意义的分析，C4把5个场景视为一个整体进行分析，体现语言、文字、图像共建意义。

C1最能体现电视语篇的多模态特性：动态的事件。语言是语篇参与者的言语体现，但并不是要交际的内容的全部或只是一小部分，其余的意义是通过人物的肢体语言、副语言、空间及时间语言等非语言交际来动态的传递信息，两种形式相互协作共同完成叙事。S1中婴儿的表情的变化从哭到笑，是参与者的心理过程描述，它的环境成分就是另一参与者（祖）用筷子沾菜汤的动作;同时也可用作格分析法解释，作格分析关心的是造成一个动作的原因是自身还是外部，即施事+中介。祖（施事）成为婴儿（中介）哭（动作）的外因。S2体现了典型的经验意义，即人们用语言来谈论他们对世界的经验（包括内心世界）。在母女对话中有四个物质过程（妈妈教你、你用筷子、拿筷子、我夹不起）、两个行为过程（哭着说怎么办、笑）、一个关系过程（我们是中国人）和存在过程（事实：中国人都要用筷子的）。S3中孙的两个表情的变化（“茫然不悦”到“边吃边笑”）可视为心理过程（孙成为“感觉者”而茫然、不悦）+行为过程（孙是“行为者”）。S4包含行为过程（我回来了）和认知心理过程（就知道你爱吃）;S4的非语言因素应引注意：一是母子相拥;二是“母”用方言，“子”用普通话。中国人的传统性格是含蓄、不善情感表露，即使爱人或母子（成年子女）也很少拥抱，除非在如庆祝、灾难或生死离别等情形。方言的使用在整个语篇中几乎贯穿始终，在多模态语篇中也方言具有交待强化小句环境成分和揭示情节的隐性背景信息作用。如，S2母说的是方言，女（大概3-4岁）说普通话，说明其出身及教育背景;S4儿对母说的也是普通话，可能是离家太久，很难一下子转换语码，这也真好解释了母子见面后的拥抱以及母亲拭泪的肢体语言，其既有隐喻成分又有逻辑语义关系的体现。S5中有言语过程（说话内容：老王走到我家去吃饭）、物质过程（我正烧饭呢）、心理过程（我知道……）;其中逻辑语义关系和依赖关系很明显：老王1人—请他到我家吃饭—但老王正做饭—做就做了—多双筷子嘛—今天过年—高兴，这使得语篇的接续和连接性很强。

C2涉及的身体特征是一系列的参与人物的手势、身势、面部表情、动作、移动等，这和视觉图像场景中的移动-动作-事件-状态序列形成互补;图像的再现意义体现在一定场景中，场景包含一定的人物和对象在一定的背景下的移动-动作-事件-状态序列，图像的逻辑关系体现在一定场景、次场景中的人物、对象、背景之间的时间、空间或因果关系。如，S1和S2中婴儿或女孩的表情从哭到笑的变化和“用筷子吃到食物”的因果关系;S3中男孩拿筷子的表情变化：茫然不悦（父亲阻拦）-开心地笑（夹到了菜）;S4中“子”拎行李、S5中大人孩子拎礼物和看烟花，以及S3中洗一大把筷子等动作，构建和强化了事件的背景和情节;特别是S4中画面镜头的切换：烟囱-油锅和搅鸡蛋的筷子-筷子夹肉，体现了图像的场景的变化和时间、空间的变化。

C3图像特写和文字信息是把动态的电视画面定格化，转换成具有象征意义的静止画面，从而发现其概念意义的体现。系统功能多模态语篇分析的经验意义是符际间的构思过程，语篇中各个场景的特写图像里的活动顺序从图片延伸到语言文字，及物性关系涉及到过程、参与者和环境成分的符际间关系。如语篇中婴儿的笑、女儿的满足、男孩的开心、母子会意的笑和老王拭泪等5个特写画面分别用更为美观、动感的行草体文字：启迪、传承、明礼、关爱、睦邻来诠释，图像被文字语法化或文字被图像视觉化，二者的并置和空间的使用实现了符际间关系，延展了符际间的意义。最后的文字信息：“一双筷子……幸福中国味”，主要体现的是语篇意义，是对以上内容的重复、照应。

C4从整个语篇来分析图像、言语、文字如何共同构建一个完整的意义。在电视广告语篇中，图像和言语之间是相互依存、互补增强的关系，图像需要参与者言语进行解读，因为图像意义本身就具有模糊性;言语从交际角度来讲，不仅仅是纯语言的行为，其本身就附带有非语言的特征，这些特征正好可以通过动态的图像同步表达出来。图像、言语的基础上如再配上文字，就会起到很好的辅助，对意义的构建进一步明确，从而共同构建一个完整的语篇。当视觉场景被简化为一个实体存在时，就发生了语义的转换，这就是符号隐喻。语篇中一个个特写图像通过词汇化被重新构型为启迪、传承、明礼等实体。用作吃饭工具的筷子（目标）却成了中国数千年情感的“感知者”，筷子具有了语法隐喻。同时，场景、有声图像和文字之间的逻辑关系（叙事、描述或因果关系）通过移动-动作序列被含蓄地建立了起来。

三、小结

文章以OHalloran构建系统功能的语言和视觉图像理论框架为基础，通过对多模态文本概念意义的分析，发现多模态语篇分析新的视角，此将成为系统功能多模态语篇分析的一个新方向，更是难点;同时讨论了语言、文字和图像多符号资源如何以各自独特的方式共同构建语篇整体意义，发现了其理论对构建概念意义的积极作用。

當然，OHalloran的理论模型也存在一些不足，主要还是对语篇定性的研究，多用描写、分析的方法，难免会受到分析者的主观因素的影响;缺少更加科学的定量研究，对于语言在语篇中的比例、不同类型的语篇是否有不同的变量、标准等问题没有一个明确的界定;该模型研究对象主要还是静止语篇，对于如电视广告等动态语篇中口头语、副语言等因素没有细化，使得表达层面的分析在动态的语篇中显得形同虚设。但随着越来越多的学者开始关注多模态语篇，其分析方法和理论会进一步完善。

参考文献：

[1]Halliday，M.A.K. An Introduction to Functional Grammar， 2nd edn.[M]. London：Arnold，1994.

[2]Halliday，M.A.K. An Introduction to Functional Grammar， 2nd edn.[M].Beijing： FLTRP，2000.

[3]Halliday，M.A.K. An Introduction to Functional Grammar， 3rd edn. rev. by C.M.I.M.Matthiessen[M].London：Arnold，2004.

[4]Kress， G. and Van Leeuwen， T. Reading Images： The Grammar of Visual Design[M]. London： Routledge， 1996.

[5]Kress，G. and Van Leeuwen，T.‘Colour as a Semiotic Mode： Notes for a Grammar of Colour，Visual Communication[C].2002，1（3）：343-68.

[6] Kress，G. and Van Leeuwen，T. Multimodal Discourse： The Modes and Media of Contemporary Communication Discourse[M].London：Arnold，2001.

[7]Martinec，R.Interpersonal Resources in Action[J].Semiotica 2001，135（1）：117-145.

[8]Martin，J.R.English Text： System and Structure[M].Amsterdam： John Benjamins，1992.

[9]Martin，J.R. and Rose，D. Working with Discourse： Meaning Beyond the Clause[M].London：Continuum，2003.

[10]OHalloran，K.L.‘Intersemiosis in Mathematics and Science： Grammatical Metaphor and Semiotic Metaphor，in A.-M.Simon-Vandenbergen，M. Taverniers and L.Ravelli（eds）Grammatical Metaphor： Views from Systemic Functional Linguistics[M].Amsterdam： John Benjamins，2003：337-65.

[11]OHalloran， K.L.Multimodal Discourse Analysis[M].London： Continuum，2004a.

[12]OHalloran， K.L.‘Visual Semiosis in Filmin Multimodal Discourse Analysis[M].London： Continuum，2004b：109-30.

[13]OHalloran， K.L.Mathematical Discuorse： Language， Symbolism and Visual Images[M].Londaon： Continuum，2005.

[14]OHalloran， K.L.‘Mathematical and Scientific Forms of Knowledge： A Systemic Functional Multimodal Grammatical Approachin F. Christie and J.R. Martin. Language， Knowledge and Pedagogy： Functional Linguistic and Sociological Perspectives[M].London： Continuum，2007a：205-36.

[15]OHalloran， K.L.‘Systemic Functional Multimodal Discourse Analysis Approach to Mathematics， Grammar and Literacyin A.McCabe， M.ODonnell and R.Whittaker. Advances in Language and Education[M]. London： Continuum，2007b：75-100.

[16]OHalloran K.L. Systemic functional-multimodal discourse analysis（SF-MDA）：constructing ideational meaning using language and visual imagery[C].SAGE publicationas：http：//vcj.sagepub.com，2008：443-475.

[17]OTool，M. The Language of Displayed Art[M].London： Leicester University Press，1994.