多模态网络广告分析的理论与方法

徐海波

摘要20世纪90年代以来由西方兴起的多模态话语分析以Halliday创立的系统功能语言学为理论基础，兼顾了语篇中图像、声音、颜色、动漫等表现形式和符号系统。本文以系统功能语法理论为基础并结合多模态符号学理论框架，提出适用的分析方法，争取细化多模态分析的原则和方法，推动多模态话语分析理论及方法的应用。

关键词多模态；网络广告；社会符号学；构图意义图文关系

以往对广告语篇的研究往往拘泥于词汇、语法、文体、修辞等方面，对于图文关系的少量研究也仅仅是静态语篇的分析。广告语篇的多模态研究在国内更是刚刚起步，缺乏对于网络媒介多样化产生的大量动态网络广告语篇的系统分析和研究。因此本文以系统功能语法理论为基础并结合多模态符号学理论框架，对于网络广告语篇进行多模态研究现状进行分析，争取细化多模态分析的原则和方法，对于推动多模态话语分析理论及方法的应用，提高人们的多模态话语识读能力以及对于动态网络广告语篇的准确把握有着十分重要的意义。

一、多模态话语的社会符号学分析

尽管多模态话语分析从Peirce等人的符号学理论中吸取了媒介、对象、解释三位一体等理念，Halliday(1985)的社会符号学理论又推动了多模态的研究，形成了多模态符号学。其主要理论基础却是Halliday创立的系统功能语言学(Halliday 1978。1985，1994；Halliday&Matthiessen;，2004)。朱永生(2007)论述了多模态话语分析的性质和理论基础，指出多模态话语分析接受了系统功能语言学的语言是社会符号和意义潜势的观点，认为语言以外的其他符号系统也是意义的源泉；接受了系统理论，认为多模态话语本身也具有系统性：接受了纯理功能假说，认为多模态话语与只包含语言符号的话语一样，也同时具有概念功能、人际功能和语篇功能：接受了语域理论，认为语境因素和多模态话语的意义解读之间联系紧密(朱永生，2007)。多模态语篇分析目的在于把由不同符号模态所体现的再现意义、互动意义和构成意义融合起来考虑，分析它们是怎样共同协作，创造出一个完整的语篇或交际事件，因此多模态分析的工具可以运用于每一种符号模态的分析方法。

有了系统功能语言学和社会符号学的理论框架，多模态话语分析近年来逐步应用到各个领域。图像内容分析法和社会符号学分析法应用于诸多领域中的多模态话语行分析，势必会推动多模态话语分析的理论前沿及应用研究的发展。

胡壮麟对多模态话语分析的发展趋势做出展望，指出就多模态话语分析而言，可进一步包括互联网在话语分析中的作用，社会研究中的多模态话语分析，教育语境下的话语分析，工作场所的多模态话语分析。

二、多模态网络广告分析的方法

在多模态化广告中，语篇(图内)和图像两个符号系统在不同的层面同时运作创造内涵，同时构建整个意义系统。Kress＆Leeuwen打破了语言研究和文字研究之间的界限，把多模式语篇作为一个整体来分析，对照系统功能语言学中的三大功能将图文意义分为构图、互动和再现，同时认为图像和其他形式的话语一样属于意识形态范畴。

黄国文(2003)指出语篇功能和意义要在文化语境和情景语境两个语境中进行构建。多模式语篇的意义是文化语境和情景语境的具体体现，也就是语篇体裁和语域的体现。多模态语篇的构图意义包括三种资源：信息值、取景和显著性；构成互动意义的四要素：接触、社会距离、态度和情态分别对应相互关系、社会关系、权势关系和对客观世界反映的”真实性”四个方面体现。

Halliday把语言看作是一种社会符号系统，依赖于语境而存在，并且认为使用语言的过程是个符号过程。而多模式指的是除了文本之外，还带有图像、图表等的复合话语，或者说任何有一种以上的符号编码实现的的文本(李战子，2003：1)；而动态网络广告作为网络技术的产物，已经发展为一种超文本的多模态语篇。网络广告语篇的多模态特征及其不同的符号系统之间有着紧密联系和互相交融的结构特征，体现出的动态性、重叠性、交错性分布。

Barthes(1977)认为语篇和图像之间存在着依托和互递的关系。N?th(1990)将图像和文字的关系概括为五种：图解、图像示范、标记、相互决定和矛盾关系。Kress&Leeuwen;将图文意义分为构图、互动和再现三种。本文结合计算机媒介技术手段在典型的网络广告中的应用，提出三种图文关系，即图文之间的衔接、重复和互补。

语篇是在文化语境与情景语境中构建意义的。探讨在动态网络广告语篇中构图意义和互动意义的实现，应根据Kress&Leeuwen;对多模式语篇构图意义的三种资源以及互动意义的四要素进行分析。今后多模态网络广告的发展必将随着网络文化的繁荣而融入互联网时代的社会主流文化，这就要求进一步细化多模态广告分析的方法并推广其应用，真正提高广大受众的多模态识读能力，准确把握多模态网络广告的意义。