多模态符号资源及媒体系统探索

张德禄

(同济大学,上海,200092)

1. 引言

符号资源(semiotic resource)是符号系统的集合。人们可以通过“可识别的、多半是习惯性的(有时是原创的)方法使用这些资源,从而得以开展有意义的活动”(Lemke 1993)。所谓“习惯性”的方法指一个社团中的成员可以同时采用一系列符号资源来形成经常的、可重复的、可识别的、有意义的、文化的和历史的特殊符号类型的方法,是一个符号建构的过程,如某一时期的文学语类。同样,建筑风格、房子类型、宗教仪式、特定节日、饮食、衣着的特定样式都可以定义为行动性的、有规律的模式,是对社会有意义的实践模式。

2. 符号系统与多模态话语研究

任何符号系统都是用于社会交际的,但在以前的符号学研究传统中,研究的重点不是符号系统,而是独立的符号个体,即某个符号与其所表达的意义,如红色可以表示“危险”。而多模态话语研究主要研究符号是如何共同在交际中起作用。例如,在语言中,我们不是只研究某个词的意思,而是研究该词是如何与其他词组成一个系统,以及如何与其他词组合为句子来表达意义。

意义在这里不是指某个单独的符号所表达的意义,而是某个符号系统的“意义潜势”。不同的符号组合可以体现不同的意义。例如,在图像中,不是研究红色可以体现什么意义,而是研究它和其他因素,如形状、布局、所配的文字等如何组合,如何在图像整体中布局,以及如何与其他因素搭配来共同体现意义。例如,Kress和van Leeuwen(1996)就采用语法方法来研究图像是如何体现意义的。在语法中,发话者可以从任何可利用的符号系统中选择符号特征来体现要表达的意义。多模态方法就是用以说明我们交际的方式很少是单模态的,如口语、书面语、手势等,而是多种模态组合起来共同起作用,包括视觉的、听觉的、触觉的各种模态。

在社会交际中,一种社会符号系统就是一个模态。每个模态都有一个媒介系统,体现词汇或者词汇语法,从而体现意义。人类在特定文化中可以利用的符号系统是无限的。从这个意义上讲,我们在社会交际中可利用的符号资源是无数的。

多模态话语研究是从语言学研究中发展起来的,研究的着眼点是单个模态的交际,或者是口语,或者是书面语。在其他模态的研究中,研究的着眼点也是单模态的,如绘画。随着现代科技的发展,多模态话语研究就变得越来越重要,越来越必不可少。

从多模态话语分析的角度讲,模态之间没有主次、先后、轻重之分,所有的模态都应该是同等的。它们的具体模式和系统都应该得到理解和认识,包括它们的语法系统和结构。不仅以语言为主的交际是如此,以其他媒体为主的交际也是如此。这显然会使主要研究语言系统和模式的学者感到对图像、电影的研究深度不够,过于印象化、表面化,因此要像研究语言那样研究各个模态的语法系统。但语言学家对语言之外的其他模态缺乏了解,需要对这些模态进行更加深入的研究。尽管如此,他们还是模拟语言语法对图像等其他模态的语法模式进行了研究,对这些模态的认识从印象化向科学化发展,为其他模态的研究提供了很好的工具。

由于多模态话语交际的发展,符号选择的原则也发生了变化。以前我们重点研究某个模态是如何体现意义的,模态之间也因此有了严格的分工,如在电影中提供行动的图像、表示现实性的同步声音以及表达情感的音乐均由相应的专家来完成,然后编辑把它们综合起来,把所有的成分都通过共同的韵律同步化(van Leeuwen 1985)。但在多模态研究中,我们需要用新的方法分析和描述这种交际模式。各个模态所共有的符号原则在不同的模态之间起作用,其结果可能是音乐用以体现行动、图像表达情感等,这主要是因为,随着信息时代、数字时代的到来,人们的交际方式发生了变化,不同的模态实际上可以具有相同的体现意义的功能,可以由同一个人来操作。他在操作过程中可以根据要表达的意义和效果,确定是用音乐、用声音、图像还是用口语等。这样,我们在研究中能够从符号学的高度把不同模态联合起来。一个语篇中的成分可以通过分离手段的缺失,如矢量的缺失、颜色的延续和相似性的缺失、视觉形状的缺失等相互连接。分离的成分将被理解为是独立的、分离的,或者是对立的,而连接的成分是相互联系的、连续一体的或者是互补的(van Leeuwen 2005:13)。

寻找这种共同的原则可以采用不同的方法。我们可以为每一个模态设计出具体的语法,具体说明用这个模态可以说什么,如何说,以及如何用相同的方法和相同的术语来表达它等。最后,我们看这些语法是否有重合现象,它们在哪些方面是重合的,在哪些方面不是,哪些区域是所有模态所共有的,哪些区域是某个模态的专业化领域。

3. 媒体的产生

符号资源是意义资源。不同的符号系统体现不同的意义,因此,每个符号系统都具有自己的意义领域。而意义是由模态的词汇语法来体现的,词汇语法又由媒体体现,成为有物质实体体现的符号系统。所以,媒体的存在是模态产生的基础。从某种角度讲,没有媒体就没有模态,因为任何模态都要以一定的物质形式作为载体,如声音、颜色、形状等。有了媒体,人们才可以在此基础上发展模态。从另一个角度讲,模态给媒体赋予生命。正是因为某个或某些物质形式在社会交际中起作用,才使它们成为模态的载体,与某个模态或者模态组合相联系,被识别为某种媒体。但反过来讲,某个模态的产生来源于某个或某些媒体的产生。很多模态的新作用和多模态的组合正是这样产生的。例如,页面本来是文字的天地,是根据文字设计的,但现在页面已经被搬到屏幕上,它仍然可以是文字的天地,仍然可以根据以文字的需要来设计,如书信的版面。但同时它也变得很容易把图像、图形,甚至是动画和电影等置入屏幕上,而图形和图像更加直接地和清晰地被读者理解,同时还可以给读者带来感官上的享受,所以被广泛利用。

从这个角度讲,新模态的产生可以从两个层次上来探讨:从上一个层次上看,是新的社会交际的需要召唤新模态的产生;从下一个层次上,是新媒体的产生为新模态的产生提供了优越的条件,促使新模态的产生。实际上,从根本上讲,两者不是孤立的和分离的,而是相互联系的。交际的需要是模态产生的外部动因,没有交际的需要,某个模态就没有产生的必要,所以也就不会产生;而媒体的存在是模态产生的物质条件,有了物质条件,特别是十分优越的物质条件,为模态的产生提供了内部条件。据此,Baldry(2000)坚持要在语篇描述中区分多模态和多媒体,这样“起码可区分语篇中符号资源的整合与与其十分不同的技术的整合,如把计算机和电视融为一体,或者把计算机技术与声音技术融为一体”(Baldry 2000:25)。

然而,一个新模态的产生不是突然的,而是经历了一个被社会认可的过程,例如,即使是由于电子纸张的优越条件而产生的图文互补的新媒体也在开始时不被人接受,直到现在仍然受到质疑。新模态的产生也要遵循一定的原则,而这种原则通常是不被人们注意的。现有的研究通常把它作为想当然的过程来对待,没有探讨其产生的动因和条件。例如,图像在电子语篇中成为主要模态主要经历了以下过程:

(1) 交际的需要,图像作为交际媒体更加直观、便捷,提供的信息更加完整、精确,可以替代文字成为更加有效的媒介;

(2) 图像的意义也是交际者更容易解码的,因为他们与客观事实更加接近,不需要花更多的时间解码,而且可对它进行解码的人群要远远大于可对文字解码的人群;

(3) 图像在电子环境中十分容易制作,也很容易被复制,而不像在纸质文本中那样,画一张画需要很长的时间,所以在纸质文本上用图画做交际媒体十分昂贵,也十分浪费时间,所以不到特别需要时就不会用它作交际媒体;

(4) 这种模态作为新的交际工具被大众,或者某个具体语言社团的大多数成员接受,认为是合适的交际模态。

这四条可以作为某种物质形式成为某个模态的媒介的基本原则,即有社会交际的动因,又有易于被识读者解码、易于使用、逐渐被大众接受等条件。

当然,某个模态也可能因为不再适应社会交际的需要而在社会交际中被淘汰。例如,“面相学”(physiognomy),因其带有种族主义的色彩而被抛弃,渐渐在社会交际中消失了(Kress & van Leeuwen 2001:22)。

4. 媒体与模态

媒体是物质形式,又是模态化的,在社会交际中充当意义的载体。在这里,我们需要回答两个问题:(1)为什么要把某些物质实体转化为媒体?(2)如何把物质实体转化为媒体?上节我们回答了第一个问题,提出了把物质实体转化为媒体,成为模态的载体的四条理由。本节主要讨论如何才能把物质实体转化为媒体。

物质实体本身不是符号,如自然界的事物,在没有人类的时候就已经存在,没有承载意义的义务。所以,物质实体成为符号资源是由人类完成的。人类把它们转化为媒体资源表现为以下三个方面:可识别性、区别性、重现性。

1) 可识别性:一旦成为媒体,它就不再是混沌的物质实体,而是可被识别为某种事物,如声音、书写符号等。作为符号的载体,人们首先应该认识它是什么,无论它是具有实用功能的符号媒体,如汽车、房子,还是纯粹的符号媒体,如语音、文字。

2) 区别性:能够区分不同个体和不同类型的符号,能清楚在哪里某个符号开始,另一个符号结束,例如,红色要能够和紫色、粉红色、咖啡色等区别开。

3) 重现性:能够在人类社会交际中具有习惯性、经常性特点,即红色在相似的场合多次出现,而且每次出现都体现相似的意义,如在表示人的活动时总是有革命的意义。

物质实体具有了这三个特性后就成为媒体,就能够体现一种模态,成为一种符号资源。如果把不同的模态和语言相对比的话,模态的形式相当于语言的词汇语法,而模态的媒体相当于语言的音系学。如何描述非语言模态的“音系学”还需要做进一步研究。在这里,我们尝试探讨这些模态的媒体系统建立的一些基本原则和条件。

符号媒体系统的区别性与系统的复杂性密切相关。以交通信号系统为例。它的物质实体是颜色,是把颜色符号化形成的符号系统,但它是一个十分简单的符号系统,即只有两个层次的符号系统:图符和意义,即它的符号和意义是一一对应的关系,没有必要建立词汇语法层次。这样它的图符系统也十分简单,如表1所示。

表1 交通信号系统的意义和图符

在这个系统中,项目栏的意义项目和图符项目是可以一一对应起来的,如“停”与红色相互对应,没有其他的选择。在这种系统中,图符项目与词汇项目没有区别,所以,图符的区别性也表示词汇项目的区别性。红色是以不是蓝色和桔黄色及其相近的颜色为标准建立的,在实际的使用中,一般局限在红色内,无论是红色、大红、深红、浅红都可以;桔黄色的变异形式更多,可以是黄色、桔黄色等颜色。由于系统中的项目偏少,所以每个项目所占居的物质材料的范围就很大。从理论上讲,只要不与本系统中的其他符号混淆,任何符号变异形式都是允许的。但在实际的运用中,还要考虑符号区别的有效性,所以,对于承载更重要意义的符号,其变异形式的区别度要越高越好,例如,红色和绿色在交通信号系统中更加重要,一般要以十分鲜艳的红色和绿色为主,而桔黄色的功能则相对低些,所以,其可变的程度要大些。

其他符号系统有的是两个层次的系统,有的是三个层次的。语言是典型的三个层次的系统,其他的还有莫斯代码(Morse Code)、手语、盲语、某些复杂的图像系统等。对于符号系统的研究重点是三个层次的符号系统。

5. 媒体的分类

媒体是生产符号产品的物质资源,包括所使用的工具和材料,如乐器和空气、凿和木头等。它们通常是专门用于此目的而生产的,不仅是文化的,如墨水、颜色、照相机、计算机等,也可以是自然的,如人的发音器官、风、云、光等。

有些媒体是专门发展了用以进行媒体的记录、重现和分布的,如录音机、收音机、照相机等,它们本身是生产出来的符号产品,但在它们的发展过程中,开始是作为生产的媒介,然后生产的媒介可以成为设计模态。

对于媒体的分类,除了以上谈到的声音、字符、工具、人体媒介、记录等几个类别外,还有其他的类别。而且从不同的角度可以有不同的分类方法,包括以下几个方面:1)传统上把交际的模态分为书面语和口语模态,两者分别由声音和书写符号体现。由其他媒体体现的模态不被认为是和语言媒体一样的交际媒体,而是看作是“副语言的”。这种分类方法既不适应多模态话语分析理论的研究角度,也不符合适应现代科技而新发展起来的新媒体的特点,如大量使用的计算机屏幕、网络版面和语言等。体现这些模态的媒体将成为与语言同等重要的媒体。2)Thibault(2004)从身体动力学的研究区分出动态的和静态的,静态媒体指文字、图片、表格、绘画等,动态媒体指面对面的互动、动画、电影、使用录像机等。但这个分类方法太笼统,最好把它作为其他分类的次分类来处理。例如,在按维度分类时,四维媒体都是动态的,其他可以是静态的,也可以是动态的。3)根据系统的复杂性,媒体系统可以分为两个层次的和三个层次的。两个层次的符号的媒体可以直接体现意义,不需要语法;而三个层次的符号媒体不能直接体现意义,而是要经过符号的组合来实现词汇和语法,然后由词汇和语法来体现意义。4)交际是由人来进行的,因此,交际者会充分利用本身的肢体所能提供的媒体,如手势、表情等。正如Baldry(2000:17)所说,通过电视录像等媒体,我们可以探讨意义制造的过程,而这一过程是由人体和其他媒体互动来共同创造,“这样就有可能探讨人体如何在语境中和其他物体一起来制造意义的主题”。这样,媒体可以分为由肢体提供的媒体和非肢体所提供的媒体。张德禄(2009)从是否由肢体提供媒体的角度对媒体的类别做了区分,把所有由肢体发出的媒体成为肢体媒体,而把所有其他的媒体成为工具媒体和环境媒体。5)不同维度的媒体差别很大,因此维度成为区分媒体类型的主要标准。媒体的维度可以分为一维媒体(one-dimensional media)、二维媒体(two-dimensional media)、三维媒体(three-dimensional media)和四维媒体(four-dimensional media)。下面重点探讨语言与非语言媒体和根据维度划分的媒体。

5.1 语言与非语言

现有的对媒体系统的研究不是很多,其中Lim Fei(2004)对印刷系统和图形系统的研究可以作为对语言与非语言媒体系统的研究的例证。首先,书写系统要有两个次级系统组成:字体和空间布局。字体由三个次级系统组成:字类、大小、颜色,每个次级系统还包括次级系统,系统由项目组成。空间布局包括字间距和字体对齐等。

这个系统是描述文字印刷的,不是从文字学的角度来探讨印刷符号,主要问题是还没有把文字的级阶作为一个主要次级系统在系统网络中表现出来,同时颜色应该作为一种格式,而不是在字体层面上。这样,我们可以根据用于印刷的字体学来发展英语的文字学系统,从而使它具有具体语言的特征(相似于音系学)。这个系统可以描述为图1。

图1 英语的文字系统

英语的文字学系统主要由两个因素构成:字体和空间。字类表示格式和体及其次范畴,表示在原字符的基础上添加这些特征,增加原字符的表意潜势,包括大小写、斜体、底线、轮廓等。字号在对比的情况下才可以具有意义,例如标题的字号要大于正文的字号,所以,它具有自由变体的特征,如把行文字号定为10号或12号。

字是书写系统的主体,其中字符包括26个字母和标点符号,是书写系统的实体符号,它们可以按一定规则组合成为更大的单位,如词、逗号单位、分号单位和句子单位等。这些单位以一定的空间布局组合为更大的书写单位,如段落(缩进)、章节(换页、空页)等。

Lim Fei(2004)还对图形系统进行了研究。图形主要由两个因素构成:形式和角度。形式是构成图形的基本因素,包括颜色、形状、线条、笔触等因素。颜色包括颜色的类别,以及色调、色彩和色度等因素,显示颜色的特点;形状千变万化,其基本图形是几何形的,其典型形状是矩形的,其他的图形可以是任何形状。图形由线条构筑,线条可以是任何类型,其长度和宽度是重要的区别性特征。用什么笔划也是重要的绘画因素,可表达图画的不同特色和文体,如用画笔、蜡笔,还是喷漆或用刷子。视角包括角度和深层空间,角度包括从什么角度,多大距离等(见图2)。

图2 图形系统(Lim Fei 2004)

这个描写方式有两个问题。第一个是对于所涉及的因素,没有区分哪些是有区别性的,哪些没有区别性当然,一般进入人们意识的因素都是有区别性的,不然不会进入人的意识产生“心理现实性”(psychological reality)。第二个是这个描写方式太笼统。图形图像实际上可以有多种不同的符号系统。这些符号系统当然有其自己的特点,但各个系统本身都是独立的,有自身的独特特征,应该单独描述。例如,图画和图表,动态的动画和静态的艺术画是完全不同的,虽然他们都是视觉的。因此,我们应该对每个符号系统的媒体系统单独进行描述。

5.2 媒体的维度

媒体的维度是一个重要的区分条件,因为维度之间的区别很重要,可以直接影响对符号的识别难度。对媒体维度的描述现在一般还是局限在四个维度之内,科学研究对空间维度的扩展还没有进入到大众的社会交际中。这四个维度分别是:一维媒体(线性的)、二维媒体(平面的)、三维媒体(立体的)、四维媒体(动态的,可移动的三维媒体)。

(1) 一维媒体

一维媒体指线性媒体。语言媒体都是线性的。口语是线性的,从开始说话到结束都是按照时间来排列的。书面语也是一维的:虽然书写的版面,如纸和屏幕,都是二维的,但文字本身是一维的,有明确的开始和结束点,是空间上的一维媒体。一维媒体还包括音乐,它和口语相似,都是沿着时间线进行的,从时间的一个点开始,到时间上的某个点结束。

一维媒体可以是时间的,如口语和音乐,是以时间的起点、延续、结束为特点的;也可以是空间的,如书写的字词,是以空间的起点、延续、结束为特点的。

一维媒体的特点是其有明确的起点和终点:时间一维媒体以时间的某个点开始,到时间上的某个点结束,所以,它的大小是以从起点到终点所延续的时间来计算的,如一个对话可以是三分钟,也可以是三个小时。在录音带上表现的最明显。空间一维媒体是以空间上的一个点开始到空间上的一个点结束。空间是三维的,所以可以以任何一维作为起点和终点,因此它可以是横的,也可以是竖的,还可以是高的。空间一维媒体是以它在空间上延续的长短来衡量的。

一维媒体具有把一切类型的意义都分割压缩为线性的特点,所以,它具有易于把复杂和形象的意义抽象化、简单化的特点,因此便于科学化(Kressetal. 2001:171)和操作,但增加了理解的难度,因为人们需要把它解码为二维或者三维图式后才能理解。

(2) 二维媒体

二维媒体由两个单一维度共现和协同而成。这两个单一维度可以是任何四个维度之一,即时间、横、竖、高。传统上的二维一般只指空间上的二维,由空间上的任何三维之二组成。但实际上,它还包括时间与任何三维之一共现与协同形成的二维媒体。空间上的二维尽管可以由任何三维之二组成,但它们在时间上没有区别,组成的图形都是平面图。

时间与空间维度组成的二维媒体总是动态的,即将静态的一维媒体以时间顺序显示,如屏幕上字幕的显示过程。二维时间媒体都是动态的,因为它是一个时间维度和一个空间维度结合,所以,它可以既以时间的顺序从起点到结束识读,也可以根据空间维度从开始到结尾识读。但它不能从终点到起点进行识读。

二维媒体具有多角度、多起点的特点,能够从左到右、从上到下、从中心到边沿组织信息,甚至是三种角度的结合,或者是相反的过程。这样,对二维媒体编码可以从多个起点作选择,或者多个起点同时进行;对其解码则就需要识读者认真考虑不同成分之间的关系,以及每个成分的特性和功能(Kressetal. 2001:171)。

(3) 三维媒体

三维媒体是由空间的三个单独的维度的共现和协同,或者由空间的两个维度与时间维度的共现与协同而形成的媒体。一般来讲,当我们谈论三维图形时,我们只考虑空间立体图形,而不会把时间维度考虑进去。平面图形以时间为序发生移动和变化也是三维的,并且都是动态的。

三维空间图形可以看作由一个个平面图形叠加而成,在每一个平面图形上都可以发生新的变化,还可以附加新的一维、二维或三维的图形,这样就形成了三维立体图形的复杂性和解释的难度。例如,平面图形只有面积,在这个平面上可以附加新的平面图形,但它会明确地显示出来,识读者可以清楚地看到它,而且它的平面性使它很受限制。而三维立体图形不仅可以超越平面的限制而延伸到另一个维度,还具有容积。例如,房子的立体图形可以表示房子有内部空间。至于其内部空间是如何设计的,还有什么东西都无从知道。同时,其表现事物的识读方式、起点和焦点都十分难以确定,所以其识读方式难以确定。由时间和空间形成的三维媒体是动态媒体,是由二维空间图形在时间上的变化形成的,它的识读可以通过时间的起点、延续和结束来进行。

三维媒体是一种更直观、更现实的媒体形式,使编码者可以把直接从现实中“冻结”得到的实物置入语篇中,从而使识读者可以直接观察到事物的原形。从这个角度讲,降低了识读所需要的抽象能力和想象能力,但同时,也需要识读者的想象力和背景知识来认识整个事物,因为识读者观察到的任何三维媒体都是不完全的,需要他“用自己的想象力来创造出所看不到的那些面”(O’Toole 1994/2010:12)。

(4) 四维媒体

四维媒体是由空间的三个维度和一个时间维度的共现和协同形成。它除了有三维空间的复杂性外,还有时间维度上的变化。四维媒体总是动态的和变化的,经常用于现代媒体中,特别是计算机网络。

四维媒体虽然更加复杂,但是最接近现实的媒体,对它编码不需要进行抽象化和简单化的处理,同样对它的解码也不必经过抽象到具体形象的过程,因此是最适合普通大众交际的一种媒体形式,也是现代高科技多媒体的一个特点。

多模态话语的媒体的分类可以由表2表示。

表2 媒体的分类标准

5.3 讨论

媒体的分类反映了不同类型的交际特点。首先,有些交际是完全动态的(对话、看电视、电影、打手势等),有些是静态动态的结合(读书、看图等);有些主要通过语言(口语、书面语),有的主要通过非语言(体育表演、表情、手势),更多的是两者的结合(表演、口语加手势、表情)。有些交际只通过简单的单符号即可(交通信号、鸟语),有的要用多层次符号(语言等);现代科技的发展一方面使交际由以肢体媒体为主向以工具为主演化,另一方面使交际由线性、二维媒体向三维、四维媒体过渡。

媒体的分类为交际中模态的选择和搭配提供了可参考的依据。交际中对模态的选择或者设计是由多种因素制约的,如交际的语境,包括交际的内容、交际者、交际的环境,意义的类型,模态的表意潜势、供用特征(affordances)、功能专业化(functional specialization)(Kress 2003)。但最关键的是媒体系统的可用性。例如,人们都知道用三维动态媒体交际更直接和有效,但缺乏必要条件就无法进行。而且以上几个因素也都和媒体的类型直接相关,如模态的供用特征和专业化是直接和媒体的存在和可用性相关的。

6. 结语

本文探讨符号资源及其媒体系统的类别。符号资源是一个言语社团进行社会交际的资源,是文化的表现形式,是所有符号系统的统称。所以,本文首先探讨了符号系统的特点,把每个符号系统看作一个意义潜势,以一种模态参与交际事件,由特定的媒体体现;然后探讨了符号系统的物质特性,以及物质的模态化过程;第三,我们探讨了媒体和模态的关系,提出了符号媒体的三个特点:可识别性、有区别性、重现性;以及具有不同层次的符号的媒体特征;第四,重点探讨符号的媒体系统的特点,专门谈了文字、图形、音系的系统特点;最后,谈了符号媒体的分类,从语言与非语言、符号的维度、符号的感知几个方面谈了符号媒体的特点,最后简单谈了社会交际的多模态性与媒体类别的关系。

Baldry, A. 2000.MultimodalityandMultimedialityinaDistanceLearningAge[M]. Campobasso: Palladino Editore.

Halliday, M. A. K. 1978.LanguageasSocialSemiotic:TheSocialInterpretationofLanguageandMeaning[M]. London: Edward Arnold.

Halliday, M. A. K & R. Hasan. 1985/1989.Language,Context,andText:AspectsofLanguageinaSocial-semioticPerspective[M]. Oxford: Oxford University Press.

Kress, G. 2003.LiteracyinaNewMediaAge[M]. London: Routledge.

Kress, G. & T. van Leeuwen. 1996/2006.ReadingImages:TheGrammarofVisualDesign[M]. London: Routledge.

Kress, G. & T. van Leeuwen. 2001.MultimodalDiscourse:TheModesandMediaofContemporaryCommunication[M]. London: Edward Arnold.

Kress, G., C. Jewitt, J. Ogborn & C. Tsatsarelis. 2001.MultimodalTeachingandLearning:RhetoricoftheScienceClassroom[M]. London: Continuum.

Lemke, J. L. 1993. Discourse, dynamics, and social change [J].CulturalDynamics6(1): 243-275.

Lim Fei, V. 2004. Developing an integrative multi-semiotic model [A]. In K. O’Halloran (ed.).MultimodalDiscourseAnalysis:SystemicFunctionalPerspective[C]. London: Continuum. 220-246.

O’Toole, M. 1994/2010.TheLanguageOfDisplayedArt[M]. London: Leicester University Press.

Thibault. Paul J. 2004.Brain,Mind,andtheSignifyingBody:AnEcosocialSemioticTheory[M]. London: Continuum.

van Leeuwen, T. 1985. Rhythmic structure of the film text [A]. In T. A. van Dijk (ed.).DiscourseandCommunication:NewApproachestotheAnalysisofMassMediaDiscourseandCommunication[C]. Berlin: Walter de Gruyter. 216-232.

van Leeuwen, T. 2005.IntroducingSocialSemiotics[M]. London & New York: Routledge.

张德禄.2009.多模态话语分析综合理论框架探索[J].中国外语(1):24-30.