多模态小品的功能间性

2012-12-03胡加圣柴改英

当代外语研究 2012年3期

胡加圣柴改英

(上海外国语大学,上海,200083；浙江工商大学,杭州,310018)

随着信息技术的不断发展,PPT(PowerPoint)、PPS(PowerPoint Show)、WMV(Windows Media Video)等应用软件(或软件模块)被广泛地用来创建演示文稿,服务教学、会议和日常信息交流。区别于普通的Word文档,这些文稿诉诸于读者的视觉、听觉等多种感觉通道,充分应用文字、图像、颜色、音乐、视频等多种符号系统,因而具有多模态性(multimodality)(“多模态语篇”的界定参见Kress & van Leeuwen 2001;李战子2003；张德禄2009)。本文重点讨论的是被胡壮麟先生(2010)称之为多模态话语大家庭中的一个新成员——“多模态小品”,它是一种新的提供一定信息量的、有一定品位和文艺鉴赏价值的交际形式。它围绕特定的题目,如“健康”、“生活”、“上帝不会问的十个问题”,通过若干张幻灯片自动翻阅或点击翻页,在向读者提供视听感官享受和体验的同时,传达或实用、或愉悦的精神信息。本文关注的话题有:(1)多模态小品的多模态性；(2)多模态小品的语篇特征；(3)多模态小品各模态间的互动性。第三个问题也将尝试思考Baldry和Thibault(2006)关于多模态语篇的研究课题:在把多媒体的意义生成资源综合应用到超语篇(hypertext)后,怎样才能使意义生成潜能成倍地增加。

1. 多模态小品的多模态性

多模态小品的模态参数共有3个,即文字(Language,用L表示)、图像(Visual,用V表示)、声音(Audio,用A表示)。其参数配置共有5种L、L+V、L+V+A、V和V+A。单一A模态的多模态小品,即没有图像和文字、只有乐曲的多模态小品到目前为止尚未发现。

虽然L(只有文字)和L+V(图文结合)是多模态小品早期制作技术不发达时常用的简单形式,但是,这种“简单”在技术水平已经很发达的现在也可以是一种有意之为:或者排除其他元素可能带来的干扰,使读者全身心关注内容；或者由于主题的需要,将读者的心情放置在特殊的情景之中。这两种,特别是只有文字的PPT,或者是温馨的低语,如“与健康有约”；或者是感人的叙事,这种情况下图画的作用更多是展示和解释。富有基督教色彩的PPT故事“The Smell of Rain”第一页面的文字“A cold Match wind danced around the dead of night in Dallas as the doctor walked into the small hospital room of Diana Blessing”把我们引入一个生命奇迹故事。背景纯白,正合着故事发生的场所——医院；没有音乐,正合着场所的需求——安静。更为重要的是,这种安宁、静谧的意境中,发生的是一个远离喧嚣、天使降临的故事,是上帝对出生只有12英寸长、1.2磅重的Diana的怜惜爱抚的故事；而“雨的味道”也只有安宁虔诚的心可以嗅得到。可见,声音缺席正是作者的匠心所在,在读者内心的体验与文字的和谐互动中,哪怕是最轻微的音响都可能是聒噪。

而文字缺席的V(只有图画)和V+A(图画和音乐)形式的多模态小品多以艺术欣赏(风景名胜、人物摄影、绘画欣赏等)为内容。正如黑格尔(1959:83)所说:“艺术形式就是诉诸感官的形象”,当表面文字的缺席促发了读者更深层次的视觉和听觉投入,缺少文字“锚定”(anchor,见Barthes 1977:39)的图画和音乐所指的不确定性(曾方本2010:61)使得以情感促发为目的艺术诉求方式(图画和音乐)引发了读者“无拘无束”(即没有语言信息来控制读者的意识)的联想和艺术体验。例如,由E-mail文化传播网发布的多模态小品“童话般美丽的奥地利”将奥地利令人心旷神怡的湖光山色和色彩亮丽建筑独特的岸边小镇,在萨克斯风版《月亮河》的浪漫旋律中,别有韵味地展开、流淌。没有文字的羁绊,读者可以充分发挥想象,“心驰神往”。

L+V+A的复合形式越来越多地出现在多模态小品中,这种制作技术整合了文字、图片、音乐等不同社会文化符号的功能,全面激活PPT接受者认知、情感等各方面的资源,使之能够更加立体、更加有效地参与意义建构。Burke(1931:31,124)将“修辞形式”定义为对欲望的激起和满足。显然,不论是作为文字形式的修辞形式,还是艺术形式(图片、音乐)的修辞形式,它们激起“欲望”的方式和方面是不同的,前者着重于理性的认知加工,而后者诉诸于人的情感。从生理学的角度看,“理”和“情”相互配合,协同完成对外部信息的内化过程和对认知信息的外化过程。人的认知结构对外部信息加工处理的过程中,情感图式会对认知结构的活动进行干预,并促发认知结构进行信息加工。由图片和音乐促发的情感因素在文字认知加工中的作用表明:多种模态形式只有协调合作才能达到好的交际效果。

当然,“协调”并不意味着三种模态在小品中平分秋色。“美国军事演习”(http:∥www.52e-mail.com)和“世界好友周”都属于L+V+A复合形式的多模态小品。前者如其英文标题“Cool Pictures—Compliments of Our US Military”中的“Cool Pictures”所示,图片而不是文字是PPT话语的中心,非常简单的短语相当于图片的画外音,只是向世人提供美国军演中高端武器的名称；而配合画面的进行曲“The Thunderer”(“父辈的旗帜”)无异于冲锋的号角,让一幅幅原本已经定格的海上冲锋、空中俯冲的画面恢复了雄赳赳的生机。而“世界好友周”重在传递一种观念“什么是好朋友?”其文字内容,如“当大部分人都在关注你飞得高不高的时候,只有少部分人关心你飞得累不累,这就是友情”,成为承载明确信息的凸显模态；其图画(大片舒坦的田野、整齐的花海)以及舒缓的音乐都在为读者对文字所指产生思想回应,铺垫着情绪、营造着气氛。比较以上两个L+V+A复合形式的多模态小品,“美国军事演习”中L、V、A三者的凸显关系为:V>A>L(凸显度依次下降)。没有文字,不影响读者对美国高端武器的认可,但是没有图片,读者就无法感受美国军演的“Cool”主题。而在“世界好友周”中,虽然我们无法完全确定图像和音乐在此过程中孰重孰轻,但是可以确定的是:如果没有文字,并不连贯的图片的所指漂浮性和音乐的不确定性难以帮助读者建构合适的确定意义。

2. 多模态小品的语篇特征:“神不散”

普遍意义上的语篇类型,如议论、说明、描写、叙事,都有明显的语篇特征(texture),即主题、故事和描述对象以明显的线索(衔接手段)贯穿始终(意义连贯)。但是,多模态小品各页之间并不一定必须具有十分明显的关联,往往倾向于不同幻灯片页面展示不同内容。例如,“Life”其中两页的内容是:

(a) (午后静谧的练功房,芭蕾舞演员)阳光午后旋处一份飘逸和轻盈和影子共舞的人都会有一份恬静的人生吧！

(b) (街角,枕着书包、拥着小熊熟睡的小女儿,旁边放着行李箱)是离家出走么我不敢肯定如果是,她比我有勇气,我小时候只是拿些小人书那才是我童年时的全部家当。

如果把它们放到一个段落里,我们无法找到任何确定的、显性的、客观的语言特征将两者相连接。但是,如此“形散”的幻灯片能够统一在同一个标题里,必然在文字下面体现着某种关联,这种隐形的、主观的联系是语篇调动了交际双方,特别是阅读者的认知资源、情感资源来建立的,即是主体互联(intersubjectivity)的结果。两个幻灯片表面上都是在叙事:它们都有人物(“舞者”和“小女孩”)、背景(午后和练功房,街角和安静的四周环境)、事件(“欣赏自己的舞蹈”和“离家出走”)。如果仔细阅读,我们不难发现它们还隐含着另一声音,这可以从第二张幻灯片里的“我”看出:

(b1) 小女孩带着她的全部家当(皮箱、书包、玩具)有勇气地离家出走。

(b2) 我小时候所有的家当只是讲述别人故事的小人书,我没有勇气离家出走。

类似地,看到第一张幻灯片时,读者为之震撼的,不仅仅是舞者的美,更有她的那份轻盈、恬静的人生,于是不禁会对比自问:

(a1) 阳光午后,年轻女子和影子共舞,旋处一份飘逸和轻盈,享受恬静人生。

(a2) 我在阳光午后(闲暇之时),是否顾暇和欣赏自己的影子和心灵,是否拥有一份恬静人生?

这种如在拉康理论中的镜像阶段发生的在“他者”中寻找认同的“自我投射”(见岳凤梅2005),使得阅读从对“他者”故事的赏析变化到对“自我”故事的建构和反思,显然(a)中“都会有一份恬静的人生吧”的赞叹、羡慕的语气和(b)中“只是”、“才”表达的无奈语气,透露了象征性符号及其在“自我”中所激发的形象之间的鸿沟。作为制造象征的动物(Burke 1966:45),人运符号进入修辞环境,幻灯片读者以艺术性的符号(本例中的图像及文字)为参考,建构及反省自己的现实,下面(b3)和(a3)是一种反思:

(b3) 童年的我生活在别人撰写的小人书里,“乖乖”地按照书中或者美丽、或者勇敢、或者守纪律……等标准长大,没有勇气走自己想走的路；成年的我“规矩地”亦步亦趋,不敢怠慢,思想不敢出走。

(a3) 生活在现代社会的我,缺失的正是闲暇、疏于关照自己的灵魂、没有一份属于自己的恬静人生。

这种语言建构的“他者”故事和现实中“自我”故事的不对等使两个看似不相干的幻灯片在读者那里产生了类似的共鸣:对“缺失”(现实生活中突破自我羁绊实现自我的勇气的缺失、现代社会里心灵空间被挤压后顾暇灵魂的缺失)的抱憾和对理想的“向往”(向往摆脱思想的物质羁绊放飞自己、向往能够关照心灵的恬静优雅)。当然,两者的另外一层联系还发生在读者因“缺失”和“向往”而产生的“自我”向“他者”的心理迁移。当读者从“自我”的故事回归“他者”故事时,会将“自我”无意识地误同(identification by inaccuracy)(Burke 1969:20)于“他者”的美感中。“我们知道,美感作为一种感觉,是在对象化的过程中实现自己的。当这种对象能给人带来美感的时候,人们的心灵常常执著于或固结于这种美感上”(李鑫华2001:57)。读者好似经历了类似小女孩出走的思想自由,和类似舞蹈者轻盈弄影的惬意。这种相似的认知心理活动及审美活动是连接两个幻灯片的无形的网络。可见,和一般散文相比,多模态小品的“形散而神不散”的语篇特征强调的是文本与读者的主体互联。

除了文字模态,PPT这种形散而神不散的语类特点也通过其他模态得以强化。从视觉模态来看,几乎每一个多模态小品都贯穿一类图像、图形。贯穿“Chinese New Year”的都是中国新年表示吉祥祝福的元素“对联”、“年画”、“爆竹”、“财神”；贯穿“上帝不会问的十个问题”的是天空、大地和海洋,传达了上帝创世纪和拯救人类的恢宏宗教主题。正如喜庆的中国节日元素始终将读者置于欢乐的情绪中,恢宏神秘的图片色彩让读者沉静在宗教气氛中,它们成为感染读者精神和情绪的不散之神。

同样,多模态小品的听觉模态也起到了非常重要的衔接作用,往往同一首音乐或同一种类型的音乐形式成为承载主题、贯穿全文的重要线索:“Chinese New Year”中欢快、喜庆、跳跃的中国民乐《恭喜恭喜》始终感染着读者的情绪；“上帝不会问的十个问题”中悠扬、圣洁、高远的赞美诗音乐“Amazing Grace”(《奇异的恩典》)渲染了整个语篇的宗教情绪。音乐表演手段和音乐语言风格,或抒情优美、或华丽绚烂,都成为全篇意义统一的旋律。

可见,不论多模态小品的模态关系如何,作为“语篇特征”,它们分别具有各自的内在连贯性(统一性)。而且,各自的连贯性相互照应,共同协调地构造更高层次上的连贯。如,“Chinese New Year”中三条连贯的线索(恭贺新春的美好祝愿/各种喜庆的视觉元素/欢快、跳跃的中国民乐)同时协调诉求于人的视听感官,表现一个主题:“节日快乐”。

3. 多模态小品的功能间性

多模态小品有5种组合可能,但是鉴于篇幅,我们这里暂且不讨论单模态的L、V,以及L+V的形式(以音乐为背景配合图画的PPT比较多,但是以图画为背景阐释音乐的虽然未必不可,但是相对比较少,另文讨论),重点讨论L+V、L+V+A复合模态中的图文、音文关系。

3.1 多模态小品中的图文关系

关于多模态话语中图文关系的研究不断有“地位论”(Barthes 1977)、“位置论”(Kress & van Leeuwen 1997)、“系统论”(Martin & Salway 2005)等学说涌现。图文地位论认为,在多种符号组成的复合系统中图文之间有三种关系:或者是锚定(anchorage,即语言文字对于图文意义进行锚定,以克服图像符号所指的不确定性)、或者是说明(illustration,即图像对语言文字的阐释说明)、或者是接递(relay,即图文互补,如动漫中的对话泡)。图文位置论比照功能语法中语言的概念、人际与组篇功能,认为图像同时具有再现功能(解释参与者与过程之间的关系)、互动功能(指每个行动不仅表达了语言使用者对接受者的导向,也表达了两者之间的社会关系)和构图功能(composition,指每个行动在语篇空间对整体或整体中的部分作出限定)。其中构图关系不仅表明图像成分间的关系,也关心图文间的关系,即视觉空间里页面的特定位置会赋予相应的图、文特别的意义。其原则有:信息价值原则(information value principle)(左边的是已知信息,右边的是新信息；上方的是“理想”信息,即概括性的凸显的信息,下方的是“真实”信息,及具体的细节性的信息；中央为主要信息,边缘为次要信息)、突显原则(salience principle)(通过尺寸、亮度、色彩、视角等使某些信息被充分关注),以及分格原则(framing principle)(通过空间位置的邻接程度说明信息之间的关系)。为了摆脱上述两种理论的直观性和经验性,Martin和Salway(2001)借用功能语法中小句关系理论从图文地位以及逻辑语义关系两个子系统的组合阐述多模态语篇的图文关系(共27种关系)。为了缕清理论脉络,我们将以上三个理论主要内容表示如下表1:

表1 多模态小品中的图文关系

综合以上三种学说的具体内容,以我们掌握的现有的700多则多模态小品为语料,我们具体探索其可能的图文关系类型。

3.1.1 以图片展示为主的多模态小品的图文关系

第一,文字“解释、说明、介绍”图画

根据“图文位置论”的“突显原则”,尺寸大小、亮度等都可能成为影响凸显度的因素,“美国军事演习”中每个页面按9:1的比例将画面整齐地上下分割,上面的9/10的面积大幅展示威武先进的美国武器,画面背景均为亮度相对高、视野相对开阔的蓝天、大海,而1/10的最底边往往是黑色背景下的短语式的武器名称。以此方式,图片得到了突显,而文字起到了介绍的作用。这种关系,也可以用“图文地位论”的“信息价值原则”加以证明,同一页面内的“中央与边缘则表明信息有主次之分”,被边缘化的文字名称只起解说作用。

第二,文字“延伸”图画

和上面解释说明类型的图文关系类似,图文延伸(文延伸图意)往往也符合图文位置论的“突显原则”,即图片占据了画面最大面积的、中央的、显眼的位置,而文字相对边缘化、不凸显。图文相对独立,可以分别表达独立意义,不出现在同一语篇里,也各自可以成为完整的意义表征,即它们之间不存在“系统论”的依附关系,但是却起到意义延伸的作用。例如“Life”中下面的页面。我们通过网络查询,发现了此图的两个“配音”版本。

我们姑且不论两种配“音”孰优孰劣,但版本的多样性证明了图文的独立性以及图画的意义开放性,在某种程度上文字对图画具有锚定作用,即图画的所指往往很多,观众可能会有不同的解读,但是不同于概念锚定,此类多模态小品更多是锚定一种情感、一种趣味。“语言这种符号诱使那些本性能对符号作出反应的动物进行合作”(Burke 1969:43),这里的合作类似于Burke的“误同”(identification by inaccuracy),虽然这种同一方式(identification)最不被人有意识地注意,但最有影响力。正如买万宝路香烟的人可能将自己无意识地投射为香烟广告中的潇洒、迷人的男人的形象,恰如其分的文字“配音”锚定图片中小女孩并非玩笑的“离家出走”的“勇气”,PPT读者除了天生对天使般孩子的抚爱,还因为小女孩实现了“童年的我”“曾经有过的梦想”(也许是读文时临时产生的),而生出无限的疼惜怜爱。可见,文字让想象生出翅膀,是PPT读者的情感始于图、升华于图的中介。

图1 “Life”中的文字延伸图画示例

3.1.2 以概念展示为主的多模态小品的图文关系

第一,图画调试情绪、“渲染”情感

以概念展示为主的多模态小品,图画的作用有调试情绪、渲染感情的作用。《世界好友周》几乎所有画面都由各种明快的色彩大线条构成:蓝的天空、棕的田垄、绿的草原、鲜亮的花带。不论是纵向地向天边铺撒,还是横向地写意流动,这些线条通过广角镜头舒展地贯通整个画面,使读者视野格外宽阔；长景深,表现出相当大的清晰范围和极强的画面透视效果,使读者吐纳畅快、心情得到了空前的放松。而画面色彩的协调搭配更将读者置身于特定的情绪之中。第二张幻灯片以“深绿(草地)—浅绿(草地)—褐色(田垄)—蓝色(天空)”横贯画面,沉稳、知性的低明度深绿,舒适安全的嫩绿,亲切中蕴含安定的褐色,以及让人放松的蓝色(百度百科2010),特别是右上方远处的那个尖顶小屋,让人的心情有了可归之处。舒展、宁静的温馨蔓延开来,当知心话语暖暖地在耳畔响起,“当大部分人关注你飞得高不高时,……”,一种被抚摸、被安慰的感觉随着画面流淌开来。可见,画面绝不是可有可无的背景,它激起合适的情绪图式,是文字认知的情绪启动器,同时也是情绪抒发的载体。

第二,图画“增强”文字

图画在渲染气氛的同时,有时会在反映生活及生活哲理方面的非写实作品中,起到增强文字的作用。根据图文系统论的观点,这种逻辑—语义关系和小句的增强关系很接近,增强关系可以通过文本(或图像)交代图像(或文本)的背景信息,如人物、事件等所处地点、时间等。因为不是写实的,所以被增强的信息(多模态小品中的图画)属于意境类的场所、时间。例如,“用生命守着的秘密”是一个凄美的爱情叙事散文多模态小品。作者选择了若干张风景图片交代故事发生的场景:阳光下人迹罕至的雪山、午后暴风雪肆虐的雪原、落日里吞没生命的雪海。PPT的文本语境要求是高度性和开放性的,即只要求有限的信息被置于清晰的编码中,它反映了多模态小品尽可能诉求读者情感的品质,而非以传达准确信息和如实反映现实为目标。这些精心挑选的图片不仅为叙事提供了背景(setting),更为重要的是这些意境类的信息起到了“入境”作用,即将读者带到了故事发生的情形中、情绪里。

3.2 多模态小品的音文关系

和文字话语相比,音乐和美术的表现力具有相对的开放性。李斯特曾说过,音乐语言“比任何其它的语言都更为随意和不确定,犹如夕阳西下时美丽的金黄色的彩云,孤独流浪者的幻想可赋予它任何形式,并屈服于极不相同的解释”(参见何乾三1983:158)。这其中的原因是“所有的音乐都创造出了一个虚幻的时间序列”(朗格1986:128),但正如钱钟书(1984:290)曾说过的,“乐无意,故含一切意”,音乐释义也具有一定的开放性。一段宁静的音乐可以出现在“人生哲理”类的文字话语里,也可以出现在“宗教文化”的话语里,还可以与“乡间”主题相配。但是,这种不确定性不可以将其作用贬低到“陪衬”地位。音乐在多模态小品话语中的意义如下:

第一,情绪调频,促进读者对语言话语的认同

接收无线电广播时,我们转动“选台”旋钮(选择性电路),在众多的音频信号中选择自己想要听的节目,而“滤掉”杂音。同样,合适的音乐将人的情绪调整到合适的频率,或者兴奋、或者宁静、或者庄严,在这样的情绪里再接受加工相应的文字信号时,就会对文字内容产生积极的作用。音乐的调频作用来源于不同的音对听众心理的影响:长音使人感觉空间宽阔,短音使人感觉空间狭窄；长音使人感觉心情平和安静,短音使人性情急躁、不平静……(姚琦2000)。音乐所传达的这种暗示的、象征性的特质与人的情感的律动一致,因而开启了我们情绪之门。例如,幻灯片“爱的解析”选用了席琳迪翁为电影《泰坦尼克号》演唱的主题曲“我心永恒”为背景音乐,而当具有浓烈民族韵味的苏格兰风笛悠扬婉转而又凄美动人地响起的时候,观众的情绪也随着旋律从平缓到激昂,再从缠绵悱恻到荡气回肠。在这样的情绪体验中,普通的文字,诸如“选择最适合你的婚姻,因为最好的未必最合适你”激发了读者最为丰富的想象,思绪借着旋律的舒展蔓延开来,个人经历、事理感悟被一个个激活,话语产生了最佳关联,出现李白所谓“片言苟会心,掩卷忽而笑”的效果。

第二,互文启示、建构意义

音乐并不是简单地、表象地追求与文字的契合。根据参照论,音乐能够传达存在于音乐之外的某些概念、行动、感情状态,积极地参与话语意义的建构,着眼于对思想主旨的拓展。在某些具有鲜明主题思想、情绪基调的多模态小品中,常有一个旋律式、动机式、或主导动机式的音乐核心；越来越多的多模态小品以人们熟知的、打动人心的音乐为背景,这使得听觉话语及其相关意义资源(如歌词内容、出现的影片内容、作者、歌者等信息)从“背景”走向“前台”,不仅成为理解语言话语的重要资源,而且延伸了语言的意义。

根据信息加工心理学理论,我们认识到:多模态小品的听觉刺激所引发的互文联想激活了读者原有的认知语境,此联想补充、放大、修复了文字信息所能提供的语言意义,因而产生顿悟,使读者获得更为丰富的意义和更为长久的情感体验。以“上帝不会问的十个问题”为例,对其背景音乐《奇异的恩典》稍有了解的人立刻会对歌词、影片、音乐创作人的心历路程和基督教福音思想产生互文联想,歌词中所包含着的平淡但极富深意的赎罪故事、创作人浪子回头的人生经历、基督教忏悔、感恩、救赎、重生的主旨等意义资源随着音乐的流淌不断被读者调动整合,这些意义藉由乐音的延伸、变化、发展、层次的递进等手法抒发开来,帮助读者更深切地理解语言话语和图画话语,在圣洁的天籁之音中,读者对于PPT文本的解读超越了一般的宗教行善教导；文字顿时变成了救赎的呼唤,对读者心灵的拷问。这种能提供互文启示、协助意义建构的功能是一般以渲染情绪为目的的背景音乐所不具备的。

当然,承认听觉符号是一种意义潜势,就要承认听觉资源参与意义建构的程度因人而异,因为认知主体的潜能水平以及他对认知信息的组织程度的认识水平都存在着一定的差异性。

3.3 多模态小品多模态资源互动:意义生成潜能的“酵母”

前面两个小节我们分别叙述了多模态小品的图文、音文关系,当然三种模态资源不是彼此之间单向的作用,而是资源间的互动。多模态小品属于电子模式(electronic mode)的一种,这种模式具有三种模态同时展现的优势,它们彼此促进,决定它们共同建构的话语的语篇特征。这种多模态的意义生成资源之间的互动使意义生成潜能(meaning-making potential)“发酵”般地成倍增加。

第一,确定与不确定之间的互动

意义并非事物所固有的属性,是人赋予的,所以天生具有不确定性。同一客体(能指)对于不同的主体(认知资源、认知水平、情感历程存在差异)来说会引发出完全不同的意义(所指),面对大自然红色砂岩因长期风化剥离和流水侵蚀而形成的孤立山峰和陡峭怪石,宗教信徒会发出对神灵的赞美、艺术家促发创作灵感、地质学家会考证其发育世纪及成因。

不同模态符号的意义确定程度存在差异。语言符号的任意性(arbitariness),即符号能指和所指之间的约定俗成性,使其具有了相对的确定性。由于语言符号的社会规约性,语言符号的能指有相对确定的所指,词语的组合也因语法的存在而具有句子层面和语篇层面的意义确定性。相对而言,图画和音乐的确定性远远不及语言符号。与语言相比,图像的意义显得漂浮不定,就像是一条由所指构成的漂浮链(Barthes 1977:39)；同样,音乐所传达的意义也是不确定性的(王唯1999:39)。

多模态小品中诉诸人类情感的艺术形式(图画和音乐)意义的不确定性、开放性和无限丰富性,赋予读者无限的情感张力,为建立语篇的互动意义(Kress & van Leeuwen 2001)的“视觉语法”中比照系统功能语言学人际意义的术语,我们认为也适用于听觉模态语法、促进心灵沟通,奠定了理性的基础。而文字的意义确定性,克服了视觉、听觉艺术的意义任意性,使得读者的情感和思绪锚定在相对稳定的范围内,最终达到多模态小品制作者的目的。同时,文字的意义借助开放的艺术形式得到扩展和升华。

第二,理性与情感之间的互动

语言模态和艺术模态(这里指图画和音乐)促发的理性和情感的互动是多模态小品之所以引人入胜的又一原因。文字符号的优势在于,它能通过概念、判断和推理等逻辑方式确切地表达现实中的具体事物和抽象的思想观念；艺术符号长于生动、丰富地传达出语言所不能传达的人类内心的情绪和情感。多模态小品这种情理交融的特点将人的各种认知资源全面促发,保证了认知和情感体验的收获。如果说艺术模态修辞形式是欲望的激起,那么语言模态在合适的情绪容器中通过认知加工是这种欲望的满足,这种满足是感觉找到了合适的语言表达(对方提供的)而产生的共鸣、情绪的释放。

4. 结语

多模态小品基于PPT/PPS/WMV技术,诉诸于读者视觉、听觉。它能在当今快速多变信息爆炸的时代背景下产生一种快速、多面、温情、而又极具审美愉悦的交际效果,是各模态符号意义的确定与不确定性之间的互动,是各模态符号情感和理性功能互动的结果,更是现代多媒体信息技术与语言艺术的完美结合的结果。我们非常高兴,对于多模态小品的如下展望能得到胡壮麟先生(2010)的认可:随着生活节奏的加快和人们交流的便捷化,这种微型多模态语篇形态将会有越来越旺盛的生命力,不仅会成为普通人交流的礼品、媒体、载体,也会成为语言创作的另类模式——微型语篇模式；它和微博一样,将会成为一种新的创作领域,将会有自己的创作权属特性；它也会成为教学的常用方法之一,在语言教学当中起到明显的促进作用。作为与博客、视频、mp3、PPT、Word等计算机网络交际媒体各有互补的形式,它是出于PPT而胜于PPT的一种多模态的文化形态。

Baldry, A. & P. J. Thilbault. 2006.MultimodalTranscriptionandTextAnalysis:AMultimediaToolkitandCoursebook[M]. London: Equinox, 2006.

Barthes, R. 1977.Image.Music.Text[M]. London: Fontana.

Burke, K. 1931.Counter-Statement[M]. New York: Harcourt, Brace.

Burke, K. 1969.AGrammarofMotives[M]. California: University of California Press.

Halliday, M. A. K.1978.LanguageasSocialSemiotic:TheSocialInterpretationofLanguageandMeaning[M]. London: Edward Arnold.

Kress, G. & T. van Leeuwen. 1996.ReadingImages:TheGrammarofVisualDesign[M]. London: Routledge.

Kress, G. & T. van Leeuwen. 2001.MultimodalDiscourse:TheModesandMediaofContemporaryCommunication[M]. London: Arnold.

Martin, R. & A. Salway.2005. A system for image-text relations in new (and old) media [J].VisualCommunication(3): 337-371.

百度百科.2010.色彩心理学[WE/OL].http:∥baike.baidu.com/view/64636.htm?fr=ala0_1_1.

何乾三.1983.西方哲学家文学家音乐家论音乐[M].北京:人民音乐出版社.

黑格尔.1959.美学(第一卷)[M].北京:人民文学出版社.

胡壮麟.2007.社会符号学研究中的多模态化[J].语言教学与研究(1):1-10.