基于ELAN软件的多模态动态视频个案的话语分析*
2020-09-29蓝洁
蓝 洁
(中山大学南方学院 广东广州 510970)
近年来,随着现代信息技术的发展,人类的交际模式从单纯由语言做媒介过渡到由语言、图像、声音、颜色、身势语言等复合体作为媒介。人类对世界的认知始终以多模态的方式存在,多模态化是人类生活的一种普遍特征。随着人类交际方式趋于电子化、信息化,语言作为唯一交际媒介的局面被打破,始于对语言语篇分析研究的文体学学者们开始重视在技术多模态语境下,不同模态是如何为意义的构建做出贡献的。20世纪末,多模态话语分析理论在西方世界应运而生,其中以社会符号学理论,交互社会学理论和认知科学理论最为典型,系统功能语言学者关注多符号或多模态的意义如何构建。早期的研究对象以静态多模态语篇分析为主,包括电影海报、政治海报、平面广告、教科书、期刊论文等,随着多媒体技术的发展和人类阅读习惯的改变,研究的重心逐渐向动态多模态语篇转移,包括音频语篇、视频语篇、网页超链接和新媒体链接等。
电影预告片是典型的多模态动态视频语篇,它是电影上映前出品方对消费者精准宣传的产品,以展示电影的观赏价值为营销手段,通过多媒体技术的渲染,其制作目的是为激起消费者(观众)的观影欲望,促进电影票房的上扬,进而实现电影制作的盈利和商业化成功。好的电影预告片是一种视觉和听觉的艺术,其动态性在于因为时间维度的介入,使得图像等视觉模态产生了动画效果,该类语篇既可在持续的时间里展示画面(视觉模态),又可在画面空间里展示文字和音频等其他模态,这是一种由多种符号资源(图像、文字、旁白、音乐等)交互作用,共同实现意义的语篇类型。本文尝试以一则美国电影预告片为语料,在视觉语法分析[1]和动态多模态话语分析框架[2]的指导下,以音视频切分与标注工具ELAN5.3软件(EUDICO Linguistics Annotator,以下简称ELAN软件)为分析手段,以质性和量化研究结合的方法,目的在于探索多模态动态视频语篇如何通过符号的选择以及多种符号和模态间的协同合作构建语篇意义的,并讨论该类语篇是如何通过多模态语言技巧实现与观众的精神沟通,进而促进电影市场消费的。
一、多模态话语分析框架与ELAN软件
随着人类的交际方式电子化,技术多模态语境成为了人类主要的交际语境。语言学者也意识到交际不再以语言做唯一的媒介,而是由多种模态共同完成的,包括空间、手势、凝视、身势、移动、声音、腔调、音乐、三维事物、口语、书面语、图形、表格、图像、动画等[3]。这些不同的模态各自都是一个独立的符号系统,在一定的语境中共同构建意义的表达,促进交际目的的实现。从意义构建的角度理解,不同模态都为意义的构建做出了贡献。多模态话语分析理论的发展壮大为多模态文体学提供了理论基础,目前国内外的研究较多集中在以Halliday的社会符号理论为指导的多模态功能文体分析和以认知语言学理论为指导的多模态认知文体研究。20世纪90年代开始,社会符号学者以Halliday的系统功能语法[4]为基础,开始研究多模态语法,包括视觉语法(Kress & Van Leeuwen)、颜色语法(Kress & Van Leeuwen)[5]等。对图像、字体、布局、颜色等视觉符号“语法系统”的构成奠定了多模态文体学研究的理论基础。
多模态话语分析重视对多模态话语生成过程的研究,Kress & Van Leeuwen[6]提出了话语、设计、生产、分布四个概念作为多模态分析的四个层次。从语境到意义的选择过程就是话语生成的过程。意义需要选择合适的模态来表达,选择什么模态根据意义决定。Lim基于多模态话语的图像和言语研究,初步建立了多模态话语综合性多符号模式框架[7]。“在这个框架中,语言和图画作为交际模态共有意识形态、体裁、语域和话语意义四个层面”[8]。张德禄等基于多模态语篇的基本特点,提出了动态多模态功能文体学理论框架。动态多模态语篇与静态语篇的区分标准是模态的状态和维度,对于分析者来说,视觉符号的切分是关键。动态多模态功能文体学理论框架的两个阶段是编码和解码,分析的关键因素有语境、整体意义、模态协同、前景化、时间和切分。发话者作为出发点,根据情景语境选择需要表达的意义,在不同模态间选择,并在不同模态的语法系统中做选择,再将这些模态根据时间顺序设计排列组合,最终实现多模态语篇的产出。解码阶段需要分析者运用相应的研究方法进行语篇解析,不同于静态语篇,动态语篇分析者首先要对语料进行切分标注分层,切分的单位以能用相关模态语法系统进行分析为准则,分析者进一步找出其中突出的语法特征,再与凝练的前景化特征和情景语境做对比,看这些突出的特征是否与情景语境相匹配。时间维度的增加使得动态多模态语篇的前景化特征范围进一步扩展,例如图像移动的顺序与常规不符,则产生一种新的突出特征,电影、戏剧、广告等动态多模态语篇就经常利用这种打破时间维度的手法创造特殊的文体效果,这也是该类语篇分析的关键。
对动态视频的多模态话语分析,需要结合多模态研究的两种路径,即以符号学范畴的多模态功能文体学理论框架为基石,以多模态语料库研究的技术手段为辅助。本研究以音视频流切分与标注工具ELAN5.3软件作为研究工具,对电影预告片进行多层次切分与标注并进行数据分析,ELAN软件(EUDICO Linguistic Annotator)是由荷兰马普心理语言学研究所开发的一款便利实用的多模态语料分析工具,为语言分析者提供了免费的技术支持。ELAN能实现对视频文件的多层级同步标注,包括话语内容、语音语调、面部表情、手部动作等。王立非、文艳总结了ELAN软件的以下优点:视频播放精确到0.01秒;标注与文本、声音、图像同步;标注层无限,标注编码表自行定义;标注与标注间互相链接,标注结果可根据研究需求进行多种格式的输出[9]。
目前,国内外学者对动态视频的多模态话语分析开展了多项实证研究,涉及不同的传播媒介,如Thibault[10]、Baldry[11]探讨了影视文本的转录、注释和分析方法; Baldry和Thibault等运用多模态语篇分析了媒体、网页、电影和广告等[12],把自己提出的多模态语篇转写理论应用在英国博物馆儿童指南网页和爱斯基摩人录像的多模态分析中;Iedema将影视语篇分为帧、镜头、场景、程序、类型步骤和整体作品六个层次进行分析[13];O’Hallora运用多媒体编辑软件探讨了电影片段中显著的符号选择[14];Tan提出了综合的系统功能多符号分析框架用以探讨动态多模态语篇如何通过符号内和符号间的互动过程表达意义潜势[15];McIntyre利用多模态方法解读了Ian McKellen 版的电影剧《理查德三世》(Richard III)[16];张德禄、袁艳艳以电视天气预报多模态语篇为例,探索了动态多模态话语的模态协同研究[17];姚银燕,陈晓燕则运用多模态话语分析理论框架对一则企业形象电视广告进行了语篇分析[18];荣榕运用多模态文体学理论对电影场景实现了解读分析[19];李洁、王建斌以中德旅游视频广告为语料做了基于ELAN的跨语言对比研究[20],研究的主题是多模态耦合对比分析。总的来说,国外学者近年来对动态多模态视频语篇做了较多尝试性研究,提出了理论分析的基础和框架,国内学者在研究静态多模态语篇的基础上,也开始关注动态多模态视频语篇的分析研究,并拓展了动态多模态语篇的分析框架,但国内研究还属于起步发展阶段,质性研究和量化研究结合的个案也比较有限,大多数研究采用的方法仍以描述和总结为主,缺乏客观数据的支持,研究的语料多为电影、广告、教学视频等,对于电影预告片这类型语篇的研究比较少见。本研究希望为动态多模态功能文体学理论框架提供实证研究的案例,不断促进理论框架的完善和发展。
二、基于ELAN软件的分析方法
国内以往基于ELAN软件的多模态语篇分析研究多集中在大学英语教师课堂话语[21],也有对多模态隐喻中各种模态展开了耦合分析,语料为口语诗[21]和中德旅游视频广告[22]。本研究旨在研究多模态动态视频语篇如何通过符号的选择以及多种符号和模态间的协同合作构建语篇意义,基于ELAN软件,笔者从音韵特征、图像、影像、表达方式、布局、颜色、字体等方面对选取的语料(电影《绿皮书》预告片)进行赋码编写,见表1。
表1 音韵特征、图像、影像、表达方式、布局方式、颜色、字体赋码方式
如表1所示,第一类标注特征为音韵特征P-[prosody],其中包括语调中的升调[PIR]、降调[PIF]、平调[PIL]、升-降调[PIRF]、降-升调[PIFR];重音[PSt];语速快[PFT]、语速慢[PST];长停顿[PPL]、短停顿[PPS]。第二类标注特征为图像特征I-[Image],其中包括文字[IT]、图片[IP]和文字-图片[ITP]。第三类标注特征是影像A-[Animation],分别为人影像[AP]、物影像[TP]、人-物影像[ATP]。第四类特征为表达方式ES-[Expression],包括旁白[ESN]、独白[ESM]、对话[ESD]。第五类标注特征为布局方式L-[Layout],包括信息价值[IV]、布局定框[LF]、布局凸显[LS]。第六类特征是颜色C-[Color],包括颜色价值[CV]、颜色饱和度[CS]、颜色纯度[CP]、颜色调制[CM]、颜色区分度[CD]、颜色色度[CH]。第七类标注特征是字体F-[Font],包括字重[FW]、字体放大[FE]、字斜体[FS]、字体弯曲[FC1]、字体连通性[FC2]、字体方向[FO]和字体规则[FR]。
在研究的开始阶段,笔者根据预告片的叙事特点对该动态视频进行了时间段的分割,接着根据七个标注特征分类的赋码表,对分段的视频内容进行标注,标注后的文件也被分为若干层级,分析者可以根据自身的研究需求对视频内容进行自主分层。本研究的分层主要涉及以下几个方面:语音语调(intonation)、语速(tempo)、重音(stress)、停顿(pause)、图像(image)、影像(animation)、表达方式(expression)、布局(layout)、颜色(color)、字体(font)。笔者对分割分层标注后的视频反复查看对比,并导出了标注的数据,结合动态多模态功能文体学理论框架,进行进一步的量化分析。
三、对动态多模态视频的功能文体学分析
本研究以电影预告片为语料,利用ELAN软件对语料进行分割、分层、标注后,再根据动态多模态功能文体学理论框架,结合定性和定量研究的方法,从文化语境、整体意义、模态协同、前景化特征、时间和切分等方面实施对动态多模态视频的话语分析。本文所分析的视频语料来源于网页:http://video.mtime.com/71607/mid=258541。
(一)文化语境和情景语境
文化语境指的是与言语交际有关联的社会文化背景,它涵盖文化习俗和社会规范两个层次。文化习俗是指人们在语言、行为和心理上的集体习惯或生活模式;社会规范是指一个社会对言语交际活动作出的各种规定和限制。根据交际的目的,文化语境决定了话语交际的目的意图。语境制约是多模态功能文体学的前提,情景语境和交际目的直接决定意义的选择,情景语境和交际目的又受文化语境的制约,是文化语境的体现。在同一文化语境、情景语境和交际目的下,多种不同符号(文字、图像、声音、字体、布局和颜色等)结合在一起实现语篇意义的构建。电影艺术的欣赏是一种视觉和听觉的审美,电影预告片则是电影制造产业的衍生产品,电影出品方在电影上映前通过对该电影片花的重新编辑,向观众传达电影主旨内容,引起观众观影的兴趣。电影预告片是一种基于多媒体技术的动态多模态视频语篇类型,本文选择的语料是2019年美国电影《绿皮书》(The Green Book)预告片,采用ELAN软件5.3对该动态视频进行分层、标注和数据分析。
《绿皮书》的电影预告片时长2分32秒,创作者根据故事的时间顺序将电影的开端、发展、高潮、结局等展示出来,多媒体制作的技术手段主要是指电影画面(视觉模态)和电影对白(听觉模态)结合的方式,编辑的过程中还穿插了电影出品公司logo形象展示、电影主演信息、电影获奖情况、上映日期等关键文字信息(图像加文字模态)。本电影是剧情片,电影故事内容是核心要素,预告片的主线索就是通过时间顺序向观众展示了电影的主要情节脉络。电影情节主题鲜明、跌宕起伏、内容丰富、妙趣横生,预告片的时间轴线索也和电影正片的时间顺序叙事模式相呼应,可以说在预告片的袖珍世界,观众得以管窥电影内容的全貌。对动态多模态视频的功能文体学分析,时间维度和切分环节是重要步骤,切分的结果是要把该视频分割成可以按照不同模态语法系统来分析的单位。《绿皮书》预告片的体裁结构分割,共包括8个阶段:
(1)开头(电影出品方logo形象展示);
(2)故事开端(白人托尼接受黑人钢琴家唐的工作邀约);
(3)故事发展1(两人踏上巡演之路,在差异中对碰磨合);
(4)故事发展2(巡演路上,两人逐渐消除隔阂);
(5)故事高潮1(因种族歧视,唐遭受了不公正的对待,唐教导托尼尊严和勇气的意义);
(6)故事高潮2(唐帮助托尼润色家信的文字,两人相互信任,出现温情互动);
(7)故事结局(巡演结束,白人托尼和黑人唐建立了跨越种族、阶级的友谊);
(8)结尾 (彩蛋,上映时间)。
(二) 整体意义
多模态语篇的意义是一个整体,语篇意义的表达由多种模态协同完成。《绿皮书》是由彼得·法拉利执导,维果·莫特森、马赫沙拉·阿里主演的剧情片,该片片名的灵感源于20世纪60年代出版的一本专为黑人而设的旅行指南,于2018年9月11日在多伦多国际电影节首映,2019年3月1日在中国内地上映。该片改编自真人真事,故事的时代背景是1962年的美国,一个种族歧视十分严重的年代,该片讲述了意裔美国人保镖托尼,他被聘用为世界上优秀的爵士钢琴家唐开车。钢琴家将从纽约开始举办巡回演奏,俩人之间一段跨越种族、阶级的友谊的故事。《绿皮书》获得2019年美国电影奥斯卡最佳影片奖,最佳男配角奖和最佳原创剧本奖,取得了票房和口碑的双赢,如何延续该电影北美地区商业化的成功,如何赢得中国市场观众的青睐,在电影上映前,电影出品方通过电影预告片向国内观众传达影片的制作特色和价值观念,刺激观众的观影热情和消费欲望。该预告片作为动态多模态语篇的整体意义在于实现叙述者(电影出品方)和观众(消费者)间的沟通功能,故事叙述者通过预告片引导观众通过何种视角来观察故事的世界,在本预告片中,叙述者基于时间顺序的线索进行创作,随着时间的推移,两位主人公之间的对立感逐渐消弭,取而代之的是跨越种族和阶级的信任感。预告片创作者以叙事性的手法通过多种模态的协同作用对人物的形象、行动、语言、心理等活动进行再现。在分析语篇的过程中,笔者发现该预告片通过音韵特征的区别凸显两位主人公的不同社会背景,通过通篇对话的表达形式突出两位主人公的交流、冲突和信任,通过图像和文字交织的方式再现电影出品方和上映日期等重要的宣传符号。
(三)模态协同
模态协同关系是多模态功能文体学研究的核心要素,代表着多模态话语分析理论发展的最新成果。由于情景语境和交际目的的作用,发话者根据语篇意义的选择构建合适的模态组合。从逻辑语义的层面分析,不同的模态之间存在着详述、延伸和强化的关系;从表现关系来看,可以做互补和非互补的分析,而在互补中也有强化和非强化之分,非互补中又有交叠、内包、语境交互等概念。
经过ELAN软件的标注后,通过标注统计得出的有关层信息如表2:
表2 《绿皮书》电影预告片的分层信息
总的来说,《绿皮书》电影预告片以声音为传递信息的主要模态,在标注数量上,以音韵特征P-的统计数最多,达到43个,包括语调、语速、停顿等。另外,表达方式ES-层的总标注时长最大(132.0),标注时长百分比最高(86.777),表达方式的标注赋码以ESD为主,说明该预告片是以人物对话为主要表达形式的,通过人物对话的内容展现推进故事情节的发展。这与音韵特征P-的标注统计数最多形成呼应,再一次验证了该语篇是以听觉模态为主,传达信息,实现交际目的,构建语篇整体意义的。确定主要模态后,进一步分析数据发现,图像I-和影像A-的标注数量分别是7和6,总标注时长百分比分别为10.377和8.586,除音韵特征P-和表达方式ES-外,它们的数据占比最大,体现了除听觉模态之外,还有视觉模态起到了语篇意义构建的主要作用。另外,笔者发现还有布局、颜色、字体、音乐等模态也发挥了一定的语篇意义构建作用。
以预告片开头为例,创作者接连展示了影片三个出品方公司的logo形象,呈现的形式是图像加文字的组合,在这个阶段,图像作为主要模态出现,通过视觉的直观感受,传达电影制作方良好的企业形象,其他模态包括音乐和文字,音乐模态对图像起了互补的作用,主要体现在非强化协调这个层面,音乐旋律轻松欢快,伴着鼓点和韵律,呼应整个语篇幽默的前景化特征。在开头阶段,文字与图像呈现了互补的关系,起到了强化突出的作用,通过文字和图像的融合,体现了企业的精神和价值观念。另外,页面布局也成为模态分析的一个因素,从信息价值的角度来看,图像和页面成分的位置分布为图像和页面本身附加了意义。预告片开头的企业形象展示采用了中央-边缘的布局手法,使焦点信息和附属信息得以区别。
接下来,通过ELAN软件对预告片的听觉模态和视觉模态的相关数据进行汇总(见表3),进一步分析模态之间是如何实现协同关系,共同表达交际者的整体意义的。
表3 《绿皮书》电影预告片的听觉模态和视觉模态数据统计
如表3所示,听觉模态主要是指预告片中两位主人公的对话内容,在分层的设计上主要考察说话者的音韵特征,从语音语调看,降调的命中为5,标注时长百分比为36.799,在整个层的数据中占比最重,降调的大范围使用体现了电影故事严肃的特性,尤其在塑造主人公唐的角色形象时,降调的大量使用体现了黑人钢琴家唐精致优雅的谈吐,这与白人司机托尼粗俗不雅的形象形成鲜明对比。从数据上看,平调和升降调使用的幅度也较大,而升调和降升调的比例最低,升调和降升调的使用能给观众以轻松愉快的感觉,给整个严肃的叙事过程增添了趣味性。从语速来看,快语速和慢语速的标注时长百分比分别为29.225和34.232,整个语篇呈现出快慢语速交互使用的情况,慢语速占比略高。总的来说,语篇的发话者有意穿插多种语音语调的模态类型,既层次分明又重点突出。视觉模态方面主要设计了图像和影像两个层,图像层统计数据所示,文字-图片的标注时长百分比为7.07,远高于文字的数值3.307,这说明图片与文字模态的结合,更能实现语篇意义的表达。以故事发展阶段的图像为例,在故事展开叙述的过程中,创作者有意插入影片制作方的基本信息,如主演信息和影片获奖信息等,这些信息大多以图文结合的图像形式传播的,图像和文字在组篇意义上是相互合作的,图像和页面的位置分布呈现上-下的布局格式,上-下的布局是理想信息和现实信息的格局,重要文字信息还通过加粗字体的方式突出其主要的地位,而从属的信息则分布在下方。
以语篇分割的高潮阶段1为例,故事情节是因种族歧视问题,黑人钢琴家唐遭受了不公正的对待,唐仍教导白人司机托尼尊严和勇气的意义。这部分内容最能反映电影《绿皮书》的深刻主题,展现了上世纪60年代的美国,未获得平等权利的黑人所遭受的压迫和歧视,即使唐跻身上流社会,身份尊贵,仍然因为黑人的身份而无法享受基本人权,而唐也在自身身份认同的问题上遭受心灵挫折,在遭受创伤后,唐依然能以尊严和勇气面对不公正的社会,并影响身边的白人朋友托尼。该段情节跌宕起伏,引人入胜,预告片选取这部分内容展示,旨在向观众传递影片的核心价值观念,呼唤种族和阶级的平等权利,并激发观众的观影热情。该阶段的语篇听觉模态是主模态,主人公唐的语调以降调为主,语速为慢速,语句之间有重音,有短暂停顿,唐的对白深沉有力,打动人心,除了人声的音韵特征作用,背景音乐的基调舒缓深情,为故事情节和人物情绪的深入发展起了渲染的作用。此阶段的视觉模态以呈现唐和托尼的影像为主,标注的主体是人影像,此时的听觉模态和视觉模态依然是互补关系,视觉模态体现了非强化协调的作用。另外,唐的扮演者马赫沙拉·阿里获得奥斯卡最佳男配角的图文信息穿插其间,文字模态与听觉和视觉模态之间呈现非互补的关系,文字模态起到了语境互补的作用,即在同一文化语境里,文字模态与其他视觉模态出自同一文化,在本预告片中,他们的出现都是为了宣传电影的观赏性,文字模态强调了唐的扮演者的表演技能,听觉模态和视觉模态里呈现了唐的人物命运,模态间在同一文化语境里协同作用。文字模态的背景颜色是蓝绿色,在颜色标注上,笔者着重观察的是颜色的区分度,色度和饱和度。从区分度来看,预告片的宣传文字底色以单色为主,突出故事片克制严肃的特质,蓝绿色应和了故事标题《绿皮书》的意义概念;色度是从蓝色到红色的一个颜色量度连续体,从色度来看,本语篇的蓝绿色所代表的是冰冷、平静、距离和背景化;从饱和度的选择来看,预告片文字模态的背景色选取的是弱饱和度,体现了感情的细腻柔和,但也冰冷压抑,传达忧伤和情绪化的意义潜势。在字体标注上,笔者主要观察的是字体放大和字重,字体放大是指字体是窄还是宽,字体的宽窄是我们对空间的感知的一种隐喻,预告片的宣传字体主要以宽体字为主,集中分布在页面的中央部分,给人以充分的活动空间的感觉,带给观众一种放松的意味。字重是指字是粗体还是普通体,本语篇的宣传字体使用了加粗的效果,粗体字可以达到凸显的效果,同时可以表现大胆、坚定、结实和重要的概念隐喻和人际意义。颜色和字体模态与主要模态(听觉模态)之间也呈现出非互补的关系,颜色和字体起到了语境交互的作用。
(四)前景化特征
前景化特征是多模态功能文体学的基本概念,无论是语言特征还是其他视觉、听觉特征,只要与作者创作的情景语境相关,与讲话者的交际目的相关,都可以成为语篇中的前景化特征。前景化的识别是多模态功能文体学研究的目标,在一定的文化语境内,受话者根据具体的情景语境和交际目的,选择要表达的整体意义。整体意义的表达可以借助不同的模态完成,不同的模态又各有其突出的特征,但不是所有模态的突出特征都能构成前景化特征,只有与情景语境和交际目的相关的突出特征才能成为前景化特征。经过综合分析,在预告片的播映过程中,主人公的语言模态为主模态,并始终处于前景化位置,该模态呈现的前景化特征是幽默。电影预告片旨在反映电影的主题内容和核心价值,展示电影出品方良好的企业形象,从而激起观众观影的热情。电影《绿皮书》是严肃的剧情片类型,探讨的是种族歧视和压迫的社会问题,而幽默的前景化特征易于舒缓观众紧张沉重的情绪,并表现两位主人公的温情互动,使得故事看来妙趣横生。主人公的语言模态发挥了主要的前景化作用,因为是动态多模态视频语篇,所以这里的语言模态主要是指听觉模态而非文字模态,以故事开端为例,白人托尼接受黑人钢琴家唐的工作邀约,唐向托尼表明自己的身份,他本人不是个医生(medical doctor),而是一个有博士(doctor)学位的音乐家,对于“doctor”一词的差异化理解,构成了幽默的效果。接下来,创作者通过剪辑的效果,再次用语言模态突出了该预告片的前景化特征,唐和托尼在工作招聘面试的对话,唐问托尼是否有其他工作经验,画面出现托尼之前担任酒吧杂工时殴打客人的场景,托尼稍作停顿,回答道“危机公关”(public relations)。这里的“危机公关”(public relations)产生了幽默的前景化特征,表现了托尼渴望得到一份赚钱的工作,便玩文字游戏偷换概念,把殴打酒吧客人的工作经历说成是危机公关行为,亦向未来的雇主说明自己专业的工作能力,这与现实中托尼粗俗鲁莽的性格形成鲜明的反差。在预告片的结尾,当电影的故事脉络整体呈现完毕之后,创作者独具匠心,加上了一个彩蛋画面,在巡演的路上,唐和托尼已然放下成见与隔阂,逐渐成为互相信赖的朋友。唐逐渐放松心态,开始尝试吃炸鸡喝可乐,并学着唐将鸡骨头随手扔出车窗外,此时两人发出会心的笑声。当托尼再度将可乐杯扔出车窗外时,唐的语言和行为便产生了幽默的前景化效果,唐先是一愣,然后要求托尼倒车回去将可乐杯拾起,托尼辩白松鼠会拾走垃圾后,唐仍坚持他的决定。这里可以通过两位主人公的对话表现了两人关系既逐渐融洽又各有立场,并呼应了预告片贯穿始终的黑人吃炸鸡情节,这个彩蛋情节在预告片结尾处再度凸显了该语篇幽默的前景化特征,令观众印象深刻。
本文通过动态多模态功能文体学理论框架,以电影《绿皮书》预告片为分析语料,结合ELAN软件的分割、分层、标注功能,以量化和质性研究结合的方式,进行了详细的多模态话语分析。经研究发现,该预告片主人公的语言模态为主要模态,始终处于前景化的位置,前景化的特征是幽默。电影预告片的目的是在电影上映前进行宣传和推广,吸引观众观看影片,刺激电影市场的消费行为。为了让预告片富于感召力,创作者为实现交际事件的整体意义,在预告片的发展、高潮和结尾的阶段综合运用了视觉、音乐、动画、颜色、布局、文字、图像等模态手法对语篇的主模态进行互补或强化,模态间的协同关系既有互补也有非互补的关系。本研究的特色是运用了ELAN软件5.3对动态多模态视频进行分割、分层和标注,结合数据分析和观察描述法总结了预告片视频的模态协同关系和前景化特征。ELAN软件的转写模式和同步模式等也可运用在多模态话语分析中,这是今后研究的方向。动态电影预告片视频的多模态功能文体学分析,是电影和语言爱好者了解电影预告片中不同模态实现话语意义的重要方式。今后的研究方向也可从认知的角度涉及多模态隐喻分析,或者将功能文体分析视角和多模态隐喻视角结合起来。本研究拓展了多模态话语分析理论的实证研究范围,在后续研究中将不断通过实证语料的分析,结合质性和量化的手段,验证和发展多模态功能文体学的理论框架,推动多模态文体学的进一步发展。