大学英语泛口语类教材多模态分析与多元识读

(浙江工业大学外国语学院，浙江杭州310023)

在当今使用各种符号资源来完成意义表征和交际的多模态社会里，传统的以语言为中心的读写认知能力已不再适合人们对获取知识和提高技能的需求，取而代之的是人们向由更多符号系统(如语言文字、视觉图像、音效、绘画创作等)组成的媒介转换多元识读方向发展，即从传统的读写能力(literacy)转向现代的多元识读能力(Mulitliteracies)［1］。对于大学生而言，培养英语综合应用能力特别是听说能力能帮助他们在今后学习、工作和社会交往中有效地进行交际。而大学英语口语类教材是培养学生英语口语交际能力的重要介质，它为学生的口语输入提供了系统性的教学内容。但是以语言文字为中心的单一的传统大学英语口语类教材已经不能满足学生和社会的需求，人们希望通过听觉、视觉、体势、空间感知等多种渠道来提高自己的口语能力。正如Kress所言，语言的中心地位已被移动，一种全新的多模态(multimodal)表达形式如视觉符号以及图像、音乐、颜色等越来越突显，它们不再仅仅是一种交流的形式而正与文字符号一起形成一种更为宽泛的符号资源，共同参与意义的构建［2］。因此，将文字、图像、声音等多种符号资源结合起来的多模态语篇多媒体介入的口语类教材有助于大学生提高口语表达能力和培养多元识读能力。

一、多模态话语和多元识读理论

20世纪90年代在西方语言学领域兴起了多模态话语分析的热潮，它注重图像、声音、颜色、动漫等意义的表现形式，克服了只关注语言系统和语义结构本身及其与社会文化和心理认知之间关系的局限性［3］。所谓模态，它是指物质媒体经过社会长时间塑造而形成的意义潜势，是用于表征和交流意义的社会文化资源［4］。多模态话语指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象［5］。多模态话语分析以社会符号学为视角，以Halliday的系统功能语法为理论基础。西方主要 学 者 Kress ＆ van Leeuwen［4］［6］，Kress［7］，Lemke［8-9］，O'Halloran［10］，Royce［11］等研究了多模态话语的理论基础、分析框架、研究方法和应用启发。在国内，李战子［12-13］、胡壮麟［14-15］、朱永生［3］、顾曰国［16］、张德禄［5］［17-19］和杨信彰［20］等学者对国外的多模态话语分析理论进行了宏观的引介，并在此基础上引领着国内一批年轻的学者进行了课堂教学、阅读语篇、广告媒体等不同领域的应用型分析。

正是在这种语言文化多元化和交际技术多模态化的世界背景下，新伦敦小组在1995年澳大利亚召开的第四届国际识读与教育研究网络会议上对学校的识读教育提出了一系列假设，并发表在1996的《哈佛教育评论》上，这是多元识读研究的发端。2000年由Cope和Kalantzis撰写的《多元识读:识读学习和社会未来的设计》一书将识读能力研究引向了一个全新的领域。此后，新伦敦小组又受 Kress［2］［4］［6-7］的影响，将批评语言学和多模态话语分析吸纳到识读能力研究中，目的是让学习者能够基于自己以往的知识和经历创造性地运用信息通讯技术，通过语言、视觉、听觉等多模态形式培养批判性识读和理解多媒介提供的信息的能力［21］。多元识读以设计构建意义作为教学理念，以社会符号学作为理论基础，包含可资利用的设计(available designs)、设计过程(designing)和再设计(the redesigned)。多模态话语和多元识读理论对编写新的大学英语口语类教材有着积极的指导意义。

二、现行大学英语泛口语类教材多模态分析

李战子、陆丹云［13］认为在多模态符号学的视角下，每种模态都是符号资源，各种模态发展成产生意义的互相连接的可供选择的网络，所有的模态及各种模态间的互动均具有表达意义的潜势，都对意义的创建起到作用，也可称之为符号潜势或模态潜势。朱永生［3］提到五种交际模态:视觉、听觉、触觉、嗅觉和味觉，使用两种或两种以上模态的话语叫多模态话语，而与话语(语篇)分析关系最紧密的是视觉和听觉模态。同时一种模态可以有不同的符号系统，例如视觉模态可以包括文字(字样和印刷体式)、颜色、图像等。这些不同的符号资源被调动起来后可以在一个特定的文本中共同构建意义。因此，现代语篇的多模态性已被人们所需，同样大学英语口语类教材也迫切需要多模态性来建构和传达意义，从而多维度地调动学习者练习口语的积极性。

本文从最常用的视觉和听觉两个多模态符号资源对当下不同类型的涉及口语操练的大学英语教材(简称泛口语类教材，分为纯口语教材和视听说教材)的多模态化进行分析。其中视觉模态包括语言文字、印刷体式、内容编排、颜色、图表、图像和视频短片(为了便于分析，在这里语言文字被纳入视觉模态)；听觉模态包括音频对话、音乐和视频短片。视频短片同属于视觉和听觉两个模态。王惠萍［22］提到书面语篇中的多模态资源除了语言文字之外还有非语言成分。例如印刷体式也是一种符号模态，有着自己的意义潜势，包含了版面设计、行距、缩进、字体、边缘大小、图示范围和位置等等；图表隶属于印刷体式，但它在书面语篇中显得更加明显，被称之为非文章材料，对解释语篇起到很大作用，能使文字语篇变得清晰；图像在多模态语篇中除了有叙事与概念再现意义、观看者与图像互动意义、具有信息值、取景和显著性特征的构图意义之外，它还有强大的态度影响力，可以与言语的互动创造附加意义；颜色是一种特殊的模态，它通过明暗度、饱和度、调和度、区分度和色调等特征来表现其潜在意义；声音和音乐则体现了人际功能。

本文所采取的泛口语类教材样本都是2007年之后出版的。2007年教育部制订了《大学英语课程教学要求》，其中特别提到要重视学生听说能力的培养和训练并加强对听说能力的考核。之后，全国各地出版社根据新的《课程要求》重新编写了涉及口语练习的大学英语教材。本文分别对纯口语教材和视听说教材进行了多模态分析。四本纯口语教材分别是《新编大学英语实用口语教程第二册(第1版)》、《新世纪英语口语教程第二册(第2版)》、《大学英语实践口语教程第二册(第1版)》、《流畅英语口语教程第四册(第1版)》，其中《流畅英语口语教程(第1版)》是上海外语教育出版社向英国麦克米伦出版公司引进的原版口语教材；两本视听说教材分别是《新编大学英语视听说教程第四册(第3版)》、《新世纪大学英语视听说教程第六册(第1版)》。本文所分析的样本均属于中高级别的口语教材。

从表1可以看出纯口语教材的多模态特征:除了国外进口的原版《流畅口语》教材外，国内纯口语教材并不重视视觉模态，比如《新编口语》和《新世纪口语》都没有视频短片，只有大量文字和少量图表和图像的视觉符号输入，过度依赖语言文字且印刷体式和颜色分配单一是国内纯口语教材的显著特征。虽然这两本教材都有音频对话的听觉符号输入，但是音频中的录音部分缺乏真实的交际场景。从触觉模态而言，这两本教材都偏厚，学生携带不方便。因此，《新编口语》和《新世纪口语》属于传统型以文字为中心的口语教材。《实践口语》中的图像占据较大篇幅，其中配有叙事性图像如漫画式插图和非叙事性图像如实物照片和实景照片等，这是一种可喜的利用多种视觉符号构建意义的表现形式，而且内容编排也吸引人，教材和纸张的厚度也比较适中，但由于教材颜色的单调性(只有黑白绿三种)、音频的枯燥和视频的缺失使之介乎于传统型和多模态型口语教材之间。相反，国外版权引进的《流畅口语》教材非常注重视听说三位一体的多模态语篇，虽然文字还是起主导作用，但在印刷版式的多样性、颜色的丰富性、图表的变化性、图像的色彩、数量和清晰度、视频音频语言的真实性生活化等各方面都设计得比较到位。但它最大的缺点是教材里有相当一部分内容是较为简单的语法练习，这对于中国的大学生来说略显枯燥乏味。

表1 大学英语纯口语教材多模态化分析

从表2可以看出视听说教材的多模态特征:《新编视听说》和《新世纪视听说》具有跟国外引进的《流畅口语》相同的多模态特征，文字仍为主体，但在印刷版式、颜色、图表、图像和视音频上都具有变化性、多样性和真实性。同时，这两本教材都有相关的配套资源，而且教材厚度适中纸张较厚手感好，这在触觉上刺激了学习者获取知识的积极性。正是因为这两本是视听说教材，学生在口语输出之前有大量的显性视听资源做输入准备，这正是国内纯口语教材所缺乏的；而《流畅口语》虽然也是纯口语教材，但却配备了隐性的视听资源。这些丰富的视听资源结合纸质的教材建立了视听触三维立体的感知模态，从而大大促进了学习者提高口语的内在动力。顾曰国［16］在用角色建模语言来构建学习行为模型中曾提出假设，他认为恰当的模态转换可以增强学习者对所学内容的内化度，提高内容记忆的持久性。这个假设在笔者用这些不同的教材进行多年的口语教学经历中得到了印证，后三本教材比起前面提到的三本更受学生们的喜欢，且口语教学效果更好。

表2 大学英语视听说教材多模态化分析

三、大学英语口语教材编写设想

张征［23］提到在多模态话语时代，现代语篇的多模态性使人们越来越认识到以语言作为唯一模态的话语已经不能满足交际的需要，它要求读者必须具备良好的多模态语篇的解读与建构能力，而只有通过恰当的多元识读设计，把各种模态有机和有效地组合为一体才能实现交际的目的。正是基于多模态话语和多元识读理论，笔者对大学英语口语教材的编写设想分为三个方面:

(一)建立大学英语口语教材的多模态语篇

多模态语篇包含一种以上符号系统并通过多种符号资源内部的互动来实现意义。张德禄、张淑杰［18］提到由多种模态共同组成的教材，包括文字、图画、表格、录音、录像共时或者按一定顺序出现，文字显然还是起主导作用，但不再是一种模态独尊的局面，而是多种模态竞相争艳的局面。这些不同模态在交际中相互作用，共同建构语篇的整体意义。因此，编者在综合使用若干符号模式来实现同种意义的表达时，尽量使它们相互强化、补充或者有层次地排序。从对大学英语泛口语类教材多模态分析中发现，可以建立视听触觉三种模态的口语教材。除了仍占一定比重的语言文字外，视觉上可以增加不同风格的印刷体式、不同类型的图表、尺寸不一的图像和数十种不同的颜色；听觉上可以尽量录制还原生活的原生态音频，让学生感受到真实的语境，同时可配有不同曲风的音乐和反映不同主题的视频资料，但是音频对话和视频资料不宜太长太难，其目的是抛砖引玉，让学生在一定的语料输入后有时间进行口语操练；触觉上课本不宜太厚，16开纸大小的课本100-120页足够，纸张可适当加厚，这样学生在翻阅时不宜破损。总而言之，多模态口语教材所具有的多维化特征可以使不同信息加工类型的学习者在不同的模态环境中各有所取，从而弥补传统口语课堂教学的缺憾。

(二)关注语言文字与视听觉模态之间意义建构的互动机制

在编写多模态大学英语口语教材过程中，除了要考虑语言文字的特点外，还应该关注静态的图像、图表的特点和图文关系，以及动态的声音、音乐、视频等多模态交际手段如何与受众即学习者的认知特点和接受心理相适应。Kress＆van Leeuwen［4］将视觉语法和听觉语法的多模态意义系统分为再现(representation)、互动(interaction)和构图(composition)三种，分别对应语言的概念、人际和组篇意义。以图像的再现意义举例说明，在《新编大学英语视听说教程第四册(第3版)》第一单元“Leisure Activities”的第四部分，编者用了十六幅颜色光影饱和度、区分度、调和度都非常好的照片再现了人们丰富的业余休闲活动，并让学生将这些图片与 gardening，casino，pool，art，horse racing，cycling，bodybuilding，newspaper，chess，books，photography等十六种休闲活动的英语词汇进行连线。这样利用图片和文字信息的关联性，以直观的方式帮助学生建立了形式和意义的联系。从社会符号学的角度来看，图像不只是有赖于文字诠释的形式，它和语言一样对社会现实和心理现实既有再现作用，又具有重构作用。正如李战子、陆丹云［13］所言，尽管多模态交际手段会有不同的表现特点和实现方式，但是在特定的社会文化领域中，同样的意义通常可以由不同的符号来表达，语言和非语言模态具有共同的意义潜势，各模态所构建的语义是可以相互比较的。

(三)融入多元识读理论中“设计”理念

多元识读的理论框架包含可资利用的设计、设计过程和再设计，强调意义的建构是一个积极的、动态的过程，而不是受静态的规则所控制［1］。随着多模态话语的出现，设计被赋予新的意义。Kress ＆ van Leeuwen［4］认为“设计”是所有模态和模态组合的运用在某个交际语境中实现话语的手段。这种“有意识选择模态来表现现实”的过程，是制造语篇和识读语篇的过程，是利用可资利用的资源进行社会交际的过程。在多模态话语时代，交际的模态不仅仅局限于语言和一些非语言模态，而是扩大为多种模态如图像、音乐、空间布局、投影、网络等。所以，通过很好的设计把各种模态有机和有效地组合为一体变得十分重要［17］。

以《大学英语实践口语教程第二册(第1版)》第八单元“Love and Marriage”为例，第三部分是以Dating为主题的课堂活动。教材提供了关于Dating的英文解释和社会现象概述，包含了blind dating，speed dating，online dating和TV dating等不同形式的约会。学生通过视觉模态了解教材中关于约会的文字和图片，通过视听觉模态了解老师提供的新闻媒体资料如国内关于相亲或网恋的新闻报道、视频《走遍美国》中the Blind Date:Susan和Harry第一次相亲的场面，或者江苏卫视的《非诚勿扰》和湖南卫视的《我们约会吧》的场景片段。当这些视觉听觉文字等多种符号资源放在学生面前时，他们可以择取有用的符号资源，并充分理解教师上课时通过信递行为所传达的符号意义进行设计。比如针对“网恋”或“闪婚”进行的主题辩论或是编排不同约会方式的英语话剧，学生可以根据模态选择的有效原则、适配原则和经济原则［17］，用多媒体技术制造尽可能真实的社会交际语境，如用PPT提供文字和图像，电脑配上背景音乐，教室布置成场景地，自带道具等等。在设计过程中，学生可以根据各自的兴趣和个人经验将所读到和听到的符号资源转变成自己的声音，利用可资利用的设计来产生意义［5］。这样不仅改造了已有的知识，同时在与同伴和教师的合作中改善了人际关系，进而对自己的身份有了新的认识，也培养了对多媒介信息批判识读的能力。新伦敦小组［1］认为设计过程是一个从意义到设计、再到模态组合结构的过程，同时也是在创造意义的过程中对自我身份再建构的过程。最后一个步骤再设计是指由设计过程产生的资源或重新产生的意义又可成为一种新的可资利用的设计，产生具有制造意义潜势的新的资源。它不是对已有资源的简单重复，而是创造性地利用多模态符号规则构建意义，并参照设计者所处的历史文化以及自身经验重构意义。张征［23］认为教师可以以情景操练、明确指导、批评框定和转换操练等方式让学生不仅注重多模态知识的建构，而且注重对已有和新建多模态知识的灵活运用，通过具体操作实践完成知识的内化，实现由知识到能力的有机转化，培养学生具备现代交际所必需的多元识读能力。

本文通过对多模态话语和多元识读理论与大学英语口语教材整合运用的研究，提出了新编大学英语口语教材要克服传统以语言文字为中心的教材编写特点，建立多模态语篇，并关注运用各种多模态符号资源来体现教材中的语言与文化，使学习者能够通过不同感知模态识读由不同社会符号共同作用构成意义的多媒介信息，了解掌握社会和文化惯例，培养他们批判应对反省的能力。

［1］New London Group.A pedagogy of multiliteracies:Designing social futures［J］.Harvard Educational Review，1996，(1):60-93.

［2］Kress G.Multimodality［A］.Multiliteracies:Literacy Learning and the Design of Social Futures［C］.London:Routledge，2000.179-200.

［3］朱永生.多模态话语分析的理论基础与研究方法［J］.外语学刊，2007，(5):82-86.

［4］Kress G，van Leeuwen T.Multimodal Discourse:The Modes and Media of Contemporary Communication［M］.London:Arnold，2001.10.

［5］张徳禄.多模态话语分析综合理论框架探索［J］.中国外语，2009，(1):24-30.

［6］Kress G，van Leeuwen T.Reading Images:The Grammar of Visual Design［M］.London:Routledge，1996.35-40.

［7］Kress G.Literacy in the New Media Age［M］.London:Routledge，2003.57-65.

［8］Lemke J L.Multiplying meaning:Visual and verbal semiotics in scientific text［A］.Reading Science:Critical and Functional Perspectives on Discourses of Science［C］.London:Routledge，1998.87-113.

［9］Lemke J L.Travels in hyper modality［J］.Visual Communication，2002，(1):299-325.

［10］O'Halloran K L.Mathematical and scientific forms of knowledge:A systemic functional multimodal grammatical approach［A］.Language，Knowledge and Pedagogy［C］.London ＆ New York:Continuum，2007.205-238.

［11］Royce T.Multimodality in the TESOL classroom:Exploring visual-verbal synergy［J］.TESOL Quarterly，2002，(2):191-205.

［12］李战子.多模式话语的社会符号学分析［J］.外语研究，2003，(5):1-8.

［13］李战子，陆丹云.多模态符号学:理论基础，研究途径与发展前景［J］.外语研究，2012，(2):1-8.

［14］胡壮麟.社会符号学研究中的多模态化［J］.语言教学与研究，2007，(1):1-10.

［15］胡壮麟.多模态小品中的主体模态［J］.外语教学，2011，(4):1-5.

［16］顾曰国.多媒体、多模态学习剖析［J］.外语电化教学，2007，(2):3-12.

［17］张德禄.多模态外语教学的设计与模态调用初探［J］.中国外语，2010，(3):48-53，75.

［18］张德禄，张淑杰.多模态性外语教材编写原则探索［J］.外语界，2010，(5):26-33.

［19］张德禄.多模态学习能力培养模式探索［J］.外语研究，2012，(2):9-14.

［20］杨信彰.多模态语篇分析与系统功能语言学［J］.外语教学，2009，(4):11-14.

［21］葛俊丽，罗晓燕.新媒介时代外语教学新视角:多元识读教学法［J］.外语界，2010，(5):13-19.

［22］王慧萍.英语阅读教学中多模态识读能力的培养［J］.外语界，2010，(5):20-25.

［23］张征.基于“设计”理念的多元读写能力培养模式［J］.外语与外语教学，2013，(2):11-15.