多模态理论视角下多媒体课件应用研究——以2014年全国多媒体课件大赛获奖课件为例

莫川川

（广州番禺职业技术学院外语外贸学院，广东广州511400）

新媒体技术的发展为教学提供了现代化教学手段，丰富了教学材料，使得学习环境呈多模态化，培养学生的多元识读能力（Multiliteracy）成为教育界的共识.多元识读是长期致力于语言读写能力研究的新伦敦团体（New London Group)于1996年首次提出［1］.多元识读理论有两个重要原则，一是读写教育要考虑文化和语言的多样性；二是文本的构成不应仅限于书面的文字，也要考虑信息与多媒体技术.除了文字模之外，意义系统还应包括非语言模态，如声音、图像、空间位置、手势和视频信号等信息.多元识读理论一经提出，即得到语言学研究者和语言教师的认同，与之配套的相关理论研究和实证研究也层出不穷，产生了丰富的研究成果.但多元识读理论的发展也存在短板——缺乏详实的课堂研究［2］.研究基于多模态下的图像语法和认知心理学分层加工理论，以2014年第十四届全国多媒体课件大赛英语课获奖课件为例，对优质课件中文字与图像的呈现特点和交互作用展开分析，希望为广大英语教学与研究者提供指导和借鉴.

1 多模态下的图像语法与分层加工

1.1 图像语法

模态意义构建意识是多元识读能力发展的前提［3］.最具代表性的就是Kress G和Van L T提出的图像语法.将韩礼德的功能语法理论用来分析图像，建立以“再现意义”、“互动意义”和“构图意义”为中心的图像语法理论框架.口语语法是建立在对句法、动词和名词的固定使用上；而图像语法则产生于构图角度、空间维度和视角的使用习惯［4］.此理论适用于多模态文本的分析，网络传媒和纸质传媒均使用，如学校的教材、网页和杂志等，多媒体课件就是图像语法应用的典型.

传统语法研究是语言单位（如单词、短语或分句等）的使用模式.图像也是一种意义符号，它们的使用模式就是图像语法［5］.图像语法以图像的“再现意义”、“互动意义”和“构图意义”为分析对象，解释一定社会文化背景下，人们建构图像意义背后的心理机制.“再现意义”是图像在现实世界中的映射，如红十字标志在现实世界中对应人道主义援助；“互动意义”是指作者希望借由图像对其与观众之间的人际关系进行主动调节，即作者希望通过图像建立积极的人际关系.“构图意义”指整体图像上的不同位置体现不同的信息值和显著性.研究表明，新信息和公认信息的信息值高；旧信息和有争议的信息值低.信息的显著性则可通过多种途径实现，如位置（居中为显著信息）、大小、颜色、重合来表现.为了判断图像成分的信息价值的轻重，Kress和Leeuwen认为，根据从左到右和从上到下的阅读习惯，把页面分为4个象限（见图1）［4］.上下的区分是与本体判断相关（理想与现实之间的区别），左右之分则是与信息的状态相联系.图像语法是基于大量西方绘画作品分析得出的对人类集体无意识呈现画面信息布局的规律，依据人们普遍的审美和认知加工习惯而展开，符合语法的图像，观众看起来更舒服，容易识记且符合人们的主观期望，在一定社会文化条件下具有科学性和普适性.

1.2 分层加工理论

传统语法教学中，英语词汇的学习主要通过机械复述方式实现，学生的记忆效果差，效率低下，实践证明词汇直接教学法的教学效果有缺陷.分层加工理论认为记忆的保持不在于复述时间的长短，而在于加工方式的差异.加工层次越深，记忆效果越好［6］.词汇的加工有两层，第一层是形式加工，即单词的拼写和读音；第二层是语义加工，即单词的横组合关系和纵聚合关系.横组合关系即词的搭配，如目标词为名词，则要找出与之形成搭配关系的动词或形容词.纵聚合关系有3种，即同义关系、上下义关系和语义场关系.同义关系指近同义词；上下义关系为词义内包关系，被包含的词是“下义词”，相对意义较概括的词为“上义词”，如apple是fruit的下义词.语义场关系表示某一事物或某一部分生活经验的词聚合，如pink，yellow，white，orange，blue等一起构成颜色语义场.形式加工是浅层次加工；语义加工是深层次加工.学习者对新单词加工层次越深，保持效果越好.对于语义的加工最好是产出性加工，即要使学习者自己产出含有目标词的句子，这样比教师给出含有目标词的句子对长期记忆更有帮助.学习要善于激活和利用已有知识对新信息进行主动建构，才会记忆深刻［7］.满足认知加工要求的词汇呈现至少应该包含4个层面：拼写、读音、搭配词和近义词，其他的语法范畴和语境意义也可以帮助丰富单词呈现的面貌.

图1 图像语法的页面象限图

2 案例分析

以2014年第十四届全国多媒体课件大赛高中英语获奖课件Unit 5 Feeling Excited中的两类典型为例，分析它在多模态单词呈现形式和多层认识加工设计方面的特点，以透析图像和文字的交互作用.

2.1 幻灯片1

（1）图像语法层面.图2的再现意义准确—女孩的表情准确再现了目标单词shy的意义；互动意义也很生动，迎合中学生兴趣品味的动漫人物形象，能成功吸引学生的注意力，激发他们的学习兴趣，但在构图意义上则出现了两个失误.首先，看图猜词练习的工作程序是先看图后猜词，且人们的阅读习惯也是先上后下，图片和文字的呈现顺序应以图在上，字在下为妥.其次，浅色（作者原图为红色）为亮色，用来突显新信息或重要信息；深色（作者原图为黑色）为默认色，是已知信息的常用颜色.在图中目标词shy应该以浅色显示为佳，因为它是学生学习活动所要寻找的新信息；而句子本身应以深色呈现，以衬托目标单词的重要性，其他同样的方式呈现的6个情感形容词（angry，sad，frightened，lonely，nervous和 disappointed） 均可采取同样的修改方式，依据图像语法的要求对幻灯片一进行修改后的页面见图3.

图2 幻灯片一

（2）分层加工层面.以形容词系列幻灯片组成的词汇直接教学设计较好的呈现了深层次加工要求的词汇横组合和纵聚合知识.在此例中，词汇横组合知识是指在水平方向上作为形容词的shy可以和系动词（be动词，感观动词）组成系表结构，充当句子的谓语成分（蓝色部分）.纵聚合知识是指在垂直方向上除了shy之外，可以充当补语的其它常见情感形容词还有 frightened，sad，angry，lonely，nervous，disappointed 等.横组合知识在一张幻灯片上呈现，而纵聚合知识是通过连续多张同类幻灯片呈现，示例见图4.

图3 幻灯片一的修改建议

图4 常见情感形容词

图5 猜词练习

尽管这部分练习在词汇深层知识层面的呈现效果不错，但在词汇浅层知识的呈现方面有所欠缺.图4的7个单词都是学生们已经习得的旧单词，在针对它们进行词汇练习前，也应当对旧知识进行适当的激活，这有助于学生完成新旧知识的交替转换.反之，如果7个目标词汇为本单元要学习的新单词，这样不遵守由浅入深的学习规律，无异于凌空建高楼，不利于获得最佳的教学效果.根据学习的心理认知规律，建议该教师进行猜词练习前，先向学生呈现目标单词的浅层知识，如一个词形和词义的连线练习（见图5），以调动学生的词形和词义知识，在向老师汇报练习结果时，又可以调动词汇的语音知识.加入这样的组合，该猜词练习才能成功呈现四层词汇基本认知加工层次.

2.2 幻灯片二

（1）图像语法层面.此幻灯片位于知识讲授部分.页面上各部分内容的播放顺序以中文数字标注，它的主图位于页面右下角（见图6），以年轻的女学生做演讲关联目标单词speech和nervous的学习，再现和互动意义明显.（如果这里换上名人演讲的照片则不妥，因为名人演讲不会让人产生“紧张”的联想）.图片的女孩与学生们年龄相仿，容易使大家产生共鸣，展开联想.需要学生进行认知加工的图片属于新信息，位于右边；天使图像的信息New words属于旧信息，位于页面的左边，整个页面图像布局清晰，符合图像语法的要求.

图6 幻灯片二

图7 幻灯片二修改

（2）词汇分层加工层面.幻灯片二与一不同，它进行了明确的词汇浅层知识呈现—目标单词speech和nervous的拼写和音标都在页面显著位置标出，而且speech的词义也做了注释.在词汇深层知识方面，该幻灯片呈现了目标单词的横组合知识：“giving a speech”，并用红色凸显这一惯用搭配的习得价值.同样，另一目标单词nervous只呈现了横组合知识“be feeling nervous”的常用法.然而两个单词的纵聚合知识都没有得到呈现.当然，这种在一个页面上同时呈现两个目标单词的做法本身就值得商榷，一个页面聚焦一个单词的教学比较理想.如前文所说，对纵聚合知识的呈现一般从同义关系、上下义关系和语义场关系着手.幻灯片一中的纵聚合呈现的是同属于“情绪语义场”的7个单词.在幻灯片二中，笔者建议可以考虑从同义关系入手，增加speech一词的纵聚合知识呈现形式.对幻灯片进行修改（见图7）：删除问题how is she feeling now及其回答，取代之以选择填空题—“从下列单词中选择合适的词替代上句中的“speech”.要正确回答这一问题，学生们需要对speech的词义、使用语境和语法要求有充分认识，这样才能准确找出speech语境下的近义词“lecture”.

2.3 幻灯片1和2共性

学者Lessing聚焦文字与图像间的交互作用，指出文字是一种时间的延伸；而图像是空间的扩展.也有学者强调两者的相似处以模糊两者的区别［8］.他们认为文字和图像是相互交织在一起，各以使用符号和象征手法表现人类经验的独特方式［9］.多模态意义建构角度下的图像和文字以不同的交互作用方式对学习者的理解产生重大影响.Holtzman将文字与图像的关系总结如下：一是镜像关系，如圣经故事与根据该故事绘制的画作［10］.两者描述相同的故事内容，但由不同作者在不同的时间完成；二是类比关系，如用向上的箭头和向上生长的树木代表数量的上升；三是补充说明关系，如儿童绘本中的故事与插图.镜像关系中，图像内容忠实体现文字内容，信息不多不少，也不延伸文字的意义边缘.这类图像的理解最简单，对观众的常识水平和背景知识不作要求.相比之下，类比关系和补充说明关系中的图像理解比较复杂.前者要观众具备一定的常识，能快速判断图像和文字中的相似成分而定，以理解类比关系的形成；而后者要求观众对文字表述的内容具备一定背景知识，以了解图像信息是如何对文字信息进行补充和说明.在选例中，教师全部选择了与文字内容呈镜像关系的图片来辅助文字信息的呈现，突显学习目标，这充分说明了镜像图片在教学中的首选地位.正因为它的理解最为简单、直观，不需要复杂的认知加工过程，使学习者可以将注意力和时间集中于文字内容的理解上.通常，只有在教学对象的意义过于抽象，很难找到对应的镜像图像的情况下，才会考虑选择类比图像，以便抽象概念的具体化.

3 结语

多媒体课件是具有多模态意义表述的产品，它的制作除了贴切的教学内容选择外，尤为重要的是对内容的呈现方式要符合人们的多模态意义构建习惯和认知加工规律.忽视科学规律，将会使教学内容的呈现变成杂乱无序的材料的堆积，造成学习者逻辑的混乱.以英语单词直接教学为例，新单词在多媒体教学课件中的呈现需要进行形式和内容两方面的加工.在形式加工层面，可以按照图像语法的要求，选择合适的图片，并对图片在整个页面中的布局进行相应的设计.在内容加工层面，应该遵循认知心理学分层加工理论，对词汇和浅层知识（拼写、读音和意义）和深层知识（横组合与纵聚合）都应有适当的呈现.当然这种多模态、多层次的单词呈现方式的使用要遵从课程标准的要求.一般来说只适合于高中以上的学生.对初级英语水平的学生过多的呈现单词的深层知识可能会造成学生很大的理解和记忆负担，引发他们对词汇学习的反感［11］.

［1］Group N L.A Pedagogy of Multiliteracies：Designing Social Futures[J].Harvard Educational Review，1996，15（6）:61-83.

［2］PrainV.Mult(national)literacies and globalising discourses[J].Discourse:Studiesin theculturalpolitics of education，1997，18(3):453-467.

［3］韦琴红.视觉环境下的多模态化与多模态话语研究[M].北京:北京科学出版社，2009.

［4］Kress G，Van L T.Reading Images:the Grammar of Visual Design[M].London:Routledge，1996.

［5］Jewitt C.Technology，Literacy and Learning——A Multimodal Approach[M].London:Routledge，2006.

［6］Craik F I M，Tulving E.Depth of Processing and the Retention of Words in Episodic Memory[J].Journal of Experimental Psychology，1975，3（104）:268-294.

［7］张宗庆，吴喜燕.认知加工层次与外语词汇学——词汇认知直接学习法[J].现代外语，2002，10（2）:176-186.

［8］Lessing G H.Laocoon[M].London:Oxford University Press，1965.

［9］Bal M.Reading Rembrandt:Beyond the word-image opposition[M].Cambridge:Cambridge University Press，1991.

［10］Holtzman A.Literature and the Visual Arts[M].Tel Aviv:Hakibbutz Hameuchad，1997.

［11］郑焕华.例谈高中英语词汇教学中的问题及对策[J].中小学外语教学（中学篇），2013，12（4）:56-58.