多媒体语境大学生视觉素养认知建构研究

□陈风华

[香港理工大学 香港 999077]

多媒体语境大学生视觉素养认知建构研究

□陈风华

[香港理工大学 香港 999077]

多媒体语境大学生视觉素养的认知建构是信息社会知识快速发展的时代诉求。研究结合多媒体认知理论、视觉语法框架、概念隐喻理论和《新视野大学英语视听说教程》（以下简称《教程》）考察大学生视觉素养的概念隐喻认知建构过程及范式。主要发现：首先，《教程》设计目的是通过图像帮助大学生全面和准确理解图文之间的内在联系，进而夯实其视觉素养建构的认知水平；其次，《教程》通过知识视觉化和图文关系建构概念隐喻认知模型，有助于大学生看懂和听懂图文内容，从而显著提高其视觉素养及听说能力。为多媒体教学环境中如何有效提高大学英语教学效果提供了新的探索视角。

多媒体语境；视觉语法框架；大学生视觉素养；认知建构；概念隐喻理论

引言

现代社会数字信息的飞速发展使得视觉图像越来越普遍地出现在多媒体教材中。视觉学习通过视觉整合方式进行[1]，涉及图像素养等技能[2]，是教与学发展的必由之路。众所周知，高效视觉学习离不开科学的策略进行指导[3]，如批判性解读和系统性思维等符号分析技能越来越广泛地被使用在各类语言环境中[4]。相关研究发现，《新视野大学英语视听说教程》的图像、动画和视频等视觉符号能建构语境，提高大学生听力认知能力[5]。同时，外语课程教与学信息化处理都是开始和结束于听觉与视觉符号[6]。当前多媒体教学语境中的大学生英语学习方法和策略均呈现不适应特征，其主要原因是缺乏元认知学习技能，如阐释能力、思考能力与批判能力[7]。国内有研究证明，目前大学生上述视觉素养认知能力均呈现不充分状态[8]，国外也有研究证实，很多学生能观看和阅读图像的表层内容，但是不能解释和加工图像的内部特征[9]。

当前学界对多媒体学习认知领域研究窠臼于抽象的理论思辨和狭隘的经验总结，缺少实用和有效的实证理据支撑，对《新视野大学英语视听说教程》[10]（以下简称《教程》）视觉素养视阈的深入探讨更是寥寥无几，凸显《教程》图像与文本建构的概念隐喻领域存在广阔的探索空间和研究潜力。《新视野大学英语》作为全国首批教育部推荐使用的，聚多媒体、多渠道和全方位等特色于一体的新时代英语教材，具备第五代立体化教材的鲜明特色，其新颖、实用的精美插图编排和按主题组织单元设计一经问世便赢得社会各界赞誉一片。鉴于此，对其开展多维度、多层次探索和研究的重大意义不言而喻。本研究在多媒体学习理论、概念隐喻理论和视觉语法理论框架等理论基础上系统考察《教程》插图语料的语类及功能，以期探索图像隐喻认知建构的基本范式，从而为我国多媒体语境如何有效提高大学英语听说教学效果提供一定的参考价值。

一、多媒体语境视觉素养研究综述

（一）多媒体语境

Mayer[11]提出5个认知过程、3类认知假设和3种概念隐喻，分别是选择文本过程、选择图像过程、组织文本过程、组织图像过程和图文整合过程；“视觉+听觉”双通道假设、工作记忆有限能力假设与积极加工假设；多媒体学习是反应强化、多媒体学习是信息获取及多媒体学习是知识构建。Veronikaset al.认为多媒体语境包括3个描述维度：传送教学信息电脑投影等设备、呈现教学信息图文等资源以及接受教学信息听觉、视觉等感官，并总结出22项多媒体语境学习认知基本原理，其中与视觉素养密切相关有如下5项：（1）多媒体原理：图文互补比纯粹文字呈现方式更能提高学习质量；（2）分散注意力原理：图文空间位置与时间呈现相邻能避免分散注意力；（3）提示原理：对教材内容给予图文信息提示能提升学习成效；（4）时空邻近原理：空间邻近指图-文在书本或多媒体屏幕之间空间距离近时比距离远时学习效果要好，时间邻近指图文同时出现时学习效果超过交替出现时学习效果；（5）人性化原理：多媒体图文呈现对话优于正式、规则性呈现对话[12]。

国内学者对多媒体语境也进行了深入研究。孙燕青[13]认为多媒体语境具有情境性、动态性和交互性等优势，能给学习者提供生动、自然和真实的语言信息，使学习更具趣味性和灵活性。陈一希[14]归纳大学英语多媒体教材的4个语境建构特色：（1）语境标志性语言元素数量众多、密度集中；（2）直观语境纷纷建立，心理图式加速重构；（3）声形并茂语境使学习者如同身临其境，有助于提高其文化和语用能力；（4）言辞语境和非言辞语境元素的分布符合语义能力培养的教学目的。曾方本[15]提出外语多媒体情景即为视听动态语境，其信息载体包括声音符号、声响符号和图像符号，符号表征体系的构建要遵循视觉意象与听觉意象相互一致的原则，这样才能使视听信息叠加联系、增加感知深度，从而获得理想的认知效果。姜占好[16]总结多媒体语境的3个基本特征：（1）突出学习者本体地位；（2）提供语用能力发展语境；（3）提供语用能力发展互动。

（二）概念隐喻

隐喻能力是外语学习者必备的认知能力，它有助于增强学习者语法能力、语篇能力和策略能力。外语习得过程要求学习者像本族语者一样能够使用隐喻思维反映概念并对概念进行解码[17]。教师在外语教学过程中要通过让学习者阅读原版教材、观看图像/影视作品等方式创造、设计真实语境，提高学习者准确理解和熟悉使用隐喻概念的能力[18]。

概念隐喻能力指理解、解码和运用语言概念系统的能力，包括发现隐喻、理解隐喻、提取隐喻和生产隐喻等方面。Lakoff & Johnson[19]提出概念隐喻理论，认为隐喻是两个概念域之间的映射形式和人类赖以生存的思维方式，人们使用具体的概念（源域）去认知、建构和表达另一个抽象的概念（目标域），通过域际映射和意象图式解读源域与目标域建构的跨认知域隐喻系统，概念隐喻包括方位隐喻、实体隐喻和结构隐喻三个类型。Condon[20]认为概念隐喻的系统性和重复性能够显著提高学习者对语言结构和比喻表达的认知能力。任绍曾[21]指出概念隐喻的体现形式为词语、短语和句型。Forceville等学者自20世纪90年代起把语言学领域的概念隐喻研究拓展到声音、色彩、图像和空间布局等多模态领域。关注图像等符号的多模态隐喻研究广泛涉及各类模态的文体表达、动态建构和文化语境等多维视角，充分融合认知语言学和符号学、传媒学等多模态语篇等学科，如教材插图、电影图像和广告图画，是一种新兴的研究范式。

（三）视觉素养

Eppler和Burkard[22]创立知识可视化概念，认为其优势表现在社会、情感和认知，主要表征是其图像解读方式：图文符号形成不同的认知“图形”，如概念图、语义图和思维图等帮助学习者获取信息，以及建构和传播知识。严晓蓉[23]指出，知识可视化是从图文等视觉资源获取知识的视觉学习重要方式，具备直观性、趣味性、隐喻性和交互性，手语与书面语等视觉言语符号以及图像与动画等非言语符号的有机结合使其成为读图时代的新型学习认知范式。张舒予[24]认为多媒体语境图像的观看特征需要扩大认知，图像的文化内容需要增加阐释，媒介的传播本质需要深入揭示。在实证研究领域，中外学者如Seculeset al.[25]，李连生[26]和赵婷[27]研究证明，图像和视频等可视材料能显著提高学习者听力认知水平。美国哈佛大学、耶鲁大学等高校纷纷提供形如MOOCs集图像、文本、视频等于一体视觉学习大数据网络资源。英国伯明翰大学专门建立视觉学习研究实验中心，大力提倡“案例研究(Case Studies)”观念，我国南京师范大学开发建设视觉文化专题网站，始终倡导“从共享到共生”理念。

Debes[28]首次将视觉素养定义如下：通过观察方式拥有及整合感觉经验来建立视觉的能力，他提出决定视觉素养地位的4个学习经验特征：（1）能让学习者与图像实现有意义交流；（2）能使学习者从自身所处环境出发选择特定视觉现象；（3）能促使学习者拥有作出有意义视觉观点机会；（4）能激发学习者在视觉上锻炼想法，以及培养视觉素养的5个基本步骤：观察、学习、交流、阐释和理解。Kimberly[29]认为视觉素养是区分和解释视觉符号来获取意义的能力。美国大学与研究图书馆协会(ACRL)发布的《高等教育视觉素养能力标准》指出，视觉素养是一系列使个体有效寻找、解释、评估、使用和创造图像与视觉的媒体能力；视觉素养技能为学习者装备理解及分析视觉材料生产与使用过程中涉及语境、文化、道德、美术、知识及技巧的能力；具备视觉素养的个体既是对视觉媒体怀有批判眼光的消费者，也是对公共知识及文化富有竞争力的贡献者；视觉素养包含下列7类评估标准：（1）识别视觉材料的类型与层次。（2）有效并迅速发现和获得所需图像和视觉媒体。（3）解释并分析图像和视觉的媒体意义。（4）评估图像及其来源；（5）有效使用图像和视觉媒体。（6）设计并创造意义深远的图像和视觉媒体。（7）通晓围绕在图像与视觉媒体创造和使用周围的道德、法律、社会及经济问题，并能在道德上使用这些材料。Beatty[30]提出，视觉素养是帮助人们批判性思考视觉信息的技能。国内学界对图像视觉素养领域研究尚处于初步阶段：张舒予[31]认为视觉文化包括所有通过视觉和知觉直接获得信息进而解读其含义的文化样式。何高大[3]把视觉素养概括为读图、解图和译图认知能力。

二、大学生视觉素养建构考察

（一）《教程》插图功能分类

插图是《教程》的重要组成部分。Bryant[32]认为幽默插图能增加大学教材的吸引力。Levinet al.[33]指出，教材课文越难插图越有帮助，插图能提供文本所需的上下文语境来实现教材叙事的可视化，便于学习者理解和接受。Carney和Levin[34]证实插图能提高学习者成绩。中外代表学者分别对教材插图的功能进行了分类（参见表1）。高水红[35]归纳教材插图的3个特征：（1）再现与表现；（2）整体与整合；（3）感觉与感悟。宋振韶[36]从组织形式角度把教材插图分为独立图（单幅图像表达完整意义）、发散图（多幅图像表达共同主题）、序列图（一组独立图像共同表达主题）和多层图（由独立图像展开深入表达主题）。结合上述中外学者教材插图功能研究成果及《教程》插图位置分布与功能呈现客观实际，我们提炼出如下的插图类型：装饰功能，表征功能和组织功能（参见图1和图2）。

图1 《教程》插图功能数量

图2 《教程》各模块插图数量

从插图的功能视阈考察（参见图1），《教程》Unit 1-Unit 10每个单元都分为引导(Lead-in)、听力(Listening-skills)和口语(Speaking-out)模块。教育部颁布的《大学英语课程教学要求》要求：“大学英语教学目标是培养学生的英语综合应用能力，特别是听说能力”，“大学英语课程设计应充分考虑听说能力的培养要求，并给予足够学时和学分”。一方面，就引导模块而言，6个单元分别配有1幅插图，4个单元分别拥有6到9幅插图，出现这些差别的原因我们认为是后4个单元的主题较为广泛和抽象，使用多幅插图更能激发学生的多样认知潜能。Pantaleo[37]证实，关注图像的视觉设计和组成规则能提高学习者了解、阐释、分析及创造图像的能力。如主题为“Do You Work Out”的Unit 2配有8幅多样户外锻炼插图，创造出“Work Out”（锻炼）现实语境，因而建构了“锻炼是户外运动”隐喻模型。同样地，语场为“How’s the Weather Today”的Unit 4配有6幅不同天气插图，建立“天气是起雾、下雪、海啸、下雨和打雷”隐喻。主题为“What’s Your Favorite Food”的Unit 5配有9幅中西食物插图，营造“食物是中餐和西餐”隐喻。主题为“Have a Nice Holiday” 的Unit 10配有7幅食物标识、亲人团聚和鲜花礼品等插图，制造“节日是和亲人团聚、品尝佳肴和张灯结彩”隐喻。另一方面，就听力模块而言，每个单元的插图数量比引导模块增加明显，尤其是第4和第5单元的插图数量显著增加为8幅和5幅，凸显《教程》通过设计更多插图来建构多种真实语境，以提高学生在听力语境中对天气和食物话题的认知理解水平。除此之外，就口语模块而言，《教程》有7个单元的插图数量超过听力模块数量，彰显《教程》更注重提高学生在口语语境中的认知水平。

从插图功能在各单元所占的数量视野探索（参见图2），首先，Unit 1-Unit 4的装饰功能插图数量对比表征功能和组织功能的数量而言相差悬殊，但Unit 5-Unit 10表明其数量增加值得关注。分析个中缘由，我们不难发现后6个单元的话题（Food，Health，Price，Housing-rent，Surfing-net，Holiday）比前4个单元的话题（College-life，Work-out，Friends，Weather）更富含实用性、知识性和趣味性，以及更贴近学生的日常学习和生活，因此也更容易引起学生的认知兴趣和学习动力。其次，Unit 2、Unit 4和Unit 10的表征功能插图数量相比其它7个单元数量增加显著。探寻其中原因，我们不难判定：Unit 2描述Work-out主旨的插图有8幅之多，隐喻该主题在听说语境中的重要性；同样，Unit 4的12幅插图有6幅描写抽象话题Weather，另外6幅阐述具体话题Weather of Forecasting。Unit 10的12幅插图分别由描述具体话题Nice Holiday和Unforgettable Holiday的6幅插图组成。最后，Unit 1-Unit 10组织功能插图数量没有出现跌宕起伏嬗变，其总量超过装饰功能和标志功能插图，我们认为其原因是《教程》在图像视觉素养层面关照学生听说语境中对插图数量的认知诉求，在概念隐喻建构层面注重规避过难或过易的插图认知维度。

（二）《教程》插图认知构建

Kress和van Leeuwen[38]提出视觉语法理论，把Halliday的三大语言元功能即概念功能、人际功能和语篇功能发展为再现功能、互动功能和构图功能，主张图像可以再现客观世界。冯德正[39]认为视觉语法的互动功能构建“图像-观众关系是拍摄位置”隐喻，如“社会距离是权势距离”、“权势关系是垂直拍摄角度”，“观众参与是水平拍摄角度”等子隐喻，具体包括“近距离是短焦拍摄”与“远距离是长焦拍摄”，“图像权势是低角度拍摄”、“平等是眼睛平视拍摄”与“观众权势是高角度拍摄”，“观众参与是正面拍摄”与“观众疏远是背面拍摄”等隐喻构式。由此可知，图像个人距离的正面角度或稍侧面平视是将读者视作图像的一部分，从而建立图像参与者与读者之间的互动亲密关系。如果读者需要通过俯视方式来观察图像参与者，此时读者与图像参与者之间关系为参与者享受权势，如（3a）设计为个人距离的稍侧面平视角度，隐喻欢迎读者参与到插图中的活动。总的来看，《教程》平视角度设计的插图数量远远超过俯视数量（参见图4），预示《教程》期望学生积极参与图像设计的听说语境，也隐喻听说语境认知中学习个性化和自主性等未来发展方向。如（3b）设计角度为俯视，暗示读者享有权势地位，意味读者要使用批评或批判眼光看待插图内容。考察该插图主题“Problem of Meeting People”, 其听力语境是学生抱怨与他人交往遇到不少麻烦，此时学生就能够在上述认知基础上独立判断，该插图设计目的是隐喻人际交往中不能一味抱怨，这样就为后续的图文概念隐喻建构认知奠定坚实的理论基础。

从插图的构图功能视域分析，《教程》艳丽纷呈的图像元素给学生的视觉享受带来饕餮盛宴。Heinichet al.[40]研究表明，彩色图像的应用效果优于黑白图片。Teng & Sun[41]研究发现，水平轴排列的图像呈现明喻特征，垂直轴摆放的图像表现对比表征，曲线则展现目标域的永不停歇特点。据此可知（参见图3），（3c）水平轴排列插图描述的都是相同类型的户外运动，而上下轴分布插图则描写对比类型户外活动：如“1”与“6”展现男性和女性性别对比，“2”与“4”展示篮球与羽毛球大小对比，“5”与“6”呈现陆地与水上方式对比。这样一来，学生就会建构如下插图认知：运动不分男女；运动不分体育器材大小；运动不分陆地水上，进而在此认知经验上建构下列运动概念隐喻：“运动是男人和女人锻炼”；“运动是打篮球和羽毛球”；“运动是陆地和水上锻炼”。从插图语类方面探究（参见图5），《教程》的漫画数量中有8个单元都是配备1幅，除了Unit 1的2幅，Unit 9的3幅，各单元其它插图都是真实语境相片，这印证了《教程》“旨在通过真实场景全面提高学生英语听说能力”的编写理念。

从插图认知隐喻建构的层面考察，Barthes[42]提出，图像的语言讯息包含标题、解说词、电影对白和漫画文字等元素，能“锚定”和“接力”图像。O’Neil[43]认为图画教科书的图文存在增强、描述、互惠和密切联系的关系。《教程》每单元口语模块视频文字右边的插图都设计有一句英文，表明视频文字用来“接力”插图讯息。反过来，学生在口语语境认知学习中也能够通过插图的图文信息来“锚定”视频文字。Felten[44]指出看图不是被动的认知刺激接受过程，而是积极的意义建构。束定芳[45]提出隐喻的认知过程包括辨认隐喻及推断含义，学生一旦发现本体和喻体之间的相似性，就能在听说训练中直接进入意义推断过程，精准理解本体特征（参见表2，每单元随机选取1个例子，我们把口语模块视频文字视为源域，插图配备文字视为目标域）。

图3 《教程》插图设计角度和排列示例

图4 《教程》插图设计角度和排列位置

图5 《教程》漫画插图各模块分布

表2 《教程》概念隐喻认知模型范例

三、结语

Mitchell[46]指出21世纪问题是图像问题。束定芳[47]认为隐喻理论对语言认知的教与学具有积极的指导作用和应用价值。朱建新[48]提出大学英语教学中提高学生隐喻认知思维能力的3种策略：一词多义认知分析、英汉隐喻对比分析和隐喻表达认知分析。《大学英语课程教学要求》要求，“各高等学校应根据本校条件和学生英语水平探索、建立网络环境下听说教学模式”。因此，对多媒体语境大学英语视听说教材的深入研究迎合了当代大学生亟需提高视觉素养认知隐喻能力的现实诉求。视觉素养有助于快速培养大学生视觉感官经验, 切实提高其认知素养和言语素养，从而使其逐步成为全面发展复合型人才。

图6 《教程》图像素养认知隐喻建构框架

当前学界对隐喻领域研究局限于语篇、语法和词汇层面，对视觉素养认知隐喻的理论和理据层面系统研究尚不多见。本研究以多媒体认知学习理论和视觉语法设计框架为研究依据，以《教程》插图的功能、语类及数量等语料为考察对象，系统探索了多媒体语境《教程》视觉素养认知隐喻的建构框架（参见图6）。研究发现：首先，77幅口语模块、36幅引导模块和36幅听力模块插图说明《教程》重视听说语境学生认知水平，更强调通过图像素养提高学生隐喻建构能力；其次，73幅组织功能、35幅装饰功能和31幅表征功能插图表明《教程》听力和口语模块图文的设计目的是通过图像可视化帮助学生全面和准确理解图像内容的内在联系，从而为建构其隐喻认知能力提供坚实基础；第三，数量很少的漫画插图证明，其在《教程》中主要充当装饰功能，绝对数量优势的相片插图则证实，《教程》努力为学生营造真实的语言场景来学习地道语言；最后，《教程》通过图像可视化和图文关系建构概念隐喻模型，这样能够帮助学生精确看懂和听懂图文内容，显著提高其听说语境认知能力。毋庸讳言，限于《教程》插图数量等语料限制，本研究存在一定局限性。展望未来研究，我们坚信后续研究在更庞大和详实语料基础上会加以进一步改进和完善我们现有的研究发现。

[1] KLEINMAN E, DWYER F. Analysis of computerized visual skills： relationships to intellectual skills and achievement[J]. International Journal of Instructional Media, 1999(1)： 53-69.

[2] LEITE W, SVINICKI, SHI Y. Attempted validation of the scores of the VARK//Learning styles inventory with multitrait - multimethod confirmatory factor analysis models[C]. SAGE Publications, 2009.

[3] 何高大. 二语习得视觉化研究的几个关键问题[J]. 外语电化教学, 2014(1)： 27-32.

[4] 何莲珍, 林晓. 高等教育环境下外语交际能力的培养—现实困顿和解决途径[J]. 现代外语, 2015(1)： 83-92.

[5] 张小彩, 刘陈艳. 多模态语篇分析视角下的视听说教程[J]. 内蒙古农业大学学报： 社会科学版, 2011(2)： 113-115.

[6] 胡加圣, 陈坚林. 外语教育技术学论纲[J]. 外语电化教学, 2013(2)： 3-12.

[7] 何高大, 钟志英. 大学生对多媒体技术辅助大学英语教学的适应性研究[J]. 外语电化教学, 2006(2)： 41-48.

[8] 武文颖, 浦晓露. 大学生视觉素养认知能力调查[J].当代传播, 2009(5)： 41-44.

[9] METROS S E. Educator's role in preparing visually literate learners[J]. Theory into Practice, 2008(2)： 102-109.

[10] 徐钟. 新视野大学英语视听说教程1[M]. 第二版. 北京：外语教学与研究出版社, 2013.

[11] MAYER R E. The cambridge handbook of multimedia learning[M]. Cambridge： Cambridge University Press, 2005.

[12] VERONIKAS S, SHAUGHNSSY M, 盛群力. 教育心理学与教育技术学联盟：促进学习者认知变化—与理查德梅耶教授访谈[J]. 远程教育杂志, 2008(1)： 21-26.

[13] 孙燕青, 董奇. 多媒体语境条件下的第二语言词汇学习[J]. 心理科学进展, 2003(2)： 147-152.

[14] 陈一希. 纸质教材和多媒体教材的语境比较及案例分析[J]. 外语电化教学, 2006(1)： 66-70.

[15] 曾方本. 外语多媒体设计的符号学思考[J]. 外语教学, 2006(6)： 59-61.

[16] 姜占好. 多媒体外语教学语境下学习者语用能力的发展探讨[J]. 外语电化教学, 2009(3)： 28-32.

[17] 陈朗. 二语教学中的隐喻能力培养[J]. 外语学刊,2010(5)： 47-49.

[18] 蒋敏, 王荣明. 二语概念隐喻能力培养研究述评[J].外语界, 2015(4)： 51-57.

[19] LAKOFF G, JOHNSON M. Metaphors we live by[M]. Chicago： University of Chicago Press, 1980.

[20] Condon N. How cognitive linguistic motivations influence the learning of phrasal verbs[C]//BOERS F,LINDSTROMBERG S. Cognitive linguistic approaches to teaching vocabulary and phraseology. Berlin： Mouton de Gruyter, 2008： 133-158.

[21] 任绍曾. 概念隐喻及其语篇体现—对体现概念隐喻的语篇的多维分析[J]. 外语与外语教学, 2006(10)： 17-21.

[22] EPPLER M J, BURKARD R A. Knowledge visualization： towards a new discipline and its fields of application[C]// SCHWARTZ D G. Encyclopedia of knowledge management. Hershey： Idea Group Publishing, 2004.

[23] 严晓蓉, 何高大. 视觉学习视角下的语言可视化表征与教学应用[J]. 远程教育杂志, 2015(2)： 46-54.

[24] 张舒予. “视觉文化与媒介素养”课程核心理念与教学设计[J]. 现代远程教育研究, 2012(2)： 38-43.

[25] SECULES T S C, HERRON, TOMASELLO M. The effect of video context on foreign language learning[J]. Modern Language Journal, 1992(4)： 480-490.

[26] 李连生, 沈虹颖. 搞好视听教学推进英语教育[J]. 外语电化教学, 2001(1)： 43-46.

[27] 赵婷, 张法科. 影响听力理解的一个超语言因素—可视材料[J]. 外语电化教学, 2005(6)： 51-54.

[28] DEBES J L. Some foundations for visual literacy[J].Audiovisual Instruction, 1968(13)： 961-964.

[29] KIMBERLY B M. Visual literacy and visual learning：integrating visual imagery into the early childhood classroom[EB/OL]. (2002-08-26). http：//teacher.scholastic.com/polaroid.

[30] BEATTY N A. Cognitive visual literacy： from theories and competencies to pedagogy[J]. Art Communication, 2013(1)：33-43.

[31] 张舒予. 视觉文化概论[M]. 南京：江苏人民出版社,2003.

[32] BRYANT J D, BROWN A, SILBERBERG S E.Effects of humorous Illustrations in college textbooks[J].Human Communication Research, 1981(1)： 43-57.

[33] LEVIN J, ANGLIN G, CARNEY R. on Empirically Validating Functions of Pictures in Prose[C]//HOUGHTON H,WILLOWS D. the Psychology of Illustration. New York：Springer Verlag, 1987.

[34] CARNEY R, LEVIN J. Pictorial illustrations still improve students’ learning from text[J]. Educational Psychology Review, 2002(1)： 5-26.

[35] 高水红. 教材插图初探[J]. 教育研究与实验,2000(3)： 36-40.

[36] 宋振韶. 教科书插图的认知心理学研究[J]. 北京师范大学学报： 社会科学版, 2005(6)： 22-26.

[37] PANTALEO S. Language, literacy and visual texts[J].English in Education, 2015(2)： 113-129.

[38] KRESS G, LEEUWEN V. Reading images： the grammar of visual design[M]. London & New York： Routledge,1996.

[39] 冯德正. 多模态隐喻的构建与分类—系统功能视角[J]. 外语研究, 2011(1)： 24-29.

[40] HEINICH R, MOLENDA M, RUSSELL J D,SMALDINO S E. Instructional media and technologies for learning[M]. New Jersey： Prentice Hall, 1999.

[41] TENG N Y, SUN S. Grouping, simile, and oxymoron in pictures： A design-based cognitive approach[J]. Metaphor and Symbol, 2002(4)： 295-316.

[42] BARTHES R. The Photographic Message, Image-Music-Text[C]. London： Fontana, 1961.

[43] O’NEIL K E. Reading pictures： developing visual literacy for greater comprehension[J]. Reading Teacher,2011(3)： 214-223.

[44] FELTEN P. Visual literacy[J]. Resource Review,2008(6)： 60-64.

[45] 束定芳. 论隐喻与明喻的结构及认知特点[J]. 外语教学与研究, 2003(2)： 102-107.

[46] MITCHELL W J. Picture theory： essays on verbal and visual representation[M]. Chicago： University of Chicago Press,1995.

[47] 束定芳, 汤本庆. 隐喻研究中若干问题和研究课题[J]. 外语研究, 2002(2)： 1-6.

[48] 朱建新. 概念隐喻与外语教学[J]. 外国语文,2009(6)： 121-126.

Exploration on College Students’ Cognitive Construction of Visual Literacy in Multimedia Context

CHEN Feng-hua
(The Hong Kong Polytechnic University HongKong 999077 China)

The cognitive construction of college students' visual literacy in the multimedia context is the era call from the rapid development of the knowledge information. This research combines multimedia cognition theory, visual grammar framework, and the textbook of New Horizon College English： Viewing, Listening,Speaking to explore the process and paradigm of concept metaphor's cognitive construction by college students. It is found out that： first, the design intention of the textbook is to help college students both entirely and accurately understand the interior image-text connections through the illustrations, and further enhance the cognitive level constructed by their visual literacy; second, the textbook constructs the cognitive model of concept metaphor through knowledge visualization and image-text relation, which helps college students see clearly and listen well the image-text content, so that their visual literacy as well as listening and speaking capability are significantly facilitated. The research is believed to be capable of offering innovative exploration perspective on how to effectively improve college English's pedagogy quality.

multimedia context; visual grammar framework; college students' visual literacy; cognitive construction; conceptual metaphor theory

H0-05

A

10.14071/j.1008-8105(2017)04-0090-07

编 辑 邓婧

2016 - 07 - 12

陈风华（1975- ）男，香港理工大学人文学院应用语言科学2014级博士研究生.