图像的育人价值与教育的图像转向——以符号表征与交流为视角

李云星

伴随着数字科技的发展，当代社会正在经历一场深刻变革。一方面，以写作(writing)为主流正在转向以图片(image)为主流；另一方面，以书本为主流媒介正在转向以屏幕为主要媒介。[注]Kress, G. Literacy in the new media age. London: Routledge, 2003.面对这一变革，有研究者提出要建立图像时代的教育，[注]李政涛：《图像时代的教育论纲》，《教育理论与实践》2004年第8期，第1-4页。并倡导教育研究的视频与图像转向。[注]李政涛：《当代教育研究的视频与图像转向——兼论视频图像时代的教育理论生产》，《华东师范大学学报 (教育科学版)2017年第5期，第1-12页。在教育与教育研究的视频图像转向过程中，尚有诸多问题有待回答。图像与语言、文字相比，其独特的育人价值在何处？图像与语言、文字在教育实践中的关系如何？转向图像的教育意味着什么？它存在何种局限并如何超越这种局限？本文尝试从符号表征与交流的角度，对上述问题进行讨论与回答。

一、基于表征认识论的学校教育

尽管表征是教育学的主要概念之一，但它在很长的时间里都被教育理论忽略了。[注]Lewin, D. Representation and the pedagogical reduction of the world. Philosophy of Education Society，2016.这一局面直到莫伦豪尔(Mollenhauer, Klaus)才得以缓解。1983年，莫伦豪尔出版了《遗忘的联结：论文化与教育》。在该书中，莫伦豪尔区分了教育的两种基本结构类型：展示(presentation)与表征(representation)。他将前者作为中世纪教育的典型形态，后者作为现代学校教育的结构形态。在莫伦豪尔看来，教育是人类文化遗产的传递。在此意义上，不仅儿童需要成人，成人也需要儿童。因为只有经由儿童，才能传递成人认为有价值的生活方式、价值观念与文化遗产。因此，教育学的基本问题即是选择什么进行传递以及如何进行传递。[注]Mollenhauer, K. Forgotten connections: On culture and upbringing. Routledge, 2014.

聚焦如何进行传递，基于历史文本与材料的分析，莫伦豪尔揭示了作为展示与表征的教育形态。莫伦豪尔以奥古斯丁在《忏悔录》中关于语言学习的说明为例，呈现了一种作为展示的教育存在。在学校教育制度出现之前，教育是以家庭为中心展开的。父母日常生活中的展示是儿童教育的主要形式。父母通过手势、语句等展示(presentation)事物，儿童通过明晰展示动作与展示之物的联系，来习得事物的意义。展示之物不仅包含日常生活中的事物，也蕴含了上一代的价值观和生活方式。这一展示通过语言，并且蕴含了事物的结构、秩序与意义，如左与右，黑与白。儿童在习得语言之后，会通过习得的语言来表达自己的意愿。展示作为教育的基本形式依然存在于今日学校教育形态之中。布因克曼等人对课堂教学的现象学研究表明，展示(showing)与指出(pointing)是教师教学的两种基本形态。[注]布因克曼、勒德尔：《教育视频的现象学分析: 课堂中的指示, 注意和交互关注》，《华东师范大学学报 (教育科学版)》2017年第5期，第30-45页。

展示意味着让儿童直接面对事物，面对现实。由于现实世界本身过于纷杂，且充斥暴力、色情等负面内容，因此，父母的日常生活展示会采取“过滤”的方式，让某些东西被展示，另外一些东西则被拒之门外。教育机构的出现是教育过滤的制度性成果。新的机构(学校)以及机构文化出现后，文化不再是作为完整的整体呈现给儿童，而是部分呈现，并且日益脱离于总体文化。在学校中，我们不再直接向儿童呈现日常生活(尽管展示依然是教育教学的方法之一)，而是以一种不同的方式表征(represent)它们。

“表征在教育教学上是必不可少的。”[注]Lewin, D. Representation and the pedagogical reduction of the world. Philosophy of Education Society,2016.表征并不是向儿童直接呈现某物，而是通过文字、图像或者物体来代表某物或者知识。莫伦豪尔指出，夸美纽斯的《世界图解》即是教育表征的典型代表。有研究者直接将夸美纽斯的教育学称之为“表征教育学”(representational pedagogy)，并且强调现代学校教育是建立在一种表征认识论(representational epistemology)的基础之上。[注]Biesta, G.J., Osberg,D. Beyond re/presentation: A case for updating the epistemology of schooling. Interchange, 2007,38(1):15-29.夸美纽斯在《世界图解》中选取了150个主题，从“天空”到“正义”，每一个主题都有一副图画以及两种语言的解释(拉丁语与本土语言)。莫伦豪尔指出，以教育学视角观之，《世界图解》隐含了一个教育基本问题，即向儿童表征什么以及如何安排这一表征顺序。这一问题自夸美纽斯开始直至今日依然是教育学的核心问题。《世界图解》中体现了夸美纽斯对培根感觉哲学以及笛卡尔理智哲学的教育学修复与综合。他既反对培根感觉第一的理念，也反对将学习看作是不外乎基于语言或书本学习的过程。因此在《世界图解》中，夸美纽斯用图指向感觉，图片背后的分类、秩序以及解释等指向理智。换言之，事物的学习，既不仅仅是感觉印象，也不单纯是概念，而是二者的结合。

《世界图解》的出现标志着人类教育史的一次根本转移。教育表征不仅仅是简单地呈现缺席的东西，而是通过数学数字、文本符号和形而上学思想表征生活世界，将儿童引入普遍知识。[注]Lewin, D. Representation and the pedagogical reduction of the world. Philosophy of Education Society，2016.以表征认识论观之，现代学校教育的实践逻辑在于：教育者首先确定需要传递的价值、知识与文化，然后以恰当的符号(文字、声音、图片、实物)对其进行表征(如教科书)；随后师生围绕教育材料进行符号交流(如课堂教学)，进而促进学生的意义建构与文化传递。

教育由“展示”向“表征”的转向，彰显了家庭教育向学校教育的转换。这一转换有其深刻的社会历史文化根源，但也引发了一系列的教育问题。在展示教育阶段，儿童与父母的生活方式是一体的，带有鲜明的参与性与具身性特征。在进入“表征”教育之后，儿童学习转换成符号表征的认识与习得，不仅学校文化脱离于总体社会文化，儿童也陷入了表征符号的牢笼。于是，让学习的内容以及表征形式符合儿童兴趣的理论应运而生。教育的表征之维决定了教育兴趣理论的必然出现。针对表征认识论存在的问题，有研究者提出要超越表征认识论，回归“展示”认识论以及“行动”认识论，重构当代学校的目的与课程。[注]Osberg,D., Biesta,G., Cilliers, P. From representation to emergence: Complexity’s challenge to the epistemology of schooling. Educational Philosophy and Theory, 2008, 40(1):213-327.这一倡导固然有其道理，但正如莫伦豪尔所指出的，基于表征的教育代表的是当代教育的一种形态。这一形态的教育并不会随着历史的发展而消失，就像基于展示的教育并没有消失一样。在学校依然是主流教育机构的背景下，表征什么以及何以交流才是教育研究亟需关注的问题。

二、作为表征模态的图像及其育人价值

在中世纪的教育中，图像是主要的教学媒介之一。例如，承担成人教学职能的教堂在教学时，往往将教学具身于图画(picture)之中。但到了当代，人类对下一代的指导并没有嵌入身体姿态之中，而是存在于认知理解操作的公式、语法、句法、结构与类型的习得，以及一般的抽象原理之中。这一转变与17世纪的机械论有关。机械论隐喻将人类文化看作是一种机械理性主义解释。教育的目的在于掌握文化的内在原理，而非切实感知。语言作为人工产物，遵循词汇与语法规则，能够更好地呈现基本原理。[注]Mollenhauer,K. The function of the symbol in education. Phenomenology+ Pedagogy,1991(9):356-369.当然，这一转变也可能与教育的大众化以及图像的印刷技术发展不足、成本过高有关。

随着印刷技术尤其是当代数字科技的发展，图片在教育中应用又重新开始增多。研究发现，与1935年以来的教科书相比，今日的教科书书写文字越来越少，教科书中的图片越来越多。图片与文字的关系也发生了改变。图片既不是文字的简化，与文字的关系也不是简单的复制关系，而是各自带有不同的认识论可用性(epistemological affordances)。[注]Bezemer, J., Kress,G. Writing in multimodal texts: A social semiotic account of designs for learning. Written communication,2008,25(2):166-195.

以符号学视角观之，图像(image)、文字(writing)、布局(layout)、言语(speech)、动画(moving image)等都是用于表征与交流的模态(modes)，不同的模态含有不同的可用性(affordances)和特性。例如，文字遵循的是句法、语法与词法规律，文字的大小、颜色等又与社会历史文化密切相关，因而也具备意义建构的功能。言说(speech)虽然与书写一样共享句法、语法和词法结构，但它包含强度(响度)、音高及其变化、音调及其质量、音长以及沉默等特有属性。图像所涉及的元素结构、位置、大小、颜色、形状等能够呈现空间关系。相比于静态图像，动画则能够呈现运动或动作。

因为各种模态所具特性及其可用性不同，当它们用于教育表征与交流时就会各有利弊，并在育人价值的潜能上存在差异。如在教科书中将实物(量角器)转换为图片和文字时，量角器的三维特性、实际大小等都无法在图片中被感知。但量角器的图片呈现则提供了适用于一般教学实践的普遍性与理想性。当量角器被转换为文字时，量角器的特性损失更为严重，但它同时也获得了一种比图像呈现更抽象的一般性。在动作向图片与文字的转换当中，动作所随附的手势、眼神、身体姿态、面部表情的变化会被过滤掉，不过会获得书写的句法结构与先后的逻辑顺序。当动作转换为图片时，动态意义上的动作被定格为某个“瞬间”。此时，动作的具体性、流动性让位于抽象性，转换成一个普遍意义上的动作类型。

本质意义上，教育总是蕴含着生活世界与科学世界、日常语言与符号语言、具体与抽象的切换与转换。在此意义上，不论是代表具体的图像，还是更具一般性的文字都有其教育价值。只不过各自在育人价值的潜能上存在差异。这一差异也与不同模态的展开逻辑有关。在事物表征过程中，书写、言说等必须遵循时间序列逻辑。一个声音必须在另一个声音之后，一个词语在另一词语之后，一个句法和文本部分在另一个句法与文本部分之后。而图像表征则遵循空间与即时性逻辑。[注]Jewitt,C. Multimodality and literacy in school classrooms. Review of research in education,2008,32(1):241-267.它瞬间同时向观众敞开，更加开放。图像的即时性与开放性使得它的单位信息负载相较于文字更加浓缩，这也是“一图胜千言”的原理。相比于倾听，图像的信息承载更具有优势。根据研究，听一组信息，三天后的信息留存率为10%，而运用图片展示，三天后的信息留存率能达到65%。[注]Brain Rule Rundown[EB/OL] http://www.brainrules.net/vision.

符号表征与交流理论表明，图像在教育表征与交流过程中有其独特的优势与局限。这一判断也得到了认知心理学的解释与支持。心理学家理查德·迈耶(Richard E. Mayer)等人通过多年的研究发现，相比于单独的语词(words)学习，人们能够从语词与图片相结合的学习形式中受益更多。[注]Mayer, R. E. Cognitive theory of multimedia learning. In R.E. Mayer (Ed.), The Cambridge Handbook of Multimedia Learning, New York: Cambridge University Press,2005∶31-48.基于巴德利(Baddeley)的工作记忆模型，帕维奥(Paivio)的双编码理论以及斯威勒(Sweller)的认知负载理论，迈耶提出了多媒介学习认知理论(Cognitive theory of multimedia learning)。在一般意义上，迈耶所说的媒介(如图片、语词)就相当于符号学中的模态。巴德利的工作记忆理论强调，工作记忆是感觉记忆与长时记忆的联结，它包含语音系统(用于词的顺序记忆)、时空图像处理(加工视觉与空间信息)以及注意中枢系统(分配注意资源、控制加工过程)。根据双编码理论，人在信息知识表征与处理时，会同时存在两个系统：一是针对非语词事物、映像的图象编码，二是针对语言实体的语言编码。前者是根据部分与整体的关系组织，后者则根据联想与层级组织。斯威勒的认知负载理论则强调，人在工作记忆时处理信息的容量是有限的，因此需要区分认识负荷的类型。斯威勒区分了三种类型的认知负荷：内在(intrinsic)认知负荷、无关(extraneous)认知负荷与密切相关的(germane)认知负荷。其中，内在认知负荷指学习内容自带的认知要求，无关认知负荷则由与学习材料无关的因素引发，密切相关的认知负荷有助于学习提升。在三种认知负荷中，内在认知负荷不可操控，但后两者则可以控制。[注]Sorden, S. D. The cognitive theory of multimedia learning. In Irby, Beverly, et al., Handbook of educational theories. Charlotte, N.C.: Information Age Publishing, 2013.

迈耶通过研究总结了多媒介学习认知理论的工作机制。首先，多媒介的表征(词语与图片)通过耳朵与眼睛进入感觉记忆；然后工作记忆会对声音、图像进行选择与组织，形成口头模式与图片模式；最后，口头模式与图片模式会与长时记忆中的已有的知识结构进行整合，进而形成新的认知。这一原理充分凸显了图像在人类认知过程中的作用，也为图像的教育应用奠定了基础。

基于理论建构与实证研究，迈耶提出了多媒介教学的相关原则：相干性原则(排除无关的学习材料)、标记原则(对必要学习内容进行强调)、冗余原则(图形与叙述学习优于图形、叙述与印刷文本学习)、空间临近原则(语词与图片靠近的效果更好)、时间临近原则(语词与图片同时呈现的效果更好)、片段原则(基于学生节奏的片段学习比连续性学习效果更好)、预备原则(在了解多媒介学习理论基础上的学习效果更好)、情态原则(基于图形与叙述的学习优于基于图形与印刷文本的学习)、多媒介原则(词图结合学习优于单独语词学习)、个性化原则(对话类型的语词学习优于正式形式的语词学习)、声音原则(人类声音学习优于机器声音)等。[注]Mayer, R. E. Multimedia learning (2nd ed). New York:Cambridge University Press,2009.这些原则是迈耶在大量研究基础上的提炼与总结，得到了实证数据的支持。它不仅为图像的育人价值提供了理论辩护，更提供了实践支撑。

三、教育的图像转向及其超越

教育的图像转向不仅蕴含着深刻的理论根基，更有着切实的现实背景。伴随着摄影、照相、多媒体等技术的发展，人类社会已然进入图像化生存阶段。人类社会交往从以文字(书信、短信)与声音(电话)为主，转向以图片、即时语音以及实时与场景化更强的视频为载体。就内涵及其实践形态而言，教育的图像转向至少包含以下几个维度：

其一，教育目标与培养目标的图像转向。教育目标的图像转向强调将视觉素养(visual literacy)看作是教育目的之一。视觉素养概念最早由约翰·德贝斯(John Debes)于1969年提出。在他那里，视觉素养指的是通过观看并整合其它感觉经验而发展的能力。基于这一能力，人类才能区分、解释日常碰到的可见动作、物体和符号，并与他人交流。尽管一个普遍接受的视觉素养概念本身存在困难[注]Avgerinou, M., Ericson,J. A review of the concept of visual literacy. British Journal of Educational Technology,1997,28(4):280-291.，但视觉素养一经提出便得到了教育学、历史学、批评理论、修辞学、符号学、哲学等学科的关注。在教育领域，视觉素养通常指阅读、解释、鉴赏以及运用图像的能力。就能力类型而言，视觉素养与语言素养(linguistic literacy)存在差异。例如经济合作组织OECD推行的PISA阅读测试中，连续性阅读指向语言素养，侧重文字的中心思想概括与总结，而非连续性阅读往往指向图像、图表或说明书的阅读，强调非连续性信息的获取。视觉素养的提出为图像时代的教育提供了目标导向。

其二，教育空间与学习材料的图像转向。图像时代的教育应该致力于面向视觉-空间智能的图像化环境创设。如“由师生共同设计制作屏幕画面， 加强教室的视觉外观效果，探索教室墙壁、黑板在布局、平衡和颜色等方面的组合机制，同时，尽可能地丰富学习材料的视觉变化，如用不同颜色标示、变化形状、讲述和讨论时的视觉化辅助等，通过图像的设计编制来充分调动视觉、听觉、嗅觉等多重感官的结合，以期最大限度地发挥图像所具有的直观、形象的优势，使每一种教学环境中的图像都能产生教育的力量”[注]李政涛：《图像时代的教育论纲》，《教育理论与实践》2004年第8期，第3页。。教育材料方面，可依据教育内容的特性，以适切性为标志，多采用工作表、实物、模型、手绘等视觉材料，强调材料的多向度视觉呈现，如PPT、照片、数字录像、三维模型等。

其三，教学方式与学习方式的图像转向。教学方式与学习方式的图像转向强调以图像为工具、方法来提升教育的成效。例如，通过图像来讲授概念，利用思维导图让学生对自己的知识进行系统化、图像化显示。在实践层面，不同学科已经有了相应的实践。如在科学课堂上，用动画来呈现植物的生长过程；在地理课堂上，通过谷歌地图、地理信息系统等开展教学。伴随着新数字科技的发展，虚拟现实(VR)也用于课堂教学。相关实践并不仅仅局限于中小学，大学课堂也有所尝试。研究发现，在大学市场营销课堂中，采用图像总结(visual summaries)的教学方法，有助于提升学生特定专题的成绩以及总体的课程满意度。[注]Clarke,III. I, Flaherty,T.B., Yankey, M. Teaching the visual learner: The use of visual summaries in marketing education. Journal of Marketing Education, 2006,28(3):218-226.

教育的图像转向并不是对基于语言教育的否定，而是强调语言作为教育表征模态的局限以及图像交流的教育意义。根据符号学理论，符号交流中的所有模态都有助于意义的建构。所有的模态，包括书面与口头的语言模态，都以不同的方式对意义建构有贡献。在意义建构过程中并不存在单一的模态，相反，每一种模态都在整体上承担着具体的角色。奥古斯丁关于语言学习的论述早已为交流的多模态性进行了注释：

据我记忆所及，从此以后，我开始学语了，这也是我以后注意到的。并不是大人们依照一定程序教我言语，和稍后读书一样；是我自己，凭仗你，我的天主赋给我的理智，用呻吟、用各种声音、用肢体的种种动作，想表达出我内心的思想，使之服从我的意志；但不可能表达我所要的一切，使人人领会我所有的心情。为此，听到别人指称一件东西，或看到别人随着某一种声音做某一种动作，我便记下来：我记住了这东西叫什么，要指那件东西时，便发出那种声音。又从别人的动作了解别人的意愿，这是各民族的自然语言：用面上的表情、用目光和其他肢体的顾盼动作、用声音表达内心的情感，或为要求、或为保留、或是拒绝、或是逃避。这样一再听到那些语言，按各种语句中的先后次序，我逐渐通解它们的意义，便勉强鼓动唇舌，借以表达我的意愿。[注][古罗马]奥古斯丁: 《忏悔录》，周士良译，商务印书馆1963年版，第11-12页。

从奥古斯丁的阐释来看，在儿童的语言学习过程中，父母与儿童交流运用了语言、声音、动作、目光、表情以及指示物等多种模态的媒介。儿童在与父母的多模态交流中习得了语言及其背后的意义，并通过模仿习得并运用语言。交流的多模态性不仅适用于基于展示的教育，也存在于作为表征的学校教育之中。研究发现，学生英语的高级读写技能是通过组合谈话、写作以及其它表征与交流模态，如手势、眼神、动作、姿势等实现与建构的。[注]Bourne J, Jewitt C. Orchestrating debate: A multimodal analysis of classroom interaction. Reading, 2003,37(2):64-72.不仅如此，课堂文本也是通过不同模态的交流(组织的、常规的、以及社会特定的表征方式)互动实现的。行为与图像并不仅仅是对语言的说明，而是特定表征工作的实现。学习是一个多模态过程，它超越了语言。[注]Jewitt,C.,Kress, G., Ogborn, J., Tsatsarelis, C. Teaching and learning: Beyond language. Teaching education, 2000,11(3):327-341.

根据前已述及的多媒介学习认知理论，图像与文字并不是对立的关系，当图像与文字整合在一起时，能够发挥更大的教育作用。符号交流的多模态性与多媒介学习认知理论呼唤一种面向图像又超越图像的多模态、多媒介教育。

这一形态的教育在培养目标上强调超越语言素养(linguistic literacy)与视觉素养(visual literacy)的多元素养(multi-literacies)。多元素养指的是一种跨媒介、跨文化、跨模态的综合能力。它能够根据不同文化、不同媒介的特征，对多种模态的文本进行识读、解释、鉴赏与创造。同样，它也强调教育空间与教育材料的多模态性。它将课堂本身看作是一个通过空间安排、家居、视觉现实、设备、人工制品来澄清时间、管理主义、能力学科知识的多模态信号空间。[注]Jewitt, C. Multimodal discourses across the curriculum. InEncyclopedia of language and education, Springer, Boston, MA. 2008: 1098-1108.多模态教育还强调教育材料的超文本(super-text)特性。文本、教科书、互动白板的材料显示、媒体图片、动画、互联网等多模态资源都是教育材料的来源形式。多模态的教育文本旨在建立一个用于意义交换的多元符号链。这一超文本的建构与使用应基于师生互动的原则。如先经由学校教师设计涵盖教科书、网站以及其它多种模态与形式的教学资源，然后进行数字化呈现到网上。这些材料可以由学生下载、使用并反馈，然后保存。在这一过程中，教师可以根据学生的使用，对文本进行重新改写与设计。[注]Jewitt,C. Multimodality and literacy in school classrooms. Review of research in education, 2008,32(1):241-267.在教学方式与学习方式方面，同样强调多模态性与多媒介性。教师在教学方式或学习方式的设计时，首先需要追问的是，课程知识如何被组织、分类、表征并交流。如何通过不同模态多元表征课程知识以及如何运用更适切的交流模态与学生进行互动。教师与学生的多模态交流其实是呼唤教师参与的专注与投入。一般而言，教师在互动过程中采用的模态越多，越能吸引学生注意。

超越图像的教育强调要充分认识各模态的优势与局限、教学知识的性质与特征、学生的学习风格与年段特征，并结合上述因素的多元复杂关系，进而寻求适切、有效的教育教学路径。多模态教育的评价标准是适切与有效，而不是更花哨或更多的模态运用。有研究表明，尽管学生能够控制进度的动画教学更有助于学习效果的提升，但静态图像的教学运用同样有效果且能更容易、更经济地获取。[注]Hasler,B.S., Kersten,B., Sweller, J. Learner control, cognitive load and instructional animation. Applied Cognitive Psychology: The Official Journal of the Society for Applied Research in Memory and Cognition, 2007,21(6):713-729.另有研究表明，动画学习可能并不适用于带有层次结构的学习内容。[注]Dwyer, F., Dwyer,C. Effect of cognitive load and animation on student achievement. International Journal of Instructional Media,2006,33(4):379-389.还有研究表明，学生的认知类型、学习经验在采用不同形式的教学材料时存在复杂的关系。[注]McKay,E. An Investigation of Text‐based Instructional Materials Enhanced with Graphics. Educational Psychology, 1999,19(3):323-335.

教学内容、表征与交流模态以及学生特点之间存在复杂的交互关系，图像与数字时代的到来，为认识并运用这一复杂关系提供了新的视角与载体，也提出了更多的困难与挑战。探索图像与其它媒介、模态的育人价值与限度、适用对象与范围，以更好地促进教育实践及其改革，将成为当下教育研究的重要任务，也是新时期教育理论创新的可能路径。