多媒体教学中通道效应的局限性及启示

张丽芳

(河北农业大学,河北 保定 071000)

Moreno等在实验中采用16张多媒体幻灯片给缺乏气象学知识的大学生被试者传授雷电形成的基本原理,将被试者学生分为视觉整合组(文字解释的每句话放在图片内对应的位置上,同时在一张幻灯片上呈现)、视觉分隔组(将解释性文字集中放在图片的下方并在一张幻灯片上同时呈现)与听觉组(每张幻灯片上只呈现图片,在呈现每张图片的同时伴随着听觉的言语解释)。在保持测验、知识迁移测验与匹配测验中,听觉组的测验成绩均显著优于视觉整合组与视觉分隔组[1]。听觉呈现文本信息的学习保持效果与迁移效果,明显优于视觉呈现图片与文本信息的效果,这种现象被称为“听觉通道优势效应”,简称“通道效应”(Modality Effect)。

在很多学科的多媒体教学中,通道效应得到了广泛的验证,其教学内容包括植物学知识、统计学中的均值计算知识等。基于通道效应的各种理论解释及局限性,分析产生通道效应的外部条件,并提出通道效应现象对多媒体教学的启示,以期为利用通道效应优化多媒体教学效果提供参考。

1 通道效应的各种理论解释与局限性

现有研究仅从认知加工系统的双通道假设、认知资源有限性假设及信息加工系统的局限性来解释通道效应,必然与一些实验结果相悖。

1.1 多媒体认知学习理论对通道效应的解释及局限性

“分割注意”观点认为,眼睛不可能同时注意文本与图片信息,需在时间上分割注意资源[2]。由于学习者的工作记忆容量有限,不同类型的信息(文本与图片)在后续的加工中无法更好地整合,导致信息的保持与迁移效果下降。而在听觉呈现条件下,文本与图片信息分别经过听觉与视觉通道同时进入学习者的工作记忆(双通道假设)系统,并得到较好的整合加工,故保持与迁移效果好于前者。

“分割注意”说只能解释图片与文本信息同时出现的通道效应,无法解释相继呈现图片与文本信息时出现的通道效应,这是其局限性之一。该学说还认为,学生需在空间上分割视觉注意资源,分别注意图片与文本信息。这就导致较高的视觉负荷,显著高于听觉呈现文本条件下的视觉负荷[3]。但眼动实验发现,受试者在图片与文本信息中只表现出极小的视觉负荷,在文本与图片间注视点的转换次数也不多[4]。

1.2 认知负荷理论对通道效应的解释及局限性

认知负荷理论通过外在(由不良的材料组织或呈现方式等产生的无效加工的认知负荷)、内在(学习材料各部分间复杂的相互作用产生的负荷)及相关认知负荷(由良好教学设计导致的、有助于学习者图式建构知识结构的负荷)与工作记忆总负荷间的关系解释通道效应[5]。该理论并不假设听觉通道在不同加工阶段可能存在的优势,而认为听觉在瞬时信息保持中具有优势,即当文本信息较简短时,学习者连续将其切分成瞬时信息,并将瞬时信息整合成组块。这时三种认知负荷不会超载,故可促进信息的保持。当听觉文本冗长时,学习者的工作记忆自身加工能力的局限性会造成听觉信息的超载,学习者不得不丢失部分信息而保持残余的听觉信息,从而削弱通道效应。

与多媒体认知学习理论相比,认知负荷理论考虑到了文本信息的信息量与加工难度对通道效应的影响。但使用尚未通过实证检验的方法对三种认知负荷进行测量并建立三种认知负荷与通道效应间的测量路径关系,缺乏足够的说服力。

1.3 认知结构整合模型对通道效应的解释及局限性

认知结构整合模型(the cognitive architecture of the integrated model)形象地描述了感觉与认知加工在不同记忆系统中的加工内容与过程[6]。感觉登记系统包含感知水平的信息,主要是听觉与视觉通道信息(也包括触觉等其他通道)。学习者的工作记忆加工系统存在语词通道与图片通道两个表征通道,在产生通道效应的情况下,与书面语句理解有关的是视觉与语词通道,与听觉文本理解有关的是听觉与语词通道,图片理解整合了语词与图片通道。感知与表征通道都只有有限的加工能力。详见图1。

图1 认知结构的整合模型示意图Fig.1 Schematic diagram of the cognitive orchitecture of the integrated model

在信息的感知水平阶段,由于视觉通道的加工能力有限,只会有一部分文本信息经过视觉通道得到加工。据此推论,若用A表示经过视觉通道的全部信息,T表示在理想情况下A被全部加工所需时间,由于视觉通道的加工能力有限,故T被分成t1与t2两个子时间段。在t1或t2时限内,只有不到一半的A信息得到加工。在工作记忆系统中,由于加工容量与存储时间的有限性,大量的信息同时进入工作系统会造成系统超载。如果不进行信息保持加工(如复述),20 s后就会迅速消退,这就造成了工作记忆中存储信息的不稳定性。在信息加工的工作记忆阶段,通道信息如果遵循邻近性(contiguity)原则(包括时间临近性与空间邻近性),就能够使两种信息在工作记忆中得到进一步加工。之所以要遵循邻近性原则,是因为眼球在对学习材料进行整合加工时具有局限性。视觉文本与图片信息同时呈现的加工劣势在于,眼睛在进行视觉搜索时只能在一定时间内注意有限的内容,当眼睛跳到另一个需要注视的文本或图片信息时,先前注意过的信息由于缺乏必要的信息保持时间而迅速消退。在进行文本语义与图片的整合加工时,学习者需要在图片与文本信息中反复搜索来寻找适合的对应信息。当视觉文本及对应的图片信息在空间上相隔越远时,学习者越需耗费更多的心理资源维持整个加工活动,以防止信息的丢失。而听觉通道可不受空间临近性的束缚,体现出一定的优势。

认知结构整合模型将信息加工过程细化为较为详尽的阶段或环节,但导致通道效应的原因还需要考虑心理资源是否充足。如果同时呈现的视觉文本信息与图片信息的信息量都很少且匹配得很紧密,用于加工这两种信息的心理资源就不会超过工作记忆能够承受的最大负荷,听觉通道的优势效应就会降低。如果没有时间限制,或给学习者呈现视觉信息的时间足够长,由于视觉信息可以反复调用,学习者也可以反复扫视视觉文本与听觉文本,此时心理资源足以增强两种文本信息的整合,听觉通道的优势效应也会降低或消失。

2 产生通道效应的外部条件

文本与图片信息的关联性会对通道信息产生显著影响。文本信息只是对图片信息的重复,二者拥有典型的高关联性。内容的简单重复巩固了视觉文本的加工,听觉通道优势效应在这种条件下消失了。另一种情况是图片信息过于简单,导致图片无法有效支持文本信息的加工。如在以“学习风格”概念为实验内容的研究中,图片中仅包含Converger等单词及AE,RO等缩写词,实验结果表明在该情况下没有表现出通道效应[7]。

此外,学习材料的呈现速度也影响通道效应。绝大多数通道效应的实验均系统控制了学习材料的呈现速度,学习材料的呈现速度越慢,越能缓解视觉通道加工文本及图片信息的瓶径压力,从而使听觉通道优势效应消失。研究者以温度变化的知识作为学习材料,文本材料分别采取“快速呈现”(每个词0.73 s)与“慢速呈现”(每个词1.00 s)两种实验处理,结果发现慢速呈现条件下出现了通道效应,而快速呈现条件下未出现通道效应[8]。

3 通道效应对多媒体教学的启示

多媒体教学中出现的视觉通道优势效应既不是由认知加工系统(即包括工作记忆系统在内的信息三级加工与储存模型)的局限性单一决定的,也不是由外部实验或教学条件单一决定的,而是由外部条件与学习者认知加工系统的局限性共同决定的。影响通道效应的外部条件包括多媒体信息呈现的时间、文本信息的信息量与加工难度、图片信息的信息量与加工难度、文本信息与图片信息的关联程度及呈现方式。制约通道效应的内部条件包括学习者注意资源的有限性、工作记忆容量与心理资源的有限性及信息加工的速度、长时记忆信息提取的速度与准确性。也就是说,通道效应是上述内外条件的多元函数。值得注意的是,多媒体信息的呈现时间对于通道效应的影响尤为突出。如果多媒体信息呈现的时间过短,听觉文本与视觉文本信息的有效加工均得不到保证,两种信息的整合也难以进行,通道效应就会消失。如果有足够的时间呈现多媒体信息,文本信息得到过度学习,也有充分的时间去整合对应的听觉信息,通道效应也会消失。

若文本与图片信息容纳的信息总量超过了学习者的工作记忆容量,且两类信息的高关联性导致加工难度增大,要想保证一定的学习效果,必须延长多媒体信息呈现的时间或分解信息、降低加工难度。否则,两种通道条件下的学习效果都会变差,通道效应甚至会消失。通道效应既受多媒体呈现方式的影响,又受学习者认知加工能力的制约,两者的交互作用共同决定是否产生通道效应或效应的大小。学习者的工作记忆容量较大、视觉信息加工速度较快、长时记忆信息提取速度与准确性较高的情况下,通道效应不会显著体现出来,反之则很容易表现出听觉通道的优势效应。故教学者应综合考虑自身的认知加工能力,调整学习材料的呈现速度等因素,利用通道效应优化多媒体教学效果。

此外,在多媒体教学中,听觉通道的优势效应也会受样本自身特征的影响。在Moreno 与Mayer的研究中,被试者来自心理学研究的样本库,对心理学研究有一定的多媒体学习与测试经验。但在Ari与Calandra 的研究中,由于被试者缺乏阅读技巧,对文本主题(如关于牛仔裤如何诞生的主题)不熟悉,文本的复杂度也较高,所以即使在视觉与听觉文本结合呈现条件下,其在学习时的认知负荷也较大[9]。被试者对视觉文本的加工的低效能,超过了听觉通道形成的内部言语加工器的加工优势,进而压制了听觉文本的通道优势。故在运用听觉通道促进多媒体教学时,可在正式教学前让学生充分了解关于学习材料的背景知识,或采用间接的方式激发学生去生成先验知识,例如让学生自主观看与教学内容有关的视频,提炼视频中的对应知识点,或增加视频中重要知识节点的提示线索,等等。总之,采取有效的教学干预措施,增强样本的学习经验,可充分发挥双通道的加工优势。