多媒体学习研究中眼动跟踪实验法的应用

王 雪

(天津师范大学 教育科学学院，天津 300387)



多媒体学习研究中眼动跟踪实验法的应用

王 雪

(天津师范大学 教育科学学院，天津 300387)

近年来，眼动跟踪技术以其可以直接跟踪学习者的视觉认知过程的特点为越来越多的多媒体学习的相关研究所选用。在分析了传统认知行为实验方法的特点和眼动跟踪技术的优势的基础之上，详细论述了多媒体学习研究中眼动跟踪实验设计需要注意的几个问题，具体包括眼动跟踪实验与传统认知行为实验相结合、将眼动跟踪实验置于完整的教学系统中、仪器设备选用、眼动指标选取和数据分析方法，以期对今后的相关研究起到一定的参考和借鉴作用。

多媒体学习； 眼动跟踪； 认知过程； 学习效果； 眼动仪； 眼动指标

0 引 言

多媒体学习的认知理论是由美国加州大学圣巴巴拉分校的梅耶(Mayer)教授提出并创建的，梅耶及其研究团队用20多年的时间致力于从认知心理学的角度出发对多媒体学习的认知加工过程机制和多媒体的教学设计原理进行了理论探索和大量的实验研究，构建了多媒体学习的理论体系。[1]该理论以双通道、容量有限和主动加工3个假设为出发点，以双重编码理论、工作记忆模型、认知负荷理论和生成学习理论为理论基础，建立了多媒体学习的认知理论模型，并且通过大量的实验归纳出12条行之有效的多媒体学习的规则。[2-3]多媒体学习的认知理论具备基本假设、理论基础，又以实证研究为主要研究范式，形成了一门具备较强科学性和实用性的理论体系。目前，多媒体学习理论仍处于不断发展阶段，研究内容和研究方法也在不断扩充和创新。眼动跟踪技术以其可以直接跟踪学习者的视觉认知过程的特点为越来越多的多媒体学习的相关研究所选用。如何更好的使用眼动跟踪实验方法，进一步推动多媒体学习研究的进步和发展，是研究者应该思考的问题。

1 多媒体学习早期的研究范式

国外(主要是美国)的多媒体学习研究起步较早，成果也比较丰富。多媒体学习研究之父梅耶教授具有深厚的心理学研究背景，多媒体学习的研究目的、研究假设、理论基础和研究方法都印上了深深的心理学烙印。多媒体设计的一系列规则正是通过100多次的心理学实验验证或总结出来的。梅耶及其研究团队一般采用的是传统的反应时间测定、认知负荷测试以及正确率测试等认知行为实验方法。这些实验通常将被试随机分配到实验组和对照组中，实验组的被试使用的学习材料经过多媒体设计原则进行处理，如使用文本和画面共同呈现的多媒体学习材料(称之为多重表征组)，对照组的被试使用的学习材料不经过多媒体设计原则处理，如使用只有文本的学习材料(称之为单一表征组)。两组被试完成规定的学习任务以后通过保持测试和迁移测试对其学习效果进行测试。其中保持测试一般通过学习材料中出现的问题进行测试，可以了解被试学到了多少，即学习的数量。迁移测试一般通过与学习材料中的知识点相关，但没有直接出现的新问题进行测试，可以了解学生学到了什么，是否能够理解和运用知识，即学习的质量。并且梅耶通常是通过多个实验对同一个问题进行研究，例如，在研究“文本和画面共同呈现比文本单独呈现是否更好？”这个问题时进行了9组独立的实验验证了研究假设，从而得出了“多媒体原则”[4]。

然而，多媒体学习早期研究采用的传统的认知行为实验方法，无论是反应时测试、认知负荷测试还是正确率测试都是一种“离线(offline)”手段，通常采用的是在学习者的认知任务完成之后的回顾性的测试方式，与学习者实时的认知加工并不同步，很可能会与学习者认知加工的真实情况有所偏差，并且测试题目的类型和难度也可能会对测试结果产生影响[5]。

2 眼动跟踪技术应用于多媒体学习研究的优势

眼动跟踪技术，又称视线跟踪技术，是指对人在完成不同的认知任务时的眼动轨迹进行记录，分析诸如注视时间、注视点、注视次数、眼跳次数和瞳孔大小等眼动指标，从而研究个体的内在认知过程。眼动跟踪技术应用于教育学研究领域已有40年左右的历史，早期主要用于研究阅读的心理机制。近年来，越来越多的多媒体学习方面的研究(包括梅耶团队的研究)也开始使用眼动跟踪技术[6]，其优势主要3方面：

(1) 眼动跟踪技术是一种“在线(online)手段”。眼动跟踪技术可以直接跟踪学习者使用多媒体信息表征的学习材料进行学习的视觉认知过程，如按照什么顺序看、看了多长时间、看了哪些区域等等，透过这些数据可以揭示学习者的多媒体学习认知过程和认知规律。

(2) 眼动跟踪实验将对学习者(被试)的干扰降到最低。眼动跟踪技术通过眼动仪对学习者的眼动轨迹进行跟踪，学习者在完成实验任务时几乎感受不到外界的干扰，保证了实验结果的可靠性。

(3) 实验操作和数据处理容易。随着摄像技术、红外技术和微电子技术的不断发展，出现一大批精度高、操作简单的眼动仪。例如，目前国内外相关研究应用较多的加拿大SR公司生产的Eyelink眼动仪、瑞典生产的Tobii眼动仪以及德国生产的SMI眼动仪都是集成的眼动跟踪系统，配套了相应的眼动数据处理软件，降低数据处理的难度。这些优势推动眼动跟踪实验方法在多媒体学习研究领域的应用和发展。

3 眼动跟踪实验需要注意的几个问题

眼动跟踪技术以其实时跟踪、实验结果可靠、操作和数据处理容易三大优势在多媒体学习研究领域得到了关注和应用，同时也取得了不少研究成果。然而眼动跟踪实验方法在多媒体学习研究中应用的时间还比较短，在研究内容、各种方法的配合、变量控制、设备选用、眼动指标选取、数据分析等方面还没有形成一个成熟的范式，对这些问题进行探讨有助于更好的在多媒体学习的研究中应用这种方法。

3.1 将眼动跟踪实验研究置于完整的教学系统中

装配式项目4D模型构建采用的是Navisworks Management和Microsoft Project软件工具组合进行。

通过对国内外已有的典型研究进行梳理和分析，发现对同一问题的研究存在一些不同的结论。以“动画的播放速度对学习者学习效果影响”为例，不同的研究得出了相互矛盾的结论。Fischer让两组学生分别通过快速和正常速度的钟摆原理的动画进行学习，结果发现快速组学生对钟摆原理相关知识的测试成绩显著比正常速度组要高。而De Koning对心血管循环系统为主题的动画播放速度对学习效果的影响进行了研究，结果发现动画播放速度对学习者的保持测试和迁移测试的成绩均不产生影响。段朝辉的研究将动画学习材料的播放速度控制为慢速、中速和快速，使用眼动仪记录了学习者使用不同速度的动画学习材料的眼动数据，结合对学习者学习效果的保持测试和迁移测试，总结出动画播放速度变慢能够促进对知识的理解，但是动画播放速度对知识的识记不产生影响。[7]这些相互矛盾的研究结论引发了研究者的思考，多媒体情境下的学习效果不单单只受到多媒体学习材料的媒体元素本身的影响，而是受到媒体元素、学习者、学习内容和教学设计等因素的相互影响。

近年来，越来越多的学者将多媒体学习材料与教学内容、学习者个体特征和教学策略等因素相结合开展多媒体学习方面的研究。MURAKAMI Masayuki[8]分析了学习者的眼动数据与不同类型教学内容(包括介绍、演示、解释、说明等9种类型)之间的关系，根据每种类型的教学内容的眼动数据的特点总结出针对不同类型教学内容的多媒体学习材料如何选取图片的规则。刘儒德[9]研究了外在暗示线索与年龄两个因素对多媒体学习情境下自我调节学习过程的影响。研究发现多媒体学习情境下自我调节学习过程受到外在暗示线索与学习者年龄因素的综合影响。具体表现为两个年级的学生都能够根据外在的暗示线索对图文的阅读加工时间分配进行自我调节，七年级学生比五年级学生对测试中图文关系的监察更加准确，时间分配的自我调节出现的时间更早，自我调节策略使用的更加合理，测试的成绩也更高。胡卫星[10]在他的博士论文中综合使用传统的认知心理学实验方法和眼动跟踪实验方法对动画情境下的多媒体信息呈现方式、教学材料性质、教学内容设计方式、学习者个体特征和教师教学策略多因素对学习者学习效果的影响进行了研究。认为动画多媒体学习效果的好坏是受以上多因素综合交互影响的，并根据实验结果，总结出了若干设计动画多媒体学习材料的细则。

从上述研究中可以看出，摒弃多媒体学习过程中的其他因素，仅研究多媒体学习材料内部不同媒体元素的设计是片面的，多媒体学习的研究必然是基于内容的、基于特定情境的。同样可以推断的是，一定不存在一种适合于任何教学内容、任何教学模式或任意学习者的多媒体学习材料设计方法[11]。一个完整的学习过程涉及到教师、学生、教学内容、媒体或媒介、教学策略以及教学模式等诸多因素。同样，多媒体情境下的学习过程也会涉及到这些因素。因此，仅研究多媒体学习材料本身是不够的，应该把多媒体学习的研究纳入到更完整的框架当中去，将多媒体情境下的学习视为一个复杂的复合系统，学习效果受到教学系统中各种因素的交互影响。何克抗[12]教授提出e-learning教学系统包含四个基本要素，即教师、学生、教材(教学内容)和媒体，多媒体情境下的学习也发生于这个系统之中，学习效果受到四个要素的综合影响，如图1所示。这就要求研究者将相关研究置入教学系统当中，综合考虑教学系统四要素对实验结果的影响，明确眼动跟踪实验的自变量与因变量，确定实验的因变量(眼动指标、学习效果等)是否由所操纵的自变量(多媒体学习材料、学习者个体差异、教学内容、教学策略)引起，保证实验结果的效度。

图1 多媒体学习效果的影响因素

3.2 眼动跟踪实验与认知行为实验相结合

多媒体学习早期研究采用的传统的认知行为实验方法(反应时测试、认知负荷测试、正确率测试等)是一种“离线(offline)”手段，通常发生于学习者的认知任务完成之后，这种回顾性的测试方式与学习者实时的认知加工并不同步，并且测结果收到测试题目的类型和难度的影响，进而影响实验结果的可靠性。[13]

因此，不能将眼动跟踪实验方法作为研究的唯一方法，应该将眼动跟踪实验(在线测试)与认知行为实验(在线测试)相结合(见图2)，从知觉和认知的双重视角全面进行多媒体学习的相关研究。

图2 在线测试与离线测试相结合

3.3 仪器设备的选用

多媒体学习研究的眼动跟踪实验阶段是一个完整的流程，即多媒体学习材料的呈现、眼动数据跟踪、数据统计与分析3个阶段，如图3所示。这3个阶段构成一个完整的研究流程，缺一不可，根据不同阶段的任务，确定实验所需的仪器设备。

图3 多媒体学习研究的眼动跟踪实验流程

(1) 呈现阶段的设备。多媒体学习材料主要由计算机的显示器屏幕呈现。需要说明的是，随着移动技术的不断发展，各种运行于移动设备上电子图书、学习软件层出不求，学习者在移动学习环境下如何更有效的进行多媒体学习，也是多媒体学习需要关注的研究领域[14]，多媒体学习材料还可以由手机、平板电脑等移动设备呈现。

(2) 眼动数据跟踪阶段的设备。眼动数据的跟踪则由专业的眼动仪完成。根据多媒体学习材料呈现设备的不同，所需要的眼动仪也有所不同。目前多媒体学习研究中最为常见的眼动仪是遥测式眼动仪。这种眼动仪不需要头戴装置或头托，也不需要外置的眼动摄像机，但只能在二维平面内测试眼动追踪内容，且被试的头部也不能随意移动，被试与呈现实验材料之间的距离也固定在一个范围之内，一般为50～70 cm左右，适合于跟踪学习者基于计算机屏幕进行学习的眼动数据。另外一种不太常见的是可移动式的眼镜式眼动仪。这种眼动仪在使用时就像佩戴一副普通的眼镜一样，支持移动状态、真实场景切换，头动范围也不受限制，因此更符合移动学习的特性，适合于跟踪学习者基于移动设备学习的眼动数据。两种眼动仪的对比情况如表1所示。

表1 遥测式眼动仪与眼镜式眼动仪的选取

表2 眼动指标含义

(3) 数据统计与分析阶段的设备。一般由安装数据统计分析软件的计算机或工作站即可完成。

3.4 眼动指标选取和数据分析方法

3.4.1 眼动指标选取

根据研究目的选取恰当的、有效的眼动指标至关重要，否则会丢失研究过程中有价值的数据信息，从而导致数据分析和研究讨论泛泛而谈[15]。从已有的使用眼动跟踪实验方法的多媒体学习的研究中，可以看出大多数研究对注视时间、注视次数、瞳孔大小、眼动轨迹进行了分析，而对首次注视时间、回视次数、非注视总时间、首次注视点、首次注视点的注视时间、眼跳次数、眼跳之间的关联元素等不容忽视的眼动指标却少有问津，造成对于眼动数据利用的不充分，分析不够全面。眼动分析中某个单一的指标很难有研究价值，应该根据研究的需要对特定区域选择不同的指标进行深入分析，因而有必要根据自己的实验特点和实验目的选择若干眼动指标进行科学严密的分析。表2总结了多媒体学习中各眼动指标的含义，供研究者参考。

3.4.2 数据分析方法

眼动跟踪实验方法提供了丰富的视觉认知过程的数据，但挑战是怎么利用和分析这些数据。选择适当的眼动指标之后，恰当有效的数据分析是取得实验结论的关键。目前大多数研究采用社会科学统计软件SPSS对眼动数据进行简单百分比统计、统计描述和统计推断。简单百分比统计仅计算各类眼动指标所占的百分比，统计描述和统计推断是指计算眼动数据的平均值、标准差，并在此基础上进行更高级的分析和推断，如t检验、方差分析、回归分析、因子分析等。除了上述的统计方法外，眼动数据分析还应采用关联、聚类、分类等数据挖掘技术，发现数据背后隐藏的深层次的规律，从而总结出学习者在多媒体学习情境下的认知规律。

4 结 语

将眼动跟踪技术应用于多媒体学习研究领域，即时记录学习者在多媒体学习过程中的眼动数据，揭示学习者学习过程中的认知加工规律，对于多媒体学习研究的进一步发展具有十分重要的意义。方法的进步是取得学科创新的关键，把握多媒体学习研究的发展方向，并在今后的多媒体学习研究中更好地使用眼动跟踪实验方法，是值得关注和思考的问题。根据上述对眼动跟踪技术在多媒体学习研究中的应用分析，对眼动跟踪实验的设计和应用提出一些思考和建议，期望对今后多媒体学习的相关研究起到一定的借鉴和参考作用。

[1] 郑旭东,吴博靖.多媒体学习的科学体系及其历史地位——兼谈教育技术学走向“偱证科学”之关键问题[J].现代远程教育研究,2013(1):40-47.

[2] Richard E Mayer. The promise of multimedia learning: using the same instructional design methods across different media[J]. Learning and Instruction, 2003,13(2): 125-139.

[3] Richard E Mayer, Julie Heiser, Steve Lonn. Cognitive Constraints on Multimedia Learning: When Presenting More Material Results in Less Understanding [J]. Journal of Educational Psychology, 2001, 93(1):187-198.

[4] Tamara van Gog, Katharina Scheiter. Eye tracking as a tool to study and enhance multimedia learning[J]. Learning and Instruction, 2010,16(2):95-99.

[5] (美)迈耶.多媒体学习[M].牛 勇,丘 香译.北京:商务印书馆,2006:1-22，206-229.

[6] Jukka Hyönä.The use of eye movements in the study of multimedia learning[J].Learning and Instruction,2010, 20(2):172-176.

[7] 段朝辉,颜志强,王福兴,等.动画呈现速度对多媒体学习效果影响的眼动研究[J].心理发展与教育,2013(1):46-53.

[8] MURAKAMI Masayuki, KAKUSHO Koh MINOH Michihiko. Analysis of Students’ Eye Movement in Relation to Contents of Multimedia Lecture[J]. Transactions of the Japanese Society for Artificial Intelligence, 2002,17(4):11-14.

[9] 刘儒德,徐 娟.外在暗示线索对学习者在多媒体学习中自我调节学习过程的影响[J].应用心理学,2009(2):131-138.

[10] 胡卫星.动画情境下多媒体学习的实验研究[D].辽宁师范大学,2012:41-75.

[11] 刘儒德,赵 妍,柴松针,等.多媒体学习的认知机制[J]. 北京师范大学学报(社会科学版),2007(5):22-27.

[12] 何克抗.E-learning与高校教学的深化改革(上)[J].中国电化教育,2002(2):8-12.

[13] Tamara van Gog, Katharina Scheiter. Eye tracking as a tool to study and enhance multimedia learning[J]. Learning and Instruction, 2010,16(2):95-99.

[14] 刘世清.多媒体学习与研究的基本问题——中美学者的对话[J].教育研究,2013(4):113-117.

[15] 闫国利,熊建萍,臧传丽,等. 阅读研究中的主要眼动指标评述[J]. 心理科学进展,2013(4):589-605.

Research of Eye-tracking Experiment in Multimedia Learning

WANGXue

(College of Education Science, Tianjin Normal University, Tianjin 300387, China)

In recent years, more and more multimedia learning studies chose eye-tracking technology as studying methods because it can track the learner’s visual cognitive process directly. Based on the analysis of the characteristics of the traditional cognitive behavior experiment methods and the advantages eye-tracking technology, several problems of eye-tracking experiment in multimedia learning were discussed in detail. The problems included eye-tracking experiment in combination with traditional cognitive behavior experiment. We put the eye tracking experiment in a complete teaching system, including equipments selection, eye movement index selection, data analysis method. It was hoped that these experiences would be some references for related researches in future.

multimedia learning; eye-tracking; cognitive processes; learning effects; eye tracker structure; eye movement index

2014-10-17

天津市教育科学“十二五”规划重点课题(CEXII2002)

王 雪(1981-)，女，黑龙江绥滨人，博士，实验师，主要研究方向为多媒体学习、数字教育媒体、实验技术等。

Tel.：18622622346;E-mail：9241938@qq.com

G 443；Q 4-3

A

1006-7167(2015)03-0190-04