在线测评中的学习者眼动行为分析*——以浙江工业大学的眼动实验为例

江 波 王小霞 刘迎春 高 明

（浙江工业大学 教育科学与技术学院，浙江杭州 310023）

引言

作为一种测评知识能力水平的方式，考试在学习中起着不可或缺的作用。考试成绩既可以作为学习者改进学习方法的参考，也可以作为教师改进教学方法的参考。但在传统的纸质试卷考试环境下，由于缺乏数据采集的方法，无法对个体考试过程进行深层次研究。而在线测评能同时结合多种评估功能和评估方法对学习者进行评估[1]，故为考试过程分析提供了可能。

在视觉信息呈现过程中，眼睛的凝视和注意之间存在密切的关系[2]。而视觉注意是人类视觉系统中的重要部分，与眼动及信息加工机制有密切的联系[3]。因此，研究者通常采用眼动追踪技术来探寻人的视觉注意[4]。眼睛注视位置、注视时间和扫描路径是三个常用的眼动指标。其中，眼睛注视位置反映了注意力，注视时间反映了加工难度和注意量（信息被注视的时间越长，处理越复杂或越深入）[5][6]——眼睛注视位置和注视时间能反映个人的阅读策略和先前的知识或经验[7]；扫描路径则展示了个人在面向目标任务中使用的认知策略[8]。教育领域中的眼动研究多用于探究个体的数字化阅读行为的影响因素[9][10][11][12]和不同学科中影响教学过程的因素[13][14]。

然而，目前我国对测评过程中眼动行为分析的研究尚处于起步阶段，相关研究成果较少。与数字阅读和多媒体学习等任务不同，信息检索是测试过程中的重要行为，能匹配人脑中编码的消息和呈现的线索[15]。学习者在考试中必须首先将注意力分配给试题所提供的信息进行关键特征识别，然后从长期记忆中检索有关信息的信息存储并与关键特征进行匹配，再进行整合和验证，以能正确地回答问题。Pollatsek等[16]的研究表明，眼动行为、特征识别与整合过程有密切的关系。Humphrey等[17]指出，眼动追踪技术可以实时检测学习者在线测评时的信息检索过程和完成任务的路径。Chen等[18]则认为，在线测评中的眼动行为能够反映考试的视觉注意和认知过程，并且和测评成绩具有较强的关联性。基于此，本研究借助眼动能表征视觉注意的功能，采用在线测评的方式，以《行政职业能力测验》为实验材料进行了眼动实验，旨在根据学习者在线测评的眼动行为和测试结果，探究试题自身因素对视觉注意的影响和学习者进行在线测评时的视觉注意模式。

一 眼动实验介绍

1 实验目的

①考题中的哪些因素（如题目难度、类型）会影响学习者的视觉注意？

②眼动数据和答题情况之间的关系如何？

③不同类型题目中学习者的视觉注意模式有何不同？

2 实验对象

本研究选取浙江工业大学的20名2016级在读硕士作为被试（其中男生10名，女生10名），年龄范围为22～25岁，专业为教育技术学和教育学。

3 实验材料

①基本信息问卷，用于获取被试的性别、年龄、专业和是否参加过公务员考试等基本信息；

②考试系统。项目组成员基于C语言和SQL Server数据库系统，开发了一个适用于本次实验的考试系统。考试试题选自公务员学习测试平台“粉笔公考”上的“2015年425联考《行政职业能力测试》真题（浙江A卷）”，最终选取了包含7道简单题、7道中等题、6道难题在内的20道试题——其中，常识判断、言语理解、数量关系、判断推理四种类型的题目各5题，且题目难度均匀分配在四种类型的题目中。

4 数据采集系统

本研究的实验仪器有笔记本电脑1台，用于运行实验所用的考试系统，型号为惠普EliteBook 840；眼动仪1台，型号为Tobii EyeX，采样频率为60HZ——该眼动仪的优势之一是被试无需佩戴任何设备，便可将眼动仪架在笔记本电脑上，并且被试的头部可以自由地进行小范围移动，因此被试能在一个更加舒适自由的状态下进行实验，得到的实验数据更加真实。在被试完成每一道试题后，考试系统可以通过按钮触发的方式启动眼动仪的数据采集和分割功能。本研究对20名被试在每道试题上（共20道试题）的眼动数据进行独立采集，共获取400个数据样本。

5 实验准备过程

实验准备过程如下：被试填写基本信息问卷→实验员向被试告知实验内容，说明实验过程中应注意的事项→实验员对眼动仪进行校准，校准后告诉被试要保持目前的身体姿势，不能进行太大幅度的移动→进入正式实验。

6 数据预处理与分析

本研究利用眼动仪提供的API导出获取的400个数据样本，并用Excel进行初步整理。整理后发现，实验过程中有4个数据样本丢失（占总样本数的1%），为此本研究采用均值填补的方法来恢复丢失的数据。对于预处理后的数据，本研究运用SPSS 20.0软件进行数据分析，并借助Python(x,y)绘制注视热点图。

二 眼动实验要素

1 眼动指标

本研究涉及的眼动指标有17个，包括8个注视指标、8个凝视指标和总时间。其中，注视（Fixation）指眼睛看的是某一块兴趣区域内的事物，存在开始注视节点和结束注视节点；凝视（Gaze）指眼睛注视屏幕上的某一个兴趣点；总时间指被试完成一道题所花费的时间。

8个注视指标分别为：①注视次数，指被试在一道题中注视点的数量；②总注视时间，指一道题的注视总时间；③平均注视时间，指一道题中注视时间的平均值；④注视标准差，指一道题中注视时间的标准差；⑤最大注视时间，指一道题中最长的注视时间；⑥注视比率，指一道题中单位时间内的注视次数；⑦注视离差和，指单次注视时间与注视均值之差的和；⑧注视离差最大值，指单次注视时间与注视均值之差的最大值。

8个凝视指标分别为：①凝视次数，指一道题中凝视点的数量；②总凝视时间，指一道题的凝视总时间；③平均凝视时间，指一道题中凝视（某点）时间的平均值；④凝视标准差，指一道题中凝视（某点）时间的标准差；⑤最大凝视时间，指一道题中最长的凝视时间；⑥凝视比率，指一道题中单位时间内的凝视次数；⑦凝视离差和，指单次凝视时间与凝视均值之差的和；⑧凝视离差最大值，指单次凝视时间与凝视均值之差的最大值。

2 题目类型和难度

题目类型有4种，分别为：①常识判断，考察被试对国情社情、文化常识的了解程度和综合管理基本素质；②言语理解，考察被试对语言文字的综合分析能力；③数量关系，考察被试快速理解和解决算数问题的能力；④判断推理，根据对试题的判断推理，来考察被试的逻辑能力和认知能力。

题目的难度是通过对“粉笔公考”APP上的答对百分比进行难度系数计算来判定的，其中，难度系数＜0.3的题为简单题，难度系数处于0.3～0.6之间的题为中等题，难度系数＞0.6的题为难题。

三 眼动实验分析

本研究提取实验结果中的各眼动指标，结合题目类型、难度、答题情况，从平均值、标准差等方面对实验数据进行多因素方差分析、独立样本T检验等统计分析，并绘制答题热点图进行可视化分析。通过对实验数据进行正态分布检验，并将20名被试的实验成绩进行K-S检验，本研究得到以下检验结果：实验成绩呈正态分布（P=0.639>0.05），数据合理有效。

1 题目类型和难度对视觉注意模式的影响

通常情况下，在进行在线考试时，题目类型和难度会在不同程度上影响考试结果。本研究通过多因素方差分析，来探究题目类型和难度对被试视觉注意模式的影响。眼动指标的题目类型和难度的多因素方差分析结果如表1所示。表1显示了在题目类型上存在显著性差异的12个眼动指标，其中有4个眼动指标（即凝视标准差、最大凝视时间、凝视离差和、凝视离差最大值）在题目难度上存在显著性差异，有9个眼动指标（注视次数、总时间、总注视时间、总凝视时间、凝视次数、凝视标准差、最大凝视时间、凝视离差和、凝视离差最大值）在题目类型*难度上存在显著性差异。

进一步将实验结果按照题目类型和难度进行分类计算答题的正确率，结果显示：4种类型题目的正确率相差不大（数量关系的正确率为52%、言语理解为47%、判断推理为43%、常识判断为41%），且每种类型题目中都包含了3种难度的题目，说明难度对答题正确率的影响不大。而将实验结果按照难度分类计算的答题正确率，结果显示：3种难度之间的正确率相差很大（易题的正确率为63.5%、中等题为50.7%、难题为19.2%），且不同难度的题目中也都包含了4种类型的题目，说明题目类型会影响答题的正确率，符合基本常识。

表1 眼动指标的题目类型和难度的多因素方差分析结果

由此可见，题目类型和难度都会对眼动指标数据产生影响，且题目类型对眼动指标的影响大于难度对眼动指标的影响，也就是说，不同类型的题目所产生的视觉注意模式存在显著性差异。造成此结果的原因，可能是由于不同类型的题目有不同的解题思路，而学习者对于不同类型的题目有不同的认知过程和决策过程。

2 不同组别的视觉注意模式之间的差异

如前文所述，不同类型的题目所产生的视觉注意模式存在显著性差异，因此本研究首先按题目类型将被试分成4组，再继续按答题情况分成2组（答对组和答错组），最后做独立样本T检验，以分析不同组别的视觉注意模式之间的差异，检验结果如下：

在言语理解题中，没有眼动指标在答题上存在显著性差异，其原因可能在于被试的起始知识水平相似——起始知识水平和视觉注意之间存在一定的关系[19]，而答对组和答错组具有相似的起始知识水平（均为相近专业的硕士研究生），两组对于言语理解类型的题目的信息加工过程和认知过程也较为相近。

在常识判断题中，凝视标准差（P=0.059）、最大凝视时间（P=0.069）、凝视离差和（P=0.079）、凝视离差最大值（P=0.069）的概率值都接近于 0.1，说明上述 4个眼动指标在答题上存在边缘显著性差异。在上述眼动指标中，答错组的平均值远高于答对组，其原因可能在于常识类的题目涉及面较广，虽然被试都是在读硕士，但每个人在平时常识类知识的积累过程中还是存在一定的差异。

在数量关系题中，注视次数（P=0.009）、总注视时间（P=0.015）、最大注视时间（P=0.043）、凝视次数（P=0.016）的概率值均小于0.05，说明上述4个眼动指标在答题上存在显著性差异。在上述眼动指标中，答对组的平均值远高于答错组，说明被试在对题干进行精加工，信息加工时间长则思考的时间长，所以答对的概率更大。

在判断推理题中，注视次数（P=0.101）、总注视时间（P=0.051）、总凝视时间（P=0.109）、凝视次数（P=0.058）的概率值均接近于0.1，说明上述 4个眼动指标在答题上存在边缘显著性差异。在上述眼动指标中，答错组的平均值远高于答对组，其原因可能在于判断推理题需要先理解题目的意思后再答题，且题目中会存在类似“不属于”、“无关”等字样的提问方式，故增加了题目难度，使学习者的认知负荷加重。

3 答题热点图分析

根据上述多因素方差分析结果和独立样本T检验结果，本研究进一步绘制了答题热点图以进行可视化分析。答题热点图的背景图像为在线测试系统的界面；注视位置用点记录，点的数量越多，叠加起来后的颜色就越深，表示注视频率越高；颜色深的区域用椭圆标注出来。实验中由于眼动仪直接架在笔记本电脑上，故注视坐标的精确度会有一定的损失，因而部分热点区域和实际注视区域会存在一定的偏差，但不影响总体的分析。此外，由于每个题目的答对人数不同，可能会存在答对组和答错组的试题热点图注视个数相差较大的情况，而使分析结果出现偏差，为了避免此类情况，本研究在每类题目中选取答对组与答错组人数相差不大的题目个案绘制答题热点图。

本研究以常识判断题答题热点图（如图1所示）为例来进行分析：测试题的答案分为两行，从左至右依次为A、B，C、D；本题的正确答案是B选项。图1显示，答对组的视觉注意力主要集中在B选项，A选项次之；答错组的主要注视区也在B选项，但是B选项的注视点没有答对组多，而A选项的注视点要远多于答对组，说明答错组在对B选项进行精加工，同时与A选项进行对比排除。

图1 常识判断题答题热点图

此外，言语理解题答题热点图显示：被试的主要注视区为填空周围，答对组的注视点比答错组多，但是区别不明显；数量关系题答题热点图显示：被试的主要注视区为题干，答错组的注视点比答对组多；判断推理题答题热点图显示：答对组的主要注视区为题干和正确选项，答错组的主要注视区为题干和全部选项。由此可见，对于文本类的题目，被试的视觉注意力主要分配在题干关键点和正确选项；对于数字类的题目，被试的视觉注意力主要分配在题干。

四 小结

眼动追踪技术可以量化视觉注意力、认知过程和学习结果之间的关系[20]。结合眼动行为实验多因素方差分析、独立样本T检验和答题热点图分析，本研究发现：①题目类型和难度都会对被试的视觉注意模式造成影响，且题目类型的影响更大。②不同组别被试的视觉注意模式存在差异：在言语理解题中，没有眼动指标在答题上存在显著性差异；而在常识判断、数量关系、判断推理3种类型的题目中，均有4个眼动指标（这4个眼动指标在不同类型的题目中各不相同）在答题上存在边缘显著性或显著性差异。③在不同类型的题目中，被试的视觉注意力分配存在差异：对于文本类的题目，被试的视觉注意力主要分配在题干关键点和正确选项；而对于数字类的题目，被试的视觉注意力主要分配在题干。上述研究结果有助于在线测评中学习者的成绩预测，对于未来结合脑电图（Electroencephalogram，EEG）、事件相关电位（Event-related Potentials，ERP）等的多模态生物数据表征研究亦具有一定的参考价值。

需要指出的是，考虑到被试的选取约束条件最小化，本研究进行的眼动实验采用了浙江省公务员2015年行测考试试卷作为实验材料，而如果采用其它知识作为实验材料，可能会得出不同的实验结果。此外，由于操作眼动实验需要控制的因素较多，加上客观条件的限制，且被试样本不够大，所以本实验具有一定的局限性。后续研究将在本次眼动实验研究结果的基础之上，采集更多的样本数据来进行更深层次的分析。

[1]Gaytan J, McEwen B C. Effective online instructional and assessment strategies[J]. American Journal of Distance Education, 2007,(3):117-132.

[2]Just M A, Carpenter P A. Eye fixations and cognitive processes[J]. Cognitive Psychology, 1976,(4):441-480.

[3]王凤娇,田媚,黄雅平,等.基于眼动数据的分类视觉注意模型[J].计算机科学,2016,(1):85-88、115.

[4]Just M A, Carpenter P A. A theory of reading: From eye fixations to comprehension[J]. Psychological Review,1980,(4):329-354.

[5]Rayner K. Eye movements in reading and information processing: 20 years of research[J]. Psychological Bulletin,1998,(3):372-422.

[6]Tsai M J, Hou H T, Lai M L. Visual attention for solving multiple-choice science problem: An eye-tracking analysis[J]. Computers & Education, 2012,(1):375-385.

[7]Hyönä J, Lorch R F, Kaakinen J K. Individual differences in reading to summarize expository text: Evidence from eye fixation patterns[J]. Journal of Educational Psychology, 2002,(1):44-55.

[8]Gandini D, Lemaire P, Dufau S. Older and younger adults’ strategies in approximate quantification[J]. Acta Psychologica, 2008,(1):175-189.

[9]张茂林,杜晓新.基于眼动分析的聋人大学生理解监控能力研究[J].中国特殊教育,2012,(7):49-54.

[10]肖瑞雪,郑权.多媒体课件中插图对听障儿童阅读影响的眼动研究[J].现代教育技术,2013,(3):45-49.

[11]王妮妮,赵微.影响学前儿童图画书自主阅读的因素——来自眼动的证据[J].学前教育研究,2015,(12):22-27.

[12]赖文华,王佑镁,杨刚.语言图式和内容图式对数字化阅读影响的实证研究[J].电化教育研究,2015,(7):89-93.

[13]胡卫星,刘陶.基于动画信息表征的多媒体学习研究现状分析[J].电化教育研究,2013,(3):81-85、113.

[14]李文静,童钰,王福兴,等.动画教学代理对多媒体学习的影响:学习者经验与偏好的调节作用[J].心理发展与教育,2016,(4):453-462.

[15]Herbert J, Hayne H. Memory retrieval by 18–30-month-olds: Age-related changes in representational flexibility[J].Developmental Psychology, 2000,(4):473-484.

[16]Pollatsek A, Reichle E D, Rayner K. Tests of the E-Z reader model: Exploring the interface between cognition and eye-movement control[J]. Cognitive Psychology, 2006,(1):1-56.

[17]Humphrey K, Underwood G. The potency of people in pictures: Evidence from sequences of eye fixations[J].Journal of Vision, 2010,(10):19.

[18]Chen S C, She H C, Chuang M H, et al. Eye movements predict students’ computer-based assessment performance of physics concepts in different presentation modalities[J]. Computers & Education, 2014,(5):61-72.

[19]Tai R H, Loehr J F, Brigham F J. An exploration of the use of eye-gaze tracking to study problem-solving on standardized science assessments[J]. International Journal of Research & Method in Education, 2006,(2):185-208.

[20]张琪,武法提.学习分析中的生物数据表征——眼动与多模态技术应用前瞻[J].电化教育研究,2016,(9):76-81、109.