高中生化学考试作答跳转模式序列挖掘的个案研究
2022-03-08孟海燕王磊
孟海燕 王磊
摘要: 采用个案研究法,挖掘和收集学生在化学模拟考试视频中作答跳转模式的序列数据,结合访谈和实物资料,发现反映学生考场心态的作答顺序、时间分配、审题习惯和用笔习惯等具体行为表现,以提高学生对自己作答状态的元认知水平。通过改善具体行为而有效改善考场心态,促进高考成绩能够真实反映学生的学习水平,提高考试测量的科学性和准确性。
关键词: 考场心态; 考试视频; 作答跳转; 序列挖掘
文章编号: 10056629(2022)02007805
中图分类号: G633.8
文献标识码: B
1 研究缘起
高考是学生学习生涯中重要的考试之一。影响高考成绩的因素很多,徐震昊通过高考后填写调查问卷的方式进行相关与回归分析,得出学生“高考成绩”最终会以其“一模考试成绩”为基准线,以“高考发挥感觉”为上下波动系数进行动态调整[1]。李娟等运用层次分析法得出,影响高考成绩各因素的权重及排序,其中排在首位的是考场心态[2]。
学生在考场上的作答行为一定程度上反映了学生怎样的考场心态。美国教育考试服务中心何其玮及其团队一直从事基于数字化测评的学生考试行为研究。其最初是把一个考试长的序列切分成小的序列[3]进行研究,针对每道题,看学生采取哪些动作,每个动作的时长等;近年研究发展到从学生答第一道题到最后一道题的整体序列[4]。通过研究学生作答试题中的跳转,为测评学生的能力和认真程度等提供更多的量化数据支持,以提高测评的准确性。而王艳晓[5]对不同成绩等级的学生在线公共答题行为流程建模,实现对学生个体的成绩等级进行预测。目前国内鲜有对纸笔考试中学生作答行为的研究报道。
基于已有研究,本研究假设学生纸笔考试时答题序列和跳转模式一定程度上能反映学生的考场心态;拟以观察分析学生个体日常模拟考试视频为突破口,找到能反映学生考场心态的具体行为表现。期望通过帮助学生改变考场作答行为而改善考场心态,促进考试成绩能够更真实地反映学生的学习水平。
2 研究方法
2.1 研究路径和研究对象
本研究的路径为: 分析学生个体日常化学模拟考试的考试视频,挖掘学生作答跳转模式的序列数据;然后针对数据进行开放式访谈,并收集实物资料,找到序列数据背后与考试心态有关的行为表现,提高学生对自己作答状态的元认知水平;之后指导学生改善考场作答行为,从而有效改善考场心态。
本研究对象的选取依据目的性原则,选择的是日常学习勤奋刻苦、学科基础知识扎实、考试成绩经常不理想的学生。他们对自己的考场作答状态,包括做题顺序、做题时间分配、遇到哪些困难和解决策略等详情,多数表示不清楚,无法找到有效的改善考场状态的策略,考试心态不稳定。他们同意研究者用摄像机全程记录他们的考试过程。研究样本如表1所示。
2.2 数据搜集的方法
数据搜集过程与方法见表2。
2.3 数据分析假设
考试作答跳转模式的序列数据分析假设: 一是整体序列。学生应按试题编号,顺序完成1~19题。整套试题满分100分,作答时间90分钟。假定理想状态是学生均速作答,速度为0.9分钟/1分试题;二是单题序列。对于每一道选择题的4个选项,一般按顺序阅读4个选项。大题的作答顺序,一般先整体浏览题目,把握题目脉络后,按小题序号顺序作答。
3 数据分析
3.1 学生答题成绩统计
学生答题成绩统计见表3。
3.2 整体作答跳转模式
从考试视频可以看出: A、 C、 D三位学生的整体作答模式都是按题号由前向后作答(见图1),其中C学生做完最后一题后跳转回前面检查。但B学生的作答随时间推移,有明显的多次跳转(见图2)。放大B学生在11~14题之间的跳转序列,记录视频中的动作信息,同时将访谈B学生得到的动作原因,整理见表4。
相应动作按顺序正常完成。审题圈重点后,先草稿演算,排除D选项。在题号处改选D,并圈出题干反应热信息。草稿演算,排除B选项。在题号处写下选C。审题干,圈重点。回到A选项,草稿演算。圈画A选项中词语。草稿演算,排除A选项。 审题干,圈重点。圈画C和D选项,在题号处写选C。按顺序正常完成。
动作原因只有D选项是定性判断,先思考排除。同时想起第6题也考到焓变,于是跳回第6题。发现之前自己审题错误,改选答案后,又把原来审错的题干信息反应热重点标注。 B所需的定量数据题中都直接给出,先计算排除。感觉选C,直接写上。审完题干后,心虚12题的A选项,因为当时知道三种物质的数据,要算第四种物质,太繁琐,于是没算。心虚,故跳回12题。 A的计算太麻烦,看了看,還是决定不算了。于是回到13题。边圈重点,边心虚,犹豫是否回到12题算A选项。在读13题B选项之前,决定跳回12题。草稿演算A选项。算出来后,确认仍然选C。时间紧张了,赶紧往下做。 匆忙间,忘记13题没有做完。直接跳到了14题,做14题时,眼睛看到13题题号旁没有写选项,意识到13题没做完,就跳回13题。正常做13题,感觉时间更紧张。
从表4可以看出,B学生从12题跳回第6题,发现自己第一遍做第6题时审题错误,随后修改正确。此时因发现自己之前的错误而开始紧张。回到12题继续做题,因紧张、着急、担心时间不够、犹豫等原因,在12、 13、 14题之间反复跳转。
作答心态改变的起因在第6题。视频显示B学生的作答顺序依次为: 判断A,跳过B,直接计算C,在题号旁写上C,犹豫,涂掉C,圈题干中的焓变信息,看D,在题号旁写下B(正确答案)。这些做法的原因是:“看到这类难题,我就犯怵,结果第一遍审题把多投产物看成了多投的反应物”,“犯怵就瞎蒙,就跳题”。
最终B学生第6题和第12题都得到了全分,她的学科基础知识是足够的。但是,由于考场犯怵,导致瞎蒙和跳题,影响了整场考试状态。考后第二天访谈B学生时,起初研究者问及她作答跳转的原因,她否认跳转过程存在。回看视频之后,她才渐渐回忆起来,说出每一个动作的原因。像B学生这样考后不记得考场作答经历的情况很常见,因此有针对性地改善就无从谈起。基于考场视频分析挖掘整体作答跳转的序列数据,可帮助学生更加清楚自己的考场心态是如何变化的,以及这种变化是如何影响自己作答的。提升学生考场作答的元认知水平是更好地自我改善的关键步骤。
3.3 单道选择题内的作答序列
考试视频显示B学生第10题的作答顺序见图3。第一步,把表格中4个选项关于实验现象的横向看了一遍,圈画出重点词语;第二步,回到A选项,纵向看实验现象和结论,之后依次纵向看B、 C、 D选项。这个作答序列跳转的细微动作,背后的原因是该学生怕考试时间不够用,初次审题过于匆忙,并没有看清题目要求选“实验现象与结论相对应的”,以为是选表述正确的或错误的,没想到横着看完4个选项的实验现象,发现表述都对,只好返回细看题目要求,才发现题目是要求判断现象与结论的对应关系,于是重新竖着看选项。B学生心急,本想节省时间,反倒耗费了更多的考试时间。
C学生总是不清楚自己为什么选择题错误率那么高,笔者重点分析她的作答视频选择题部分。她整体是按题号作答的,然而单道选择题内部的作答序列跳转很多。常常只看了试题个别选项,就选出了答案;再看剩余选项时,再修改答案。例如第6题,在圈出题干重点后,她的作答序列为: 排除A,写选C,排除B,看完D,改选D。经访谈得知,她考场上很紧张,看题目时不能静心逐行扫描信息,而是跳跃式审题作答。从图1看出她的选择题作答耗时是最少的。笔者就她出错的单道选择题每个选项提问,她可以顺利答对,证明她的学科知识不存在问题。
3.4 单题作答耗时数据对比
将四位学生解答每道题所用时长统计列表,与假定理想值(计算方法见2.3)对比,将各学生数据对比,得出柱状图(见图4)。
图4显示,A学生的多数题目做题时长明显高于其他学生和假定理想值(第18题耗时短是因为只做了一半,就跳做19题)。其中的原因是A学生明确表示自己都会做,不清楚时间耗在哪里。
仔细查看考试视频,发现A学生做题过程中有4个明显的特点: (1)做选择题时,他的机读卡放在自己的左前方约30厘米处,每做完一道,就拿过机读卡上涂一道,再放回原处。14道选择如此往复。遇到改选择答案时,还会增加拿机读卡次数。(2)他在试卷上写草稿和审题圈画时,是用细自动铅笔,填涂机读卡时用2B铅笔,写答题卡时用签字笔,频繁更换用笔。(3)草稿写错时,会用橡皮反复擦,并吹干净卷面橡皮末。(4)做题时,经常放下笔“瞪题”。反复拿放机读卡、频繁换笔、橡皮擦拭草稿纸等动作每次几十秒,整场考试下来,总计多达15分钟。在数据面前,A学生惊呆了。他坦言,自己平时做练习题时,是没有这些做题习惯的。但正式考试时怕出错,就表现出: 选择一道一道地涂答题卡;草稿怕写错而用铅笔;考试“瞪题”,想了又想。由于考场心态使他新添的做题习惯,是导致他考试时间不足的主要原因。
C学生一向怕计算填空题,这次考试也是见到那一空时就跳过,放到最后才做。她当时感觉计算用了很长时间,但看了考试视频时间数据,只用了近2分钟就解答正确。这个数据,增强了C学生拿下计算题的信心。
对比选择题的单题耗时时长,会发现D学生解答第8题时间过长,3分选择题竟然耗时近6分钟。另外,在做15题第(7)问时,在一个2分的填空上足足花费了8分钟(图中未列出大题中每个小题耗时)。在考场紧张作答状态下,D学生并没有觉察到自己过度纠结这2道题。在实际考试时,越是原本成绩优秀的学生,越坚信自己一定能把题目做出来,不肯策略性跳过或放弃。以往高考失利的学生中不乏此类例子。正确做法是当在考场上做题遇到障碍时,要适度关注时间。若题目确实过难,为在一定时间内展现自己更多方面的学习水平,需要策略性地跳转作答,完成全卷后,还有时间,再跳转回障碍处攻克难点。D学生很清楚应有的正确做法,但并没有意识到自己在这方面存在问题。考试视频分析让他清晰地“看到”了自己的作答状态,下决心改善。
4 基于数据分析的改进
A学生为争取更多答题时间,将考场作答习惯改为: 做完所有选择题,一次性涂机读卡;一直用签字笔写草稿和答卷,省去橡皮擦拭时间;用合适的修改符号保持草稿的清晰度。之后不久的模拟测试中,他得了满分。A学生总结道:“该摄像记录了贴近真实的日常试卷作答过程,让我了解了平常未曾想到的作答习惯问题,反映了我考场过于谨小慎微、怕出错的心态,感到比较惊讶。分析过程非常有趣,从别的视角回顾可以了解当时没有注意到的细节。从数据上能清晰显示出时间分配的不合理和一些会多多少少拖慢速度的习惯。我该在这两个方面注意一下。”
B学生针对自己考场犯怵,先增加了平日里对犯怵题目的刻意练习和总结,从而增加考場情绪稳定性。考试遇到小阻碍,策略性暂时跳过。争取把试题一遍全做过,再回查,不在中间纠结反复。后来她在家录下了自己另一次模拟考试的视频,主动找笔者一起分析。她的收获是:“我以前其实不太在意考试过程中的做题技巧,认为只要知识掌握够熟练,不管做题技巧有什么问题,最后的成绩应该不会有太大差距。固然知识掌握是基础,但是在分析考试视频的过程中,我也感受到了做题的速度、方式与习惯其实也对成绩产生了不小的影响。这种影响归根结底是心态。我易被心态影响,一直对化学不够自信,性子也比较急。我以往知道自己的问题,只是不知道如何改进心态,也不知道改进心态有什么作用。但是当老师给我进行视频分析后,我能够从真正的、具体的内容里去学习如何调整做题习惯进而改进心态:‘少圈画题干没用的词语,要真审题’‘选择不要跳选项跳题,稳住’‘实验和结论对照起来看’,这样的分析给我最大的收获就是学会反思自己的试卷完成过程,进而通过反思踏踏实实放稳心态。在这个过程中,我逐渐习惯了考试后的自我反思。”
针对C学生出现的问题,笔者建议她在考场上采用草稿纸局部遮挡试题,对每个选项进行逐行扫描审题。之后的3次模拟考试中,她的选择题正确率有了明显提升。她是这样总结的:“我对自己的作答有了更系统的认识,包括做卷子时出现的问题、做题的时间分布和自身在不同题型上的优势和不足。这让我找到了改进的方向。”
D学生参与研究,就是想了解自己的考场作答模式。他如愿以偿,发现了自己考场上的过度纠结之处。在接下来的考试中适当调整,做题节奏更加稳健。
北京2021年高考化学试题难度很大,这四位学生的化学高考成绩(等级赋分),学生B和D与他们平时的化学学习水平保持了一致,学生A和C进步非常明显。
综上可见,基于考试视频的作答跳转模式序列数据挖掘,无论是整套试卷,还是针对单题,研究者都可以基于數据分析,找到体现考场心态的具体行为,通过帮助学生改变考场行为,从而改善考试心态。
5 研究反思与展望
基于日常考试视频,挖掘学生作答跳转模式中的序列数据,可寻找到学生的作答顺序、时间分配、审题习惯和用笔习惯等反映考场心态的具体行为表现,通过改善这些具体行为,达到改善考场心态的目的。首次使用该方法分析考试视频的研究者应该是专业任课教师,逐渐过渡到师生共同完成,最终学生本人也可以独立完成自我分析。这种研究方法,是一种基于实证的促进高考成绩更真实反映学生的学习水平的有效方法。
未来更多的考试在计算机上进行,再加上视频分析技术的日益进步,相信数字化测评和视频分析技术相结合,会使基于考试视频的作答跳转模式序列数据挖掘分析在促进考试评价的科学性和客观性上有更广阔的应用空间和前景。
参考文献:
[1]徐震昊. 高考成绩与影响因素的统计测评与分析[J]. 中国统计, 2017, (4): 56~58.
[2]李娟, 张茂胜, 谈鑫杰. 影响高考成绩的多因素权重分析[J]. 数学的实践与认识, 2019, 9(24): 259~265.
[3]Zhuangzhuang Han, Qiwei He & Matthias V. D.. Predictive Feature Generation and Selection Using Process Data From PISA Interactive Problem-Solving Items: An Application of Random Forests [J]. Frontiers in Psychology, 2019, (10): 2461.
[4]Matthias V. D., Khorramdel L., Qiwei He, Shin H. J. & Haiwen Chen. Developments in Psychometric Population Models for Technology-Based Large-Scale Assessments: An Overview of Challenges and Opportunities [J]. Journal of Educational and Behavioral Statistics, 2019, 44(6): 671~705.
[5]王艳晓. 基于流程性教育数据挖掘的学生成绩预测方法研究[D]. 济南: 山东科技大学硕士学位论文, 2018.