基于DINA模型的高中离子反应认知诊断研究
2021-09-10宋倩雯李猛常锁成谢俊
宋倩雯 李猛 常锁成 谢俊
摘要:基于DINA认知诊断模型,对高一化学离子反应进行认知诊断研究。研究结果表明:离子反应7个认知属性和属性间层级关系是合理的,基于Q矩阵理论编制的离子反应认知诊断试卷诊断效果较好,学生的认知属性掌握模式和掌握概率有差异,掌握模式比分数更能诊断学生的认知情况。基于此,对当前高一化学教学提出了合理建议。
关键词:离子反应; 认知诊断; DINA模型
文章编号:1005-6629(2021)08-0021-07
中图分类号:G633.8
文献标识码:B
1 问题的提出
Mislevy(1993)指出,测试理论的发展可以分为两个阶段:标准测试理论和新一代测试理论。标准测试理论的重点是考试成绩的结果,认为分数相同的学生能力水平是相近的。但同一分数的学生,其认知结构、加工技能、认知策略或知识状态往往不同,标准测试理论不能进一步提供隐藏在分数背后的心理内部加工过程、加工技能、认知结构、知识结构的信息[1]。因此,新一代的测试理论应运而生。心理学家在认知心理学和心理计量学的基础上,开发了具有认知诊断功能的心理计量学模型,它可以挖掘出考试成绩背后的知识结构、加工技能和认知过程,并做出更准确和详细的诊断和评估[2],为教师有针对性地对学生进行教学补救及开展因材施教提供指导。
离子反应是学生进入高中化学学习的首个重要的理论知识,这一节的内容概念多、抽象且理论性强,是元素化合物、弱电解质的电离、盐类的水解等后续内容的学习基础,也有助于发展学生的“宏观辨识与微观探析”和“证据推理与模型认知”等化学学科核心素养。《普通高中化学课程标准(2017年版2020年修订)》倡导“教、学、评”一体化,在教学中进行结构化设计,促进学生化学学科核心素养的形成与发展[3]。
DINA模型(Deterministic Inputs,Noisy and Gate Model)是由Junker和Sijtsma于2001年开发的一种认知诊断模型,是在规则空间模型基础上发展而来的,适用于对0、 1计分的项目测验进行认知诊断。该模型可以对学生的认知属性掌握模式和掌握概率进行诊断,通过诊断结果有针对性地改进教学,同时为高中化学教学评价手段提供新思路。基于认知诊断中的DINA模型,开展离子反应的认知诊断研究,有助于结构化教学,结构化是实现知识向素养转化的有效路径,突破教学重难点,使学生掌握结构化知识,发展其学科核心素养。诊断结果可以帮助教师了解每个学生对离子反应的认知情况,为教师进行补救性教学提供参考;学生也可以根据诊断结果了解自己对离子反应的认知结构,根据自己的情况进行针对性训练,提高学习效率。
2 确定离子反应认知属性和层级关系
认知诊断是以认知加工过程为基础,对个体认知过程中涉及的认知属性进行诊断。根据Leighton、 Gierl、 Hunka的观点,“属性”是对完成某个领域问题所需的陈述性或程序性知识的描述。离子反应认知属性的确定主要依据《普通高中化学课程标准(2017年版2020年修订)》和2019年版《普通高中教科书·化学必修第一册》,通过与3位一线高中化学高级教师反复研讨后得到7个认知属性以及它们之间的属性层级关系,具体编码及描述见表1。由于诊断对象是高一新生,诊断时间是学生学完离子反应之后,基于学生的知识背景和能力基础,对离子方程式的书写仅限于复分解反应类型的离子方程式的书写,不涉及氧化还原类型,对离子反应的应用仅限于简单的離子共存,不涉及关于离子共存的计算和除杂等内容。
为了进一步检验属性及层级关系的合理性,编制了《离子反应属性及属性层级关系合理性检验》问卷,共有11位教师填写,对离子反应7个认知属性的确定赞同和完全赞同的有10人,说明离子反应的认知属性确定较为准确,除了在“理解电离的基础上才能理解并掌握酸碱盐”这一层级关系的确定上有争议外,其他层级关系得到了90%以上教师的认同,进行反复讨论后得到离子反应认知属性关系见图1。
3 离子反应认知诊断试卷编制
3.1 离子反应预测试卷的编制
3.1.1 构建Q矩阵
“Q矩阵”首先由Embreston提出,然后由Tatsuoka(1995)加以完善,形成了“Q矩阵理论”[4]。Q矩阵是描述测验项目与属性间关系的矩阵。一般由J行K列的0~1矩阵组成,J为测试项目数,K为测试测得的属性数,如果Qjk=1,J项度量属性K,若Qjk=0,则J项不度量属性K。构建Q矩阵需要经过建立邻接矩阵,计算可达矩阵,通过扩张算法得到理想掌握模式Qs,最后得到测量属性和测试项目之间关系的Qt矩阵[5]。以下是离子反应的理想掌握模式Qs矩阵共有23种,理想掌握模式Qs也被称为知识状态或认知结构,是指根据属性间的层级关系、符合逻辑的掌握模式。典型项目考核模式是指根据属性间的层级关系,确定所有符合逻辑的测验项目考核模式种类。它类似于理想掌握模式,但比理想掌握模式少一种,即全0模式,对于被试来说,可以所有的属性都未掌握,但对测验项目而言,不会一个属性都不考查。因此典型项目考核模式只有22种。
3.1.2 编制预测试卷
开发认知诊断测验应遵循两个基本原则:(1)测验能诊断每个认知属性;(2)测验能多次测量每个认知属性。离子反应认知诊断预测试卷的编制在遵循以上两个原则的基础上进行编制,编制的试题要符合化学学科逻辑,例如模式(1001000)(1000100)等典型项目考核模式都难以命制试题,最终确定以11种典型项目考核模式为蓝本来命制试题,题干尽量简洁易懂,避免对学生造成干扰。分别先由3名经验丰富的一线高中化学教师命制试题,每种考核模式至少命制2道试题,题型为选择题和填空题。试题命制完成后,由这3名教师对试题进行初审,淘汰不符合要求的试题,对其中的一些试题进行讨论修改,最后给2位从教20年以上的高中化学高级教师审阅后形成由29道试题组成的离子反应认知诊断预测试卷。
3.2 离子反应终测试卷的编制
3.2.1 实施预测试
预测试选择某市重点中学高一实验班的56名学生作为被试,在学生学完离子反应之后利用化学晚自习进行统一测试,测试时间为1个半小时。测试采取0~1计分,答对记为1,答错或未答记为0,回收有效问卷56份,得到学生的作答情况矩阵。
3.2.2 层级关系检验
层级关系的检验一般有2种方法:口语报告法和层级一致性指标HCI。本研究采用HCI来验证层级关系的合理性。HCIi=1-2∑j∈Scorrecti∑g∈SjXij(1-Xig)Nci,HCI的数值范围介于[-1,+1]间,若越接近1说明拟合越好,越接近-1说明拟合越差,一般认为HCI超过0.7说明拟合较好[6]。根据以上公式可计算得出每个被试的HCI值,由于计算量较大,故采用Matlab软件编程计算出每个被试的HCI值。预测试的平均HCI值为0.7899,说明离子反应7个属性间层级关系基本正确。
3.2.3 预测试结果分析及终测试卷形成
选择当前应用较为广泛且模型相对简洁拟合很好的DINA模型来进行离子反应的认知诊断,DINA模型的数学表达式为P(Xij=1|αi)=(1-sj)ηijg1-ηijj。其中有两个重要的参数:失误参数sj和猜测参数gj,失误参数sj指的是被试掌握了项目所涉及的所有属性,本应做对这道题但是因为粗心做错的概率;猜测参数gj指的是被试没有掌握项目所涉及的所有属性,本不应该做对,但猜对了的概率[7]。一般认为猜测参数和失误参数均小于0.4时可认为诊断是有效的。采用R语言中的CDM包对学生预测试的结果进行分析,结果显示失误参数均小于0.4,部分题目的猜测参数较大。可能的原因是:(1)DINA模型是需要大量数据的模型,预测试的人数较少;(2)选择题中某些选项的暗示性较强使学生较容易猜对。对这些题目先由3位高中化学教师反复讨论调整,并通过2位从教20年以上的高中高级化学教师审阅后,最终得到大规模测试的试卷和测试的项目考察模式即Qt矩阵。
4 大规模测试及结果分析
4.1 实施测试和数据收集
测试对象为某市两所学校高一的学生,具体的情况见表2。从入学总成绩看,HGZX学业水平优于HZQYZ,实验班学业水平优于平行班。两所学校使用的教材均为2019年出版的人教版高中化学教材,HGZX实验班的教学进度稍快,其余学校班型的教学进度基本一致。测试的时间在学生学完了离子反应之后,时间为1个小时。共计发放问卷1335份,回收1329份,有效回收率为99.6%。
4.2 DINA模型项目参数估计和项目拟合
运用R语言CDM包的DINA模型将学生成绩、Qt矩阵进行分析后得到测试项目的猜测参数(slip)、失误参数(guess)和RMSEA值见表3。一般认为猜测参数和失误参数小于0.4,1-slip-guess>0,说明DINA模型基本合理,诊断是有效的。RMSEA值作为模型拟合指标,当RMSEA<0.06时表明试题在DINA模型下拟合良好[8]。由表3可知,1-slip-guess均大于0,失误参数几乎都小于0.4,虽然部分项目的猜测参数稍大于0.4,但整体均值为0.38,小于0.4,说明整体而言,诊断是有效的。RMSEA值均在0.06以下,说明试题在DINA模型下拟合较好。
4.3 学生认知属性掌握模式分析
采用最大后验概率估计(MAP)对学生的認知掌握模式进行归类,假如认知属性间没有层级关系,则有148种认知属性掌握模式,在认知属性层级关系下得到的理想属性掌握模式有23种,归类后有学生的认知属性掌握模式不在理想掌握模式中,得到归入率为87.13%,说明大部分学生的学习路径符合界定的层级关系,也进一步证明了层级关系的合理性。
不同学校不同班型学生主要的认知属性掌握模式所占比例见表4,可知HGZX实验班、平行班和HGQYZ实验班主要集中在(1111111)(1111110)(1111100)这三种掌握模式上,说明大部分被试能掌握A1电离、A2酸碱盐、A3电解质、A4复分解反应、A5离子反应的书写规则这几个认知属性,可以通过对A6正确书写离子方程式、A7离子共存这两个内容采取整体性的教学补救措施。而HZQYZ平行班的认知属性掌握模式则比较分散,且只掌握了4个属性以下的学生比较多,因此需教师针对性地对低层次的认知属性进行补救。
4.4 学生认知属性掌握概率分析
学生在离子反应的7个认知属性的掌握概率见表5。Hartze指出,如果掌握属性的概率在0.6以上,则判断被试已掌握该属性;如果掌握概率小于0.4,则被判定为未掌握该属性;如果掌握该属性的概率在0.4到0.6之间,则有待做进一步判定[9]。由表5中整体被试来看,学生关于离子反应7个认知属性掌握概率的大小关系为:A3>A6>A5=A1>A2>A7>A4。学生在A1电离、A2酸碱盐、A3电解质、A5离子方程式的书写规则、A6正确书写离子方程式、A7离子共存这6个认知属性的掌握概率均大于0.6,说明整体的掌握情况较好,而A4复分解反应的掌握概率较低为0.53。
两所学校4个班型对离子反应7个认知属性掌握的概率横向对比来看,对前6个认知属性的掌握概率基本上都是HGZX实验班掌握得最好,其次是HGZX平行班,再是HZQYZ实验班,HZQYZ平行班的掌握情况最差。对A7离子共存这一认知属性的掌握概率HGZX比HZQYZ略低,原因可能是:(1)HGZX实验班的学生学习离子反应有一段时间,对知识有所遗忘;(2)存在一定的猜测概率。不同学校、不同班型的学生在A4复分解反应、A6正确书写离子方程式和A7离子共存这三个认知属性的掌握情况上都有待加强,A4复分解反应属于初中内容的低层次认知属性,A6正确书写离子方程式和A7离子共存属于较高层次的认知属性,前者需要及时复习巩固,后者需要及时进行补救性教学。
4.5 学生属性掌握模式识别
对学生的属性掌握模式进行识别,可以知道学生哪些属性掌握了,哪些属性没有掌握,将结果反馈给授课教师和学生本人,可以为教师提供个性化的诊断信息,便于进行因材施教,学生可以根据认知属性掌握模式对自己未掌握的认知属性进行针对性的练习。部分学生的认知属性掌握模式见表6。传统的测试往往只关注最终的分数,认为分数相同或相近的学生对知识的掌握程度相似,认知诊断不仅能报告学生的分数,还能给出更深层次的诊断信息,报告学生的认知结构。实际上分数相同或相近的学生往往具有不同的认知结构,认知结构相同的学生最终的测试成绩也不一定相同或相近。学生的作答反应模式即学生在20个项目上的作答情况,1表示答对,0表示答错,学生的掌握模式即学生对7个认知属性的掌握情况,1表示掌握了该属性,0表示未掌握该属性。例如表6中2号和10号学生的总成绩都为15分,但是2号学生的认知属性模式为1111111,7个认知属性全部掌握,10号学生的认知属性掌握模式为1111110,该学生掌握了前6个认知属性,第7个认知属性未掌握。又如6号和9号学生的认知属性掌握模式均为1111110,但是6号学生的总成绩为16分,9号学生的总成绩为14分,6号学生未答对13、 15、 16、 17四道题目,9号学生未答对2、 6、 13、 15、 16、 20六道题目。
5 研究结论及教学启示
5.1 研究结论
5.1.1 离子反应7个认知属性和属性间层级关系是合理的
基于课程标准和教科书确定了离子反应的7个认知属性及层级关系;通过对一线教师的调查问卷显示离子反应7个认知属性的确定是合理的;对属性间的层级关系进行了修正,通过预测试的HCI值为0.7899显示7个认知属性的层级关系是合理的。
5.1.2 基于Q矩阵理论编制了一套诊断效果较好的离子反应认知诊断试卷
通过属性层级关系,基于Q矩阵理论编制了离子反应认知诊断测试卷。利用R语言进行分析,结果显示1-slip-guess均大于0,失误参数几乎都小于0.4,项目猜测参数均值为0.38,小于0.4,说明诊断是有效的。RMSEA值均在0.06以下,说明试题在DINA模型下拟合较好。
5.1.3 学生的离子反应认知属性掌握概率有差异
学生的主要认知属性掌握模式可以归为11类,总的归入率为87.13%。HGZX实验班、平行班和HZQYZ实验班的认知属性掌握模式集中在(1111111)(1111110)(1111100)上,而HZQYZ平行班的认知属性掌握模式则较为分散。学生关于离子反应7个认知属性掌握概率的大小关系为:
A3>A6>A5=A1>A2>A7>A4。不同学校不同班型的学生在A4复分解反应、A6正确书写离子方程式和A7离子共存这三个认知属性的掌握情况上都有待加强。
5.1.4 掌握模式比分数更能诊断学生的认知情况
传统的测试认为成绩相同的学生能力水平是相近的。然而通过对离子反应进行认知诊断研究发现,成绩相同的学生认知属性的掌握模式不一定相同,而认知属性掌握模式相同的学生,他们的成绩与作答情况也不一定相同,因此教师在教学过程要注意学生的个体差异性,进行因材施教。
5.2 教学启示
5.2.1 利用属性层级关系进行结构化教学
布鲁纳认为,教授任何一门学科,主要是学生理解和掌握这门学科的基本结构以及该学科所特有的研究方法[10]。教师在讲解时,可以根据构建的认知属性层级关系展开教学,例如在讲离子反应时可以通过导电性实验和动画模拟物质在水中溶解形成水合离子的过程帮助学生构建起电离模型,站在电离的角度重新认识酸碱盐,对化合物从电离的角度进行再分类,同时通过举例加深对电解质和非电解质的印象,在此基础上结合复分解反应和离子反应的书写规则学会正确书写离子方程式,最终利用离子间能否反应判断离子是否能大量共存,遵循知识结构循序渐进地展开教学。
5.2.2 依据诊断结果进行补救性教学
从整体诊断结果来看,大部分学生的认知属性掌握模式集中在(1111111)(1111110)(1111100)上,需对A6正确书写离子方程式、A7离子共存进行补救性教学,A6正确书写离子方程式最易出错的地方在于“拆”,教师在补救教学的过程中可以先带领学生复习常见的强弱电解质以及盐的溶解性,举例说明易溶于水的强电解质可以拆,A7离子共存属于高层次应用型的认知属性,有一定的难度,在明确能生成难溶物、弱电解质以及气体的离子是不能大量共存的基础上,教师尤其要帮助学生总结在酸性溶液中OH-、弱酸的酸根及酸式酸根不能大量共存,在碱性溶液中H+、弱碱阳离子和弱酸的酸式酸根不能大量共存。
5.2.3 根据班别和学生基础因类、因材施教
现有的大部分学校会划分班别,根据诊断分析的结果,了解到不同学校不同班别的学生在认知属性掌握上有所差异,教师在教学中要做到“因类施教”。例如HZQYZ平行班的认知属性掌握模式不同于其他类型的班级,其认知属性掌握模式比较分散且对离子反应的所有认知属性掌握情况都不太理想。根据学生的认知属性掌握模式可以绘制学习路径图,如1110100→1111100→1111110→1111111,即先对认知属性掌握模式为1110100的学生进行补救性教学,帮助他们复习A4复分解反应,使他们的认知属性掌握模式变为1111100,再和认知属性掌握模式为1111100的学生一起学习A6正确书写离子方程式,以此类推最终使学生全部掌握7个认知属性。通过这种方式可以有效进行分层教学提高教学效率。根据诊断结果显示分数相同的学生对认知属性的掌握不一定相同,而对认知属性掌握模式相同的学生,分数与作答情况也不一定相同,教师可以针对他们未掌握的属性重点讲解从而进行因材施教。
參考文献:
[1][7][9]涂冬波,蔡艳,丁树良. 认知诊断理论、方法与应用[M]. 北京:北京师范大学出版社,2012.
[2]张潇,沙如雪. 认知诊断DINA模型研究进展[J]. 中国考试,2013,(1):32~37.
[3]中华人民共和国教育部制定. 普通高中化学课程标准(2017年版2020年修订)[S]. 北京:人民教育出版社,2020:74~76.
[4]Tatsuoka K K. Architecture of knowledge structures and cognitive diagnosis:a statistical pattern classifification approach [C]. Erlbaum:Hillsdale,1995:327~359.
[5]丁树良,王文义,罗芬. 认知诊断中的Q矩阵和Q矩阵理论[J]. 江西师范大学学报(自然科学版),2012,36(5):441~445.
[6]Mark J. Gierl,Changjiang Wang,& Jiawen Zhou. Using the Attribute Hierarchy Method to Make Diagnostic Inferences about Examinees Cognitive Skills in Algebra on the SAT [J]. Journal of Technology,Learning,and Assessment,2008,6(6):9~10.
[8]石小恋. 基于认知诊断的小学生数字化阅读能力评价研究[D]. 上海:华东师范大学硕士学位论文,2017.
[10]吴式颖. 外国教育史教程[M]. 北京:人民教育出版社,1999:707~711.