整式运算认知诊断初探

佘 岩，徐玲玲



整式运算认知诊断初探

佘 岩1，徐玲玲2

（1．首都师范大学数学科学学院，北京 100048；2．北京理工大学附属中学，北京 100089）

认知诊断是利用诊断模型考察每名学生知识状态的方法．选用属性层级模型对初中生整式运算的认知状况进行初步探讨．实验结果表明，属性层级模型能够准确反应学生当前知识状态．其中，43.2%的学生掌握所测的全部认知属性．其余学生在不同知识上有不同程度的知识漏洞．分析不同知识漏洞产生的原因并提出部分补救措施．

属性层级模式；认知诊断；整式运算

1 前 言

认知诊断（Cognitive Diagnose，CD）是新一代测量理论的核心，它是现代心理测量理论和认知心理学发展相结合的产物．认知诊断或认知诊断评估（Cognitive Diagnose Assessment，CDA）通常被界定为个体知识结构、加工技能或认知过程的诊断评估．换句话说，认知诊断用于测量个体特定的知识结构（knowledge structure）和加工技能（processing skills）[1]．因此，认知诊断不再仅仅提供给学生一个单一且笼统的分数（能力值），而是能够提供给每个被试关于测试知识或技能等的详细认知结构．

认知诊断的实施离不开特定的心理测量模型，即：认知诊断模型．其中，Tatsuoka提出的规则空间模型（Rule Space Model，RSM）是较早的一种．该模型以矩阵理论为基础，建立属性与项目之间的对应关系，进而通过被试的作答情况推断出其所掌握的知识状态或认知技能属性[2]．所谓属性是指产生式规则、程序性运算、项目类型，更一般地，是指任何的认知子任务．Tatsuoka认为任务属性可由专家或教师从现有试卷分析出来[3]．但随后Leighton等人的研究建议，先根据属性间的层级关系建立起矩阵，再利用矩阵设计相应的测试项目．此法逻辑性更强，可保证不同测试项目所测的属性不完全相同，且属性层级结构更准确，并据此提出了属性层级模型（Attribute Hierarchy Method，AHM）[4~5]．

AHM对RSM在判别方法上亦进行了改进．由于被试的作答会受到项目难度、猜测度、失误度等的影响，导致被试的作答无法直接与理想反应模式对应．因此，RSM根据项目反应理论、马氏距离判别法或Beyesian判别法，判别每个作答反应模式对应的有序数对归属于何种理想反应模式对应的有序数对（纯规则点），进而得到被试所属的理想反应模型[6]．而AHM直接考察被试作答反应模式与每一个理想反应模式的相似概率，将被试作答反应模式判给相似概率最大的理想反应模式[5]．

据此，以AHM为基础的认知诊断的一般步骤是先分析待考察知识、能力或技能所包含的属性，并依据属性间的先决关系建立属性层级结构．再由属性层级结构得到阶可达矩阵，其中表示属性数．矩阵中元素记为或0，若属性间有直接或间接先决关系，则，否则0．随后由布尔运算得到矩阵，其能反映全部符合属性层级关系的测试蓝图和被试知识状态，即项目考核模式及被试理想掌握模式（Ideal Master Pattern，IMP）．第四步，结合矩阵编制测试试题并组卷．第五步，将被试测试的作答反应与理想掌握模式对应的理想反应模式（Ideal Response Pattern，IRP）进行判别归类，进而得到被试作答反应对应的知识状态．

当下对认知诊断的实证性研究可根据属性粒度的大小分为两个方面，一是对学生某一方面能力的认知诊断．如：涂冬波等人研究小学儿童数学问题解决的认知诊断[13]．张敏强等人利用瑞文推理测试研究11~25岁间学生的智力水平[14]．赵顶位、戴海崎研究4~8年级学生几何类比推理问题解决的认知诊断[15]．张伟平采用RSM编码TIMSS测试，对中美学生数学能力进行比较．二是研究学生某一具体学科知识的认知情况．如：Tasuoka利用规则空间模型，对中小学数学的加减法进行认知诊断[2]．余嘉元研究初二学生不等式题型解答中的认知错误[17]．Tasuoka再次研究了分数加法运算的认知诊断及干预矫正[6]．张玲等建构了解代数应用题的认知模型[18]．但是在数学领域中，基于AHM的实证研究相对较少[7~8]．其原因可能在于AHM要求待考察内容具有一定的属性层级关系，一旦属性关系界定错误，将影响AHM的判准率．因此，选择属性层级结构良好的测试内容是能否使用AHM进行认知诊断的关键．

现有认知诊断研究大多用于科学研究，几乎很少应用到初等教育教学中．而认识诊断最主要的作用是能有效检测学生当前知识状态，为后续教学进度提供依据，做到因材施教．因此，这里将AHM应用到班级教学中并选用属性层级结构良好的整式运算作为测试内容，考察学生对此部分知识的认知情况．值得说明的是，在被试及试题样本为小样本时，AHM的判准率与其它诊断模型相当，判准率达到90%以上[19]，故选用AHM作为诊断模型具有可行性．

2 测验框架设计与试题编制

2.1 对整式运算的认知属性分析

整式运算选自人民教育出版社初中数学七年级上册和八年级上册两本教材[20~21]，它是学生接触用字母表示数后最基本的运算．同时，整式乘法运算作为代数中最基本的运算技能又是后续代数知识学习的基础．因此整式运算在中学代数学习中具有重要的作用．

整式运算包含整式加、减、乘、除、乘方运算．整式运算除满足数的运算法则外，还需满足数与字母之间的运算规则．属性层级关系的界定由不同领域专家（数学教育方向研究生、一线教师、数学教授）共同参与讨论．在深入分析了两本人教版教材，并结合初中教学进度安排及时间要求后，确定该部分内容主要包含7个认识属性，如表1．

表1 整式运算属性层级

其中，7个属性的层级关系如图1．

图1 整式运算属性层级结构

需要注明的是，根据专家的讨论，整式乘法运算中涉及的完全平方公式和平方差公式可作为“记住”的知识，上述7个认识属性均不能作为这两个公式的先决条件．因此，在研究中未将其作为考察知识．另外，整式的除法运算与因式分解、分式运算关系密切，如将其全部含概在实验中，所涉及的属性过多，测试题目也相应增加．结合实际情况，将多项式乘多项式作为最“底层”的认识属性．

2.2 测试题目的编制

由各属性的层级关系确定对应的矩阵，如表2．

表2 属性层级关系下的R矩阵

以矩阵为基础，利用扩张算法[9]得到理想掌握模式，即为测试蓝图．理想掌握模式共35列，其中包含34种符合属性层级关系的项目类．其中，测试属性A5的项目类有3种，测试属性A7的项目类有一种（即：包含所有属性的项目类），其余属性的项目类均为19种．为降低测量误差，组卷中需增加A7对应的项目类．丁树良等人提出，若要实现对所有知识状态的诊断分类，则需尽可能地在测试试题中加入矩阵对应的项目类[22]．结合实际情况，共拟制28道测试题，包含除A1、A2、A3、A4、A6任取3种属性的组合（共10种）外的全部34种项目类，另增加4道含A7属性项目．28道测试题目对应的缩减矩阵见表3．试题由专家共同讨论编制，测试材料共包含4种题型：选择题、填空题、化简求值题、计算题．其中，选择题8道，填空题10道，化简求值题4道，计算题6道．每种题型内部顺序按考核属性由少至多排列．全部题目采用0~1计分，每题1分，共28分．材料具有良好信度（克伦巴赫系数>0.7）．

表3 28道测试题对应的缩减Q矩阵

2.3 属性层级结构合理性检验

AHM的一个重要问题在于需检验学生作答项目时所用的认知过程是否与假定的认知属性结构一致，即检验属性层级结构是否合理．据此，Cui等人提出层级一致性指标（Hierarchy Consistency index，HCI）[10]，其检验统计量为

HCI的提出基于AHM中的假定：若被试正确作答某个项目，则该被试掌握这个项目中的全部属性．也即，若被试正确作答某个项目，则该被试应正确作答该项目所测属性集的真子集对应的全部项目，即每个的取值为1．因此，如果测试项目对应的属性层级结构合理，那么被试的值应趋于1，反之则趋于．Gierl等人提出若所有被试的的平均值大于0.70，则认为假定的属性层级结构合理[7]．被试的的平均值0.895 4>0.70，故认为属性层级关系合理．

3 对整式乘法进行认知诊断实证研究

3.1 研究方法

3.1.1 测验工具

整式乘法运算自编试卷．

3.1.2 测试对象

选取北京某所初级中学初二年级两个平行班的学生，共81人．被试在测试前一周已学习过整式乘法的相关知识．测试时间为40分钟．全部被试测试结果均为有效数据．

3.1.3 数据处理

使用Matlab R2014a自编程序估计三参数Logistic模型（3PLM）下被试的能力值，并根据AHM的A方法判别学生所对应的理想反应模式．

3.2 结果与分析

AHM判别分类的A方法是将每个作答反应模式判给相似概率最大的理想反应模式．其中，相似概率是计算作答反应模式与某一理想反应模型所有对应分量不同时的概率积[11]．根据A方法判别分类，结果如表4．

表4 知识状态频率

由表4可见，被试可能知识状态相对集中．其原因在于AHM要求测试题目需包含所测的全部属性，例如测试多项式乘法的第24题，其包含全部7个属性（）．在设计试题时，为保证该要求，题目的运算步骤随之增加，增加了学生的认知负荷，因此包含属性较多的题目作答情况较差．当包含属性较少的题目作答良好时，AHM判别方法便将被试判给“下层”属性未掌握的知识状态．根据试卷分析表明，被试的错题主要集中在包含属性A6、A7的题目中（23~28题），正确率约为53%，而前22题正确率相对较高，约为89.5%．因此大多被试被判给（1111110）和（1111111）两种知识状态．

进一步，从被试的角度来看，处于掌握全部属性知识状态的人数最多，占总人数的43.2%，说明这些被试已较熟练掌握整式乘法的运算原理并基本能正确作答全部题目，而剩余56.8%的被试在整式乘法运算知识中仍存在漏洞．这些被试的知识状态则需要进一步分析．其中，（1）仅未掌握多项式乘法（属性A7）的被试占总人数的37%．结合属性层级关系可知，该类被试已掌握属性A7的所有先决属性A1—A6．因此，此类知识状态的被试需进一步明确多项式乘多项式的算理，教师可引导被试利用单项式乘多项式的算理推导多项式乘法运算．（2）未掌握单项式乘多项式和多项式乘法（属性A5、A7）的被试占总人数的7.4%．同样为未掌握属性A7，但此类被试与上一类被试不同．由于属性A5为A7的先决条件，因此，此类被试未掌握多项式乘法的原因在于未掌握单项式乘多项式的运算．结合此类学生对属性A1—A4和A6的掌握情况可知，被试可能对乘法分配律，即字母（数字）与多项式相乘的去括号法则不熟练．因此，该类学生需在此方面加强．（3）3名被试的知识状态为未掌握A5、A6、A7，此类学生未掌握A7的原因除与前两类学生相同之外，还包含了对合并同类项（属性A6）不熟练．通过对比3名学生的试卷，发现3名学生合并同类项掌握不好（如图2第7和第8题、图3、图4标下划线部分）．结合其余题目的作答情况和属性层级关系，可以支持3名学生对合并同类项（属性A6）不熟练的结论．合并同类项为初一所学内容，学习时间距测试时间较长，学生可能出现知识点遗忘，因此此类学生需对合并同类项进行复习．（4）其余被试所对应的知识状态均是由于“基本”属性（各类公式及算法）掌握不良，导致未能掌握下层的属性，因此，这些被试需先将“基本”属性掌握熟练后，方可进一步练习单项式乘多项式及多项式乘法．

图2 某名未掌握属性A6的学生试卷（一）

图3 某名未掌握属性A6的学生试卷（二）

4 小结与展望

采用属性层级模型对初中生整式乘法的认知状况进行初步诊断．探明学生当前的知识状态，使得每一位学生了解自身存在的知识漏洞，教师亦据此进行针对性的补救教学．

虽然部分研究提出AHM的判准率不高[23~24]．但结合作答试卷分析，采用AHM判别法基本符合实际情况．因此，研究具有一定的实际价值．当下，有研究亦提出利用神经网络对学生进行判别分类[12，25]．该方法优势在于能够更精细地估计每名被试每个属性的掌握概率．此法亦能够进一步帮助教师把握整体学生的知识状态．因此，在未来的研究中，可进一步尝试用神经网络对学生进行判别诊断．

[1] Leighton J P, Gierl M.[M]. Cambridge, UK: Cambridge University Press, 2007.

[2] Tatsuoka K K. Rule Space: An Approach for Dealing with Misconceptions Based on Item Response Theory [J]., 1983, 20(4): 345-354.

[3] Tatsuoka K K. Toward an Integration of Item-Response Theory and Cognitive Error Diagnosis [A]. In: Frederiksen N, Glaser R L, Lesgold A M, et al.[C]. New Jersey: Erlbaum, 1990.

[4] Gierl M J, Leighton J P, Hunka S M. Exploring the Logic of Tatsuoka’s Rule-Space Model for Test Development and Analysis [J]., 2000, (19): 34-44.

[5] Leighton J P, Gierl M.[M]. Cambridge, UK: Cambridge University Press, 2007.

[6] Tatsuoka K K. Computerized Cognitive Diagnostic Adaptive Testing: Effect on Remedial in Struction as Empirical Validation [J]., 1997, 34(1): 3-20.

[7] Gierl M J, Wang Changjiang, Zhou Jiawen. Using the Attribute Hierarchy Method to Make Diagnostic Inferences about Examinees’ Cognitive Skills in Algebra on the SAT [J]., 2008, 6(6): 1-53.

[8] Gierl M J, Alves C. Using the Attribute Hierarchy Method to Make Diagnostic Inferences about Examinees’ Knowledge and Skills in Mathematics: An Operational Implementation of Cognitive Diagnostic Assessment [J]., 2010, (10): 318-341.

[9] Ding S, Luo F, Cai Y, et al.[M]. Universal Academy Press, Inc. Tokyo, Japan, 2008.

[10]  Cui Y, Leighton J P, Gierl M J, et al.[C]. Paper Presented at the Annual Meeting of the National Council on Measurement in Education, SanFrancisco, CA. 2006.

[11]  Leighton J P, Gierl M, Hunka S M. The Attribute Hierarchy Method for Cognitive Assessment: A Variation on Tatsuoka’s Rule-Space Approach [J]., 2004, 41(3): 205-236.

[12]  Gierl M, Cui Y, Hunka S M. Using the Attribute Hierarchy Method to Make Diagnostic Inferences about Examinees’ Cognitive Skill [A]. In: Leighton J P, Gierl M.[C]. Cambridge, UK: Cambrige University Press, 2007.

[13] 涂冬波，戴海崎，蔡艳，等．小学儿童数学问题解决认知诊断[J]．心理科学，2010，（6）：1 461-1 466．

[14] 张敏强，简小珠，陈秋梅．规则空间模型在瑞文智力测验中的认知诊断分析[J]．心理科学，2011，（2）：266-271．

[15] 赵顶位，戴海琦．4~8年级学生几何类比推理问题解决认知诊断[J]．心理学探新，2012，（1）：77-81．

[16] 张伟平．TIMSS测试的认知诊断评价标准下中美学生数学能力比较[J]．数学教育学报，2010，19（4）：66-69．

[17] 余嘉元．运用规则空间模型识别解题中的认知错误[J]．心理学报，1995，（2）：196-204．

[18] 张玲，刘静．解代数应用题的认知模型[J]．数学教育学报，2017，26（1）：64-69．

[19] 蔡艳，涂冬波，丁树良．五大认知诊断模型的诊断正确率比较及其影响因素：基于分布形态、属性数及样本容量的比较[J]．心理学报，2013，（11）：1 295-1 304.

[20] 义务教育教科书数学七年级上册[M]．北京：人民教育出版社，2012．

[21] 义务教育教科书数学八年级上册[M]．北京：人民教育出版社，2012．

[22] 丁树良，汪文义，杨树群．认知诊断测验蓝图的设计[J]．心理科学，2011，（2）：258-265．

[23] 祝玉芳．RSM改进及多级评分AHM的开发研究[D]．江西师范大学，2008．

[24] 韩裕娜，张敏强．方杰属性层级模型的改良及诊断性能研究[J]．心理学探新，2015，（1）：90-95．

[25] 王立东，郭衎，孟梦．认知诊断理论在数学教育评价中的应用[J]．数学教育学报，2016，25（6）：15-19．

[责任编校：周学智]

Primary Exploration of the Cognitive Diagnose in Integral Expression Operation

SHE Yan1, XU Ling-ling2

(1. School of Mathematical Sciences Capital Normal University, Beijing 100048, China;2. High School Affiliated to Beijing Institute of Technology, Beijing 100089, China)

Cognitive diagnose was a method to test students’ cognitive states using diagnose model. The study used attribute hierarchy method to diagnose 8 grade students’ cognitive states of integral expression operation preliminarily. The result showed that: attribute hierarchy method was an effective model to require knowledge states. 43.2% students had been mastered all the cognitive attributes. Other students had different levels gaps in different knowledge. This study analyzed the result of these gaps and put forward some remedial measures.

attribute hierarchy method; cognitive diagnose; integral expression multiplication

G632.0

A

1004–9894（2017）03–0049–04

2017–01–20

佘岩（1990—），女，北京人，博士，主要从事中小学数学教育研究．