认知诊断评价在个性化学习中的功能与价值

李令青 韩 笑 辛 涛 刘彦楼

（1.曲阜师范大学，山东济宁 273165；2.北京师范大学，北京 100875）

以学生为中心，满足每个学生独特的学习需求是个性化学习的主要特征[1]。个性化学习要求对学习者个体差异及学习需求进行准确评价。在新学习评价观念指导下，充分发挥新方法、新技术在自动化学习数据收集、整理、分析及结果呈现中的作用，是实现个性化学习的关键要素之一[2]。在大数据时代，对学生学习进行自动的个性化评价与诊断，将教师从机械的、重复的劳动中解放出来，使其有时间和精力从事更具创造性的活动，对于师生而言都具有重要的价值与意义。本文在探讨基于认知诊断评价的个性化学习如何有效实施的基础上，以实证数据分析为支撑，重点对认知诊断评价在个性化学习中的功能与价值展开论述。

1 学习评价观念的转变

迄今，学习评价的观念发生了2次重大变化：第一次是由“学习的评价”（assessment of learning）到“为了学习的评价”（assessment for learning）；第二次是从“为了学习的评价”到“评价是学习的一种方式”（assessment as learning）[3]。“学习的评价”主要是评价学生是否达到了学习目标或标准，为学生提供排名或分数。“为了学习的评价”主要是收集学生学习过程中某段时间内的知识或技能信息，帮助教师判断学生的学习需求，指导课堂教学活动，或者向学生提供关于他们学习状况的有价值的反馈。“评价是学习的一种方式”是指让学生使用评价去促进学习，鼓励学生对自己的学习负责，鼓励同伴评价、自我评价与反思，突出学生本身在学习中的地位与作用，学生可以根据评价设定个人目标，促进自身的学习与发展。

“为了学习的评价”以及“评价是学习的一种方式”都是以促进学习为目的的评价，通过数字化工具、设施以及云计算、大数据等技术，将教育或心理测量模型无缝嵌入教师的教学及学生的学习过程中，在不中断学习的前提下，对学习过程进行动态的隐形性评价[4]。2种评价方式都是基于认知心理学专家、学科专家、教育测量学专家等对学习与发展的深入理解，教师与学生可以共同对学习过程进行监控与评价，获得及时的反馈，据此调整教与学，提高教与学的效率。

2 认知诊断评价

评价观念的变化引发了评价范式的变革。人们希望通过新的评价范式——基于认知诊断的学习评价，了解学生在多维、细粒度的潜在认知属性上的差异[5]。认知诊断评价是一个复杂的、系统化的过程，需要认知心理学专家、学科专家、心理与教育测量学专家通力协作。根据以往研究，在个性化学习中，认知诊断评价有3个主要部分：1）认知诊断评价设计与具体实施；2）模型选择与模型—数据拟合评价；3）诊断性评价结果反馈[6]。

认知诊断评价设计部分主要包括确定要诊断的学科及具体内容、明确所要诊断的认知属性以及属性与题目之间的对应关系（Q矩阵）。认知属性是学习者在解决某一具体问题时所需要的知识、技能及策略等，例如，本文第3部分所讨论的数学分数减法运算的认知诊断共包含了3个认知属性。在具体实施中，需要对测验进行预测，以确保达到诊断目的。预测阶段主要判断属性设置是否合理，是否有遗漏，测验题目是否有歧义或其他不合理之处，确认无误后，方可正式实施。

模型选择与模型—数据拟合评价部分的主要任务包括选择恰当的认知诊断模型，以及对模型与数据的整体拟合进行检验。一般而言，认知诊断模型分为一般化的认知诊断模型和具体的认知诊断模型2类。例如，对数线性认知诊断模型（log-linear cognitive diagnosis model，LCDM）是一般化的认知诊断模型；决定性输入、噪音与门（deterministic inputs，noisy“and”gate，DINA）模型、补偿的重参数化统一模型（compensatory reparameterized unified model，C-RUM）等是具体的认知诊断模型。尽管一般性的认知诊断模型能更好地拟合数据，但其不足之处在于，模型参数过多，在样本量较少的情况下属性分类准确性低。因此，需要在模型—数据整体拟合良好的前提下，选择适合具体题目的认知诊断模型[7]。需要指出的是，技术支持下的认知诊断评价中，经过验证的具体模型信息、模型参数以及Q矩阵信息均可存储于个性化学习软件系统中，以便随时随地进行诊断评价。

诊断性评价结果反馈部分主要进行认知诊断结果报告，以及提出相应的补救性措施。通过认知诊断测验，可以获得学生的认知属性掌握信息，形成个性化的认知诊断结果报告。根据诊断结果报告，可以快速地识别出个体学习过程中存在的问题，方便学生、教师、政策制定者或其他利益相关者采取针对性措施。诊断性结果反馈是连接测验开发者与应用者之间的桥梁，是个性化学习评价中最值得关注的部分。

尽管有的研究已初步尝试将认知诊断模型应用于个性化学习实践，但在模型选择、模型—数据拟合评价、诊断性评价结果反馈3方面仍有待进一步提高。首先是模型选择问题。在认知诊断测验中，没有任何一个模型适用于所用题目。本文在参考以往研究的基础上，使用观察信息矩阵计算用于模型选择的Wald统计量[8]。其次是认知诊断模型与数据拟合问题。在使用认知诊断模型解释学习者数据并获取诊断性信息前，需要对模型—数据拟合优度进行检验。在诊断性结果报告前，需要使用有限信息拟合统计量进行整体拟合检验。再次是诊断性评价结果反馈方式。以往研究对属性掌握状况的报告只是简单地采用“掌握”与“非掌握”2种方式。本文在参考Huebner和Wang相关研究[9]的基础上，认为报告学生每个属性的后验掌握概率的方式更为可取，更有助于促进个性化学习。

3 实证数据分析

3.1 数据来源

有研究者曾使用分数减法数据（或子集）作为实践案例进行研究，并不断对模型及Q矩阵进行修正[10]。Liu等发现饱和的LCDM以及其研究中所应用的Q矩阵能很好地拟合反应数据[7]。因此，本文亦使用分数减法数据子集为例，探讨认知诊断评价在个性化学习中的作用与价值。

本文所用分数减法数据子集包含536名学生在10个测验题目上的作答反应。表1第2列呈现的是具体的测验题目，第3～5列呈现的是每个测验题目与所测属性之间的对应关系，其中：“1”表示正确作答测验题目需要对应的属性，“0”则表示不需要。这份测验测查了3个属性：从整数部分借1（属性a）、分离整数（属性b）和确定共同因子（属性c）。举例而言，题目1测查了属性a与属性b，题目2测查了属性a与属性c，题目4只测查了属性a。

3.2 研究工具

首先，使用flexMIRT软件进行模型参数估计，以保证模型参数具有意义，并解决题目参数的可识别性问题。其次，自编R语言程序，使用Wald统计量进行题目水平上的模型选择；使用有限信息拟合统计量评价模型与数据的绝对及近似拟合；使用期望后验法估计学生的属性掌握模式；估计整体属性掌握状况。

3.3 分析结果

选择恰当的具体模型以及模型—数据整体拟合良好，是使用认知诊断模型解释作答数据的前提，也是认知诊断评价在个性化学习中功能与价值实现的基础。因此，首先要进行模型选择与整体拟合检验。表1第6列呈现了题目的模型选择结果。除题目1适用饱和的LCDM外，其余题目适用CRUM或DINA模型。这说明，在分数减法测验中，没有任何单一的具体模型可以有效拟合数据。其次要进行模型—数据拟合优度检验。结果显示：M2=39.47，df=21，p=0.009；RMSEA2=0.041。也就是说，尽管模型选择后的模型—数据绝对拟合优度统计量M2的p值小于0.01，但近似拟合优度统计量RMSEA2小于0.045，说明新选择的具体模型有较好的近似拟合[7]。综合而言，不同的测验题目需要不同的认知诊断模型。

表1 分数减法数据的Q矩阵与模型选择结果

以多维、细粒度的属性掌握模式提供结果反馈是认知诊断评价功能的主要体现。图1呈现的是分数减法个性化学习诊断报告单，可以发现，如果以0.5的掌握概率为切分点将每个属性简单地分为“掌握”与“非掌握”，这个学生在分数减法测验测量的a（0.572）、b（0.878）、c（0.022）3个属性上的掌握情况分别是“掌握”“掌握”与“非掌握”；同时，具体掌握概率表明，属性b掌握得最好，属性a次之，属性c则根本没掌握。对比这2种报告方式，不难发现，报告掌握概率更能体现出认知诊断评价的价值。图1还呈现了学生整体的属性掌握情况，可以发现，属性b（0.643）的掌握概率最高，属性a（0.468）与属性c（0.448）的总体掌握概率均未超过0.5。根据这一情况，教师能够更有针对性地开展教学。

综合而言，过程性诊断信息勾勒出学生在某一知识领域的优势与不足，便于学生进行个性化学习，也有助于教师提供针对性指导。也就是说，当基本的应用条件满足后，认知诊断评价不仅能提高授课效率，而且能充分兼顾学生的个性化差异，这是认知诊断评价在个性化学习中的价值体现。

4 讨论与建议

基于现代教育理念的认知诊断评价能为学生、教师及其他利益相关者提供关于学习优势与不足的多维、细粒度诊断性信息，从而指导个性化学习决策，促进个性化学习。认知诊断测验题目的编制是否恰当以及Q矩阵是否合理等都会影响评价效果。当前，尽管数字化学习设备与内容已经广泛应用于日常教学实践，但这些数据能否有效支持认知诊断评价，有待进一步检验。本研究采用分数减法数据作为实证数据分析案例的一个重要原因是，这个经典数据的子集在使用饱和LCDM以及相应Q矩阵时有很好的模型—数据整体绝对拟合。在数据爆炸式增长的时代，精心设计与实施认知诊断评价的重要性在于，可以有效避免出现“垃圾数据进，垃圾信息出”的状况。后续研究应注意以下2点：

首先，在报告属性掌握信息前，选择适合于每个题目的认知诊断模型并且对模型与数据间的整体拟合进行检验。本研究证实，即使在同一份认知诊断测验中，使用单一模型的方式也是不恰当的，不同的题目适用于不同的模型。模型—数据拟合检验的重要性在于，它为研究者提供了一个指标，用以评价模型在多大程度上真实地反映了数据中隐含的信息。后续研究应在模型—数据整体拟合优度良好的情况下进行题目水平上的模型选择；使用模型解释数据前，应重新进行整体拟合检验，以保证新模型的可靠性。

图1 分数减法个性化学习诊断报告单（样例）

其次，改进诊断性评价结果的反馈方式。提供多维、细粒度的属性掌握情况报告是认知诊断评价的优势功能之一，也是认知诊断评价能够有效促进个性化学习的原因所在。以往研究在诊断性结果反馈方面的不足之处在于，只将属性掌握状况粗略地分为“掌握”与“非掌握”；改进后的诊断评价反馈应使用实证数据进行具体展示，同时不仅提供单个学生的属性掌握情况，经过恰当的统计转换，还要提供整体的属性掌握状况。也就是说，认知诊断评价不仅能为学生提供有效的个性化学习信息，还能从总体上为教师或其他教育工作者提供用于促进学生个性化学习的整体性信息。