基于考试数据的学生物理关键能力诊断

陈 峰 林 钦

借助认知诊断的Q矩阵理论和模糊数学方法，挖掘考试数据背后的学科关键能力信息，能为有效诊断学生个体的核心素养和关键能力发展水平提供依据，避免盲目题海训练，实现减负增效。

一、关键能力诊断的理论依据

Q矩阵理论是大部分认知诊断模型的基础，该理论认为，学科的认知属性与问题解决密切相关，将不可观察的认知属性(如学科关键能力)与可观察的试题反应(如得分)联系起来，为了解学生的关键能力发展状况提供了依据。Q矩阵的认知诊断过程一般可以分成三步[1]：第一，假设在某次学科测试中有m个试题，n个学生参与测试，用1和0表示学生各题作答正确与否。可得到学生在所有试题上的项目反应矩阵Rn×m。第二，假设所有试题涉及l个属性，由学科专家分析试题，以确定各试题涉及(为1)或不涉及(为0)各属性，形成对应的关键能力关联矩阵Qm×l。第三，借助矩阵乘法，结合学生个体考试成绩，即可得到每个学生在各个属性上的答对个数，由此估计学生在考试涉及的关键能力发展水平概率。

物理问题的解决往往需要多种能力的相互配合，不同能力在其中所起的作用也存在差异。如，物理试题经常借助学生熟悉的模型考查学生的推理论证能力。由于是学生熟悉的模型，试题对建模能力的依赖度就比较低，而对推理论证能力的依赖度就比较高。Q矩阵理论在实际诊断中存在两方面不足：第一，试题涉及多个能力属性的假设符合物理问题解决的过程，但物理问题解决对不同能力的依赖是有差异的，在物理关键能力诊断中需要修正能力关联矩阵的算法。第二，Q矩阵计算得到的是学生某项认知属性发展水平的“概率估计值”[2]，难以满足一线教师和学生的诊断要求。

课题组借助模糊数学的方法修正了问题一。模糊数学认为，若某一问题解决需要的能力有n种，则可建立该问题的多元能力依赖因素集U={U1,U2,U3,…Un}；再由多位学科专家为该试题的各项能力的考查权重，获得试题的能力依赖矩阵。[3]针对问题二，课题组采用改变呈现概率估计值的评估方法来修正。根据学生在各项试题上的得分，计算学生各维度能力发展达到试卷设计的百分比，使学生各项能力发展水平更加直观、可信。

二、关键能力的诊断过程

(一)试题解答对不同关键能力的依赖分析

《中国高考评价体系》提出了基于核心素养考查的评价要求，创造性地提出理解能力、模型建构能力、推理论证能力、实验探究能力和创新能力等五种物理学科关键能力。[4]理解能力强调对物理概念和规律的深度理解和灵活运用；模型建构能力指向将实际情境中的对象和过程转换为学过的物理模型的能力；推理论证能力指向对问题分析和推理、得出结论并做出解释的能力；实验探究能力侧重考查实验设计、操作和研究的能力；创新能力关注对结论的质疑和反思以及采用不同方式分析和解决问题的能力。[5]物理问题解决的过程往往需要多种能力的配合，但对这些能力的依赖程度是有差异的。

例题1：如图1所示的电路中,电源电动势E和内电阻r,闭合开关S,当滑动变阻器的滑片 P移动时,发现电压表示数变大,则下列判断正确的是( )。

A.电流表示数变大

B.电阻R1的电功率变大

C.滑动变阻器的滑片P向上移动

D.电源的输出功率一定增大

图1

例1的解决需要学生在理解闭合电路欧姆定律的基础上，利用闭合电路欧姆定律和电压表示数的变化等信息，分析推理滑动变阻器的阻值变化、电流的变化以及各元件的功率变化情况。因此，问题的解决对理解能力和推理论证能力依赖程度较高，对模型建构能力、实验探究能力以及创新能力的依赖则较弱。

根据模糊数学的方法，课题组先将问题解决对各项能力的依赖程度按李克特量表从高到低分为五级，其中1表示依赖程度非常高、0.7表示依赖程度较高、0.5表示依赖程度一般、0.3表示依赖程度较弱、0表示不依赖。多位学科专家对问题解决时各项能力的依赖程度进行模糊判断。表1为某校高三年级的5位教师对上述例题的模糊判断结果。

表1 试题对各项能力依赖的专家评价表

专家对能力依赖程度的判断存在一定的主观性。因此，在专家做出模糊判断后，课题组对判断结果进行评分者一致性检验，若一致性不满足要求，则借助德尔菲法进行复评，直至具有较高的一致性。经计算，5位教师对上述例题判断结果的kendall和谐系数为0.894(P=0.001)，具有良好的一致性。

由于试题解答需要的能力维度数量、依赖程度存在差异，试题对各项能力依赖程度总和不相等。因此，课题组对试题的能力依赖程度进行归一化处理，以确定试题对各项能力诊断的权重。对试题的各项能力依赖进行平均和归一化结果如表2所示。

表2 试题对各项能力考查的权重

(二)学生个体关键能力诊断

学生正确解答某试题，说明具备了解答该试题需要的各项能力，各项能力均可得分。根据Q矩阵对属性达成度的分析方法，利用学生在各试题解答上的分值和试题对各项能力考查的分值，即可诊断学生在各项能力上的发展情况。但是，不同试题对各项能力的考查权重各不相同，由不同试题组成的试卷在各项能力上的考查分值也必然存在差异。因此，学生在单次考试中某项能力得分高低难以客观说明其各项能力发展水平。为使评价结果具有横向可比性，课题组使用学生各项能力的得分率ηi作为能力发展诊断的指标。

第一，确定试卷对各项能力的考查分值。根据试卷各小题的分值和各小题对各项能力的考查权重，确定试卷对各项能力的考查分值。

其中，Tk为第k题的分值，Nki为第k题对第i项能力的考查权重，Mi为试卷第i项能力的考查总分值。

第二，根据学生各小题的得分情况，诊断学生各项能力上的得分。其中，Sk为学生第k题的得分，mi为学生在第i项能力的得分。

第三，根据学生在某项能力上的得分情况和试卷在该项能力上的考查情况，可得学生在该项能力上的发展情况。

第四，将学生在各个能力维度上的发展情况用雷达图给予直观呈现。

三、学生个体关键能力诊断实例

课题组以某市的一次高三物理质检考试的结果为例，诊断学生个体的物理核心素养发展情况。该次物理学科试卷共15题、总分100分。某校有374名学生参加考试，考试结果基本信息如表3。

表3 xx学校高三物理质检班级成绩报表

表3表明，各班物理学业成就存在差异，12班平均分最高，10班平均分最低，但各班学生个体发展水平难以比较和评估。如11班的陈宏×同学和6班的陈泽×同学，他们成绩都是78分，传统的方法无法进一步评估他们在物理知识掌握和能力发展上的区别和各自存在的不足。

课题组利用本次考试的数据进一步诊断学生个体能力发展状况，具体过程如下。

(一)试题能力依赖分析

根据专家对试题能力依赖度模糊判断的方法，在组织该校教师进行物理关键能力内涵学习讨论的基础上，由该校5位教龄都超过15年、具有高级教师职称的教师对试题的能力依赖度进行评估，归一化处理结果如表4所示。

表4 试题的关键能力依赖权重

(二)学生个体能力发展水平分析

依据上述的学生个体能力分析算法，利用学生个体的在各题上的考试成绩数据，计算该学生在各项维度上的发展水平。以11班陈宏×同学和6班的陈泽×同学为例，他们的考试详细数据如表5所示。计算得到两位学生的能力水平结果如表6所示。可见，总分都为78分，但关键能力发展水平不同。

表5 学生个体的考试数据信息

表6 学生个体的关键能力得分(单位：分)

图2 学生各项能力发展水平雷达图

对比试卷能力考查设计分值，分析两位学生在各个能力维度上的得分率并做直观的雷达图(如图2所示)。由图2可直观地发现，两位成绩相当的学生在各项能力上的发展水平是不同的。两位学生的实验探究能力发展差异明显，陈宏×同学的实验探究能力相对比较薄弱。

四、问题与讨论

在现代测量理论指导下，学习评价结果正逐渐由笼统测验分数转向精准个性化诊断，实现评价的即时性、客观性、常态化、可视化是考试评价的趋势和追求。[6]基于数据挖掘的物理学科关键能力诊断方法可以为教师准确诊断学生的学科关键能力发展水平，采取有针对性的教学或复习策略，减轻学生负担提供良好的支撑。值得注意的是，基于考试数据的学生个体关键能力发展评价结果的实效性有赖于试卷能力考查的效度以及专家对试题能力依赖的模糊判断准确性。因此，提高试卷关键能力和核心素养考查的针对性，是提高评价结果有效性的重要基础[7]，是开展基于考试数据的关键能力诊断的重要保障。

此外，学生的考试结果具有一定的偶然性，仅仅利用单次考试的结果诊断学生的能力发展状况也可能存在偶然性。因此，教师应该有意识地收集学生在各次考试中的能力发展状况，建立学生能力发展档案袋，纵向对比学生学科各项能力的变化情况，提高诊断的可靠性。