基于KPARC模型的试题绝对难度研究

任红艳 姜海娟 李广洲

1 引言

试题绝对难度，也称为事前标定难度，因其取决于试题本身（如问题的特征和解决的过程等）而与被试认知情况无关，受到越来越多的心理学家和学科教育专家的关注。

目前，已有不少关于试题绝对难度的标定方法，但都各具利弊。例如，Johnstone和Banna（1986）[1]提出了一种问题难度预估模型（Predictive Model），用解题所需步骤来确认认知负荷，进而研究问题难度与学生记忆容量之间的关系，但是该方法仅考虑了工作记忆的加工功能而忽略了储存功能。Dori和Hameiri（2003）[2]以及任红艳等（2011，2012）[3][4]在三重表征思想基础上提出的多维度分析系统（Multidimensional Analysis System）因其操作中需要具体到化学学科专题领域问题而削弱其适用范围并提高了操作的复杂性；辛自强（2003）[5]提出了关系—表征复杂性模型，但其抛开要素和关系的内容，忽略内容而只关注形式的做法仍有待于检验。邵志芳和余岚（2008）[6]将认知任务分析法应用于数学试题绝对难度分析，并设计了标定试题难度的数量化指标，但仍存在概念界定不清等问题；Karen等（2011）[7]依据复杂性理论和认知负荷理论，提出认知复杂性评估法（Cognitive Complexity Rating Rubric），从概念、技能以及两者间关系三个维度分析问题绝对难度，但仍存在忽视工作记忆的储存功能及概念界定过于笼统等问题；毛竞飞（2008）[8]和程力等（2012）[9]从多元回归等定量的角度探讨了试题难度问题，但对不同各学科的建模及模型的稳定性等尚待进一步研究和验证。

分析上述各种绝对难度标定方法可以发现，问题解决过程中所需的内容知识及内容知识之间的关系是标定绝对难度不可或缺的指标。鉴于前人所提的各类绝对难度标定方法的特点及其不足，我们以智力的知识观、工作记忆容量有限理论和问题空间理论为基础，提出了“知识片段—注意—关系复 杂 性 ”（Knowledge Piece-Attention-Relationship Complexity，KPARC）模型，用于标定试题的绝对难度，并以化学学科中的氧化还原问题为例进行了较大规模的检验。

2 KPARC模型的框架结构

2.1 指标体系

KPARC模型由三个指标构成：知识片段、注意程度和关系层次。

其中，知识片段由问题所包括的已知信息（即图1中的A和B）和问题解决者头脑中的相关知识（即图1中的C、D和E）这两部分组成。在综合考虑每个知识片段的本身理解难度及其提取难度基础上，将其认知要求分为简单、中等、较难三个等级。我们参照布卢姆认知领域教育目标的学习水平分类对知识片段的认知要求予以操作性界定：仅要求辨别的知识片段，属于简单水平；若需提取该知识片段，属于中等水平；若要掌握其适用范围和应用条件，则属于较难水平。然后，利用评分规则将每个知识片段的认知要求和知识片段的个数结合得到知识片段的总难度值（见表1）。

表1 知识片段的难度值的评分规则[7]

在本模型中提出的“注意”是指需要有意识地“注意”知识片段的程度，包括注意的广度和注意的深度。注意的广度是指需要注意的知识片段的个数，而注意的深度是根据倘若不注意会导致解题的完全失败、部分失败、稍有影响和没有影响这四个程度来界定的。在整体上，注意的程度用0～3四个数值来表示，分别表示“几乎不需要”到“非常需要”。“注意”作为一个独立的指标，与知识片段的认知要求并无过多关系，而往往与化学中的许多原理类知识表述中的限定词及化学特殊或反常事实等有关。如气体物质的量计算过程中，“22.4L·mol-1”的使用限定的是气体，若未注意到这个限定，则可能出现将液体的物质的量也用“22.4L·mol-1”来计算导致问题解决的失败。

关系层次表示知识状态之间相互关联的程度，即问题信息和知识片段之间相互作用所产生的中间状态（G和F）和目标状态（H）之间的层级关系。相关研究表明，问题解决过程中包含的关系层级数越多，嵌套越复杂，问题就越复杂[5]。受启发于Novak提出的概念图、Polya关于数学解题过程的几何表示图以及信息加工心理学中的问题行为图，我们用树形图将问题解决过程清晰地表示出来，用树形图来表示知识状态之间的相互作用，用层级数来表示知识状态相互关联的程度（见图1）。也可以认为，此树形图是学生在解决问题过程中所形成的问题图式的外显。

图1 树形图的简单示意

2.2 标定步骤

基于KPARC模型的问题绝对难度标定的具体操作步骤如下：

研究者独立完成每个问题，通过逻辑分析，画出解决该问题的树形图；

列举出解题所需的知识片段，并预估每个知识片段的认知要求；

根据表1的评分规则将所有知识片段的难度值加和得到知识片段的总难度值；

确定树形图的关系层次（从倒数第三层计数为1开始向上数）；

整体考虑给出知识片段需要“注意”的程度；

将知识片段的总难度值、关系层次和注意程度加和，即为每个问题的绝对难度。

3 模型的检验

3.1 问题选择

本研究以化学教学中结构化程度高、逻辑性较强的氧化还原内容为例，尝试分析利用KPARC模型计算试题绝对难度的可行性。全部试题选编自历年高考试题，在征求学科教学专家的意见后进行预测，以保证其质量。高一年级的测试卷最终由与氧化还原内容相关的41个选择题构成。为了保证被试人数且尽可能节约测试时间，以使相关问题能在中学化学课堂教学常态中进行测试以减少测量误差，将41个问题拆分为A、B、C三份测试卷，每份试卷含有5个相同的问题，即锚问题。同时，设计了一份高三年级的测试卷，由9个综合性内容的选择题组成，其中含锚问题2个。通过问卷测试，获得氧化还原专题试题的相对难度。另外，本研究还选择了2007和2009年高考化学题全国卷的全部选择题，并搜集到这两年官方公布的相应高考化学试题的相对难度数据。

3.2 被试和评定者

问卷测试在江苏省内进行，研究样本包括南京市的4所程度不同的典型高级中学的高一年级的三个班和高三年级的一个班。为保证学生的认真参与，测试以平时练习的形式在课堂中进行，参与各试卷测试的学生人数则是根据中学化学教学实际予以协调安排，A卷、B卷、C卷和高三卷的被试合计人数分别是161人、129人、119人和170人。

每一个试题分别由两名评定者评定，评定者均为化学课程与教学论专业的硕士研究生，具备较好的化学学科知识和教育心理学的相关理论基础，且在评定前接受了约20分钟的培训与预评，以确保能正确理解并掌握评估的原则和方法。

3.3 结果分析

两名评定者依据KPARC模型分别对各个问题标定绝对难度，利用积差相关系数计算两评定结果的一致性程度。从表2可知，各个测试的评分者信度均达到极其显著相关（p＜0.01），说明基于该模型的评估指标体系很容易为评定者掌握，具有较强的可操作性。对两名评分者的评定结果取平均值获得各个问题的绝对难度的平均值，以被试学生测试获得的通过率以及国家发布的通过率经转换后的标准难度为各个问题的相对难度，计算各试题绝对难度的平均值与其标准难度之间的皮尔逊相关系数，通过和外在标准（相对难度）的一致性判断标定结果的可信性。从表2可知，试题的绝对难度与标准难度呈极其显著（p＜0.01）或显著（p＜0.05）的负相关。

表2 评价测试结果的两个一致性系数

4 结论

本研究在前人研究基础上，提出了“知识片段—注意—关系复杂性”（KPARC）模型，用于标定试题的绝对难度，对该模型的各项指标含义及难度标定的操作步骤予以了较为详细的阐述。研究者选择化学学科中的氧化还原相关试题设计测试问卷，严格实施程序，进行较大规模测试的结果显示：（1）不同评定者基于KPARC模型的绝对难度标定结果之间具有极其显著的相关，评分者信度高。说明这种绝对难度标定方法容易为评定者掌握，评分误差小，有很好的实际操作可行性；（2）评定所得的各试题的绝对难度平均值和由通过率转换后的标准难度值之间具有（极其）显著的负相关，验证了基于KPARC模型的绝对难度标定方法是合理的，标定的结果是可信的。

[1]Johnstone，A.H.，El-Banna，H.Capacities，demands and processes—apredictive model for scienceeducation.Education in chemistry，1986（5）:79-84.

[2]Dori，Y.J.，Hameiri，M.Multidimensional analysis system for Quantitative Chemistry problems:Symbol，Macro，Micro，and Process aspects.Journal of Research in Science Teaching ，2003，40（3）:278-302.

[3]任红艳，李幸，李广洲.MAS法和CTA法标定离子反应试题绝对难度的研究[J].中国考试，2011（12）:17-21.

[4]任红艳，李幸，李广洲.基于多维分析系统的离子反应试题绝对难度研究[J].化学教学，2012（6）:54-57.

[5]辛自强.关系—表征复杂性模型的检验[J].心理学报，2003，35（4）:504-513.

[6]邵志芳，余岚.试题难度的事前认知任务分析[J].心理科学，2008，31（3）:696-698.

[7]Karen，K.，etal.A valid and reliable instrument for cognitive complexity rating assignment of chemistry exam items.Journal of Chemical Education，2011，88（5）:554-560.

[8]毛竞飞.高考命题中试题难度预测方法探索[J].教育科学，2008（6）:22-26.

[9]程力，柳博.自学考试试题难度影响因素的多元回归分析[J].教育科学，2012（3）:60-62.