高中学业水平合格性考试命题难度控制技术的探究——以信息技术学科为例

罗志卿

高中学业水平合格性考试作为标准参照性考试，各省（区、市）都明确了考试的难度、不同难度水平试题的比例、平均分、合格分数等考试目标。部分命题者对试题难度控制往往停留在经验上，难度控制缺乏科学操作和监控体系，导致考试结果与考试目标的不一致，制约了考试测量的精准性，影响了学业水平合格性考试评价的导向功能。

为确保学业水平考试测量的精准性，应建立一套试题难度控制的科学操作和监控体系，以实现考试结果与考试目标的一致。本文以高中学业水平合格性考试命题难度控制技术为主题， 以信息技术学科为例，从试题难度的分析、试题难度的预估、试卷整体难度的把控等方面开展命题难度控制技术的探究。

一、试题难度

（一）试题难度定义

试题难度是指试题的难易程度， 是衡量考试质量的一项重要指标， 可以衡量试题是否能检测出学生的能力水平和学科核心素养层次。 不同类型的考试，试题的命题难度不同。

试题的难度是评价试题质量的重要指标之一，在教育测量学中它被定义为：该题（卷）考生所得的平均分与该题（卷）总分的比值。

试题难度包括单个试题的难度和整卷试题 （试卷）的难度，考试命题需要评估各试题的难度，再根据各试题难度来预估整卷试题（试卷）的难度。

（二）试题难度计算

根据经典测量理论（CTT 理论），试题难度用“难度系数”来表示，“难度系数”反映试题的难易程度，“难度系数”也可以理解成“容易度系数”。

假设该题（卷）的满分为N，该题（卷）考生的平均得分为R，难度系数值为P，则：

P值越小，试题（卷）越难；反之试题（卷）越容易。

二、试题难度预估

在大规模考试的命题过程中，试题难度预估是科学化命题的重要环节。试题难度预估的方法主要包含以下三个方面：一是确定影响试题难度的主要客观因素； 二是设计科学有效的试题难度计算方法； 三是通过历年实测数据建立试题难度预估的参照模型。

（一）影响试题难度的主要客观因素

影响学业水平合格性考试试题难度的客观因素主要包括核心素养水平、内容要求、知识点数、情境维度、技巧层次等。

1. 核心素养水平

面向学科核心素养的测评要以核心素养要求作为测量目标，试题要体现具体的学科核心素养要求。《普通高中信息技术课程标准（2017 年版2020 年修订）》（以下简称“《新课标》”）明确了高中信息技术学科的四个核心素养，分别是信息意识、计算思维、数字化学习与创新、信息社会责任。根据学科核心素养的内涵及表现，每一个素养维度又划分为预备级、水平1、水平2、水平3 等四个水平层次，每个水平层次包含若干个具体的能力要求，如“信息意识”中的水平1 包含有5 个具体的能力要求。

高中信息技术学业水平合格性考试要注重测量学生的学科能力水平，明确以学科核心素养的水平层次为测量目标。《新课标》明确了各模块内容的学业要求， 指出学生通过学习各模块内容后应该具备的学科核心素养及水平层次， 应该达到相应的学科能力。 高中信息技术学科学业水平合格性考试对应的学科核心素养水平层次为预备级、水平1。表1 通过“数据与计算”模块中的“数据与信息”部分内容的学业质量、核心素养水平及层次要求加以说明。

表1

命题时命题人员首先要确定测量的目标， 可以根据考试的性质及《新课标》的要求来确定核心素养维度， 再结合学生的实际选择预备级或者水平1 层次中的单个能力要求确定测量目标， 也可以综合多个核心素养维度的多个能力要求确定测量目标。 合格性考试单个试题一般不超过2 个核心素养维度的能力要求。 一般情况下容易题对应预备级的1 个能力要求， 中等难度题对应水平1 层次中的1 个能力要求或预备级的2 个能力要求， 较难题对应水平1层次中2 个能力要求。

2. 内容要求

考试内容要求是指知识深度，也称为考试内容的认知水平。 根据布鲁姆教育目标分类法的认知层次划分，可以划分为知道（知识）（knowledge）、领会（理解）（comprehension）、应用（application）、分析（analysis）、综合（synthesis）、评价（evaluation）等六个认知层次。

《新课标》对高中信息技术必修课程、选择性必修课程、选修课程的内容要求有明确的规定。高中信息技术学业水平合格性考试的内容为必修课程，必修课程包括“数据与计算”“信息系统与社会”两个模块。课程标准对各模块的内容要求做了具体的规定，内容要求与布鲁姆教育目标的认知层次划分相对应。表2 通过“数据与计算”模块中的“数据处理与应用”的内容要求加以说明。

表2

经对照， 必修课程中所有的内容要求对应布鲁姆认知分类中的知道（知识）（knowledge）、领会（理解）（comprehension）、应用（application）三个层次，因此将高中信息技术学业水平合格性考试的内容要求分为三个认知层次，分别是知识、理解、应用。三个认知层次所对应的试题难度也是由低到高的递进，命题时可以根据学生的实际， 通过高层次要求的知识内容命制低层次要求的试题， 达到降低试题难度的目的。

3. 知识点数

知识点数又称为知识的广度，指试题所考查的知识点个数。一般来说，含1 个知识点，试题为容易题；含2-3 个知识点且跨度较小，试题为中等难度题；含大于等于3 个知识点且有较大的跨度，试题为较难题。

4. 情境维度

情境维度包括情境的科学性、 真实性、 复杂程度、熟悉程度等要素。命题者要充分考虑试题情境维度，情境设定应尽量符合问题的实际情况，尽可能符合高中学生的生活经验，引起学生的兴趣，可以根据个人、公共、学科和人文等方面设置情境。

一般地说，情境较为简单，学生较熟悉，与历年常考的题型、样题相近的试题以及选材贴近学生的生活试题，解答题目所需时间较少，则难度就小；反之难度就大。 根据情境的复杂程度及熟悉程度，一般将情境分为简单情境、一般情境、复杂情境三个层次。

5. 技巧层次

技巧层次包括试题的设问、应答要求、干扰因素等。一般来说，试题的设问不直接、应答要求较高、干扰因素较多，甚至某些干扰因素有较强的诱惑性，会使学生的解题思路误入歧途，这些题目就比较难。反之，题目就比较简单。

技巧层次一般分为简单、一般、复杂三个层次。试题没有干扰因素、直接设问、直接应答的试题技巧层次为简单程度；有单个干扰项，需要在一定的情境中理解知识的本质属性，通过简单的变式将知识进行转换的试题技巧层次为一般程度；有多个干扰项，要求学生能从实际的问题中抽象出模型或对假设进行探索， 把具体现象上升为本质从而解决问题的试题技巧层次为复杂程度。

（二）量化各客观因素的影响程度，预估试题难度

在命题过程中要开展难度预估， 首先要量化各因素对试题难度的影响程度， 将各客观因素的影响程度进行数字化表示，分别配以相应的计分，具体如表3 所示。

表3

试题难度预估的步骤为： 首先对各道试题估算各客观因素的计分，其次把各因素的计分累加，最后对照“累加计分与难度系数（P）换算表”换算成该试题的难度（见表4）。

表4

以下通过两个实例进行具体分析。

【例1】将他国语言文字用“百度翻译”翻译成中文，这属于人工智能技术中的

A．机器翻译 B．机器证明

C．自动控制 D．虚拟现实

【答案】A

表5

本题累加的计分为5，对应难度系数应该在0.90～0.99 范围内，预估该题为容易题。 根据考后的质量分析， 该题实测难度与设计难度数据如表6 所示。

表6

【例2】在VB 中，下列程序段执行后，输出结果是

【答案】A

表7

本题累加的计分为13，对应难度系数为0.60 以下，预估该题为较难题。 根据考后的质量分析，该题实测难度与设计难度数据如表8：

表8

从例1、例2 的实测难度与设计难度的数据对比可以看出， 根据量化各客观因素的影响程度预估试题难度是科学有效的， 试题设计难度与实测难度大体基本一致。

（三）建立试题难度预估的参照模型，进一步调整试题的难度预估。

通过量化客观因素预估试题难度开展难度预估有一定的局限性，容易受到一些主观因素、外在因素的制约，导致预估往往会出现一定偏差。

主观因素包括命题者经验、试题“新颖度”。学生对试题选材是否熟悉， 命题者在判断上有一定的主观因素。此外，试题的预估值的准确程度还受试题的“新颖度”影响。

外在因素包括题型、试卷的长度、阅读量等。 如选择题和填空题根据量化客观因素计分， 累加计分一样，但是难度会有较大的差异。

为更准确地开展试题的难度预估， 命题团队在根据量化客观因素预估试题难度的基础上， 还需要通过历年学业水平合格性考试的试题实测难度数据调整试题的难度预估。 命题人员要对近三年考试的同类试题进行分析对比， 获取各同类试题的实测难度系数。 可通过教育测量学理论来建立同类试题的难度预估的参照模型， 可以从情境维度、 试题新颖度、技巧层次、设问方式、选项及干扰项等角度进行剖析。通过难度预估参照模型的大数据分析，命题者能对试题做出更客观、更准确的难度预估。

三、试卷（整卷）难度控制

为确保考试结果与考试目标的一致性， 提升提升考试的信度与效度， 在完成单一试题的难度预估基础上，需对试卷（整卷）的难度进行预估和控制。一份试卷的难度取决于各个试题的难度及各类难度试题所占的比例，为此要控制整卷的难度，首先要明确试卷的难度要求， 其次要通过科学的方法对整卷试题难度进行调整。

（一）明确试卷的难度要求。

一般情况下，各省（区、市）的高中学业水平合格性考试的试题难度均有一定的要求， 一般包括试题难度的划分、各难度试题的比例、试卷的难度，试题难度比例等。 以广西普通高中信息技术学业水平合格性考试的要求为例，相关要求如表9。

表9

容易题、中等难度题、较难题的赋分比例约为7∶2∶1。 试卷难度系数控制在0.78±0.03，即试卷的满分为100 分，考试的平均分控制在78±3 分。

（二）整卷试题难度的把控与调整。

整卷试题难度的控制与调整的步骤如图1 的流程图所示：

图1

1． 统计整卷难度

在确保每一小题难度预估准确和试卷中各类难度试题比例符合要求的前提下，通过学科“试题难度预估表”来统计整卷的难度，具体如表10 所示。

试卷难度的计算公式如下：

试卷的难度用难度系数P（试卷）来衡量，取值范围为[0，1]，系数越小则试卷难度越大，反之难度越小。 其中Pi 表示某试题难度，Xi 表示该试题的满分值，W 表示试卷的满分值。

根据试题难度预估表的数据统计出整卷的难度、各难度试题的比例。 一般情况下，统计出来的数据往往与考试目标有一定的偏差， 会出现偏难或者偏易的情形。 下面根据偏难的假设模型做分析，假设模型的数据如表11 所示。

从表中数据看出，容易题、中等难度、较难题的分值比例与考试要求7：2：1 的比例有一定差距，容易题偏少， 中等难度题和较难题偏多， 整卷难度偏大，需要对部分试题做出必要的调整。如可将2～3 分的较难题调整为中等难度的试题， 将5～6 分的中等难度试题调整为容易题。

表10

表11

2. 调整试题难度

此阶段的试题调整不宜对原来的试题做过大的改动，可以从影响试题难度因素，通过修改试题的设问、选项、应答方式等调整相关试题的难度。 如下面的例3、例4。

【例3】下列选项中，属于音频文件的是

A．海草.wav B．海草.bmp

C．海草.gif D．海草.ppt

【答案】A

原预估难度为0.75，属于中等难度试题，需降低难度，变为容易题。

本题尝试从试题选项中材料的熟悉程度进行调整，将学生比较生疏的“wav”格式改为学习熟悉的“mp3”格式，所以将A 选项中的“海草.wav”修改为“海草.mp3”，修改后试题难度将降低到0.90 以上。

另本题也可以从干扰项去修改， 将B 选项中的“海草.bmp”修改为学生较为熟悉“海草.doc”。

【例4】在VB 中，若x=5，y=3，下列表达式的值为True（真）的是

A．x<=y B．x-y

C．x>y Or x=y D．x<2*y And y>0

【答案】BCD

原预估难度为0.50，需降低难度，变为中等难度题。

本题考查的知识点个数为2 个， 即关系运算和逻辑运算， 但是学生对逻辑运算符不熟悉， 特别是And 运算符。可以去掉一个正确答案，并将D 选项的难度降低，改为关系运算，并对换C、D 选项的位置，修改后的试题如下：

【例4】在VB 中，若x=5，y=3，下列表达式的值为True（真）的是

A．x<=y B．x-y

C．x>2*y D．x>y Or x=y

修改后，试题的答案为BD，试题难度将降低到0.70 左右。

3. 重新预估难度

相关试题调整后， 要根据量化各因素的影响程度、 历年实测数据的参照模型重新调整相关试题的难度预估， 然后再根据试题难度预估表重新预估整卷的难度。

整卷试题难度的控制与调整是一个复杂而反复的过程，需要多次调整，每一次调整都要严格按照整卷试题难度的控制与调整的步骤进行， 直到整卷的各项参数到达考试目标为止， 即容易题、 中等难度题、较难题的赋分比例约为7：2：1，试卷难度系数为0.78±0.03，最理想的难度系数是0.78。

提高试题预估难度的准确性一直是广大命题者追求的目标，近年来我们一直在实践，严格按照科学的命题难度控制技术开展命题。经实践，近两年高中学业水平合格性考试信息技术学科命题的预估难度与实测难度基本一致， 充分说明命题难度控制技术是行之有效的， 对普通高中学业水平合格性考试命题具有较好的借鉴意义。 面对高中新课程改革，学业水平合格性考试命题工作也要与时俱进，需进一步根据《新课标》的要求，并结合本地区的实际，更深入地开展命题难度控制技术的研究， 发掘更科学的技术方法，提高试题难度预估的准确性，提升命题质量。