区域学业质量监测试题难度调控策略
——以江苏省义务教育生物学科学业质量监测为例
2017-08-07吴举宏
吴举宏
(江苏省教育科学研究院 南京 210013)
江苏省义务教育学业质量监测(以下简称“质量监测”)已经组织实施了六届,而独立命制试题始于2014年。试题难度是教育测量的重要技术指标,直接关系到质量监测的结果是否科学有效,因此对试题难度影响因子和认知诊断属性进行系统研究非常重要和必要。
1 试题难度预估的分析方法简介
1.1 试题难度影响因子分析 以过去历届质量监测试题为样本,对预估难度、试测难度和实测难度进行对比分析发现,难度影响因子主要有:情境复杂性和新颖性、知识综合性、能力层次性、思维过程性、条件显隐性和干扰性、题型设问等[1]。
情境复杂性。一般来说,试题情境越复杂、越陌生,试题难度越大。
知识综合性。学生从条件出发到问题解决过程中涉及知识的回忆与再现、迁移与应用,如果涉及的知识点越多,上述过程的难度越大。
能力层次性。安德森教育目标分类(修订版)将认知分为6个维度:记忆、理解、应用、分析、评价和创造[2]。通常情况下,能力层次水平要求越高,试题难度越大。当然,这两者之间并不是一个简单的正相关关系,有时记忆水平的试题难度可能也很大,特别是在考查的知识内容非常冷僻和琐碎的情况下。
思维过程性。试题解答都需要经过缜密的思维过程,要求学生能够基于试题中呈现的事实、证据或条件,运用归纳与概括、演绎与推理、质疑与批判等思维方法解决问题。思维链条中的环节越多、跨度越大,试题难度就越大。
条件干扰性。试题中条件信息越隐蔽,越具有干扰性和迷惑性,学生解题就越困难,试题难度就越大。
题型设问性。不同题型设问方式不同,相同题型的不同设问方式,都会影响试题难度。从题型角度来说,是非判断题、选择题、填空题 、简答题和问答题,其难度一般是逐渐加大的。在问答题中实验设计题或分析评价题,学生普遍感觉到非常棘手,常常力不从心,这主要与教学难点、薄弱点,以及试题能力要求较高有关。
1.2 基于认知诊断的学习进阶法 2005年美国国家研究委员会(NRC)首次明确提出“学习进阶”(Learning Progressions,简称为“LPs”),并认为学习进阶“是促进课程标准、课堂教学与考试评价三者一致性的有效工具”[3]。学习进阶理念认为,学习是一个逐渐累积、不断演进的过程,学生对同一内容主题的理解存在多个不同的中间水平。测量理论中新兴的认知诊断属性层级模型可以更精细、客观地刻画学习进阶,它通过界定某一知识或核心概念下的若干属性及属性层级关系,利用认知诊断属性层级模型测量出学生掌握模式及知识状态,再应用包含关系原则刻画出知识状态的层级结构(学习之路)[4](表1)。
表1 初中生“结构与功能观”学习进阶表
(注:水平一、二、三具有递进关系)
2 试题难度的调控策略
2.1 从“情境”维度调控试题难度 例1:美洲沙漠地区生长着仙人掌“丛林”,其中生活着收割机蚂蚁、欺压蜥蜴、得克萨斯角蜥、响尾蛇、山狗和老鹰。请画出该沙漠地区上述生物组成的食物网,并分析收割机蚂蚁栖息地被破坏所带来的后果。
简要分析:显然初中学生对于试题中的“异域风情”感到遥远而陌生,他们根本无法知晓其中各种动物的食性,因此也就不能梳理和构建该生态系统中的食物网,从而对于以食物网为基础的后续问题分析与解答也就无从谈起。降低这道试题难度的方法有三:①补充说明学生未知的条件信息,特别是情境中6种动物的食性要交待清楚。②用学生比较熟悉的情境替换,如“草原上生活着兔、鼠、蝗虫和吃草籽的鸟,还有狐狸和大型猛禽鹰”,然后再设问。③降低情境复杂程度,减少情境中信息量,减少生物种类及其相互之间的复杂关系,如“草原上生活着兔、鼠和大型猛禽鹰”然后继续设问。
从“情境”维度调控试题难度的策略,如图1所示。
图1 从情境维度调控试题难度的策略
2.2 从“知识”维度调控试题难度 例2:王晓波家屋后长着一棵桃树,今年结满了一样鲜嫩可口的桃子,而每朵花雌蕊受粉的花粉不尽相同。请问这棵桃树不同年份所结桃子的口味会显著不同吗?为什么?(不考虑气候变化、虫害影响和花芽突变等异常情况)
简要分析:该试题解题过程中涉及的知识点多,跨度大,而且对学生思维能力要求高。仅从知识点角度分析,解题过程主要涉及的知识内容有:①桃子的食用部分是果肉;②果肉是子房壁发育而来;③子房壁是母本(这棵桃树)体细胞组成;④这棵桃树体细胞都是同一个受精卵分裂产生的。同时,上述知识点也就构成一个解题思维链条,从而得出结论:这棵桃树不同年份所结桃子的口味一样鲜嫩可口,不会因为受粉的花粉不同而产生显著改变。当然气候变化、虫害或花芽突变,可能会影响桃子的口味,这些因素已在试题中被排除在外。该试题难度大,降低难度可以从减少知识点数目、降低知识点之间跨度、增加思维过程中的铺垫等方面入手。
如将原题分别调整为:“植物学知识告诉我们,果肉是子房壁发育而来,而子房壁是这棵桃树部分体细胞直接形成。请问这棵桃树不同年份所结桃子的口味会显著不同吗?”“这棵桃树所结桃子食用部分是果实的哪一部分?这食用部分是由花的什么结构发育而来?”经过上述调整,试题难度从“难”调整为“中”“易”。从“知识”维度调控试题难度策略如图2所示。
图2 从知识维度调控试题难度的策略
2.3 从“能力”维度调控试题难度 例3:在烧杯中加入半杯清水,然后将几片新鲜绿色菠菜叶浸在水中,在阳光下照射1~2 h。
(1)请描述叶表面发生的现象,并分析其原因。
(2)请在显微镜下观察比较菠菜叶背面、腹面气孔的多少?
(3)为了进一步定量比较分析菠菜叶背面、腹面气孔的多少?请写出实验方案。
简要分析:该试题以“气孔”为探究实验主题,依次从观察现象、基于证据的分析推理、设计实验方案等实验能力层次,对实验能力和认知能力进行了分步骤、全过程的考查,3个小题的能力要求越来越高,因而其试题难度逐渐增加。
该试题可以作为不同能力层次考查、不同难度试题命制的参考题例,供大家体会和借鉴。从“能力”维度调控试题难度可从认知能力和实验能力两个方面进行,而这两个方面又会经常交织在一起共同调节,具体调控策略如图3所示。
图3 从能力维度调控试题难度的策略
2.4 从“思维”维度调控试题难度 例4:番薯为旋花科植物,短日照条件下开花,原产于美洲的热带地区,现在我国各地都广泛种植。你在江苏地域见过它开花吗?请猜一猜番薯花是什么形状?并说明你猜测的理由。你去不了美洲,又该到我国大致什么地域去寻找验证你猜想的证据?如果你不能去外地,又该如何通过实验验证你的猜想?
简要分析:思维亦可归入“能力”维度,这里之所以将“思维”从“能力”维度中抽取独立出来,有如下考虑:①从操作层面考虑,“能力”维度内涵很丰富,如果涵盖的要素和路径过多,会导致边界模糊、思路混乱,不利于试题难度调控时清晰界定和准确定位。②这里的“思维”专指解题的思维链条,即问题解决过程中归纳与概括、演绎与推理等理性思维的过程。该题重点考查了学生类比推理能力,首先需要借助番茄的形态、结构特征寻找具有相似属性的类比物,然后类比推理出未知属性特征,目标物与类比物的相似属性越多,那么类比推理得出的结论就越可靠[5]。解题思路主要如下:表征目标物(番薯为旋花科植物,草本,茎柔软、细长,不能直立生长,叶心脏形等)→寻找类比物(根据日常观察,牵牛等具有相似特征)→建立映射关系(将番薯和牵牛各自的属性进行匹配)→进行类比推理(牵牛开喇叭状花,番薯也可能开喇叭状花)→采集证据验证(去我国南方采集实物标本或人工模拟短日照条件培育取证)。
影响解题思维过程的主要因素有:知识点之间的混淆,前科学概念的干扰,思维障碍和解题步骤多少等,因此从“思维”维度调控试题难度可从上述因素加以考虑(图4)。
图4 从思维维度调控试题难度的策略
2.5 从“设问”维度调控试题难度 例5(2014年质量监测试测):你听说过这句谚语吗?“阴茶花,阳牡丹,半阴半阳四季兰。”请回答下列问题:
(1)这句谚语说明这些花卉的生长发育受哪一种因素影响较大?
(2)为探究光照强度是否会影响开花,科研人员选择凤仙花、万寿菊和一串红进行对照实验,结果如下:
从播种到开花所需天数光照较弱光照较强凤仙花2220万寿菊2418一串红2721
分析表中数据,你可以得出什么结论?
(3)秋季日照时间短,万寿菊盛开在秋季。为了美化环境,要使万寿菊适当提早开花,你会采取什么措施?
简要分析:本题重点考查学生运用知识解决实际问题,并对实验结果进行分析解释的能力。根据谚语中的“阴”“阳”“半阴半阳”可推知光照是影响花卉生长发育的较大因素。根据万寿菊盛开在秋季,而秋季日照时间短,据此可推知,若要使万寿菊提前开花,可用缩短日照时间的方法来处理,如暗处理、遮光。根据实验数据,可发现这三种花卉具有这样的规律:光照较强时,从播种到开花所需天数较短;光照较弱时,从播种到开花所需天数较长。因此,可得出如下结论:光照强度会影响植物开花,而且光照较强可使花卉提早开花。
经过试测发现,本题区分度、难度、拟合度都不错,但不同得分点与总分没有按从低到高递增。试测后专家进行研讨,并结合学生访谈情况,大家一致认为:与第(3)小题相比,很多学生作答第(2)小题更有难度,直接影响作答第(3)小题的信心,特别是第(2)小题的答案会明显误导学生作答第(3)小题,学生对光照强度和光照时间的概念混为一谈。于是,专家组决定在正式测试时将第(2)、(3)小题在顺序上进行对调。
正式测试后发现,经修改的试题各项数据表现良好,试题区分度和难度都有比较明显的上升,且不同得分点与总分的点二列相关呈现由负到正逐级递增的理想变化趋势。由此可以说明,试题设问的序列是非常值得研究的话题。
其基本要求是:各小题之间不能有强烈的提示作用、不能相互干扰而产生负迁移。
设问方式不同,试题难度不同,不仅表现在系列设问的序列和跨度上,还表现在题型设计、设问的指向性和开放性。从“设问”维度调控试题难度的具体策略如图5所示。
图5 从设问维度调控试题难度的策略
需要特别说明的是,由于情境、知识、能力、思维和设问每个维度下还存在数个子要素,因此各子要素不同程度上相互之间搭配组合,可以使试题难度产生不同的中间状态,而不是上述5个调控策略示意图中仅仅只有难度大、中、小3种状态,命题者可以根据需要选择组合。
除了上述调控策略外,还可借鉴PISA国际评价项目的有关技术方法,通过学生访谈、试测、分层分级代码评价等方法调控试题难度。