基于Rasch模型的高中化学学业质量测评研究

赵景方 濮江 袁欣 周青

摘要：借鉴PISA2015科学素养测试框架，依据《普通高中化学课程标准（2017年版）》建构了“以化学学科核心素养为本”的测评理论框架，遵循课标所提出的命题框架和原则、运用Rasch模型开发并优化了化学学业质量的测评工具，对西安市某区453名高二学生进行测试，结果显示学生的“证据推理与模型认知”素养较为薄弱，据此给出了教学改进建议。

关键词：Rasch模型；化学学业质量；化学学科核心素养

文章编号：1008-0546（2018）11-0002-05 中图分类号：G632.41 文献标识码：B

doi：10.3969/j.issn.1008-0546.2018.11.001

一、问题的提出

随着《普通高中化学课程标准（2017年版）》（以下简称2017版课标）的颁布，以“素养为本”的教育教学改革已经拉开帷幕，这使得教育质量评价获得了新的视角和依据，彰显了教育质量监测的时代性和发展性。为客观反映高中阶段学生化学学业质量，秉承“素养为本”的评价观将日常学习评价与学业成就评价相结合，构建化学学业质量测评的理论框架，探索测评工具的开发方式与途径，应用测评工具调查特定区域学生化学学业质量的现状，有助于教师认识学生化学学科核心素养的发展水平，为教师开展更具针对性的教学提供理论支持与现实依据。

二、测评工具开发的依据及方法

Rasch模型是项目反应理论（Item Response Theory，IRT）的模型之一。1960年，丹麦数学家George Rasch提出了单参数IRT模型，即Rasch模型。作为一种潜在特质模型，Rasch模型通过个体在题目上的表现（通常表示为原始分数）来测量不可直接观察的、潜在的变量 [1]。透过受试者的作答反应，得到客观等距的量尺，克服了经典测验理论（Classical Testing Theory，CTT）“工具依赖”和“样本依赖”的缺点，为社会科学领域的测量建立起了一套客观和可靠的标准 [2]。2017版课标指出化学学业水平测试“命题应坚持以化学学科核心素养为测试宗旨”，也就是说化学学业质量考试所测查的是学生的“化学学科核心素养”——即通过学习化学而逐步形成的正确的价值观念、必备品格和关键能力。由此可见，化学学科核心素养是一种具有学科特质的综合能力，因此可以用Rasch模型来进行测量。

化学学科核心素养包括“素养1宏观辨识与微观探析”“素养2变化观念与平衡思想”“素养3证据推理与模型认知”“素养4科学探究与创新意识”“素养5科学态度与社会责任”五个方面，反映了社会主义核心价值观下化学学科育人的基本要求，全面展现了通过化学课程学习对学生未来发展的重要价值 [3]。

化学学业质量标准是基于化学学科核心素养建立，是由化学核心素养和化学课程内容有机结合后制定的，是化学学科核心素养在教育教学当中的具体体现。依据不同水平学业成就表现的关键特征，学业质量标准明确将学业质量划分为不同水平，并描述了不同学习结果的具体表现。高中化学学业质量水平划分为4级，是指导化学教师日常教学中进行教学设计、编制试题和诊断评价的重要依据，也是高中化学学业水平测试（合格性考试和等级性考试）命题的重要参照。水平1、2对应的问题相对比较简单，涉及的核心内容仅限于必修课程，学业质量水平2是高中学生应达到的合格水平标准，也是化学学业水平合格性考试的命题依据；水平3、4对应的问题相对比较复杂，涉及的核心内容包括必修和选修Ⅰ课程，是化学学业水平等级性考试的命题依据 [4]。

三、研究设计

1.测评框架的构建

借鉴PISA2015科学素养测试框架的“科学知识”“科学态度”“科学能力”三个维度，解析2017版课标中“五大化学学科核心素养”之间的关系。“宏观辨识与微观探析”和“变化观念与平衡思想”可归结为“化学学科观念”，是学生在化学学科认知活动中形成的具有学科特质的思维视角和方式；“证据推理与模型认知”和“科学探究与创新意识”可归结为“化学学科能力”，是学生在化学学科认知活动中形成与发展，并用于解决化学问题的特殊能力 [5]“科学态度与社会责任”是化学学科的价值追求和化学课程对学生价值观发展的贡献；“科学态度与社会责任”与“化学学科观念”相互影响，两者也影响化学学科能力，情境又是学生化学学科能力展现的活动载体。基于以上认识构建了高中化学学业质量测评框架（以化学学科核心素养为本）。见图2。

2.测评工具的开发

2017版课标将化学学业质量水平划分为4个水平，每一级水平的描述中均包含化学学科核心素养的5个方面，但略有侧重。2017版课标对学业水平考试给出了命题建议，并构建了以化学学科核心素养为导向的命题框架，见图3。以核心素养为测试宗旨、以真实情境为测试载体、以实际问题为测试任务、以化学知识为解决问题工具，“情境”和“知识”同时服务于“问题”的提出与解决 [6]。

根据化学学业质量水平的具体描述、结合上述命题框架，与5位一线优秀教师共同编制了第一轮的试卷（14道选择题、6道简答题）；经过试测、质量检验之后，删除了3道难度较大的题目，并对个别题目进行了修改，形成了第二轮的试卷（12道选择题、5道简答大题）；再次经Rasch模型检验发现试卷质量可靠，可将之用于大样本研究。

本研究以化学学业质量水平为一个维度、以测试宗旨（化学学科核心素养）为另一维度，两者结合构成二维表，将所有题目汇总在二维表中，见表1。

以下为试卷的第2题：

2.硫酸亚铁是广泛应用的口服制剂，可用于慢性失血、营养不良、儿童生长期所致的缺铁性贫血，铁元素以亚铁离子的形式通过细胞进入血液。亚铁离子易被氧化，如何檢验硫酸亚铁口服制剂是否变质（ ）

A.通过颜色判断，若呈浅绿色则没有变质

B.滴加NaOH，若出现红褐色沉淀则变质

C.滴入硫氰化钾没有变化，再通入氯气后出现血红色则没有变质

D.加入氯化钡出现白色沉淀则没有变质

（1）学业质量水平

此题属于学业质量水平4：“能在物质及其变化的情境中，依据需要选择不同方法，从不同角度对物质及其变化进行分析和推断。”

（2）测试宗旨（核心素养）

本试题测试宗旨主要是化学学科核心素养“证据推理与模型认知”的化学学科核心素养，要求学生能对情境中的问题做出假设，能依据证据证明或证伪假设，运用“Fe3+与KSCN反应变为血红色的Fe（SCN）3”的理论模型与选项中的信息相匹配。

具体的测试目标包括：要求学生掌握硫酸亚铁变质后的产物（Fe2+变质后变为Fe3+）；Fe3+的检验方法；能够判别出四个选项中检验方法的合理性与不合理性。

（3）测试载体（真实情境）

本试题创设了“如何检验硫酸亚铁口服制剂是否变质”的问题情境，引导学生利用已有知识对题目信息进行判断和推理，有助于培养学生“证据推理与模型认知”的化学学科核心素养。

（4）测试任务（实际问题）

本试题基于生活情境提出“如何检验硫酸亚铁口服制剂是否变质”的问题，实际上是在考查学生“如何检验Fe3+”这一化学问题。学生需要从题目中判别出问题情境中的化学问题（Fe2+变质后变为Fe3+），利用具体的化学知识和方法（KSCN检验Fe3+的方法）进行解答，充分体现出了测试任务与真实情境之间的紧密联系。

（5）解决问题的工具（化学知识）

本试题要求学生运用已有的化学知识来解决题目中所提出的问题，这些知识包括：Fe3+的检验方法、Fe2+与Fe3+的相互转化、Fe2+、Fe3+与NaOH反应的原理及现象等。

3.抽样

本研究共进行了三轮测试，第一轮、第二轮测试要用于检验试卷的质量，采用分层随机抽样的方法抽取了陕西省西安市某区100名高二学生作为试测样本。第三轮测试也采用分层随机抽样方法抽取该区453名高二学生进行测试。

四、数据分析

1.测量工具质量分析

运用Rasch模型专用软件Winsteps3.93软件三轮测试所得数据进行分析，检验试卷的各项质量指标包括学生能力值/题目难度值（Measure）、误差（Error）、分离度（Separation）、信度（Reliability）等。

Rasch模型通常将题目难度的平均值设置为0，学生能力值会随测试不同而不同。Reliability（信度）是对试卷测试结果一致性、可靠性、稳定性的描述，当信度大于0.70时表示试卷具有较高的可信度；Separation（分离度）是对试题区分度的描述，分离度越高表示试题对不同水平学生的区分度越高，当分离度大于2时表示试题具有较高区分度；RMSE（均方根误差）是MSE（均方误差）的算术平方根，RMSE可以评价数据的变化程度，RMSE的值越小说明理想模型描述所测试数据的精确度越高。Rasch模型使用根据残差计算的两个卡方拟合指标MNSQ和ZSTD进行拟合度检验。理想拟合情况下MNSQ值为1，值在0.5～1.5之间时表示拟合程度良好；理想拟合情况下ZSTD值为0，值在-2～2时表示拟合程度较好 [7]。如表2所示，试卷的信度、分离度、题目拟合指数（MNSQ、ZSTD）均在理想范围内，误差较小，说明试卷的质量可靠。

Rasch模型将学生的能力值与题目的难度值放在同一量尺上，不仅可以分别对题目的难度、学生的能力进行对比分析，还可直观地将题目难度与学生能力进行匹配检验。图4为试卷的怀特图，可以检验题目难度与学生能力的匹配情况，最左端的一列（MEASURE）的数字是用于对比学生能力和题目难度的（Logit）量尺值。“#”表示7个学生，“·”表示1～6个学生，右端表示33个题目的分布情况。自下而上Logit值增大，表示学生能力升高、题目难度增加。理想的试卷应是不同难度的题目均有与之对应的学生，量尺左边的学生密集程度应与量尺右边的题目数量成正相关。图4中学生分布呈“双峰”形，存在两极分化的分布状态，题目难度在-0.5和0.5左右也出现两个峰值，整体而言题目的难度与其学生对应的能力水平基本一致。

2.学生学业质量水平分析

（1）学业质量水平的评价标准

通过Rasch模型专用软件Winsteps3.93分析数据，可以给出每个题目的难度值、每个学生的能力值（全部用Logit分表示）。由于Rasch模型是在同一把量尺上比较学生能力和题目难度的，将各个水平所有题目的难度值进行平均便可以得到各个水平的难度值，以题目难度平均值作为判断学生素养水平的依据，见表3。当学生的能力值低于-0.95时，则认为学生低于水平1；当学生的能力值为-0.95～-0.49时，则处于水平1；当学生的能力值为-0.49～0.23时，则处于水平2；当学生的能力值为0.23～0.86时，则处于水平3；当学生的能力值高于0.86时，则认为学生处于水平4。

（2）学生学业质量分析

图5 各水平人数比重统计图

根据学业质量水平的评价标准，统计得到453名高二学生各个水平人数比重，见图5。

学业质量水平2是高中毕业生在化学学科应该达到的合格要求。此次测评中，水平1及以下的学生占14.57%，这部分学生没有达到合格要求；水平2以上的学生占85.43%，这部分学生已达到合格要求。

学业质量水平2是化学学业水平合格性考试的命题依据，进一步统计水平2题目的正确率（见图6）发现：8、9、10、15（2）、15（3）这5道题目正确率不达60%。从这些題目考查的核心素养来看，主要集中在“证据推理与模型认知”这一素养，针对这一素养进行例题分析并提出了教学建议。

五、例题分析及教学建议

8.1995年我国科研人员在兰州首次合成了镤元素的一种同位素镤239，并测知其原子核内有148个中子。现有A元素的一种同位素，比镤239的原子核内少54个质子和100个中子，则A元素在元素周期表中的位置是（ ）

A.第3周期IA族 B.第4周期IA族

C.第5周期IA族 D.第3周期IIA族

问题解析：此题目的测试宗旨主要是“模型认知和证据推理”的化学学科核心素养，要求学生结合问题情境，运用已有理论模型——“原子结构”，推测镤元素的质子数，进而推测A元素的原子结构，最终推断出A元素在元素周期表中的位置。如若学生没有掌握“原子结构”的理论模型，则不能将题目信息与已有模型相匹配进而推断出正确答案。

教学建议：教师在教学中应注重培养学生的“模型认知”能力，运用建模思想尽可能提供给学生新的问题情境，促使他们利用已有的模型，提取加工、理解新情境下的信息，提出解决问题的方案、策略，形成知识、发展知识，找到解决问题的模型。在这样的思维训练过程中，使学生解决化学问题的思维能力得到发展。

六、结果与启示

1.研究结果

基于测评框架以及命题框架、遵循命题原则开发了高中化学学业质量的测评工具。经抽样预测、质量检验、修改/删增等过程，表明该工具表现出良好的信度和区分度，质量可靠。通过此次测评发现西安市某区453名学生的平均能力值为0.09，整体上处于水平2。该区85.43%的学生已到达高中毕业生在化学学科的合格要求，14.57%的学生没有达到合格要求。从核心素养来看，该区学生在“证据推理与模型认知”素养上较为薄弱。

2.研究启示

（1）基于Rasch模型开发的测评工具，可以测查并展示特定学生群体学业质量水平分布的情况以及化学学科核心素养的薄弱地带，为区域基础教育质量监测提供有效的支撑，为教师开展“素养为本”的教学、实施“素养为本”的评价提供了可借鉴的方法与思路。

（2）该测评研究是在学业水平考试之前进行的一次测评，此次测评将日常考试（常规的纸笔测验）与学业水平考试相结合，旨在提前诊断学生的学业质量水平，有利于教师在合格性考试或等级性考试之前实施更有针对性的补救教学，充分体现了以评促教、以评促学的现实意义。

（3）基于该测评研究，可进一步深入研究高年级与低年级、学优生与学困生在学业质量水平或核心素养水平上的差异性。关注学生在题目上的作答情况，分析高水平学生和低水平学生在问题解决过程中的具体差异，准确把握低水平学生学习的薄弱环节，针对学困生为教师提供教学策略以作参考，这将是亟待深入研究的问题。

参考文献

[1] 李久亮.Rasch模型在中国应用研究回顾[J].广东外语外贸大学学报，2016（2）：73-78

[2] Bond T G，Fox C M.Applying the Rasch Model：Fundamental Measurement in the Human science（2nd）[M].Mahwah，New Jersey：Lawrence Erlbaum Associates，2001：281-283

[3] 中华人民共和国教育部.普通高中化学课程标准（2017年版）[M].北京：人民教育出版社，2017：3-5

[4] 中華人民共和国教育部.普通高中化学课程标准（2017年版）[M].北京：人民教育出版社，2017：64-67

[5] 杨玉琴，化学学科能力建构的基本问题探讨[J].化学教育，2016（1）：1-6

[6] 中华人民共和国教育部.普通高中化学课程标准（2017年版）[M].北京：人民教育出版社，2017：77-81

[7] Maja Planinic，Lana Ivanjek，Ana Susac.Rasch Model Based Analysis of the Force Concept Inventor[J].The American Physical Society，2010，3（10）：1-11