混合式教学形成性评价研究

张小娟 张 睿 杜 娟

(1同济大学物理科学与工程学院，上海 200092； 2上海市光明中学,上海 200092)

混合式教学作为一种新兴的教学模式，它将两种或多种不同的训练方法相结合，从而达到最优的教学效果，例如它把传统教学和在线教学充分结合起来，利用网络教学和课堂教学的优势互补来提高学生的学习效果[1]。在混合式教学过程中，教师通常会通过在线测试或课堂应答系统来检验学生对知识点的掌握程度，并根据答题效果，及时调整课堂教学内容，实现教学过程的精准化和合理化。在形成性评价中，测试题目的质量好坏决定了测试结果的准确性，因此，选择合适的方法来对测试题目质量进行评估，对于考察学生的学习效果具有重要的意义。

题目的难度和区分度是衡量题目质量的重要指标，在混合式教学中，不同的教学环节对测试题的难度和区分度的要求也有所不同，这就需要运用合理的方法来对题目进行筛选。传统的方法通过题目的失分率确定难度系数，这样的方法由于样本的限制，往往产生较大的误差，不利于对学生的学习效果做出准确的评价。而随着大数据时代的到来，基于教育大数据的个性化教育也受到广泛的关注，对教育数据的有效挖掘，对提高教育管理效率和学习效率具有重要的意义[2]。基于项目反应理论的二参数逻辑斯蒂模型中包含了能力参数、难度和区分度多个指标，既能预测学生的答题概率也能判断学生的能力等级，能够满足对学生的个性化评价，为混合式教学的顺利开展提供有力的支持。

1 测试题指标计算方法分析

1.1 二参数逻辑斯蒂模型

项目反应理论将学习者对测试项目的反应(应答)以表示测试项目特性的项目参数和表示被测试者能力的能力参数及其组合的统计概率模型所表示。单参数逻辑斯蒂模型和二参数逻辑斯蒂模型都是典型的项目反应理论模型[3]。

二参数逻辑斯蒂模型如公式(1)所示。

(1)

在二参数逻辑斯蒂模型公式中，P(θ)表示被测试者正答的概率；D为量表因子，其值固定取1.7；θ表示被测试者的能力参数；b表示难度参数，a表示区分度参数[3]。

1.2 数据选取

1) 样本来源

文章以上海市光明中学2017级267名高一学生第一学期物理期末考试成绩和同济大学2017级446名大一新生第一学期物理期末考试成绩为例，针对学生题目的答题情况来进行数据分析。

2) 试卷效度、信度分析

由于试卷题目的效度一般在0.4～0.7为最佳[5]，为保证计算结果的可靠性，笔者分别将两套试卷中近似值在0.3以下的题目删掉。

3) 能力等级划分

本文尝试利用两种方法来划分学生的能力等级。

方法1是按照学生的标准分来进行划分，高一新生共划分为由高到低A、B、C、D 4个等级，对应能力参数为0.853、0.701、0.557、0.421；大一新生共划分为由高到低A、B、C、D、E 5个等级，对应能力参数为0.894，0.767，0.615，0.46，0.289。

方法2是按照每10分为一个等级来划分，共划分为A、B、C、D、E、F、G这7个等级，每个等级对应的学生的能力参数θ分别为0.9、0.8、0.7、0.6、0.5、0.4、0.3。

根据每个等级学生题目的正确答题人数与该等级内总人数的比值来确定每个等级的答对率P(θ)，然后通过逻辑斯蒂回归求出难度b和区分度a。

为了比较两种方法算出来的a、b值哪个更可靠，分别将方法1与方法2求得的a、b值代入方法2的7个等级中求出预测的答对率。计算并比较两种方法预测的答对率与实际的答对率的残差平方和。经过比较两套试卷的结果发现，大部分题目使用方法2计算得到的残差平方和小于方法1。故本文将学生的能力等级按方法2划分为7个等级。

4) 指标参数相关性分析

而单参数逻辑斯蒂模型则是二参数逻辑斯蒂模型的简化，其区别在于单参数逻辑斯蒂模型的区分度a的值恒为1。

本文中为了进一步验证二参数逻辑斯蒂模型计算出的a、b值的可靠性，笔者尝试采用单参数逻辑斯蒂模型和传统方法来计算a、b值，并对3种方法计算出的a、b值做相关性分析。结果如表1、表2所示。

表1 难度相关性分析表

表2 区分度相关性分析表

从表1中可以发现，传统方法、单参数逻辑斯蒂模型和二参数逻辑斯蒂模型三者在0.01水平(双侧)均显著相关，且具有强相关性，所以，相对来说，3种方法预测出来的难度参数的分布是高度一致的。

由于单参数逻辑斯蒂模型的区分度均为1，所以无法做相关性分析，这里仅对传统计算与二参数逻辑斯蒂模型做相关性分析，从表2中可以看出同济大学的区分度两者显著相关，但相关系数不够高，而光明中学则没有显著性。

5) 残差分析

通过难度、区分度相关性分析，3种方法的预测结果在难度上相对来说是比较一致的，那么3种方法预测出来的正确率哪个更加接近真实值呢？

图1、图2为用3种方法计算出来的残差平方和的平均值以及标准差的比较图，从图中可以直观地看出二参数逻辑斯蒂模型的残差平方和的标准差以及平均值明显小于其他两种方法，因此，使用二参数逻辑斯蒂模型计算出来的P(θ)更接近于原始的P(θ)值，也就是说二参数逻辑斯蒂模型估测的区分度和难度值更加可靠，所以依据二参

图1 残差平方和标准差比较图

图2 残差平方和平均值比较图

数逻辑斯蒂模型来计算测试题的难度和区分度还是比较合理的。

2 形成性评价在混合式教学中的应用

混合式教学一般分为课前、课中、课后3个环节。课前环节，学生根据学习任务的需要在网络学习平台上通过相关的视频、课件资源进行学习，起到一个课前预习的效果。课中环节，教师组织线下授课，进行课堂讲解、答疑和讨论。课后环节，学生可在网络平台上进行作业练习、在线讨论、评论总结等[7]。具体流程如图3所示。

图3 混合式教学流程图

在混合式教学中，往往会通过测试题来对学生进行形成性评价，在进行教学设计时，可根据布鲁姆的教育目标分类理论，结合线上和线下教学的特点，针对学习目标，根据不同教学环节教学需要设置不同难度、区分度的题目。

以大一试卷为例，根据学生的答对率对题目作聚类分析，聚类情况如表3、表4、表5所示。

上述表格中，表3的答对率在0.8～0.95之间，表4的答对率在0.54～0.75之间，表5的答对率在0.30～0.48之间，从表格数据中可以发现难度、区分度的不同均会影响答题的正确率。

表3 大一试题题目答对率聚类1

表4 大一试题题目答对率聚类2

表5 大一试题题目答对率聚类3

通过二参数逻辑斯蒂模型的计算公式也可以得知，当θ=b时，被测试者的正确概率为0.5，可以以这个0.5为基准，当区分度和被测试者能力一定的情况下，b越小，超过0.5的正确概率的人数就越多[3]。就可以根据学习任务的需求，在区分度一定的情况下，根据正确概率要求和被测试者的能力来挑选难度适宜的题目。在难度一定的情况下，区分度越大的题目，越能区分被测试者的能力。

在不同的教学环节中，又该如何应用难度、区分度这两个指标来设定测试题目，实现对学生的形成性评价呢？

2.1 通过课堂讨论环节进行形成性评价

在课堂讨论的环节中，学生的参与度是讨论题目质量好坏的重要评价标准，讨论题目的难度太大，会让学生失去课堂讨论的信心，讨论题目的难度太小，又会失去课堂讨论的价值，在对课堂讨论题目进行选取时就应该选择难度系数居中、区分度大一点的题目。对于表3、表4、表5中给出的题目，表4对应的题目难度系数居中，更适合用于课堂讨论。

2.2 通过线上作业环节进行形成性评价。

在课后的线上作业环节，主要是判断学生对知识的掌握情况，题目的设置要有兼顾性和层次性。通过设置不同难度的题目可以了解学生对所学知识的掌握情况。但是就目前的大多数学习平台来说，线上作业的题目设置并不能实现个性化学习的需要，即对不同能力等级的学生很难做到个性化的题目设置。因此，要满足学生个性化学习的需要，未来学习平台的线上作业环节的题目的设置需要有不同的难度系数、区分度，然后按照最近发展区理论，对不同能力等级的学生设置与学生能力等级相近或者比学生能力等级稍微高一点的题目，从而实现学生的个性化发展。

2.3 利用形成性评价进行学习预警

学习预警指按照一定的标准综合评估学生的背景信息、学习行为、考试成绩等因素，按照评估结果向学生、教师等发出提示信号，并及时提供有效且针对性强的干预建议[8]。长期以来，预测学生的学习成绩一直是许多学科的重要研究课题[9]。通过预测学习成绩实现学习预警对于学生的形成性评价具有重要的意义。

在混合式教学中，学生会在学习的过程中产生大量的实时动态数据，例如在线讨论情况、视频观看时长频率、各教学环节答题情况等。针对答题情况，未来可以使用二参数逻辑斯蒂模型根据学生在前半学期教学环节中的题目答对率来预测学生期末成绩的及格率，然后对不及格的学生进行及时预警。

此外，教师还可以通过测试相同能力水平的学生在相同难度和区分度的题目时的正确率，通过正确率来判断学生某一段时间的学习努力程度是否上升或者下降。对于同一个学生来讲，也可以通过选取相同难度和区分度的题目来记录学生的正答概率，通过一段时间的记录，来预测学生的能力是否发生变化。在学习预警中选择的题目区分度要尽量大一些，能够区分出高低能力等级的学生。

3 结语

混合式教学作为一种线上学习与线下学习相结合的教学形式，这种教学形式要求通过形成性评价及时了解学情，调整教学策略。本文通过对传统方法、单参数逻辑斯蒂模型和二参数逻辑斯蒂模型的比较分析，发现二参数逻辑斯蒂模型在预测题目难度和区分度方面具有明显的优势，并且使用二参数逻辑斯蒂模型来进行测试题指标的计算，并根据教学要求给出混合式教学中不同环节的测试题选择方法，也为混合式的形成性评价提供有益参考。