智慧校园环境下大学物理教学形成性评价研究

张 睿 顾 牡 吴天刚 张志华 王祖源 翟 苗

(同济大学物理科学与工程学院,上海 200092)

智慧校园的建设推动了“互联网+”教学模式的迅速发展[1]，一方面大批优质资源通过在线教育的形式被广泛分享，提高了教学资源的使用效率； 另一方面随着信息孤岛的消失，通过多种渠道获得教学信息，并通过数据挖掘技术了解学情，对提高师生之间的互动、有效改善教学，也能起到积极的效果。在教学过程中开展形成性评价，通过阶段性学习数据分析学习动态，有利于教师及时了解学情，发现学生学习过程中可能存在的问题，有利于教师调整教学策略、实施教学干预，通过精准化、个性化的教学模式，提高教学质量与教学效果。学生也可以根据形成性评价所得到的信息，调整自己的学习策略和方式，提高学生的学习效率。

将智慧校园和形成性评价结合起来，有助于提高评价体系的科学性与可信度，对教育技术与教学过程的深度融合能起到十分重要的作用，也能够更加客观地分析教学效果与教学质量，对精品课程的建设起到促进的作用。在这一情况下, 教学数据反映了学生学习过程中哪些方面的情况，使用哪些教学数据可以了解学生的学习成效，如何通过数据挖掘发现存在学习困难的学生，是教育工作者需要解决的问题。

1 研究方法

在“互联网+”教学模式中，学生的学习数据可分为在线教学数据与课堂教学数据两大类，其中在线教学数据主要来源于在线学习平台、虚拟仿真平台，本文数据来源于慕课学习平台；课堂教学数据可以包括课堂录像视频观看记录、听课记录等，本文数据主要来源于课堂应答系统的答题记录。在慕课数据的形成性评价研究中，我们选取了同济大学在爱课程网上上线的课程“电磁学”4个学期的学习数据作为研究对象；在基于课堂应答系统的形成性评价中，我们选取了同济大学某教学班级在力学，热学单元的应答记录作为研究对象。

在数据分析中主要涉及的方法包括相关分析、因子分析与聚类分析。具体思路是通过相关分析和因子分析找到与学习效果有关的学习行为变量，并对学生的学习行为进行分类，结合问卷调查的结果分析各类学习行为的共性。通过聚类分析，根据学习行为，对学生进行分组，找到出现学习困难的学生，并根据学习数据，分析造成学生学习困难的主要原因。

由于学生的行为和学习成效一般都呈现正相关关系，低作业完成率或测试完成率意味着学习困难，而学生学习成绩分布往往以双峰形式出现，在聚类分析中通过二聚类分析按学生的行为特征将学生分成两类，找出学习困难学生所在的特征峰，将有助于发现学习困难学生。在实际操作中，我们使用k-means算法对学生的学习行为进行二聚类分析。根据学习分析定义精准率等于预测学习困难学生中总评成绩未通过学生与预测学习困难学生的比值；召回率等于预测学习困难学生中总评成绩未通过学生与实际总评未通过学生之间的比值[2]。精准率与召回率都是体现预测系统的质量的参量，在学习分析技术中，用F值来综合表征预测系统的预测能力，见式(1)， 一般情况下可以令α=1，

(1)

2 基于慕课数据的形成性评价研究

在慕课学习数据中，我们采用的数据包括学生测试的完成率、学生作业的完成率、学生测试的平均成绩、学生作业的平均成绩以及学生在论坛上的发帖数。课程总评成绩的计算按照在线测试成绩30%，作业成绩15%，在线讨论5%，期末考试50%计算。

从我们的分析结果来看，测试完成率、作业完成率、作业的平均成绩和慕课的总评成绩属于同一类数据，测试平均成绩属于一类数据，论坛上的发帖数属于一类数据[3]。选择与总评成绩同一类的学习行为作为预测变量，选取其中某慕课班级(人数N=1811)进行二聚类分析，预测结果见表1。该班级不及格人数为877人，不及格率为48.4%，缺考率为2.7%，由于参加学习的学生以同济大学在校学生为主，缺考率远远低于一般慕课课程。

表1 电磁学慕课在线学习数据聚类分析结果

从数据上看，采用测试完成率和作业完成率作为形成性评价预警指标，对于慕课学习者可以实现精准的预测和较广的覆盖度。对于混合式教学班级(人数N=22，不及格率 13.6%，缺考率零)采取同样的方法处理数据后发现召回率和F值有所下降，这主要是样本量较小导致的，但基于测试完成率和作业完成率预测的精准率仍然接近100%。

从对四门慕课数据的因子分析结果上看，慕课学习数据可以分为三类，第一类数据(成分一)主要包括在线测试完成率，作业完成率，总评成绩，作业平均成绩；第二类数据(成分二)为测试平均成绩；第三类数据(成分三)为学生的发帖数。各成分荷载数见表2， 除了一项数据以外，均大于0.8。

表2 电磁学慕课在线学习数据因子分析结果

3 基于课堂应答系统的教学形成性评价实施

课堂应答系统是收集学生课堂的实时响应，向教师反馈学生学习情况的交互系统[4]。根据建构主义理论，师生之间的互动以及学生之间的互动对于有效的课堂教学有着十分重要的作用。在课堂教学中，教师提出问题，学习者通过课堂反馈系统提交答案，教师通过教师端呈现反馈信息并主动调整教学过程，及时解决课堂中出现的问题。此外教师还可以通过后台程序，了解和分析个别同学的学习动态，及时调整教学策略，实施教学干预，实现教学过程的个性化。具体的流程如图1所示。

图2 课堂应答系统反馈信息

图1 课堂应答系统使用示意图

对于常规课堂教学，由于学生的个人响应并不直接在课堂上呈现，课堂应答系统可以提高学生课堂参与的主动性和参与度。对于大班教学，教师通过课堂应答系统能够了解班级对教学内容中重点难点的学习情况，提高授课的效率和精准性。课堂应答系统的反馈信息如图2所示。

对于翻转课堂模式下的教学，教师可以通过课堂应答系统设定前测，了解学生预习的情况，并根据学生的前测结果确定教学方案。一般来说，如果前测结果正确率超过70%，可以不讨论有关知识点。教师还可以通过课堂应答系统设定后测，确定课堂讨论是否达到了预期效果。

在常规教学中，由于使用课堂应答系统的频率有限，选择适当的题目进行形成性评价将有利于保证评价的科学性。如果需要通过应答数据筛选出学习困难的同学，使用的题目应满足难度适中，区分度大，答题时间适中的要求，方便使用者通过答题正确率确定学习困难的学生。

我们使用项目反应理论[5]计算了这20道题目的难度系数和区分度。难度系数的平均值为0.45，区分度的平均值为2.97，整体难度适中，区分度较大，适合课堂答题使用。进一步分析发现难度系数与答题时间呈中度正相关关系(r=0.524，p<0.05，见图3)和答题的正确率(r=-0.871，p<0.01，见图4)呈高度负相关关系。一般来说，对于难度系数相近的题目，学生对有关知识越熟悉，答题时间越短。答题时间较长的题目多是大学期间出现的新知识点。

图3 课堂应答题难度系数与平均答题时间的关系

图4 课堂应答题难度系数与答题正确率的关系

从数据上看，难度系数适中的题目答题平均时间为2～6分钟，比较适合课堂答题，而难度系数较大的题目，平均答题为4～10分钟，不是很适合课堂答题使用，对于教学中新出现的知识点，答题难度还可以略微降低。

4 基于课堂应答系统数据的形成性评价研究

我们使用2018—2019春季学期某班级前半学期课堂应答系统的数据(20题)的数据来源作形成性评价，这些数据包括课堂出勤率、答题正确率与答题响应时间。对班级所有学生(人数N=144)的数据进行二聚类分析，并根据期末总评成绩对预测结果进行评价(表3)。该班采取混合式教学模式，但没有进行课堂翻转，在线学习主要起辅助作用。期末总评成绩按照在线测试10%，课后作业10%，出勤10%，在线讨论10%，期末考试60%计算，不及格率15%，缺考率1.5%。

表3 课堂应答系统应答记录分析

从应答系统的数据分析上看，学生测试的不及格率较高，召回率较低，但由于答题记录往往来源于授课过程中的测试，不少知识点都是第一次接触，对知识的掌握还不够深入，出现正确率较低的情况也是可以理解的。相对于其他判定参数，采用应答正确率作为判定参数具有较好的F值。

对于该教学班一个学期的教学数据以及科罗拉多科学学习态度问卷调查(CLASS)以及学习投入调查问卷的结果，结合课堂应答系统数据和在线学习数据进行因子分析，剔除荷载因子小于0.4的项，使得变量尽可能只出现在一个成分内，发现学习数据同样可以分成三类数据，其中总评成绩，在线测试平均成绩，作业完成率，课堂答题率，作业平均成绩，论坛发帖量为成分一；课堂答题正确率，学习态度，学习投入为成分二；课堂答题时间与作业完成率为成分三；每个成分荷载因子构成分别为成分一(0.742，0.742，0.488，0.703，0.656，0.402)，成分二(0.444，0.858，0.819)；成分三(0.761，0.667)。

5 讨论与总结

无论是慕课还是课堂教学，由于总评成绩和作业以及在线测试有关，学生通过完成以上工作完成课程的学习，因此这里慕课和课堂教学数据中的成分一都体现了课程完成的情况。由于在慕课教学中，发帖情况所占总评成绩的比重较小，没有体现在课程完成度里。

我们曾经针对翻转课堂型混合式教学班级进行学习态度问卷调查，调查结果显示学生的学习态度、测试完成率、作业完成率、作业的平均成绩和慕课的总评成绩属于同一类数据，[6]。对于本教学班，由于没有采取翻转课堂的教学形式，只有课堂答题正确率属于与学习态度有关的参量。在慕课教学中，在线测试和课堂教学中的课堂答题形式类似，因此也可以把慕课教学中的成分二看成是学习态度的体现。研究表明，大学新生入学之后，由于适应问题，会出现学习态度下降的情况[7]。对于大学物理课程，积极主动地学习态度对学习成效能起到十分重要的作用，授课教师应根据形成性评价结果对学生予以积极引导，提高课程质量。

我们还针对翻转课堂型混合式教学班级进行性格外向程度测试，发现论坛发帖量属于和学生性格外向程度有关的变量(发帖数没有计入成绩)[6]， 也就是说慕课数据中的成分三很可能反应的是学生的外向程度。对于课堂应答系统，由于答题时间某种程度上反应了学生的反应时间和智力水平，所以课堂教学数据的成分三可以看成是智力因素的体现。

形成性评价主要考察学生是否完成阶段性学习任务以及学生的学习态度情况，对于我们目前混合式教学模式，从数据上看在线测试平均成绩，课堂答题率(考勤)，作业平均成绩能较好地反应学习完成程度，课堂答题正确率反映学生的学习态度，建议将这四个参数作为形成性评价的依据。

由于实际教学的总评成绩不及格率只有10%左右，如果使用慕课数据预测实际课堂教学效果, 对于召回率偏低的指标, 将可能导致召回率上升,F值上升；而对于召回率偏高的指标，将可能导致精准率下降和F值下降，需要重新确定评价指标。从数据上看，对于慕课，测试平均成绩更可能成为评价指标。对于混合式教学，如何将慕课数据与应答系统数据有效结合，提高评价与预警的性能还有待进一步考查。

对于学习预警，总结性评价的难度和区分度十分重要，如果题目过难，区分度较低，不及格率升高，学习预警系统的准确率有所下降；难度过低，区分度较低，不及格率降低，学习预警系统的召回率会减小，这将对学习预警带来一定的困难。从公平公正的角度出发，总结性评价应保证难度系数的稳定性。

教师和学校如何利用教学数据进行教学干预，提高学生对知识的掌握，也是一个值得思考的问题。任课教师和学生交流较少，对学生的心理状态很难把握，很可能干预适得其反，加大了对学生进行精准化的教学干预的难度。随着智慧校园的建设，各种数据源的开放与学校各部门之间的配合增多，可以为这些问题的解决找到更多的途径。