基于数据驱动的在线开放课程学习评价研究

邓祖禄　李佳

摘要：在线开放课程已成为学习者知识获取、技能提升和终身学习的重要途径，但现有在线开放课程学习评价存在学习起点评价不精准、过程评价不全面、评价结果的解释性不足等困境。科学合理的学习评价能激发学习者的主动性和积极性，提高学习效能。本研究从混合教学结构流程的视角，将学习评价有机融入学习过程，构建了课前导学、课中研学、课后拓学评价框架，并应用于教学实践。研究结果表明：投入度高的学习者其学习成绩较好；发回帖越活跃的学习者其学习成绩并不一定很好；教师在混合教学过程中科学地进行教学组织、调控及干预，对提高学生学习质量具有重要的保障作用。

关键词：在线开放课程；混合学习；数据驱动；评价设计

中图分类号：G712    文献标识码：A    文章编号：1672-5727（2023）07-0078-06

2020年10月，中共中央、国务院发布的《深化新时代教育评价改革总体方案》对结果评价、过程评价、增值评价和综合评价改革做了详细部署，并要求利用信息技术，深度挖掘分析学习过程数据和学习结果数据，探索建立个性化、精准化的学习评价方式[1]。截止到2022年3月，我国在线开放课程数量和用户数量都居世界第一位[2]。在线开放课程因其支持多种教学应用场景、教学方式灵活、突破时空限制、能满足不同学习群体需求等优势备受学习者、教师们的青睐，为学习者在知识获取、技能提升和终身学习等方面提供了有效路径。同时，由于受在线开放课程师生之间的时空分离、浅层教学互动、学习动机差异较大等因素影响，出现在线开放课程学习体验不佳、学习质量不高等问题。鉴于此，本研究从在线开放课程中混合教学过程与学习评价相融合的视角，对在线开放课程学习质量进行评价研究，以提高学习效能。

一、在线开放课程学习评价的困境

通过中国知网和实践调研发现，现有在线开放课程学习质量评价存在不足。具体体现在：一是学习起点评价（学情分析）方面，因课前学习行为数据采集片面、部分数据缺失，同时在数据分析上多倚重教师的经验判断和简单的统计对比，导致学习起点评价（学情分析）不能精准识别学习者的认知基础、认识能力和学习偏好；二是学习过程评价方面，由于不能采集学习过程全样本数据，数据处理与分析难以深入，没有采取即时监测与精准反馈的有效措施，导致无法诊断学习状态与学习目标之间的差距；三是学习结果评价方面，过于强调对学生过去学习的总结并简单地赋予成绩等级，缺乏对等级与位置的深入分析、深度解释，难以发现教与学中存在的问题，难以实现“教学评一体化”；四是增值评价方面，评价指标设置不合理，简单粗糙地把几次考试分数的增值作为增值评价指标，而忽略了学习者在受教育过程中以及在独立学习过程中的表现，忽略了对学习者的品德、艺术审美、综合能力提升等方面的考察。

二、基于数据驱动的学习评价框架构建

（一）在线开放课程教学结构流程

在信息技术赋能下，在线开放课程与传统课堂相比，在教学模式、交互方式、评价方法等方面发生了根本性变化。在线开放课程教学结构流程通常包括课前导学、课中研学、课后拓学三个阶段[3]（见图1）。

课前导学：教师的主要任务聚焦在学情分析与教学预设。首先，教师从教学目标、教学资源、学习者初始学习需求和群体特征等方面进行学情分析。其次，根据学情分析进行教学设计，此阶段的教学设计主要围绕课前导学任务中需要学习者具备的知识、技能而进行的教学预设。教学预设趣味性强的导学任务、基于微课视频为主的多样化学习资源和课前导学测评试题等。然后，教师根据学习者导学资源学习情况、导学测评成绩、讨论互动等情况，综合分析导学阶段的学习情况。最后，重新评估学情，重新进行教学设计。学习者的主要任务是根据导学任务完成课前预习，进行自学、同伴互学，完成导学测验，并将学习难点或有疑问的地方记录下来及时反馈给教师，以便在课中研学时教师对其进行重点讲解。

课中研学：学习者深度参与教学活动是促进学习者有效内化知识、提升技能的关键。教师活动，首先，要对课前导学阶段遗留的“疑难杂症”进行讲解答疑；其次，为导入本堂课的教学情境，提出高階问题，在学生研学过程中给予适当的点拨或提醒；最后，要对学习者的研学过程和学习成果进行归纳总结。学生活动方面，首先，基于具体情境、具体问题进行独立思考；其次，需在此基础上与小组其他成员进行协作研讨并解决问题，最终形成小组学习成果并进行展示；再次，要在课内学习任务完成后，及时进行学习效果评测；最后，为教师对小组学习成果进行及时的评价与反馈。

课后拓学：此阶段聚焦在学习之后的反思与迁移应用。教师根据课中阶段的学习情况，设计不同难易程度、不同类型的拓展项目，设计拓展学习资源，推送拓展学习资源，对个别学生/小组进行精准指导，最后组织学习者进行反思与自评/互评。学习者通过自学、互学完成拓展任务，进行拓学测评，完成同伴互评与学习反思，在此过程中培养学习者的批判思维和迁移应用能力。

（二）在线开放课程教学过程生成的数据体系

在线开放课程教学实施过程产生了大量的多模态数据，这些数据包含了学习过程和学习结果数据，为评价提供了数据基础（见图1）。本研究将教学过程产生的海量多模态数据进行分类，形成师生行为数据簇、师生情感数据簇、评价数据簇和课堂管理数据簇。

1.师生行为数据

师生的学习行为既包含显性学习行为，也包含隐性学习行为[4-5]。教师线下行为数据包含线下课堂组织行为、互动行为数据和线上在线指导、学情分析等线上行为数据。学习者行为数据同样包含线下实体课堂听课行为、互动行为等数据和登录学习平台频率、资源访问学习行为、论坛互动等在线行为数据。

2.师生情感数据

已有研究表明，学习者的情感是影响其学习效果的重要因素[6-7]。师生情感数据采集中，可以通过视频、图像识别技术对师生情感、实时状态数据等情感信息进行分析评价。

3.教与学评价数据

评价贯穿课前导学、课中研学、课后拓学全过程，评价数据包括评学、评教、互评等过程性和结果性数据。

4.课堂管理数据

信息化教学环境与设备是保障教学顺利实施的重要载体，它记录了教学过程中的课堂管理数据，这些数据包含学习者考勤、课堂异常表现、学习进度提醒和预警信息等数据[8]。

（三）在线开放课程学习评价框架构建

科学评价能有效诊断出教学中存在的不足，并提出针对性的改进建议，实现以评促教、以评促学。在线开放课程混合教学涉及线上线下不同场景，其学习质量评价也应针对不同场景进行适切性地评价[9]。本研究在教育测量等理论指导下，结合在线开放课程教学结构流程和教学过程生成的数据体系特点，从课前导学、课中研学、课后拓学等角度对学习者进行诊断与评价。学习评价在伴随式采集学习者学习过程全样本多模态数据基础上，采用定性与定量结合、线上线下考核并进、结果性评价与过程性评价相结合方式进行学习全过程诊断评价。学习评价总成绩=过程性评价成绩+结果性评价成绩，其中过程性评价成绩=课前导学评价成绩+课中研学评价成绩+课后拓学成绩，结果性评价成绩=综合测试成绩+项目作品质量成绩。

1.课前导学评价框架设计

在该阶段，学习评价的目标聚集在对学习者的学情进行分析、对导学成效进行评价。利用网络学习平台数据采集工具，采集学习者学习行为数据、导学测评数据等，利用学习分析、数据挖掘等技术，深度挖掘其学习参与度与学习成效，对学习者线上学习过程和学习结果进行评价。此阶段从评价维度、观测点、权重、评价主体等四个方面构建评价框架，其中评价的维度包含投入度、参与度、学习能力、导学测评等方面（详见表1）。

2.课中研学评价框架设计

课中学习评价目标主要聚焦在学习者在课堂上的主动参与、合作表现以及学习成效等方面，采用定量评价与定性评价相结合的方式，其中，在投入度中重点对学习者课上情况进行评价；参与度中主要对学习者是否积极参与讨论、小组互动、学习任务完成情况等方面进行评价，此外为其它维度评价观测点（详见表2）。

3.课后拓学评价框架设计

课后拓学是进一步巩固课中学习内容，并在此基础上进行知识迁移应用。因此，课后学习评价主要针对拓展学习任务的完成度、知识迁移应用、拓学测评、反思总结等方面进行评价。此外为各评价维度及观测点（详见表3）。

三、实践应用

（一）研究过程

1.实验样本选择

实验样本以湖南电气职业技术学院电梯工程技术专业和城市轨道交通机电技术专业2020级339名学生为研究对象，实验课程为“职业素养”，基于超星慕课平台和线下智慧课堂实施混合式教学。将电梯工程技术专业学生作为实验组，应用本研究的评价框架进行教学实践；城市轨道交通机电技术专业的学生作为参照组，采用原有的评价方法进行教学实践。前期两个专业的学生已基于超星慕课平台完成了“信息技术”等课程的混合式学习，具备了线上线下混合学习技能和相应的信息素养。“职业素养”课程为电梯工程技术专业和城市轨道交通机电技术专业学生所必修的一门公共基础课程，课程学习6～11周，第12周进行期末综合测评。总课时为32学时。

2.学习评价量化计算方法

本研究学习评价计算方法按照表1、表2、表3观测点进行量化。具体量化计算公式：课程学习评价总成绩=过程性评价（70%）+结果性评价（30%）。其中，结果性评价成绩=期末综合测试成绩（50%）+项目作品质量（50%）；过程性评价成绩=课前导学成绩（20%）+课中研学成绩（50%）+课后拓学成绩（30%）。

课前导学成绩=投入度（40%）+参与度（20%）+学习能力（10%）+导学测评（30%）。其中，投入度、参与度、学习能力、导学测评各维度下观测点的百分占比见表1所示。

课中研学成绩=投入度（15%）+参与度（20%）+协作创新（20%）+贡献度（15%）+实时测评（15%）+学习成效（15%）。其中，投入度、参与度、貢献度、协作创新、学习成效、实时测评等各维度下观测点的百分占比见表2所示。

课后拓学成绩=拓学任务完成度（20%）+知识迁移应用（40%）+拓学测评（20%）+反思总结（20%）。其中拓学任务完成度、知识迁移应用、拓学测评、反思总结等各维度下观测点的百分占比见表3所示。

3.信度与效度分析

研究基于上述具体量化公式，抽取课前导学4个评价维度数据、课中6个评价维度数据、课后4个评价维度数据为研究对象，将339名学生的数据导入到统计分析软件SPSS 26中进行可靠性计算分析。发现克朗巴哈系数Cronbachs Alpha为0.843，表明各影响因素之间具有较好的内部一致性，信度较高。同时，研究还进行了KMO度量（检验变量之间的相关性，取值在0～1之间，值越大表明变量之间相关性越大），其KMO值为0.692，表明具有较好的结构效度。

（二）研究发现

1.学习者的参与度、投入度与学习总成绩相关性分析

通过皮尔逊相关性检验（度量两个变量间的相关程度）发现（见表4）：学习者的参与度成绩与总成绩的皮尔逊相关系数为0.745，两者之间相关性较强（在0.01水平上显著相关）；学习投入度成绩与总成绩的皮尔逊相关系数为0.759，两者之间相关性较强（在0.01水平上显著相关）；另外，学习者参与度成绩与学习者投入度成绩的皮尔逊相关系数为0.728且显著相关；参与度成绩、投入度成绩均与总成绩具有较强相关性。这说明参与度高的学习者，其学习投入度也较高，学习成绩也越好，也与心理学研究结论一致。本研究结论的启示是：教师创设趣味性较强、体验感较好的学习情境和学习任务，能较好地激发学习者的学习积极性与兴趣，促进学习者“乐学、爱学、好学”，提高学习效能。

2.观看视频时长、线下提问/线上发回帖与成绩的相关性分析

学习者观看视频的时长从某种程度上代表了学习者对视频中学习内容的掌握程度。本研究显示（见表5所示）：线下提问/线上发回帖和观看视频时长两者之间存在显著相关（0.01水平）；与考试成绩之间也存在显著相关（0.05水平）。研究结果表明，一方面，学习者观看视频的时长越长、次数越多，对内容理解、提升成绩越有帮助；另一方面，说明反复观看的视频内容存在理解难度较大，学习者倾向提问发帖的方式向同学、教师求助。从某种意义上来讲，发帖求助越多的学习者的学习主动性就越强，其成绩也相对较好。然而，研究数据发现线下提问/线上发回帖与学习成绩相关性为0.225，表明二者不存在显著相关性。导致此结果的原因是大部分学习者提问/发帖的目的是向同伴或教师进行求助，而相应的回答/回帖却较少，没能及时响应求助者需求。本研究结论的启示是：教师应加强对线上线下交流谈论的关注，及时有效地进行回答/发帖，以帮助学习者解决学习困惑。

3.过程性评价与结果性评价的相关性分析

本研究将过程性成绩和结果性成绩进行相关性分析发现，二者在0.01水平（双侧）上显著相关，这表明在混合教学过程中，教师对线上/线下学习过程的引导、调控及干预，对学习者克服学习困难、完成学习目标具有重要的保障作用。本研究结论的启示是教师应在精准分析学情（学习目标、学习内容、学习环境、学习者学习需求、学习者群体特征等）基础上，统筹安排好线上线下学习内容，创设学习情境，有效组织教学，及时进行教学调控与干预，以提高教与学的效能。

4.学习效果对比

本研究选取2020级电梯工程技术专业201名学生（实验组）、城市轨道交通机电技术专业138名学生（参照组）在2022年春季班课程成绩进行基于数据驱动的学习评价实践效果的对比分析，学习评价总成绩=过程性评价+结果性评价成绩；其中有过程性评价成绩=课前导学评价成绩+课中研学评价成绩+课后拓学成绩，结果性评价成绩=综合测试成绩+项目作品质量成绩课程成绩。研究采用独立样本T检验对两个班级学生的成绩差异进行检验，结果如表6、表7所示。

从表6可以看出，独立样本检验结果中的F值=0.57，Sig.值=0.839>0.05，说明假设方差相等；均值方程T检验值=4.131，Sig.值=0.000<0.05，拒绝原假设，即证明基于数据驱动的学习评价实施前后在成绩上存在显著差异。从对照班级的成绩数据统计（如表7 所示）可以看出：电梯工程专业班学生的成绩均值为87.79，轨道交通专业班学生的成绩均值为76.83。由此可知，实施了基于数据驱动学习评价的实验组班级成绩高于没有实施评价框架的参照班级的成绩，且超过了显著水平为5%的显著性检验，说明基于数据驱动的学习评价能显著提高学生的学习质量。

综上所述，从实证研究过程、研究结果与启示可以发现，本文研究的基于数据驱动的在线开放课程学习评价框架能够从课前导学、课中研学、课后拓学三个典型教学应用场景对学习者的学习过程和学习成效进行全方位诊断评价，根据评价反馈信息及时改进教与学，能有效调动学生的学习积极性、提高学习成效；同时，学习评价框架具有开放动态性，教师在实践过程中可以根据教学目标、学习内容、学习环境和学生特征等具体学情，灵活调整评价指标维度和对应的观测点，尽可能真实客观地反映学习者学习行为、态度和结果之间的相关性，实现以评促学、以评促教。

学习评价是一个系统且复杂的活动过程，其终极目标是改进教与学。本研究在采集学习者学习过程数据和学习结果全样本数据的基础上，从混合教学流程的课前导学、课中研学、课后拓学三个阶段构建了在线开放学习评价框架，以期为我国在线开放课程教学评价提供借鉴与参考。

参考文献：

[1]我国慕课数量和学习人数均居世界第一 [EB/OL].（2022-02-29）[2022-12-20].http：//www.moe.gov.cn/fbh/live/2022/54324/mtbd/202203/t20220329_611860.html.

[2]成亚玲，谭爱平.基于智慧课堂的混合学习教学设计研究[J].中国信息技术教育，2022（21）：85-88.

[3]方海光，侯伟锋，王晓春，等.基于PADClass模型的数字化课堂学习过程数据挖掘与分析研究[J].电化教育研究，2014（10）：110-113，120.

[4]黄瑶.基于在线学习环境下学习者学习行为模型构建与分析[D].昆明：云南师范大学，2019.

[5]郭秀艳，杨治良.内隐学习与外显学习的相互关系[J].心理学报，2002（4）：351-356.

[6]夏立新，周鼎，叶光辉，等.情感负荷视角下探索式搜索学习效果的影响因素[J].图书情报知识，2020（4）：133-141.

[7]赵悦君.汉语学习者情感因素对于其学习效果的影响[D].保定：河北大学， 2013.

[8]成亞玲.智慧课堂数据采集框架设计研究[J].湖南工业职业技术学院学报，2021（3）：14-18，25.

[9]杨浩，付艳芳.新时代高职院校混合式教学质量评价指标体系构建[J].职业技术教育，2021（35）：67-72.

（责任编辑：刘东菊）

Study on Evaluation of Online Open Course Learning Based on Data Driven

DENG Zu-lu， LI Jia

（Hunan Electrical Vocational and Technical College， Xiangtan Hunan 410001， China）

Abstract： Online open courses have become an important way for learners to acquire knowledge， improve skills and lifelong learning. However， there are some difficulties in the evaluation of open online courses， such as inaccurate starting point evaluation， incomplete process evaluation， and insufficient interpretation of evaluation results. Scientific and reasonable learning evaluation can stimulate learners' initiative and enthusiasm and improve learning efficiency. From the perspective of mixed teaching structure and process， this study organically integrates learning evaluation into the learning process， constructs the evaluation framework of pre-class guidance， in-class research and after-class extension， and applies it to teaching practice. The results show that learners with high degree of engagement have better learning performance. Learners who are more active in posting do not necessarily perform better. Teachers' scientific teaching organization， regulation and intervention in the process of mixed teaching plays an important role in ensuring the improvement of students' learning quality.

Key words： online open courses; mixed learning; data driven; evaluation design