慕课在线教学评价指标体系及其动态评价研究

王俊杰 田刈璁

[摘 要] 随着社会教育模式的多样化、教育需求的个性化、教育质量的高级化发展，在线开放课程逐步成为教育领域内的重要形式之一。该研究针对在线开放课程开展时间短、评价数据少、评价体系不完善的问题，提出了基于动态视角的在线教学效果评价指标体系，并考虑新信息优先原理，构建了综合动态评价模型。进而以一门国家级精品开放课程为例，对其六个学期的开课数据进行动态评价，提出提升课程质量的对策建议。

[关键词] 在线开放课程;评价指标;动态评价;新信息优先

[中图分类号] G642.0    [文献标识码] A    [文章编号] 1674-9324（2021）01-0120-04   [收稿日期] 2020-12-02

一、引言

在“互联网+教育”的背景下，慕课作为新型的混合在线教育模式应运而生。慕课以其大规模性、开放性和师生互动性等特征对我国高等教育的课程内容、课程设计、教学模式等方面改革具有重要意义。姚凯、李思志等以“MOOC学院”社区论坛为数据源，建立了包括课程内容、教学设计、界面设计、媒体技术、课程管理等的评价指标体系[1]。赵馨蕊、周雨青等以大学物理课程为例，利用层次分析法建构了大学物理MOOC教学质量评价指标体系[2]。岳进和郭辉改进了AHP法，通过以区间标度代替点值的方法，结合区间数理论与群决策方法构建了基于区间层次分析法和专家群决策的MOOC适切性评价模型[3]。

本文以慕课在线开放课程为研究对象，从课程建设、课程运行和课程评估三个维度建立动态性评价指标体系，并建立了新信息优先的动态评价模型，对国家精品在线课程进行课程质量评价。

二、慕课在线开放课程评价指标体系构建

（一）评价指标的确定及其量化规则

反映在线开放课程教学质量的指标系统由诸多不同的指标构成，指标之间应具有互补性、层次性、独立性和结构性等特征。在充分考虑指标体系的科学性、系统性、动态性、层次性、可比性、数据的可获取性原则等基础上，从“课程建设模块”“课程运行模块”和“课程评价模块”三个维度确定了慕课在线开放课程（包含SPOC数据）的指标体系，具体的指标体系与量化规则如下所示：

本文构建的“运筹学”慕课在线开放课程动态评价指标体系包含了课程建设模块（A1）、课程运行模块（A2）和课程评价模块（A3）。二级指标包括基本信息建设（B1）、课程题库建设（B2）、课程平台建设（B3）、课程运行质量（B4）、课程教学质量（B5）、平台反馈数据（B6）、学生评价反馈（B7）和教务评价反馈（B8）八个模块，共29个三级指标。

在线开放课程评价指标体系中的29个三级指标包含了定性指标与定量指标，以下对所有评价指标的量化方法进行规范化，所有指标得分均统一定义在区间[0，10]之间，具體为：

B1基本信息建设：（1）课程等级：国家级精品课程10分;省级精品课程7分;校级精品课程4分;普通课程1分。（2）课程团队：团队成员构成合理、分工明确得8～10分，次之得4～7分，成员构成不合理、分工不明确得0～3分。（3）课程概要：课程信息非常完善且准确得8～10分，次之得4～7分，信息不完善得0～3分。

B2课程题库建设：（1）单元测验题库：题库难易程度合适、知识点覆盖全面、题库数量充足得8～10分，次之得4～7分，难易程度不均衡、知识点覆盖不全、题库数量较少得0～3分。若评估学期题库进行了更新，则该指标评分加1分，否则不加分，总分不超过10分。（2）单元习题库：具有单元习题库的数量占总单元数的比重*10分。若评估学期的所有单元习题库均进行了更新，则该指标评分加1分，否则不加分，总分不超过10分。（3）期末测试题库：期末测试题库评分与单元测试题库相同，按照指标要求分为8～10分、4～7分和0～3分三个等级。若评估学期期末测试题库进行了更新，则该指标评分加1分，否则不加分，总分不超过10分。（4）案例库：案例充分且具有代表性，得8～10分;缺失，得4～7分;案例库较少，得0～3分。

B3课程平台建设：（1）平台信息完整度：网络课程平台内信息完整、详细且正确得8～10分;次之得4～7分;平台信息不完整得0～3分。（2）内容更新频率：课程内容更新的学期数/开课的总学期数*10分。（3）资源更新覆盖率：课程内容更新内容/课程资料总量*10分。（4）视频资源质量：视频资源具有符合标准的清晰度、完整性和交互性得8～10分，次之得4～7分，视频资源质量较低得0～3分。

B4课程运行质量：（1）选课人数：评估学期选课人数/所有学期选择人数最大值*10分;（2）学生参与讨论数：评估学期学生在课程QQ群（SPOC课程）和网课平台上发布和回复的讨论帖总数/所有学期发布和回复的讨论帖总数最大值*10分;（3）教师参与讨论数：评估学期教师在课程QQ群（SPOC课程）和网课平台上发布和回复的讨论帖总数/所有学期发布和回复的讨论帖总数最大值*10分。

B5课程教学质量：（1）学习资源发布及时性：课程视频、单元测试题、课程公告等资源信息和内容全部按时发布并通知，得10分，每延迟发布一次减1分，最低为0分。（2）单元测验批改及时性：单元测验在完成一周内及时批改并反馈，得10分，每延迟反馈1天减1分，最低0分。（3）在线答疑频率：每次课后都有在线答疑得10分，每少一次答疑减1分，最低0分。

B6平台数据反馈：（1）完成课程人数：评估学期完成课程人数/评估学期选课人数*10分;（2）学习通过率：课程考核合格人数/完成课程人数*10分;（3）评价满意度：开课平台中课程评价星级/最大星级*10分。

B7学生评价反馈：B7模块下的4项指标得分均通过对上课学生发放调查问卷得到。得分以10分制设计，与B1至B6模块的指标得分统一。

B8教务评价反馈：B8模块下的5项指标得分均通过对课程同行专家发放调查问卷得到。得分以10分制设计，与B1至B6模块的指标得分统一。

（二）评价指标权重设计

慕课在线开放课程动态评价指标体系共包含了三级指标，通过专家咨询，同一层级内的指标重要性均衡，因此采用各级指标内等权的标准确定权重。指标权重的确定从一级指标开始，逐级计算，每一级指标体系按照等权方式分配权重。

定义1 设ωA1、ωA2、ωA3分别代表一级指标中的A1课程建设模块、A2课程运行模块、A3课程评价模块三个模块的指标权重，ωB1、ωB2、ωB3、ωB4、ωB5、ωB6、ωB7为二级指标中7个模块的指标权重，ωBsq表示29个三级指标的权重，其中s=1，2，3，4，5，6，7代表7个二级指标，q的取值范围依据每个二级指标下的三级指标个数变化。

四、N学校“运筹学”课程的动态评价

“运筹学”作为重要专业基础课，已在中国大学慕课上成功开展五次，共有3910人选课，176所高校学生选择学习，其中包括清华大学、南京大学等20余所“双一流”建设高校。课程开设效果显著，影响力大，受到师生好评。因此，对该课程做出合理、科学的动态评价机制，是保障其课程质量的前提。

（一）评价数据

本文数据主要来自三个维度，B1至B6模块的指标数据来源于中国大学慕课平台，N学校“运筹学”已经完成的6次课程统计数据;B7模块的指标数据是通过对参与课程的社会学习者和在校学生进行问卷调查得到的数据;B8模块的指标数据是通过N学校和其他高校的同行教师进行问卷调查得到的数据。依据上述评价指标的量化规则，得到表1数据表。

（二）基于新信息优先的课程动态评价

根据表1，共有六个学期的评价数据，依据上述确定的指标权重和公式（1）可以得到六个学期的各自评价数据，如表2所示。

该课程在慕课运行六个学期以来，其课程质量总体上呈现上升趋势，从2017年第二学期第一次开课的6.937分，逐步平稳上升至2020年第一学期的7.876分，除了在2018年第二学期略有下降，其余学期的教学质量均有提升。依据新信息优先原理，该课程的总体评价得分为7.876分，仍有一定的提升空间。

综合表1和表2的评价结果，该课程在整理运行过程中仍存在以下几点需要关注的问题：

一是在课程建设模块中，关于课程题库建设部分，案例库建设得分较低，案例库的更新评率与覆盖面，以及其难易适合程度有待提升。

二是在课程运行模块中，选课人数、讨论帖数等方面，需进一步推广宣传课程，应安排足够的教学团队成员负责与学生的互动，保证教学质量。

三是在课程评价模块中，课程的选课人数较多，但是实际完成课程并检验合格的学生比例较低。师生对讨论区的反馈满意度较低。

参考文献

[1]姚凱，李思志，李艳红，等.MOOC评价模型研究[J].复旦教育论坛，2017，15（03）：65-71.

[2]赵馨蕊，周雨青，瞿林云.大学物理MOOC教学质量评价指标体系的建构[J].东南大学学报（哲学社会科学版），2017，19（S2）：163-168.

[3]岳进，郭辉.基于区间层次分析法和专家群决策的MOOC适切性评价[J].电化教育研究，2019，40（03）：54-58.