基于“中国大学MOOC”平台的MOOC质量评价研究

刘亚男 肖明 刘江荣 徐烨

摘要：为探索在线课程的合理评价方式，构建基于“中国大学MOOC”平台的MOOC质量评价指标体系，包含用户、课程、章节、考试、作业、讨论区等6个一级指标，以及用户人数、师资队伍、课程时长等21个二级指标。使用层次分析法确定各指标权重，并选取该平台上的《大学英语》《现代礼仪》等5门课程，对其课程质量进行评价分析。结果表明，这种评价体系能够以平台为基础，合理地对MOOC质量进行综合评价，评价结果对高质量MOOC建设具有一定借鉴作用。

关键词：MOOC平台;MOOC质量;层次分析法;评价指标体系

DOI：10.11907/rjd k.191412

中图分类号：G434 文献标识码：A 文章编号：1672-7800（2019）012-0136-05

0引言

从2012年起，大规模在线开放课程（Massive Open On-line Courses，简称MOOC）作为一种新兴教育模式，在国内外引起了广泛关注。随着国内MOOC的大规模建设发展，2013年也被国内学者称为MOOC元年。从2013年起，国内各大在线教育平台（如“中国大学M00c”“学堂在线”“华文MOOC”等）纷纷加入MOOC建设行列。2017年，教育部办公厅下发了《教育部办公厅关于开展2017年国家精品在线开放课程认定工作的通知》，首批认定了490门精品课程，这一举措一定程度上进一步促进了国内MOOC事业的发展。当前，MOOC正在成为世界各国争夺下一轮高等教育改革发展主导权、话语权的重要阵地。作为一种具有大规模、开放性、易获得性等特性的新兴教育模式，MOOC在促进教育公平、推动教育事业发展等方面都具有不可估量的作用。

1国内外研究现状

“MOOC”一词最早由加拿大学者Dave Cormier等于2008年提出，其基于在线学习特征，与“开放教育”和“电子学习”类似。考虑到MOOC与远程教育和在线学习有较多相似之处，在调研国内外研究现状时，本研究同时考虑了在线课程质量保证体系和MOOC质量评价现状。关于在线课程质量评价，国内已经推出了一些较权威的评价标准，其中包括：国家精品课程评审指标，信息技术学习、教育和培训在线课程国家标准。国外也有一些国家或组织制定的评价体系，如美国课程审查专业机构Quality Matters（QM）：QM Rubric第五版、英国开放与远程教育学习质量委员会标准、欧洲开放教育质量标签、德国MOOC设计质量保障标准。笔者通过分析近年来国内外学者针对MOOC评价的相关研究成果后发现，涉及课程评价指标体系层面的研究主要集中在以下两个方面：

一是对研究现状进行梳理，在此基础上提出新的评价指标体系。Cathy Sandeents～分析MOOC演进过程，指出对MOOC课程进行有效评估才能更好地让学生有所收获;谭淇婧、谭明杰选取了欧洲开放教育质量标签、德国质量保障标准和北大MOOC评价体系进行比较研究，提出了构建MOOC质量评价应注意的问题;李青、刘娜通过对国内外8个权威在线课程评价指标进行分析，从媒体技术、课程内容、课程管理3方面讨论实际工作中可具体应用的质量措施，形成较为完整的质量保证体系;沈欣忆基于中国高等远程教育实践现状，融合远程教育各利益相關者的观点，研究构建了高等远程教育质量保证标准;马瑞、吴晓璇等通过文献分析和个案分析，构建了包括资源、课程团队、学习用户、环境4个一级维度的MOOC传播效果评价指标体系;赵馨蕊、周雨青等以教学活动及其影响因素为基础，采用层次分析法建构了大学物理MOOC的教学质量评价指标体系。以上研究大都是对现有一些评价标准进行梳理或对比分析，在此基础上提出新的MOOC质量评价指标体系，但是并没有针对课程进行验证。

二是从应用层面对MOOC质量评价体系进行实证分析。Yousef从用户界面、课程内容、社交工具、学习方法等对MOOC课程质量进行评价;邱均平从教学队伍、教学内容、教学资源、教学效果和教学技术5个维度确立了MOOC质量评价体系，并使用模糊评价模型进行实证;李加军等建立了包含教学评价、教学过程、导航设计、课程内容设计4个一级指标，16个二级指标的MOOC教学质量评价指标体系，并运用模糊综合评价法对MOOC教学质量进行评价;VictorDyomin等从学习材料、学习过程、学习效果3个方面对MOOC课程进行评价和分析;刘娜提出了基于学习者视角的MOOC课程质量评价方法，包括课程介绍、学习内容、学习媒体、交流互动、学习评价5个方面，并随机在不同平台上选取两门课程进行了评价。

结合MOOC质量评价的现有研究成果不难发现，现有研究大多集中在以学生、课程为主体，基于学习者或现代信息技术视角进行课程质量评价，而没有结合课程平台要素对MOOC课程质量的评价。但在MOOC实施过程中，学生作为MOOC课程的主体是需要考虑的要素之一，其它指标要素（如考试情况、讨论区互动情况等）也可以在一定程度上反映课程质量。本文制定了一个包含21个二级指标的MOOC课程质量评价体系，采集用户、课程、章节、考试、作业、讨论区等相关数据，通过数据分析方式探索MOOC课程质量评价的合理方式，并选取“中国大学MOOC"平台上的5门课程进行了实证研究。本研究为基于课程平台的MOOC质量评价提供了一种新的解决方案。

2研究方法

“中国大学MOOC”是高等教育出版社联手网易公司推出的一个大规模在线教育平台。截至目前，该平台拥有255所合作高校，上线课程超过千门，仅其中“经济管理”类目下的“金融学”课程目前就有26门。面对如此大量的课程，如何选择高质量的课程十分重要，本研究主要针对“中国大学MOOC”平台上开设两轮次以上的MOOC进行课程质量评价，主要采用以下3种研究方法：

（1）问卷调查法。选取具有MOOC建设经验或者选修过MOOC课程的120人作为调查对象，通过对预先调查选择的MOOC评价二级指标进行重要性评价;然后，根据该评价结果剔除无关指标;最后，得到完整的MOOC评价指标体系，其中包含6个一级指标和21个二级指标。

（2）层次分析法。选取具有MOOC建设经验的10名专家，由他们分别对各级指标进行两两比较，构造判断矩阵，并在Matlab软件中通过编程确定各指标权重。

（3）实证分析法。为了验证本文指标评价体系的科学性和可操作性，以“中国大学MOOC”平台上的MOOC数据为基础，选取《大学英语》《现代礼仪》等5门课程，利用如图1所示的评价模型及方法对其进行实证研究。

3nooC质量评价体系构建

3.1MOOC质量评价指标体系建立

评价指标体系是对被评价对象全部或部分特征的真实反映，建立评价指标体系的前提是将抽象的研究对象，按照其本质属性和特征某一方面的标识分解成为具有行为化、可操作化的结构。本研究主要实现基于“中国大学MOOC”平台的MOOC质量评价，通过对该平台数据的调研和分析，初步构建包括所有平台信息的指标体系问卷，之后进行调查，共发放问卷120份，回收95份，其中有效问卷75份。被调研者主要来自高校、企业和政府机关，并且都是MOOC课程的建设者或者学员。通过此次问卷调查，邀请被调查者对各指标进行重要性评价，剔除掉无关指标，最终构建了一个包含用户、课程、章节、考试、作业、讨论区6个一级指标，以及包含用户人数、师资队伍、课程时长等21个二级指标的MOOC质量评价指标体系，如表1所示。

3.2基于层次分析法的指标体系权重确立

层次分析法是应用网络系统理论和多目标综合评价方法的一种层次权重决策分析方法。层次分析法本质上是一种决策方法。所谓决策，是指在面临多种方案时需要依据一定标准选择某一种方案，其特点是将复杂问题中的各种因素通过划分为相互联系的有序层次，使之条理化，而后利用数学方法计算反映每一层次元素相对重要性次序的权值，通过所有层次之间的总排序计算所有元素的相对权重并进行排序。

在确定各指标权重时，如果只是定性结果，则往往不太容易被他人接受。通过矩阵法，即不将所有因素放在一起比较，而是两两相互比较，对比时采用相对尺度以提高准确度。本文采用专家访谈法进行判断矩阵构造，在受访过程中，专家对各级指标进行两两对比，评估相对重要性程度，具体标度如表2所示。

此次专家访谈在2018年8月进行，共成功访问10位MOOC方面的专家。此次受访专家从事MOOC研究都在2年以上，专家背景可以满足此次访谈需要。訪谈具体步骤如下：①将提前打印好的MOOC课程评价指标发到专家手中，让专家用几分钟的时间先浏览一遍清单内容;②以面对面采访形式进行访谈，并做好记录;③询问专家对于评价指标的修改或补充建议，并做好记录;④向专家介绍判断矩阵具体标度的含义，并请专家就各级指标进行两两对比;⑤向专家索要名片，或记录专家的电话、邮箱等联系方式，以便日后进一步沟通交流。

本次专家访谈顺利开展，最终得到了一级指标和各二级指标之间的判断矩阵。

其中，一级指标两两对比的判断矩阵如表3所示。

在Matlab软件中通过编程计算出各层权重，并对其进行一致性检验，最终得到指标体系权重如表4所示。

4基于“中国大学MooC”平台的5门课程评价实践

本文选取“中国大学MOOC”平台上的5门课程进行实证研究，这5门课程分别为《大学英语》、《现代礼仪》、《金融学》、《高等数学（微积分）》和《程序设计入门——C语言》。首先，结合上文构建的评价指标体系进行数据收集;然后，对数据进行定量和归一化处理，并对各课程进行评价;最后，结合评价结果，从一级指标层面对这5门课程进行综合评价。

4.15门课程原始数据

按照上文构建的MOOC质量指标体系，本文选取了5门课程用户、课程、章节、考试、作业、讨论区共6方面的数据。其中，A1表示用户人数，B1表示师资队伍，其余各二级指标也均用代码表示，具体数据如表5和表6所示。

4.2课程原始数据归一化处理

对原始数据进行预处理，首先需实现定性数据定量化。在所有数据中，只有师资力量这一指标的数据是定性的。具体处理方法概述如下：师资团队凡是属于双一流大学的加3分;教师团队中有教授的加3分，有副教授的加2分，有讲师的加1分;最高得分为10分。对所有定量数据进行归一化处理，采用式（1）所示的归一化变换方法进行处理。

4.35门课程得分与排名

根据权重及处理好的指标数据，计算得出每门课程的各一级指标得分以及每门课程总得分。5门课程一级指标具体得分如表9所示。其中，《大学英语》这门课6个一级指标得分分别是0.805、0.355、0.523、0.261、0.337和0.255。

将各指标得分情况与其对应的权重进行相关计算后，即可得到各课程总得分情况，如表10所示。其中，《大学英语》综合得分为0.421;《现代礼仪》综合得分为0.409;《金融学》综合得分为0.383，《高等数学（微积分）》综合得分为0.300;《程序设计人门——C语言》综合得分为0.464。从综合得分可以看出，采用上文构建的指标体系进行评价后，5门课的课程质量排名从高到低依次是：《程序设计入门——C语言》、《大学英语》、《现代礼仪》、《金融学》和《高等数学（微积分）》。

由表10可以看出，在5门课程中得分较低的是《高等数学（微积分）》和《现代礼仪》，分析具体指标发现这两门课程在一级指标“用户”方面得分要比其它3门课程低，分别为0.086和0.138，而一级指标“用户”方面得分最高的《大学英语》则为0.805分。这说明《大学英语》这门课选课人数较多，也反映出这门课的传播范围较广、影响力较大。5门课程中综合得分最高的是《程序设计人门——C语言》，为0.464分。综合分析6个一级指标后发现，该课程在一级指标“试卷”方面的得分比其它课程更高，达到0.601分，说明《程序设计入门——C语言》这门课程参加考试的人数较多，其考试平均得分比其它课程也更高，说明学习者对这门课程的掌握程度比其它课程好，该课程取得了良好教学效果。

5结语

本文运用问卷调查法与层次分析法构建了MOOC课程质量评价指标体系，并结合“中国大学MOOC”平台数据，对5门课程进行了评价。从评价结果看，《程序设计入门——c语言》课程各指标得分都较为优秀，但在用户人数、章节设置方面还有待提高;《大学英语》课程在用户人数、章节设置上表现较好，但在讨论区模块上尚有待提高，需要充分调动学员的学习积极性，并且在试卷题目的难易程度上也有待商榷，因试卷过难而导致学员成绩普遍较低;《现代礼仪》课程的讨论区最为活跃，作业布置也很合适，但在用户人数以及章节设置方面还需继续完善;《金融学》课程用户人数很多，但其讨论区不够活跃，建议该课程团队今后加强与学员互动，以提高其学习积极性;《高等数学（微积分）》课程拥有强大的教师团队，课程内容较为充实，但其用户人数较少，讨论区也不活跃，建议该课程团队今后加大课程宣传力度，以便吸引更多学员选修该课程，提高该课程资源利用程度。