MOOC有效评价反思与对策研究

文/涂伟 李曼

MOOC有效评价反思与对策研究

文/涂伟 李曼

随着MOOC（Massive Open Online Courses 大规模开放课程）热潮，如何评价MOOC受到关注。MOOC是课程，也要遵循教学规律，其评价要围绕学生、教师、教学方法、教学效果等因素，要定性与定量相结合，但在实践中这些评价效果不佳。

MOOC是课程，是要让学生掌握某些知识和学习，这种学习，不论包装得如何生动有趣，如何互动或互助，都是为有持续学习意愿的学习者准备的。2015年对221门课程调查发现，完成率的中位数为12.6%，其中多数学习者都是在前两周就退出了。无论是哪种方式的学习，都需要安排时间、专心致志、理解思考、表达沟通、记忆背诵、坚持不懈，与读小说和看电视不同，多数MOOC要以考试的方式检验学习效果。与传统课程一样，在MOOC也存在多数学生怕考试，多数学生不愿意自主学习的现象。

MOOC评价的实践

当前MOOC的评价体系并没有国家标准。2015年教育部发布的《关于加强高等学校在线开放课程建设应用与管理的意见》提出以先建设应用、后评价认定的方法，到2020年，认定3000余门国家精品在线开放课程，各高校根据实际建立在线开放课程的评价机制。而在2006年针对国家精品课程建设，是有教学队伍、教学内容、教学方法与手段、教学条件、教学效果、特色及政策支持等6项一级指标和15项二级评估指标，每个指标有具体的分值。从早期精品课程建立明确的评价指标体系，到目前MOOC先建设，后评价的做法，表明评价体系的建立存在困难。

在近年研究中，不少学者试图构建多样的MOOC评价体系。德国亚琛工业大学尤瑟夫等建立了教学维度技术维度的评价。教学维度下有教学设计与考核2个二级指标，下设 29个指标；技术维度有使用者界面、视频内容、学习与社交工具，及学习分析四个二级指标，下设44个评价指标。欧洲远程教育大学联合会的开放教育质量评价包括2个一级指标: 机构层面与课程层面。机构层面包含6个二级指标:战略管理、课程体系设计、课程设计、课程传递、教职人员支持及学生支持；课程层面未设置二级指标，有11 个三级指标。

MOOC评价的缺陷

在实践中，每个评价指标都有其重要作用，但作为整体的MOOC评价体系是否科学合理，仍面临不少挑战。

1.评价体系指标繁杂，有效性缺乏大范围验证。评价体系要有可操作性，要考虑评价的成本和时间。如果在购物平台上消费后，要给出的评价指标有几十项，多数买家可能都会放弃评价。很多情况下，全面客观与精练直观是矛盾的，规范化标准化与特色化个性化也是矛盾的。

2.评价主体不明确，以专家经验代替用户体验。在实践中往往以专家代替普通用户，对MOOC进行评价。一方面多数用户无法完成某项MOOC课程的学习，其评价可能偏低，而少数完成了学习的用户，对MOOC的评价可能偏高；另一方面用户缺乏横向比较，不会把多个高校提供的同一门课程都学习，对于知识点设置是否合理，考试难度是否恰当等，难以做出正确评价。但以专家代替用户的评价模式，带来了新问题。专家不会像普通用户，一个学期深入学习后作出评价，其极短时间的体验，可能对MOOC课程的流畅度、易用性、互动性等产生误判，更强调MOOC的知识体系和专业细节，忽略趣味性和口碑宣传等隐性优势。

3.评价目标和时点值得商榷。除了由谁来评价外，MOOC评价体系还有两个绕不过的问题。一是评价的时点，每门MOOC课程建设都是个不断完善的过程，刚上线课程与成功运营几年的课程在同一评价体系中显失公平。二是评价的目的，在计划经济时代，评价与评比和评奖是对应的，但在市场经济下，如果只是由主管部门进行评价，可能并不客观，有些被高校专家推崇的精品课程，学生中的口碑却一般，学生可能喜欢和蔼、幽默、颜值高，课程浅显、考核简单的老师和课程，专家却不认可。

4.评价体系缺乏可比性。所有MOOC放置在一个评价体系中仍值得商榷。不同学科专业、不同课程体系、面向不同教师和学生的MOOC，其评价指标也应多元化。即使同一门课程，面向不同年龄或学术背景的学生，他们评价的结果也会有较大差别。有的学科需要实践操作，有些强调书面表达，有些注重学习互动，让这些MOOC课程放在相同的评价体系中，不仅有失公允，也无法发挥通过评价而产生的改善和提高的效用。

5.评价体系缺乏导向性、动态性与前瞻性。MOOC的评价要发挥导向性作用，课程建设者对照指标，查漏补缺。相对宽泛的指标体系显然无法发挥导向作用。此外，MOOC的教学理念和技术实现手段是不断变化的，用户也会更加成熟，是个动态演变过程，相应的评价指标体系也应是动态变化并具有一定的前瞻性，要充分预计评价指标的发展趋势变化，使评价指标体系的适用更具有长远性。现有的评价体系，在这方面仍有提升的空间。

图1　MOOC评价的二维体系

MOOC的二维体系

在对MOOC评价前，可从需求和受众两个角度，将所有MOOC课程分为四个象限，不同特点的课程，其评价侧重点也应不同。见图1所示。横坐标是用户需求，左侧是内在需求，右侧是外在需求。内在需求强调个人兴趣驱动，外在需求是为了满足外在的要求，如考试、入职或专业升级等。纵坐标是受众的数量，自下而上，受众越来越多，从小众关注到大众追捧，有些MOOC只能吸引少量用户，有些却有大量的用户关注。在MOOC网站首页推荐的课程，多数都是大众追捧的，位于第一象限和第二象限。

这四类的MOOC不宜用采相同的评价体系。偏个人兴趣的MOOC，用户往往是随机进入这些课程，前几期的点击率很高，在没有硬性课程考试和时间压力的情况下，多数用户不会坚持到课程结束，这些课程需要有特色、有观点、风趣、博学、耐人寻味等。而偏现实压力的MOOC，如高校由原精品课程和专业课程转型的MOOC，需要学生注册后，在学期内配合传统课程学习，完成作业和考试并获得成绩；或者是需要由培训通过国家或行业类考试；这类MOOC强调课程体系、逻辑架构和专业性，需要用户反复学习和相互讨论后才能掌握，课程难度较高，一般而言，用户更愿意为这类MOOC付费。

MOOC的双层评价

以最终考试成绩认定MOOC课程的质量，并不容易，这也让MOOC的评价更加困难。由于很难监督分布在各处的学习者的作业和考试状态，作弊和替考都有可能发生。MOOC如果不与传统课堂相结合，学生的成绩是难以认定的。换句话说，多数学生不是为了通过考试而参加学习的，如果传统课堂学习不用考试，也没有成绩，想学就学，可能很多课程的毕业率也不高。有研究者将参与MOOC学习的学生聚类为4种类型即完成者、旁听者、脱离者和体验者，还有称为潜行者、顺访者、消极参与者和积极参与者，无论如何表述，不参与到MOOC中的学习者比例可能高于传统课堂。

MOOC评价应采用双层体系。第一层是准入评价，第二层是综合评价。参照更加复杂的电影评价体系，一部好的电影，其题材、演员、导演、情节、摄影、音乐、道具、服装都是重要的评价指标，每个指标也可再作细分，但很少有电影采用这种机械式的、相互分离的评价体系，常见的IMBD、豆瓣电影评分等，只需要用户提交一个综合分，如果有足够多的用户，这个评分就能显示出其相对的公正性。当然，电影的综合评价，是基于第一层准入评价的基础上，即所有电影都要有制作和发行的批准，其程序就是以专家为主体，对相关内容进行严格审查，制作方根据修改意见进行调整并符合标准后，才能获得批文并进入市场。在MOOC体系中，准入评价也是审查，包括技术规范、教学内容、相关材料等，只要符合标准要求的MOOC，就能进入各平台发布。由于MOOC的持续更新性，相应的审核也应不定期地进行。

基于MOOC双层评价的建议

1.尽快建立全国统一的MOOC准入审核平台。随着各类MOOC课程越来越多，相关部门应联合成立全国统一的MOOC准入审核平台。对国内外所有拟进入各类平台，包括学校内部自建平台的MOOC课程进行审核，并开展定期检查和反馈。审核的重点是技术规范、讲授内容、实名制注册等，应符合国家相关法规要求。

2.逐步建设全国统一的MOOC评价平台。借鉴电影的评价模式，建设覆盖所有MOOC的评分网站，所有注册用户能给相应课程评分，撰写相应的评价、意见和建议，根据用户学习内容的多少，给出评分的相应权重，例如课程共10章，用户只观看了第1章少量内容，则其给出的低分应作相应调整。平台建立后，也逐步可将专家或同行等给出的分值作相应权重的增加。平台应做好刷分等舞弊事件的监控和处理，防止人为操作。

3.建立评奖体系，鼓励创新。借鉴电影的评奖模式，让专家推荐四个象限MOOC的入围课程，然后评选出相应的获奖MOOC作品予以表彰。相对于繁多的MOOC平台和课程，用户的注意力变成了稀缺资源，评奖能让用户更好地关注MOOC中的新课程、新创意，以此鼓励创新。同时，采用独立于评价平台的评奖体系，也能纠正仅由用户打分所带来的片面性，建立正确的导向。

（为武汉科技大学现代教育信息中心）