大数据背景下MOOC教学评价的特征分析

☆王宏艳 阮士桂 张志辉

（东北师范大学，吉林长春130117）

大数据背景下MOOC教学评价的特征分析

☆王宏艳 阮士桂 张志辉

（东北师范大学，吉林长春130117）

大数据时代，以MOOC（Massive Open Online Course）为代表的在线教育正蓬勃发展，为传统教育注入了新的生机与活力。无论是传统教育还是MOOC教育，教学评价都是整个教育教学过程中不可或缺的一个重要环节，是评价教学效果的重要依据。较传统教学评价，MOOC因网络与信息技术的支持而显得更为开放、多元与人性化。文章在相关文献分析与总结的基础上，结合作者在Coursera、Udacity等平台的优质MOOC课程的学习体验对MOOC教学评价特征加以探究，认为其具有以下特征：一是MOOC教学评价的多元性：评价主体多元、评价对象多元、评价方式多元、价值取向多元；二是MOOC教学评价的开放性：评价理念开放、评价过程开放；三是MOOC教学评价的人性化：评价标准人性化、评价反馈人性化。

大数据；MOOC；教学评价；特征

一、问题的提出

如今，一个大规模生产、分享和应用数据的时代（即大数据时代）正在开启，人们的工作、学习以及思维方式也因大数据的到来而发生着改变。MOOC教育在大数据的推动下不断突破和创新，革新了传统的教育制度，MOOC教学评价在大数据的支持下趋于客观和完善。在教育高度信息化的网络时代，人们的学习方式也在迈向数字化，智能手机、平板电脑等各种便携式移动终端是人们常用的学习工具，学习者在学习过程中会产生大量的数据来记录他们的学习过程，大数据挖掘技术可以有效地跟踪和记录学习者的学习过程，从而为我们提供更加准确、客观的教学评价。喻长志［1］指出：大数据将重新构建教学评价方式，由原来的“经验式”评价转变为“依据式”评价、由原来的单一维度评价转变为多元性评价、由原来的结果性评价转变为过程性评价，通过大数据的支持找出教学活动的规律。可见，在大数据技术的支持下，教学评价将会更加科学、准确。

近年来，MOOC（Massive Open Online Course）即“大规模在线开放课程”风起云涌，至今方兴未艾，成为“地平线报告”预测的将在未来一年之内普及的技术，并且被认为是网络学习的“下一个革新之举”［2］。卡兰·凯莫卡特认为MOOC是新型的网上大学［3］。在一次论坛上，有学者把MOOC为代表的网络教育称为“新”网络教育［4］。从国内外学者对MOOC概念的界定可以看出，MOOC本身具有两个显著特征：一是开放共享（Open access），来自世界任一角落的人都能够免费参与MOOC课程学习；二是可扩张性（Scalability），MOOC课堂是针对不确定的参与者来设计的，具有显著的大规模性。

“大数据”是近年来信息技术领域比较流行的词汇，一般认为其具有“4V”特征，即大量（Volume）、高速度（Velocity）、多样化（Variety）和价值（Value）。MOOC与大数据具有密切的联系，大数据背景下，MOOC将革新传统教育体制、教学理念、教学方式以及教学评价等，本文主要探讨基于大数据的MOOC教学评价。大数据时代，MOOC教学评价区别于传统教学评价而具有自身的鲜明特征。由于MOOC学习者人数众多，教师不可能像传统课堂教学那样事先对学习者特征进行分析，尔后根据学习者特点实施恰当的教学。所以，MOOC教学更需要对其教学评价进行精心的设计，MOOC教学评价贯穿整个教学过程，具有举足轻重的作用。此外，由于在MOOC教学中师生、生生处于相对分离状态，课程内容主要以视频为学习载体，所以，又使得MOOC具有远程教育的一些特征。因此，有必要对MOOC教学评价的特征进行分析。基于此，本文主要探讨大数据背景下MOOC教学评价的特征，以期为我国MOOC教学评价提供一些有益的借鉴和启示。

在MOOC教学评价相关文献分析与总结的基础上，结合作者自身对MOOC课程的学习体验，认为大数据有助于重构MOOC教学评价体系，其特征主要体现在以下几个方面（如图1）。

图1　大数据背景下MOOC教学评价的特征

二、大数据背景下的多元性MOOC教学评价

传统教学中，一般教师作为评价主体、学生作为评价对象，评价方式通常采用单一的纸笔测验，以终结性评价为主，分数是评价学生的唯一标准。不同于传统教学，MOOC在大数据技术的支持下表现出多元性的特征。

1.评价主体多元

对MOOC学习效果的评价，其评价主体已不再仅仅是教师，还包括学生、校友等。MOOC学习平台上，通过后台大数据的分析与处理，加之不同主体对学习者的评价，有助于教师从不同渠道了解学生的学习情况，以便进一步改进教学。同时，也能够使学生认识到自身存在的优点与不足，有助于学生的全面发展。

（1）教师作为评价主体。无论是传统教学还是网络教学，教师永远是教学的一线工作者，其主导地位不可忽视与否认，MOOC教学亦不例外。在MOOC课程教学评价中，学习者数量众多，大数据为MOOC学习者提供了更加新颖的评价方式：同伴互评和机器自动评阅，但教师也会参与其中，教师通过评价学生的作业可及时发现教学上存在的问题，进而采取一定的补救措施，有利于MOOC教学效果的提升。

（2）学生作为评价主体。在传统的教学评价中，学生是评价的客体，是被评价的对象，他们对于评价的结果只能被动地接受，在一定程度上削弱了他们的主观能动性，忽视了学习者的个性差异。相比之下，MOOC教学评价将学生纳入评价活动中，强调学生也可以是评价的主体，评价形式为学生自评和同伴互评。比如：陈肖庚等在《MOOC的发展历程与主要特征分析》一文中论述了同伴互评和学生自评这两种MOOC课程评价方式的创新性与有效性。另外，祝智庭等学者也论述了Coursera平台广泛采用的自评和互评策略有效地促进了学习者的学习［5］。MOOC将学生这一主体元素引入教学评价后，既可以调动学生学习的积极性，也可以通过评价活动引导学生在评价过程中明确自己的定位，发现自身的不足，取人之长，补己之短，不断完善自己，从中培养他们的自我反思及自我监控能力，使学生在评价过程中真正体现其主体性，成为学习的主人。

（3）校友作为评价主体。MOOC学习效果的评阅人员中较有特点的是校友参与其中。在《从OCW课堂到MOOC学堂：学习本源的回归》一文中，张振虹等学者从学习者职业服务的角度论述了校友参与MOOC教学评价的益处。校友一般为各个领域出类拔萃的优秀人才，具有丰富的实践经验，是学校发展中极为重要的人力资源。因此，校友作为MOOC教学评价的主体，一方面有助于帮助学习者拓宽视野，丰富知识；另一方面还可以推动MOOC教学的发展。

2.评价对象多元

MOOC多元性的评价主体决定了其具有多元性的评价对象，通过多元对象的评价，可以从不同维度对MOOC作出综合评价，各种评价结果有利于MOOC的后期改进与完善，从而进行更优化的设计。其对象的多元性主要体现在以下几个方面。

第一，对学习者的评价。一方面，MOOC教学对学习者的学习过程给予高度关注，其教学评价以形成性评价为主。比如：在MOOC学习过程中，会对学习者参与学习活动的情况进行评价。可根据某个学习者在论坛发表的问题数以及提供解决方案的次数等信息来了解学习者主动参与课程学习的积极性、对知识的理解与掌握程度以及与他人合作学习的情况；另一方面，MOOC教学也会对学生的学习结果进行评价。比如：对学习者任务完成情况的关注。MOOC每周更新后一般会有相应的学习任务，学习者可通过“课程进度”栏目来查看自己的任务完成情况。

第二，对教师的评价。MOOC教学中教师的地位和作用发生了重大变化，教师成为学习活动的组织者、学习资源的设计者与开发者、学习过程的指导者，而不再是信息的主要传递者。因此，在MOOC教学中，对教师的评价可从教学活动的组织、学习资源的提供和对学生学习过程的指导等方面进行考察。

第三，对MOOC教学资源的评价。在MOOC学习过程中，教学资源是与学习者直接发生交互的对象，是开展MOOC教学的基础。因此，有必要对其进行多方面（如教学设计的合理性、内容的完整性、媒体形式的多样性、呈现形式的趣味性、使用的便利性等）的评价。

大数据扩大了教学评价的范围［6］，MOOC教学评价的对象，除以上三种形式以外，还包括对教学媒体、教学环境、教学支持服务系统和教学管理系统等的综合评价。

3.评价方式多元

一是MOOC课程评分方式多元化。相对于传统课程，MOOC课程的评分方式在大数据的支持下做了新的尝试，并取得了较好的效果。（1）同伴互评。对于MOOC课程，由于其“大规模（massive）”的特点，数量众多的学习者同时参与一门课程的学习，导致其课程作业数量巨大，仅靠授课教师和助教团队不可能完成作业的批改任务。为此，MOOC推出了同伴互评模式，这也是MOOC评价方式的创新之处。当然，该评价模式需要授课教师事先制定相关的评价指标和具体的评价细则，学生按照评价标准来互相批改作业。有研究表明，同学之间互相批改作业与教师批改作业的分数在统计意义上几乎吻合［7］［8］。同伴互评不仅能够提高学习者的参与热情，而且学习者之间通过观看彼此的作业，可以从中获得新的启发和灵感，进而拓宽自己的视野，能够互相促进学习。（2）学生自评（self-assessment）。学生自评是MOOC平台较有特色的评价模式之一。目前，MOOC平台自我评价机制还不完善，但这种评价方式却普遍受到学习者的喜爱。国外有研究［9］表明，MOOC课程学习参与者对学生自评模式持肯定态度，并希望MOOC制作商能够提供自我评价工具，如小测验、校验表、自我评价标准等。（3）机器评价。机器评价是MOOC平台研发的第三个评价模式。该评价模式主要针对客观题（单选题和多选题）进行评阅，具有即时、自动反馈的特点，学习者提交课程作业以后，会得到即时的反馈，机器会自动为学习者打分，可以提高学习者的参与热情。（4）校友评价。MOOC课程评价方式的第四个亮点就是校友参与到课程评价中来。有研究表明，已在工作岗位上的校友常常通过关注和评阅学习者的作业和期末试卷，挖掘到公司或部门需要的人才，并向他们发出邀请［10］。这也是对Moocers的一种肯定与激励。从这点我们可以推测，MOOC学习者在未来的就业中可能会因为比其他求职者多一个砝码进而增大成功的几率。MOOC课程除了以上几种常用的评价方式以外，还有教师评价、助教评价等，不同的评价方式都有其各自的特点和试用范围。如对于理工学科而言，主要以客观题为主，更多的是通过机器进行自动评阅；而对于人文学科，则多数为主观题，主要采用同伴互评的方式。各种评价方式根据不同的学科特点，相互配合，交叉使用，优势互补，有利于促进学习者的学习、提升学习效果。

二是MOOC课程考核方式多元化。本文在此处主要以Coursera平台提供的《大数据与信息传播》课程为例来说明MOOC课程考核方式的多元性特征。（1）基于视频的嵌入式测试题。在Coursera平台中，其MOOC课程教学视频中引入了“内嵌式”测试功能，在视频下方的进度条上会有相应的标记，当视频播放到该标记时，系统会自动跳出测试题目，学习者只有答对了才可以继续观看视频，当然学习者也可以选择跳过（Skip）测试题而继续观看视频。视频中的小题目测试（In-Video Quizzes）以难度较低的客观题为主，采用机器自动评分的方式，主要帮助学习者集中注意力、提升学习兴趣、回顾章节的核心内容，检测他们对基础知识的理解与掌握程度。（2）每周作业。MOOC的课程更新周期一般为每周一次，课程更新后会有相应的作业（每周作业），学习者可根据自己的需要利用碎片化的时间进行学习，在规定的时间内提交作业即可。由于《大数据与信息传播》这门课程偏向理论类，其每周作业的题型多为思考题（结合课程内容，分析相关问题），采用同伴互评的方式，鼓励他们独立思考、自由表达、各抒己见，并能够与他人分享观点，互相启发，共同进步，充分激发他们的问题意识和进取精神，有利于学生批判性思维、创造力以及高阶思维能力的培养。（3）期末考试。在此门课程中，期末考试的内容为：结合大数据与信息传播的热点问题，撰写论述性文章。主要培养学生独立撰写论文的基本能力、体会科学研究的一般流程、感受严谨的学术态度、掌握全新的思考方式，从而提高他们学术研究的基本素养。当然，不同学科的课程会有不同的考核方式，但总体来说其考核方式趋向于多元性的特征，而不同于传统课程单一的纸笔测验。

4.价值取向多元

第一，为促进学生全面发展而评价。教学评价的最终目的是要促进学生的全面发展，MOOC教学评价亦没有偏离这一重要取向。MOOC教学评价更多的是关注学生的主体发展、自我成长与进步。就MOOC而言，可以说，其教学评价更多地是一种促进学生发展的动力，而不仅仅是衡量学生学业成绩的方式或手段。

第二，为了解学生学习需求而评价。无论是传统课程还是MOOC课程，要想为学习者提供适合他们的资源与服务，首先要了解学习者的学习需求。MOOC教学同样要满足不同学习者内心深处的个性化学习需求，可通过多层面、多维度的综合教学评价，了解并分析不同学习者的学习需求，之后为他们提供合适的学习资源与个性化服务，使学习者能从评价中感受到更多的尊重和认同，从而获得前进的动力。

第三，为尊重学生个体差异而评价。每个学生都是独立的个体，从教学设计的角度来讲，要想使课程取得良好的效果，首先必须对课程受众进行分析，即学习者特征分析。而对于MOOC课程而言，其学习者情况更为复杂，一方面，MOOC学习者人数众多，无法与传统班级授课制相比；另一方面，MOOC学习者种类繁多，根据其职业背景和学习目的，可将其分为在校大学生、中小学学生、教师、家长、以兴趣为导向的学习者、以充实个人内涵为目的的学习者、促进职业发展的学习者等。此外，虽然MOOC主要面向高等教育，但MOOC学习者中也不乏有年龄较大或较小的学习者。所以，MOOC课堂无法像传统课堂那样分析学习者特征，可通过学习分析、教育数据挖掘、体态计算等技术对学习过程进行评价、追踪预测和分析，以了解学习者的个体差异，从而为其提供个性化的学习服务、推送个性化的学习资源、制定个性化的学习方案。有研究［11］表明，MOOC的特征之一就是基于大数据的个性化服务，不同学习者的电脑后端会推算目前的学习状况，然后推送相应的学习资源，因材施教。

三、大数据背景下的开放性MOOC教学评价

相对于传统课堂较封闭的评价体系而言，MOOC在评价理念与评价过程两方面表现出明显的开放化特征。

1.评价理念开放

MOOC中的教与学本身是一个极为复杂的系统，因此，对MOOC进行教学评价难以用单一的评价理念或标准来评判每个教师和学生的行为，需视具体情况而定。MOOC教学评价的理念可用“一切为了学习者，为了一切学习者，为了学习者的一切”来形容，正是这一理念，使得MOOC教学评价强调丰富的评价内容、多样化的评价渠道以及开放性的评价过程，通过网络与信息技术的支持构建开放的MOOC教学评价，以全面促进学习者的发展。

2.评价过程开放

MOOC教学评价过程大致分为四个阶段：评价设计、评价实施、评价分析和评价反馈。每一阶段都有不同的任务，但却都具有开放性的特征。首先，在评价设计阶段，从评价目标的制定、评价主体的确定到评价方法的选择，都非常重视其评价过程的开放性。比如：在MOOC网站上，任何MOOC学习者都可以任意浏览某一课程的课程简介、课程评价方式等信息，注册账号以后会浏览到更为详细的课程信息，从评价的角度来看，包括课程的评价标准、考核方式、评价方法以及评价细则等内容。其次，在评价实施阶段，评价人员根据上一阶段所形成的评价方案，利用各种评价手段，完成对MOOC教学的评价任务。在实施过程中，由于学习者也加入到了评价活动中，所以，其实施过程也是面向学习者开放的。最后，在评价分析和反馈阶段，评价人员根据评价实施阶段收集到的反映学习者学习过程的资料和数据进行归纳和分析，并将评价结果反馈给学习者。在这一过程中，其评价的数据和结果都是面向学习者开放的，学习者可以根据评价结果的反馈信息及时发现自身的不足，进一步加以改正。

四、大数据背景下的人性化MOOC教学评价

教育要充分体现以人为本，服务学生的理念。在MOOC教学评价中，真正地把作为主体的学习者放在了首位，在评价标准与评价反馈中呈现出了人性化的特征，为学习者提供了人性化的关怀。

1.评价标准人性化

MOOC课程评价标准体现了现代教学理念，以学生发展为本，尊重学生个体差异。主要体现在以下两个方面。

一是MOOC课程作业评价标准人性化。一方面，MOOC课程作业评价标准不像传统教学那样预先设定好，而是在教学过程中逐渐生成的，且其评价标准不是一成不变的，它会随着课程的深入、课程目标的设定以及来自学习者的反馈而不断发展变化，会根据不同的情况适当调整。比如：在Coursera平台的《大数据与信息传播》一门课中，部分学生在讨论区中反映互评分数不合理，对此，课程提供方做出了相应的改进与调整。此外，在课程作业内容设置方面，也会根据学习者的需求进行调整。另一方面，MOOC课程作业提交的截止日期一般为2-3周，时间比较充裕，而且即将到期的作业还会有邮箱提醒，学习者不必担心错过课程作业的提交时间。此外，对于客观选择题，学生提交以后，系统会自动评分。比如：在Coursera平台的《数学之旅》一门课中，随堂测验部分的客观题分单选和多选两种，学生提交作业以后会看到每题的得分情况和相应习题解释。

二是MOOC学分制度人性化。目前，已有社区学院和公立高等大学等院校宣布接受美国教育委员会认可的学分，将修读MOOC项目课程取得的学分与修读本校课程取得的学分予以同等程度的承认［12］。学分的取得是对学习者学习过程与学习结果的肯定与认可，MOOC部分项目与学分制度挂钩，利用学分制与传统教育接轨，体现了教育以人为本的理念。

2.评价反馈人性化

大数据时代的来临，使得MOOC教学评价不仅测量学生对知识的掌握程度，还利用智能化评价手段对学习过程给予及时的反馈，利用可视化统计表单呈现给学习者真实的学习数据，督促学生及时的调整学习现状［13］。反馈是网络教学重要的互动环节，及时的反馈（Instant Feedback）是人性化教学的要求，也是情感关怀的体现。在基于网络环境下的MOOC学习中，由于师生处于相对分离状态，反馈的及时性就显得极为重要。及时的反馈有助于学习者了解自己的学习情况，加深对问题的理解与掌握，为下一步学习打下良好的基础，从而激发学习者进一步学习的愿望。此外，及时的反馈还能帮助学习者及时发现、纠正他们自身存在的问题与错误，从而调整学习计划，有助于提高学习效率。相反，如果没有反馈或反馈不及时，学习者无法得知或很久以后才得知自己的学习结果（如作业正确与否），那么，学习者就很难保持已有的学习热情，学习兴趣也会大大降低。所以，对于MOOC学习者来说，及时的反馈是非常重要、也是非常有必要的。

相对于传统课程，MOOC课程的评价反馈是比较及时的。比如：Coursera为学习者提供多次自动测试机会，每次测试后学习者通过系统可以得到分数反馈。Udacity为学习者提供Submit Answer，可以及时在output中得到反馈答案［14］。在客观题作业方面，一般采用机器自动评阅的方式，学习者提交作业以后，会立即得到反馈（直接看到评阅结果）；在主观题方面，主要采用同伴互评的方式，虽然不能立即得到反馈，但其时间一般不超过两周，学习者可以在相对较短的时间里得到反馈。

五、结束语

大数据时代，可以通过大数据技术对教师的教学行为和学生的学习行为进行量化与可视化。大数据的分析方法比较多，主要包括机器学习、数据挖掘、预测模型、数据的可视化、分组比较以及优化等［15］，通过对大数据处理与分析，可以关注学生微妙的变化，了解学生的需求，从而实现真正意义上的个性化教育。计算机技术与网络通信技术的结合打破了时间、空间的界限，建立了开放型的MOOC网络学习环境。与传统的教学评价相比，由于网络的非现实性，使得MOOC教学环境变得更为复杂，加之MOOC学习群体的特点，以及MOOC本身学习过程的特殊性，MOOC教学评价对于改进MOOC教学、提升MOOC教学质量便具有更为重要的意义。但目前国内多数MOOC网站的教学评价流于形式，其课程评价体系不完善、评价标准模糊、评价方法单一，不能对MOOC学习过程中师生、生生的在线行为进行精确的把握与分析，对MOOC教学过程的监控力度不够；也较少有学者对MOOC教学评价进行系统的理论与实证研究。本文着重分析了大数据背景下MOOC教学评价的特征，以期能为我国MOOC教学评价提供有益的借鉴和参考。学习分析、教育数据挖掘、人工智能等前沿技术为MOOC教学评价的进一步研究提供了理论和技术支持，还需要我们进一步的研究和探索。

［1］喻长志.大数据时代教育的可能转向［J］.江淮论坛，2013，（4）：188-192.

［2］顾小清，胡艺龄，蔡慧英.MOOCs的本土化诉求及其应对［J］.远程教育杂志，2013，（5）：5-13.

［3］卡兰·凯莫卡特.MOOC：新型的网上大学［J］.经济导刊，2013，（Z5）：7.

［4］郭文革，陈丽，陈庚.互联网基因与新、旧网络教育——从MOOC谈起［J］.北京大学教育评论，2013，（4）：179-190.

［5］祝智庭，闫寒冰，魏非.观照MOOCs的开放教育正能量［J］.开放教育研究，2013，（6）：20-29.

［6］张燕南，赵中建.大数据时代思维方式对教育的启示［J］.教育发展研究，2013，（21）：1-5.

［7］陈肖庚，王顶明.MOOC的发展历程与主要特征分析［J］.现代教育技术，2013，（11）：6-11.

［8］Philip M.Sadler，Eddie Good.The Impact of Self-and Peer-Grading on Student Learning［OL］.http：//www.cfa.harvard.edu/ sed/staff/Sadler/articles/Sadler%20and%20Good%20EA.pdf.

［9］Cross S.Evaluation of the OLDS MOOC curriculum design course：Participant perspectives，expectations and experiences［J］. 2013.

［10］［12］张振虹，刘文，韩智.从OCW课堂到MOOC学堂：学习本源的回归［J］.现代远程教育研究，2013，（3）：22-29.

［11］郝丹.MOOC：颠覆与创新？——第4次“中国远程教育青年学者论坛”综述［J］.中国远程教育，2013，（11）：5-17.

［13］王颖，张金磊，张宝辉.大规模网络开放课程（MOOC）典型项目特征分析及启示［J］.远程教育杂志，2013，（4）：67-75.

［14］韩锡斌，葛文双等.MOOC平台与典型网络教学平台的比较研究［J］.中国电化教育，2014，（1）：61-68.

［15］张羽，李越.基于MOOCs大数据的学习分析和教育测量介绍［J］.清华大学教育研究，2013，（4）：22-26.

［编辑：郑方林］

G434

A

1671-7503（2015）19-0019-05