在实践中探索MOOC评价体系

冯雪松+++于青青+++李晓明

摘 要：MOOC（慕课）的效果评价伴随着MOOC大规模开课成为不可忽视的问题。本文基于北京大学MOOC实践，探索了一种面向课程改进的MOOC评价体系，包括量化因素及定性描述两大部分。其中，量化因素分为课程内容建设及课程实施两个阶段，定性描述则又分为内容的组织、内容的呈现、讲授方法及课程的执行与推广四个角度。该评价方法应用在了对北京大学已经开出的40门课程的评价中，取得了较好的实践经验。

关键词：MOOC评价；在线教育；课程质量

一、引言

2012年起MOOC在全球兴起，我们见证了MOOC课程平台及课程建设在过去三年里的迅速发展。在课程数量不断增加的同时，课程的效果及其影响也逐渐进入人们的视野。课程质量是影响学习者学习持续性的一个很重要的因素[1]。课程注册人数能够大体反映一门课程的受关注程度，但并不能完全反映课程的质量。那么如何评估一门MOOC的质量？如何能够保证开出的MOOC符合在线教育的特点？对MOOC评价方法的关注，不仅能够帮助开设MOOC的学校和教师对自己的课程做出回顾和反思，以进一步优化课程，也能够给准备新建的课程一些指导性的经验数据以及建课原则的启示。

2013年9月至2015年7月，北京大学在两大国际MOOC平台edX和Coursera上共开课程40门，累计69个班次。为了进一步优化课程，给每门课程一个有针对性的指导意见，北大MOOC工作组在2015年暑假期间对所有课程进行一次全面的梳理总结。正是有这样一个实践契机，本研究在对国内外相关框架进行借鉴的基础上，初步探索总结出一种面向课程改进的评价体系。

之所以强调面向课程改进，是在于这一评价体系的目的不在于区分课程等级，即不是以给出一个评分为目的，而是希望给每门课程一个有针对性的改进建议，且这样的建议要能够“以理服人”，也就是说要在客观的基础上进行分析。那么，引入相关的数据无疑是增强评价分析效果的有力手段，而两大MOOC平台后台提供的数据统计工具也恰好能够帮助完成这项工作。

基于此认识，本文在实践中探索了一种结合量化因素和定性描述来评价一门课程的综合方法，并且特别关注了MOOC的设计及实施两个阶段。本研究方法也切实应用于评价北大40门课程中，初步得到了一些有价值的数据和结论。

本文重点阐述这一评价方法。要特别说明的是，本文所描述的评价方法主要针对xMOOC这种类型，就是以知识传授为中心的MOOC，也是现今应用最普遍的MOOC类型。并且，本文强调以教育技术的视角，即不对教学内容的本身做评价，但仍会包含对教学方法、教学内容传递技巧的关注，当然，也包含纯技术的层面。

二、研究方法

本文的研究采用数据分析和理论研究相结合的方法。具体分为两步：首先是数据收集与分析，也就是基于慕课平台的功能，统计了北京大学在过去两年中的40门课程的基本数据，这些数据从多个侧面反映了一门MOOC的基本情况；其次，根据所得到的数据，结合目前已有的关于MOOC、开放课程、在线教育等的评价原则，对每一门课进行系统的分析并给出面向改进的评价意见。

1.量化因素

我们首先通过Coursera和edX平台，统计了北大40门MOOC的基本数据情况。有些数据在平台后台很容易获取，并不需要特殊的统计软件，比如论坛总帖数、注册数等；对于个别数据是平台没有直接提供的，需要人工计算，比如视频总时长、公告数等。在数据统计时本着易获得和尽量完全的原则，得到了如表1的课程量化因素统计情况，分为课程内容建设和课程实施两方面，根据每门课程的情况可以计算得出平均值。通过这些数据及数据之间的关系，可以客观地反映一门课程的宏观情况和需要改进的方向。

表1 北京大学40门MOOC的基本数据统计

分类 具体表现 平均值（40门，69门次） 工作组建议

课程内容

建设 周数 10.4 周数过多的课程可以考虑将课程拆分为两部分开设

每周视频数 6.88 与平均数相距较远的课程还需要进一步考虑是否知识点切分颗粒度不合适，是否每周内容量偏多或偏少

每周视频时长 1 h 24 min

视频总数 72

视频总时长 14 h 45 min

视频平均时长 12 min 33 s 目前这个数值比理想数值（6～9 min）偏高

客观习题总数 98 习题数不足的课程还需补充

每周客观习题数 9.7

同伴互评题数 2.1 互评题数目不宜过多，否则对学习者负担较重

考试题总数 39.5

课程实施 论坛主题帖数 271

论坛总帖数 918

总贴与主题帖之比 4.04：1 比例较低的课程需进一步考虑增强论坛交互性

公告、通知和统一回应数 12 公告不足的课程需更多发送公告，丰富公告内容

结课时的注册人数 5619

参加考试人数 180

通过数 116

通过率 2.54%

活跃用户比例 Coursera 59.8%

edX 26.6%

上述量化因素统计既可以作为评价和比较MOOC的基准，也为后续定性描述MOOC的各个角度提供了数据依据，使该评价体系更具可操作性。在下文中，还会具体说明这些量化因素的含义及意义。

2.相关理论研究

国内外有些大学也发布过课程总结报告，但多数以单独课程的总结为主（例如北大在2013年底就做过一次对首批6门课程的问卷调查和报告），学习者学习行为的数据为这些报告关注的重点，对于整个MOOC的评价方法的实践性研究很少。还有一些论文，从设计高质量课程的角度给出了一些指导性建议。比如：王志军等分别针对以内容传递为主的xMOOC、以任务传递为主的sMOOC和以网络建立为主的cMOOC这三种类型的MOOCs，分析其体现的教学目标和交互特点，并提出了综合的设计建议[2]。Iain Doherty等提出设计和运行高质量的MOOC要遵循“激发学习者主动参与、创建高质量的媒体、给学习者足够的支持”等原则[3]。Yousef等在对学习者和专业人士调查的基础上将设计标准分为教学层面和技术层面，教学层面又分教学设计及评价两项，技术层面又分学习界面、视频内容、学习和社交工具、学习分析四项，并分别给出了一些具体指标[4]。Margaryan 等对76门已经开放的MOOC课程采用Merrill 的首要教学原理的指标分析其教学质量[5]。可以看出，各研究关注的重点不同，框架也很不一致，涉及教师、学生、平台等多个角色。但这些研究都没有挖掘MOOC平台提供的量化数据作为评价的指标。endprint

本文在借鉴已有的为数不多的研究基础之上，以edX和Coursera平台上北大MOOC的数据为依据，从面向课程改进的角度出发，希望得出具有实践意义的MOOC评价体系。

三、MOOC的评价体系

在MOOC还未大规模兴起之前，有一些针对在线课程的质量标准描述，其中有部分描述的角度仍旧十分重要，可以借鉴在对MOOC的评价中。Barker曾将在线课程的评价分为内容、技术、教学法三个大的指标[6]。Herrington 等也将本校在线课程的核查表划分为了教学法、资源、传递策略三项[7]。在对比了国外的一些此类评价标准的基础上不难发现，有不少评价框架把教学法算作比较重要的考量项，这其实是教育技术的一部分，此外内容组织是否得当、技术运用是否正确是普遍关注的。除了这三项，对于MOOC的考查还需掌握其开课后，也就是课程实施执行阶段的表现。

本文提出的MOOC评价体系分为量化因素统计和定性描述两部分。表1给出了量化因素统计的各数据，对于各门MOOC的评价，首先也需按照上面的表格进行各项数据的统计，客观呈现各项数据的总体平均值及该课程数值，每门课程可以对比出与均值的差异。其次是评价体系的定性描述部分：内容的组织、内容的呈现、讲授方法、课程的执行与推广。图1是整个MOOC评价体系的框架结构。关于定性评价的阐述中，我们将每个角度以核查表的形式给出，并对每个指标项给出了比较好的实践例子以及重要程度的划分。

图1 MOOC评价体系

1.量化因素

（1）课程周数

课程周数指的课程授课的时间跨度，这里不计算考试所占时间。MOOC一般都有一定的开课时间和截止时间，授课团队在这个时间范围内按周发布教学内容、与学习者互动交流，学习者也是在这个时间范围内参与课程的学习。因为这些课程对于学习者并没有强制的学习要求，学习者学习的持续性就很难保证。所以一般情况下，课程的开课周数不宜太长，以免结课时流失率过高；但也不能太短，不足以撑起一门课程的内容量。这就要求课程周数把握一个平衡点。

本次统计北大40门课程的平均周数为10.4周，那么对应每门课程，就可以计算出与平均值之间的差异，周数过多的课程可以考虑将课程拆分为两部分开设。

（2）每周视频段数及时长

每周课程内容的讲授主要是通过视频来呈现，而MOOC是以知识点为单位的微视频，每周包含多少个视频，以及每周总共有多少时长的视频这两个数据也是衡量知识点切分情况及每周内容量的指标。

本次统计北大40门课程的每周平均视频段数为6.88个，每周平均视频总时长为1小时24分，与平均数相距较远的课程还需要进一步考虑是否知识点切分颗粒度不合适，是否每周内容量偏多或偏少。

（3）视频总数及总时长

这两个数据反映的是总体的内容量，作为一门课程，要保证一定的内容量，不能过少，否则难以承载一门课程的知识结构。北大目前制作的课程大部分与校内课程难度相当，视频总时长都不算短。

本次统计北大40门课平均视频总数为72个，平均视频总时长为14小时45分。

（4）视频平均时长

视频平均时长反映的是每门课程平均每个视频的时长，这也是反映知识点是否碎片化的一个指标。视频平均时长与学科内容及主讲教师的语言习惯有很大关联，很多教师也表示过很难将视频切分很细；但作为MOOC，还是应尽量用更短的时间讲授某一个知识点。Philip J. Guo等曾研究得出结论，视频长度是最影响学习者投入程度的一个指标，不论总视频多长时间，学习者投入时间中位数都不超过6分钟。而且6～9分钟长的视频是个拐点，更长的视频实际观看中位数反倒会下降[8]。现今国际开课数最多的Coursera平台，也给出了视频4～9分钟的建议[9]。

本次统计北大40门课程的总视频平均时长为12分33秒，目前这个数值比理想数值偏高。

（5）客观习题总数及平均每周客观习题数

MOOC课程中安排各种在线练习题目，是源于“掌握学习”的理论与原则。而掌握学习的其中一个条件在于给学习者足够的练习机会[10]。虽说同伴互评等评价形式也广泛地应用于MOOC中，但若要提供足够的练习，通过实时反馈刺激学习的发生，则还需要布置相当数量的客观题。

本次统计北大40门课程的平均客观习题总数为98题，平均每周9.7题。

（6）同伴互评题总数

有一些学科仅通过客观题难以完全考查知识应用情况，就需要采用同伴互评的形式。同伴互评也是增强学习者间交互的有效形式，但因其任务通常比较复杂，花费时间较多，也不适于在一门课程中安排太多。

本次统计北大40门课的平均同伴互评题数为2.1题。

（7）考试题总数

一般情况下，一门MOOC课程都会安排期末考试，有的也会有期中考试，考试的题目无论从题量还是难度都会较平时的习题大。

本次统计北大40门课的平均考试题目数为39.5题。

（8）论坛主题帖数、总帖数

课程开课运行后，论坛是师生之间以及生生之间进行交互的最主要渠道，对于论坛情况的统计能反映课程活跃情况。主题帖指的是首次发起的帖子，总贴既包括主题帖，也包括对这些主题帖的回复贴。对于论坛比较冷清的课程，就需要授课团队适时发布一些讨论话题，调动论坛的氛围。

本次统计北大40门课的平均主题帖数为271，平均总帖数为918。

（9）总贴与主题帖之比

总贴与主题帖之比能反映一定的交互深度，如果一个主题帖有比较多的人回应，那么这种回应不论是师生之间的还是生生之间的，都是值得鼓励的。很多问题就是在大家互相的讨论中，得到了解决方案。对于回复数较多的帖子，如果讨论一直得不到解决，就需要教师的关注了。endprint

本次统计北大40门课的总贴与主题帖之比的平均值为4.04：1。

（10）公告、通知和统一回应数

在课程实施阶段，授课团队可以定期发布一些公告，公告的内容可以是内容更新情况，可以是阶段总结，可以是激励学习的话，也可以是教师个人感言等等。一般MOOC平台进入后都能首先看到公告，如果经常有更新的公告，学习者会感觉这门课程随时有人负责，自然也愿意跟着节奏走，这是很重要的。

本次统计北大40门课的平均公告数为12。

（11）结课时的注册数

课程的注册数都会随着开课的时间逐渐递增，我们以结课时的注册数作为统计标准，这个数据反映了一定的课程影响面。但也有一部分比例的学习者没有访问过一次课程内容，所以注册数并不能代表实际学习数。有的课程在结课后还会不断地有学习者注册，但不在此次统计之中。

本次统计北大40门课的平均结课时注册数为5619。

（12）考试数

考试数可以表示坚持到最后的学习者，虽然也有的学习者中途没有坚持，但也希望通过最后的考查检验自身情况，都属于比较希望获得证书的。

本次统计北大40门课的平均考试数为180。

（13）通过数和通过率

通过数表示的总分达到合格标准的学习者，一般合格的标准都会以平时成绩与期末考试成绩以一定的比例相加得出。通过率就是通过人数占结课时注册数的比例，通过率是比较能够综合反映课程质量的指标之一。

本次统计北大40门课的平均通过数为116，平均通过率为2.54%。

（14）活跃用户比例

活跃用户可以有不同的定义，有的平台定义只要访问过一次课程，甚至只访问过某一个页面，也算做活跃用户。本次北大的统计是定义看过视频的用户为活跃用户。对这个数据各个平台统计方式不太一样，比如：Coursera平台是对累计看过视频的用户数有一个值，而edX平台是从开课当天开始算起，每周给出一个看过视频的用户数，本次统计为开课后第一周的情况。所以不同平台之间的数值不能进行比较。活跃用户比例的统计就是要计算活跃用户占所统计时段注册人数的比值。

本次统计北大开在Coursera平台的课程平均活跃用户比例为59.8%，开在edX平台的课程平均活跃用户比例为26.6%。

2.定性描述

（1）内容的组织

内容的组织是指一门MOOC在内容安排上是否符合MOOC的典型特点。教师在准备MOOC课程的时候，要有明确的教学目标及目标受众，能合理地组织内容，而且要与时俱进不断更新内容，不可一劳永逸。课程内容要及时、丰富且目标明确[11]。北大目前的MOOC课程一般是10周左右，学习者每周都要花一定的时间看视频做练习等，积极参与学习活动。练习和考核是MOOC中非常重要的环节，是区分评价学习者学习效果的手段，对于练习和考核的设置有很多讲究。此外，一门MOOC中常常会有补充学习材料，可以作为学有余力的学习者的选学内容，教师要明确必学内容和选学内容的划分，通过增加选学内容丰富整个课程。表2是对内容的组织这个角度的进一步细分。

（2）内容的呈现

MOOC是借助平台向学习者讲授知识的在线教育，教师需要在平台上合理有效地呈现内容，最大化地帮助学习者清晰找到所学内容，降低学习者学习的技术障碍。学习者选课前通过课程介绍页面了解课程内容，以及决定是否学习该课程。这就要求课程介绍页的相关内容完备，必要内容有：课程简介、课程大纲、学习目标、学习要求、先修要求、学习时间、考核方式；还有一些内容，例如教师简介、相关问题、补充说明等也可以在课程介绍页进行展示。课程介绍页起到一个课程总览的作用，需要以贴近学习者的口吻进行阐述。针对来自不同背景的学生，课程介绍页对课程所覆盖的内容一定要描述具体；对课程的目标和价值要突出说明[12]。学习者选课进入正式的课程页面，这是一门课程的核心，教师需要将所有课程内容进行有序地组织管理，从人机交互的角度讲，就是给学习者良好的使用体验，能方便快捷地找到所需内容。例如清晰的导航设置，课程公告、授课视频、补充素材、课程作业、考试等内容一目了然，页面切换自然流畅；学习日历、知识点地图也是提高学习者体验的有效形式。

表2 内容的组织评价指标

描述 例子 重要程度

教学目标明确 有明确合理的教学目标 有明确合理的教学目标，教学目标有分级结构，不仅对于整个课程，每个视频也需要有独立而明确的教学目标

多用具体可测量的方式表述学习目标

教学目标和目标受众相匹配

教学目标和教学内容相匹配

课程内容安排合适 有一定的课程容量和系统性，模块及知识点划分得当 课程总长度设计合理，一般10周左右

学习者需要每周达到一定的学习时间

每个知识点独立而聚焦，讲解时间在10 min左右

课程考核严密 课程考核形式多样，有一定量，答案、对答案的解释、评分、截止日期设置合理 根据认知目标将习题类型划分为客观题及同伴互评题，客观题也可有不同的类型，如：选择、填空、匹配等

每周至少安排10道客观题

既有形成性考核，也有总结性考核

每个客观题设置答案、解释、分值

同伴互评题设置容易评判的评分标准

有习题题库，每次呈现的习题不同

习题的截止日期能给学习者比较充足的完成时间

内容丰富 课程内容既有必学又有一定的扩展内容 必学内容组织合理，又有一定的扩展内容

根据学科特点准备扩展性内容

必学和选学相结合

时效性 课程内容具有实效性 课程内容不断更新endprint

很多MOOC都会有补充的学习材料，这部分内容要跟学习者的必学内容做好区分，让学习者明确学习内容。教师可以通过多种多样的形式提供补充材料，例如最常见的是提供PDF格式的文本，除此之外还可以推荐相关书籍、网站链接或视频等。

在MOOC学习中教师主要通过视频传达知识，选择合适的视频形式、提高视频的制作质量才能更好更充分地呈现内容。MOOC视频形式多种多样，教师要根据自己的讲课特点和课程需要选择合适的视频表达形式。但无论哪种视频形式都要保证画质清晰、声音清楚，在录课时要选择安静的环境，保证录得的声音没有杂音、回音等。在演播室拍摄视频，正确的布光能有效提高视频质量，目前的MOOC实例中，采用绿幕抠像技术的视频布光出现的问题较多。MOOC视频要给学习者一对一授课的感受，拉近教师跟学习者的距离，让学习者有亲切感。这点在视频景别上也可以有所体现，视频拍摄时以近景为主，可以适当穿插远景、特写等镜头，一般而言较近的镜头比较远的镜头能让我们在感情上更接近人物，MOOC视频中近景是一个较合适的景别。多数MOOC视频的画面是由文字、图片、教师三个要素组成，这三个要素在画面中的关系要协调，即构图应合理、切换要自然。例如有的视频为了更全面地展示文字内容，常常镜头中对教师的取景不完整，或少一半身子或少一半头，这都是切忌的。教师有时候不需要出镜，在跟图文进行切换的时候也要有所讲究，既不能画面静止画外音时间过长，也不可切换太频繁，给学习者的学习认知造成不必要的负担。

幻灯片是辅助教师上课的重要工具，主要的制作软件有微软的Powerpoint、苹果的Keynote、谷歌的Presently。无论采用哪种制作软件，幻灯片的意义都在于内容的表达，将教师所讲知识进行恰当的呈现。目前幻灯片制作中存在的主要问题是过度依赖文字，有时候将冗余文字替换为图片或者动画可以促进学习者对问题的认识和理解。此外，根据双通道编码理论，将图片和文字、讲解相互结合，同时出现，能够提高课程内容学习效果[13]。因此，教师在准备MOOC课程的时候，在精心准备内容的时候，更要注重内容的呈现，让幻灯片真正发挥辅助教学促进学习者学习的作用。表3是对内容的呈现这个角度的进一步细分。

表3 内容的呈现评价指标

描述 例子 重要程度

课程界面要素齐全组织有序 课程界面是一门课程内容的整体展示，提供课程框架结构，可以有效引导学习者的学习 明确清晰的课程简介、学习目标、学习要求、先修要求、学习时间、考核方式等

有效的使用引导元素，如学习日历、知识点地图、学习指南等

导航清晰，学习者能轻松找到所需内容

页面之间跳转衔接自然

页面中的文字可读性强（有分级标题，重点突出）

幻灯片清晰有效的表达内容 PPT能够发挥辅助教师授课的关键作用 能够使用可视化表达的方法，善用图片、动画、操作演示等

PPT制作精美，字体字号合适，图文排版恰当

重点处突出

有效的视频呈现 视频是教师讲授知识的主要途径，有效的视频表现形式能促进学习者对知识的掌握 选择适合学科特点和教师授课特点的视频形式

视频质量合格，画质清晰、声音无杂音回音等

视频有知识点标题

视频标记时长

有与视频匹配的字幕

短小精悍

布光准确

取景恰当

画面构图合理

镜头切换自然

扩展材料丰富实用 部分内容能通过扩展材料的形式提供给学习者 必学和选学内容区别清晰

采用合适的形式提供扩展材料，例：文本、相关链接、书籍、视频等

所引用的资源能标明来源

（3）讲授方法

这里需要再界定“讲授方法”的所指。讲授方法被单独列出，原因在于MOOC这样一种在线教育的形式，其教学习惯和模式与传统课堂讲课一定是不同的，授课对象的构成更复杂，学习目的也更多样，教师也需要转变思路，重新学习如何在线授课。所以，这里所指的讲授方法，更多的是从教师的讲授是否适应MOOC教学的形式来说的。由于缺少了面对面的交互和反馈，教师的讲授主要通过视频传递，这个角度重点关注在MOOC的那些短视频中教师的表现，是更微观的考查。

首先，从讲授的结构上，需要有开场和结束。在每段视频的最开始清晰描述1～2个本段的教学目标，将帮助学习者更集中注意力在最需要掌握的技能和概念上[14]。从语言的表述上，需要更精炼，更贴近学习者。还需要让学习者不感到枯燥，有兴趣跟着教师的节奏深入学习。表4是对讲授方法这个角度的进一步细分。

表4 讲授方法的评价指标

描述 例子 重要程度

教学目标

描述清晰 每段视频最开始清晰描述本段目标 用一页PPT预告本视频教学目标或要解决的问题

授课内容紧密联系教学目标

恰当总结 每段视频结束有小结 用一页PPT总结本段重点

与下一个视频有过渡

语言贴切 讲述采用对话式的语言，精炼，有感染力 多用“你”“我”营造一对一的感觉

语速可稍快

适当幽默

引导注意

力 能够吸引学生注意力，强调内容重要性 多用小故事、小案例

标注重难点

通过指示跟踪教师所讲位置

强调与实际的联系

激发学生

参与 设置一定的任务激发学生主动参与 在视频中穿插活动任务，比如：小调查、小测验、反思问题等

（4）课程的执行与推广

论坛是MOOC的构成要素之一，它也就成为MOOC评价的重要内容。教师可以将论坛按主题划分为几个区，有针对性地讨论不同的问题。尽管论坛是提供给学习者自由交流的地方，但也需要适时引导，教师可以提出一些思考题，供学习者思考并在论坛中进行讨论。关于在线课程质量标准，目前在美国得到普通承认的是由美国“西部州际高等教育委员会”提出的“在线教学的指导方针”，在这一系列的方针中指出，教学人员和学生、学生和学生之间要有恰当的交互[15]。在MOOC学习中，论坛则可以充当互动的场所。教师或者助教最好能经常上论坛，及时整理回复有价值的、具有典型意义的帖子。此外也可以建立QQ群、微信群，给学习者提供多种交流和互相学习的渠道。除了利用网络空间进行交流，教师也可以适当组织线下活动，给学习者面对面跟教师交流的机会。国外MOOC评估报告也指出，学习者利用不同的社会媒体平台进行线下交流，并且参与线下交流的学习者其学习效果明显比较好，因此除了要在固定平台上促进学习者学习和交互外，还要提倡学习者使用其他社交媒介[16]。endprint

教师通过公告可以给所有学习者发欢迎信、考试的通知说明、课程上线提醒等，既可以在平台页面中发布也可以通过平台给学习者发送邮件。通知公告除了最基本的“提醒”和“说明”功能外，教师还可以在通知公告中做更多文章，例如有的老师会每周致学习者一封信，信中或解答学习中的问题或鼓励学习者坚持学习，也可以将一周的学习计划写在通知公告中，从而设计学习者的学习步骤和节奏。表5是对课程的执行与推广这个角度的进一步细分。

表5 课程的执行与推广评价指标

描述 例子 重要程度

论坛的组织 通过组织论坛引导学习者讨论，启发思考 论坛分区规划合理

清晰说明论坛发帖及回帖规则

能主动引导论坛讨论

及时回复整理有价值的帖子

定时维护论坛

公告 及时发布课程公告与学习者沟通 定时发布更新通知

通过平台和邮件多种方式发送公告

公告内容翔实

有欢迎词和结束语

在课程结束时将整体学习成绩报告及学习行为数据进行分享

组织线下活动 主讲教师可以通过组织线下活动加强跟学习者的交流沟通 积极开展与课程相关的线下活动

第三方平台的推广 通过多种渠道的推广提高课程的知名度 通过微博、微信公众号进行课程推广宣传

建立QQ群等提供学习者之间交流的渠道

四、结语

我们针对评价MOOC效果的现实需要，基于对北京大学40门MOOC的评价实践，探索提出了一种MOOC评价体系。该体系的执行要经历初期数据准备、回顾性浏览课程现场、依据评价体系进行各门课程的评议、形成评价文字等几大环节。

我们认为，本文提出的MOOC评价体系具有三方面的新意。第一，实践性强。这项研究首先就是为了满足评价北大已有MOOC的实践的需要而开展的，并且结果要用于指导进一步的实践。第二，面向改进。习惯上，人们做评估一般倾向于综合各种指标给出一个总分。我们认为那样的总分对于比较可能是有意义的，但我们评价MOOC的目的不是为了比较两门课之间的好坏，而是为了给出改进的方向。因此我们可以没有做总分，而是将一门课的多维度情况都展现出来。第三，数据带来的独特性。由于我们的评价活动是有数据支持的，不仅是一门课的完整数据，而是一个具有一定规模的课程集合的完整数据。这样就使得我们能够得到一种比较有意义的“平均情况”，构成了一门课程改进的参照系。

在此对该体系的执行，给予进一步的详细说明：

（1）数据准备。我们结合edX和Coursera两大平台的主要数据，并人工统计了部分课程数据，得出了若干MOOC量化因素，所有量化因素计算各课程数值及总平均值。“平均值”反映了40门课程的大致情况，但并不代表这是一个最佳值，不同的课程根据自己的具体情况，对平均值可以有不同的理解态度。

（2）回顾性浏览课程现场。这个环节主要还是要依赖课程平台，从课程介绍页到课程页面，包括通知公告、视频、习题、作业、考试、论坛等，对每一项抽取部分内容进行浏览评议。由于平台的差异，在不同平台上的课程内容呈现不完全一致。

（3）依据评价体系进行各门课程评价。此时，前两个环节的成果都需要被有效地利用进来。从量化因素（课程内容建设和课程实施阶段）和定性描述（内容的组织、内容的呈现、讲授方法、课程的执行）两大方面，对一门课程从不同的角度进行评议。

（4）形成评价文字。我们给各课程反馈的评价意见大致按照如下的形式。

在这个框架的基础上，每部分内容分别有针对性地进行细化。这样每门课程得到的优化意见就很具体了。

通过这几大环节，就能够比较系统完整地完成评价过程了，并且这一评价不仅可针对一门门课程，还可反映学校总体的情况。

本文还可以有一些进一步工作。比如：在此次文章成文的时候，尚没有将所有课程评价文字发放给教师，今后可根据教师的反馈进一步完善。此外，此次定性描述的部分也可以再进行细化，其中一些明确的要求有更严谨的重要程度评定，例如可以单独划分出打分表格。采用专家调研的方法，通过数据分析，得出各部分的权重。

北京大学MOOC还在不断发展，每个学期都会涌现一批新的课程。我们将尝试用此评价体系指导北大MOOC的实践，既为持续优化课程提供有章可循的依据，也让该MOOC评价体系在实践中得到进一步的检验和优化提升。

参考文献：

[1] Amo D. MOOCs： experimental approaches for quality in pedagogical and design fundamentals[C]. ACM， 2013.

[2] 王志军，陈丽. 如何有效设计高质量的MOOCs——基于认知目标分类和交互分析框架的思考[J]. 现代远程教育研究，2014（6）：59-68.

[3] Doherty， Iain， Darren Harbutt， and Neel Sharma. Designing and Developing a MOOC[J]. Medical Science Educator， 2015， 25（2）： 177-181.

[4] Yousef AMF， Chatti MA， Schroeder U， Wosnitza M. What Drives a Successful MOOC？ An Empirical Examination of Criteria to Assure Design Quality of MOOCs[C]. IEEE， 2014.

[5] Margaryan A， Bianco M， Littlejohn A. Instructional quality of Massive Open Online Courses （MOOCs） [J]. Comput Educ， 2015， 80： 77-83.

[6] Barker. K. Quality guidelines for online education and training[EB/OL]. http：//futured.com/form/pdf/english. pdf.

[7][11] Herrington A， Herrington J， Oliver R， Stoney S， Willis J. Quality Guidelines for Online Courses： The Development of an Instrument To Audit Online Units[C]. Proceedings of 18th Conference of the Australasian Society for Computers in Learning in Tertiary Education， 2001.

[8] Guo P， Kim J， Rubin R. How video production affects student engagement： an empirical study of MOOC videos[C]. ACM， 2014.

[9] https：//partner.coursera.help/hc/en-us/articles/ 203525739-Producing-Engaging-Video-Lectures.

[10] 李曼丽. MOOCs的特征及其教学设计原理探析[J]. 清华大学教育研究，2013（4）：13-21.

（下转第85页）endprint