慕课试验平台的研发：一项用户研究的结果

维托米尔·科瓦诺维克+斯雷奇科·约克西莫维奇+菲利普·凯特林诺珀洛斯+哈拉兰博斯·米凯尔+乔治·西蒙斯+德拉甘·伽瑟维克

【摘 要】 2011年，大规模公开在线课程（简称“慕课”）席卷教育领域，在线教育因此成为全世界公共舆论的焦点。虽然研究者对于能收集到海量的慕课数据倍感兴奋，然而由于面对几个方面的挑战，这种数据并没有如同预期那样发挥作用。慕课的数据分析既耗时又费力，而且需要使用一套非常先进但却尚未被教育研究者所掌握的技术性技能。因此，慕课数据分析很少在课程结束之前进行，这样一来数据在影响学生学习结果和体验方面的潜能受到限制。本文介绍我们研发的一种用户友好型慕课数据分析软件平台——MOOCito（MOOC intervention tool，慕课干预工具）。这种工具主要是为了开展根据数据而做出的教学干预和课程实验。本文阐述MOOCito的重要设计原则，同时也对促使我们研发这种工具的慕课研究趋势做一个概述。这项工作仍在进行中，本文简要介绍MOOCito原型，同时呈现一项旨在了解这个系统的感知有用性和易用性的用户评价研究结果。本文还讨论了本研究的结果以及这些研究结果对实践的启示。

【关键词】 大规模公开在线课程（慕课）；A/B 测试；对照实验；分析平台；用户研究；技术接受模型；Coursera

【中图分类号】 G420 【文献标识码】 B 【文章编号】 1009-458x（2017）07-0016-10

导读：众所周知，慕课备受诟病的问题之一是辍学率高，而导致辍学率居高不下的首要原因是慕课教学/学习缺乏个性化指导和支持。提供慕课的机构也一直在苦苦寻找破解这个难题的路径，然而这个问题至今未见明显改善，因为慕课生师比如此之大，如果按照传统课堂教学的方法提供个性化教学和支持服务，那么慕课的规模优势荡然无存，且不说教育机构是否能够按照“合理”比例配足教师——这本身也是一个问题。因此，有些机构、教师和研究者认为，为了能够实现规模化，牺牲个性化似乎在所难免；这种观点尤其受到以追逐利润为终极目标的商业性教育机构的推崇，大有愈演愈烈之势。但是，这显然违背了教育教学规律。可喜的是，国外同仁一直没有放弃个性化慕课的教学尝试。例如，西班牙拉里奥哈国际大学丹尼尔·布尔戈斯教授和同事阿尔贝托·考比为本期“国际论坛”撰写的文章《转基因学习：构建基于规则、适合大规模招生的e-learning推荐模型》，向中国同行介绍布尔戈斯教授四年前提出的个性化e-learning推荐模型LIME（Learning Interaction Mentoring Evaluation）和经过不断探索改进而研发出来的“适合云学习环境（SPOCs或MOOCs）、辅导教师/教师人工操作、基于规则的推荐系统”iLIME，其最主要的目的是赋权于慕课教师，提高教学和学习支持的个性化水平。

《慕课试验平台的研发：一项用户研究的结果》这篇文章介绍的是这几位研究者正在进行之中的一项研究的初步成果：一种慕课分析技术平台MOOCito（MOOC intervention tool）的原型以及反映这个平台的感知有用性和感知易用性的目标用户评价研究结果。这项研究最吸引我之处是其研究目的：“使几乎没有技术背景的教师能够分析慕课数据，更好地了解学生的学习情况”和教师“能够在授课过程中根据分析结果采取行动和开展试验，以提升学生学习体验，更好地了解学习过程”。正因如此，它的设计原则是：不以具备技术知识为前提、渐进式数据输入、支持聚类分析、支持教学干预、便于后续数据分析和支持研究的复制。恕我孤陋寡闻，我认为这些都是本研究有别于同类研究之处或者比同类研究更胜一筹之处。对于慕课研究成果的应用，我相信很多一线教师都有这种感觉：要么是看不懂，要么是不知如何把这些成果用于提升自己的教学实践。至于慕课研究，虽然这是一个广阔的舞台，①但是一线教师和大多数教育研究者往往是怀着“敬畏之心”并“敬而远之”，因为慕课研究基本上离不开分析技术工具的使用，研究者必须有相当水平的技术知识和技能，能够读懂各种数理统计图表，等等。教育研究者和一线教师本来应该是慕课研究的主力军和慕课研究成果推广应用的主角，然而这个领域的现状却是，很多研究者有很强的技术背景但并非严格意义上的教育教学行家或缺少教学经验，研究成果往往也是一经问世便被束之高阁，未能发挥理论促进教学或理论与实践相长的作用。

虽然MOOCito现在仍然只是一个原型，相关研究工作还在进行之中，但是它的理念确实不同一般，跟LIME模型和iLIME系统相比，对教师（以及教育研究者）的赋权力度可能更大。有了这种工具，教师参与慕课教学试验的热情可能更加高涨，在慕课研究中也可能发挥更大作用，慕课研究成果可能得到更好的推广应用。如果MOOCito的研发理念能够对其他研究者有所启发，转变目前慕课研究视角和着重点，进一步加强理论研究与实践探索的相互作用，我甚至斗胆预言：到那个时候，慕课的教学与研究生态会出现新景象。

最后，衷心感谢来自塞尔维亚、希腊和加拿大三国的六位同行对本刊的信任和支持！（肖俊洪）

引言

本文阐述解决上述一些问题的初步计划，介绍一个新的慕课分析技术平台。这是一项仍然在进行中的工作。这个平台旨在使几乎没有技术背景的教师能够分析慕课数据，更好地了解学生的学习情况。再者，教师应该能够在授课过程中根据分析结果采取行動和开展试验，以提升学生学习体验，更好地了解学习过程。本文介绍了这个系统的原型，简要阐述其设计原则，呈现一项旨在了解目标用户群对这个系统的感知有用性和易用性的用户评价研究的结果，并讨论研究结果及其对实践的启示。

背景

慕课日益流行，显然我们需要一个能用于分析慕课数据的公共平台（Veeramachaneni et al.， 2014）。比如MOOCdb（Veeramachaneni et al.， 2014）的目的是研发慕课数据的一种标准化格式，以便建立在此基础上的分析技术和可视化工具（比如MOOCviz①），可以用于分析来自不同慕课平台的数据。但是，MOOCdb的一个主要挑战是使用者必须有相当的技术能力，因此绝大多数慕课教师无法使用这种工具。

慕课研究的另一个主要趋势是人们对对照实验和A/B测试的兴趣越来越大，几个慕课平台都支持这种实验和测试，采用这种方法的研究者也越来越多（Diver & Martinez， 2015； Hollands & Tirthali， 2014； Reich， 2015）。目前，慕课领域的实验性研究主要集中在研究教学实践的差别上，比如随机对学生进行分类并对不同学生采用不同学习材料（Fisher， 2014； Lamb， Smilack， Ho， & Reich， 2015； Williams， Kim， & Keegan， 2015）、教学方法（Kizilcec， Schneider， Cohen， & McFarland， 2014； Tomkin & Charlevoix， 2014）或平台界面（Anderson， Huttenlocher， Kleinberg， & Leskovec， 2014），全然不考虑学生的个体差异。如同兰姆等（Lamb et al， 2015）所指出的，这使得我们在评估某一种教学措施的实际效果方面碰到一些问题，尤其主要考虑到学生流失严重这个事实。温（Winne， 1982）也指出，学生个体差异还会影响研究结果对不同环境的效度。我们有必要考虑学生个体的特殊性，而不能把学生当作是同质群体，随机对他们进行分类。

目前，开展慕课实验所碰到的另一个挑战是教师不能够在教学过程中针对不同类型的学生改变和调整教学方法，也无法检验不同教学方法的效果。比如，我们无法做到在发现不积极参加讨论的学生之后马上给他们发送提醒邮件，要求他们更加积极地参加在线讨论。同样，教师可能希望检查某一种教学干预信息对不同类型学生的效果或不同教学干预信息（比如给全体学生发送鼓励性信息和结合学生个人情况单独给他（她）发送有针对性的鼓励性信息）（参见Kizilcec， Schneider， Cohen， & McFarland， 2014）对某一群学生的效果。由于慕课数据分析费用高昂，我们不得不在没有分析学生学习活动的情况下事先设计好教学干预方法，然后随机用在学生身上。虽然某些系统，比如MOOClet （Williams et al.， 2015）或Bazaar（Rosé et al.， 2015）允许动态对学生进行分组，但是我们必须能够相当熟练使用这些系统并且有足够基础设施的支持，才能成功应用于教学中。

方法

1. 设计原则

我们首先把重点放在研发我们心目中的分析系统原型上。这一过程遵循以下设计原则。必须指出，这些设计原则是针对上文指出的问题而制定的。

不以具备技术知识为前提：考虑到慕课教师和研究者较多没有接受过高级IT培训，本系统不应该要求目标用户具备一定的技术知识。

渐进式数据输入：慕课平台通常每天或每周向云储存（比如Amazon S3）上传一次数据，本系统应该能够支持渐进式数据输入，保证用户能使用到每一批新数据，以便在课程教学正在进行的过程中及时分析数据。

支持聚类分析：考虑到有必要了解学生的不同参与模式，本系统应该能够支持根据学生与课程材料的交互和与其他学习者的交互对他们进行分类。

支持教学干预：由于在慕课数据的使用上我們必须采取主动，本系统应该能够支持在教学正在进行的过程中快速分析数据。因此，数据的预处理和学生课程学习表现重要指标的提取应该能够做到尽可能自动化。

便于后续数据分析：教师实施一项教学干预之后，本系统应该能够对这个干预的效果进行分析。因此，本系统应该以某种适合使用大众化统计分析包（比如SPSS、R和Matlab）进行后续分析的格式储存已经采集的教学干预信息。

支持研究的复制：我们的目的是提高目前的慕课研究水平，因此本系统应该能够支持根据先前公开发表的研究“预先设置”（pre-configured）各种分析。这样不但减少研究者人工分析的必要性，而且会有助于验证先前的研究成果和这些成果的推广性。有了这些“分析模板”，研究者便可以验证先前研究的可复制性以及研究背景对研究结果的影响。

我们根据上述设计原则，采用迭代设计循环，研发了用户界面的原型。我们首先拿出纸质原型并借助Axure RP平台①，最终把这个原型发展成为用于这项用户研究的版本。目前我们平台的研发重点在于支持聚类分析和Coursera平台，以便在实践中检验我们所提出的方法的效果。如果MOOCito证明对教师和研究者有用，我们下一步目标是扩大它的应用范围，将它用于其他分析中（比如社交网络分析和话语分析）和其他慕课平台上（比如EdX和FutureLearn）。由于不同的慕课平台有共性，MOOCito用于其他平台多半只需技术上的调整，能将输出格式稍微不同的慕课数据输入本系统即可。同样，我们也能够通过简单规则配置界面（比如：如果一个学生在五天后还没有登录参加在线讨论，给他发送一封邮件提醒他参加讨论活动）实现课程干预在某种程度上的自动化。最后，目前阶段我们数据输入仍然需要手工操作，但是在未来版本中这一步骤也可能是自动化的。

2. 原型概况

这个原型的最终版本有四个应用选项，分别对应数据分析过程的四个主要步骤（见图1-图6）。

教师可以通过“详情选项”（见图2）检查和比较具体学生的学习表现指标。“详情选项”界面上半部分的表格显示全体学生所有指标的值，因此教师可以通过这个表了解到每一位学生的表现指标。这个表格是可以排序的，因此教师很容易发现有数值异常指标的学生。教师还能够通过“详情选项”界面下半部分比较特定学生的学习表现指标（比如发帖学生和提交作业学生的学习表现指标）。

“分析选项”（见图3）是本系统的中心组成部分，教师可以在这里了解不同类别的学生。第一步是选择（和有限预处理）用于聚类分析的学习表现指标（相当于数据挖掘的“特征选择”），这里还有根据已发表成果预先设定的一些指标配置供选择（Kizilcec et al.， 2013； Li et al.， 2015）。第二步是用户进行聚类分析（见图4），使用的是一些流行算法（即K-means、层次聚类和EM聚类），这些都可以和最基本的参数进行配置（比如距离量度和K、聚类数量）。分析的结果将呈现为可视化图（见图5）：聚类质心点、轮廓评价图和在两个主成分空间投射聚类。对于K-means和层次聚类而言，如果给K选择一系列数值，那么其结果会是一张拐点评价图。

经过一轮或多轮分析之后，教师可以把干预信息发送给目标学生（见图6），可以是某一类型的全体学生，也可以是某一类型当中的部分学生。比如，可以给某一种类型的一半学生发送一条干预信息，给另一半发送另外一条信息（或者不给另一半任何信息）。教学信息可以以模板形式保存起来，如同电子邮件合并应用一样，这些教学信息可以包含几个“变量”。最后，教师可以把教学干预的总结情况以CSV文件保存起来，今后可以用于比较不同教学干预的效果。

3. 评价研究的设计

共有11位来自英国、美国和南美的慕课教学经验丰富的教师、研究者和设计者参加本评价研究。他们来自3所大型研究型大学。这些人有多年在线学习、慕课教学和Coursera平台使用的经验（见表1）。本研究的主要目的是获取用户对这一原型进行评价的丰富质性数据，了解这些目标终端用户对这个原型的印象。

所有参与者签署知情同意书之后，研究者给他们做了15分钟的学习场景介绍，主要介绍一个假设的慕课教师正在Coursera平台上教授一门编程入门课程。我们首先给他们介绍目前Coursera平台的管理界面，用的是爱丁堡大学Code Yourself这门慕课的真实数据，然后详细介绍MOOCito系统的情况和功能。随后，我们请参与者参加一项网上调查①，有20项李克特五点选项题目（从“1=完全不同意”到“5=完全同意”）和9道开放性问题，内容涉及我们这个系统的感知有用性和易用性以及参与者的总体印象。

技术接受模型（TAM）是常用于评估软件系统适切性的一种心理测量工具（Venkatesh & Bala， 2008）。本研究的工具便是根据这个模型设计而成的。技术接受模型可以用来评价感知有用性和感知易用性的决定因素，即影响采用一种新软件系统的因素。由于我们的主要目的是质性分析参与者对本系统的感知有用性和易用性，因此我们在设计调查工具时仅借鉴技术接受模型的相关内容。

研究结果和讨论

表2是李克特量表问题的调查结果。

总体上讲，表2显示参与者对本系统及其感知有用性和易用性是满意的。评价最高的项目包括“D3本工具有助于我提出跟课程设计或学生相关、值得更加深入探索的有趣问题”（4.73），“D1本工具使我能够深入了解本学习环境下学生学习表现”（4.64），“I2能够给不同群组学生提供不同干预/教学/指导是很重要的一点”（4.73）以及“I3能够给同一群组学生提供不同干预/教学/指导是很重要的一点”（4.55）。参与者在回答开放性问题时也肯定了以下几个方面的特点：能够选择学生学习表现指标、每周的数据以各种图形呈现和界面清晰，虽然数据量很大。至于实施教学干预的机会，参与者重点提到能够灵活和方便实施有意义干预而又不存在向特定目标对象“不恰当地提供没有针对性信息的风险”，他们也肯定信息模板的使用和模板里预留“变量”的作用。

参与者对本系统的总体印象是积极的，但是也指出几个需要解决的重要问题。这些问题涉及我们这个工具对普通慕课教师的可及性。首先，参与者强调作为MOOCito用户的教师可能不熟悉某些术语、学习表现指标、统计分析或作为“研究模板”的那些文献。因此，我们必须提供更加详细的信息，比如提供简短概要和视频辅导。另外，也应该提供参考文献的完整书目信息和概要。一些参与者表示他们不知道如何对数据进行最有效分析，因此，我们也应该增加“标准方法”介绍。从D4（用本工具分析数据既容易又直观）的得分也可以看出我们需要简化分析步骤，使得我们的工具更加直观，操作更加方便。鉴于此，我们未来努力的一个方向是进一步简化分析程序，提供更有效的指南，给几乎没有统计学背景和经验的教师提供更好的支持。

另有几个问题涉及的是本系统提供有意义反馈和教学干预的能力。首先，参与者表示教师应该能够从学习表现指标了解到学生的实际活动内容，比如，如果某个学生的帖子聚合力低，教师应该能够很容易发现这些低聚合力的信息，经过对它们进行分析之后更好地了解学生的学习表现。此外，一些参与者表示难以判断何时干预和如何干预。换言之，我们必须提供更加容易“解读”的分析结果，以容易付诸行动的方式对结果进行总结。比如，除了详细介绍聚类中心外，我们不妨使用“低”“中等”“高”这样的字眼描述学习表现指标，使这項结果更简洁易懂（比如1类的特点是低聚合力，发帖量大，在线教学视频浏览量中等）。在这方面，我们不妨采用某些将数据转换成文本的技术（Ramos-Soto， Vazquez-Barreiros， Bugarín， Gewerc， & Barro， 2017），为每一类学生配备一段话的描述，方便慕课教师理解数据分析结果。

总体看，参与者使用MOOCito工具的意愿很强（G3我愿意在我今后课程中使用本工具，4.36），打算在自己今后的课程中使用这个工具（G2我打算在我今后课程中使用本工具，4.00）。 虽然他们报告说很想使用这个工具提高教学和科研水平，但是用于科研目的的意愿（G6我会在科研中使用本工具， 4.55）高于课程设计和教学（G7我会使用本工具提高课程设计和教学水平，促进学生学习， 4.30）。诚如一位参与者所言，“它（MOOCito）具有成为一种高效教育研究工具的潜力，也可能作为跟踪学生日常学习活动的手段。”诸如此类的反馈意见显示研发慕课分析平台的必要性。我们希望MOOCito能够填补这个空白，促进慕课教学和研究水平。

本研究存在几方面局限。第一，因为我们的主要目的在于支持使用Coursera平台的教师，我们的评价研究结果可能会受到Coursera平台目前的分析技术能力和用户满意度影响。因此，虽然Coursera是拥有最多用户的慕课平台，但是仍然可能无法代表整个慕课领域的情况。鉴于此，未来一项重要工作是在其他慕课平台试验我们的MOOCito系统。尤其是考虑到Coursera最近正在转向企业培训领域，今后它在高等教育领域的应用范围可能会受到影响，在其他平台开展试验显得更为重要。第二，虽然本文提供MOOCito的详细图形界面原型，但是这项工作仍在进行之中，目前尚不能确定MOOCito最终用于实际教学和研究中究竟能够发挥什么作用。第三，本研究有11位参与者，虽然对于原型测试而言数量不算少，但是如果要确保原型有用性研究结果的可靠性，人数可能少了一些。当然，他们所提供的质性反馈很有价值，有助于指导MOOCito下一步的研发工作。

结束语和下一步工作

慕课能够产生大量学生学习活动的数据，但是由于没有给慕课教师和研究者提供使用分析技术的支持，学生数据用于促进学生学习上的潜力大受影响。不仅如此，由于慕课数据分析非常复杂，分析结果无法用于指导教学实践，我们希望通过学生数据更好地认识学生学习这方面受到的影响。

本文介绍一个新的慕课分析平台MOOCito，其目的是帮助慕课教师深入了解学生的学习并根据收集到的学生数据实施相应的教学干预。由于MOOCito的目标是帮助几乎没有或者完全没有高级技术知识的“普通”慕课教师，因此它着重在教学实施的过程中对数据进行分析并根据分析结果采取相应教学干预，使学生能及时获得恰当的教学支持。此外，教师能够通过MOOCito试验不同教学方法，为验证不同教学干预策略的效果提供更加可靠的证据。虽然目前不乏慕课教学试验研究（Reich， 2015），但是由于没有专门分析技术的支持，加之数据分析先于试验而完成，这往往导致我们只能预先计划这些教学试验，要做到随时根据学生实际表现调整教学策略，从方法上讲会遇到很大挑战（Lamb et al.， 2015）。

MOOCito的研发仍在进行中，本文介绍了针对MOOCito的感知有用性和易用性的用户研究结果。研究结果进一步支持我们的观点，即必须为慕课教师提供他们目前所缺乏的分析技术方面的支持，正如一位参与者所言：“我相信这是一种非常好的工具，它必将能够明显促进慕课教学。这种工具也会扩大慕课数据的用途，使教师能够利用这些数据开展研究，发表成果。”

根据初步研究结果，我们认为今后应该从以下几方面完善MOOCito平台的研发。首先，新版本的原型在MOOCito使用方面必须提供更多指导和帮助（比如提供更详细的描述、概要和辅导材料）。其次，MOOCito必须更好地与慕课平台衔接，并且能够把学习表现指标转换成相關学习活动的概述（比如讨论内容、教学视频、测验等）。最后，也是最重要的，必须能够提供更容易理解和付诸行动的聚类描述，这一步非常关键，是我们今后的中心工作。我们希望解决慕课教师在实际工作中所发现的问题，为他们提供一套分析技术工具，促进慕课教学和研究水平的提高，最终达成提升学生学习体验的目标。

[参考文献]

Anderson， A.， Huttenlocher， D.， Kleinberg， J.， & Leskovec， J. （2014）. Engaging with Massive Online Courses. In Proceedings of the 23rd International Conference on World Wide Web （pp. 687-698）. New York， NY， USA： ACM. doi：10.1145/2566486.2568042

Coffrin， C.， Corrin， L.， de Barba， P.， & Kennedy， G. （2014）. Visualizing patterns of student engagement and performance in MOOCs. In Proceedings of the Fourth International Conference on Learning Analytics and Knowledge （pp. 83-92）. New York， NY， USA： ACM. doi：10.1145/2567574.2567586

Diver， P.， & Martinez， I. （2015）. MOOCs as a massive research laboratory： opportunities and challenges. Distance Education， 36（1）， 5-25. doi：10.1080/01587919.2015.1019968

Ferguson， R.， & Clow， D. （2015）. Examining engagement： Analysing learner subpopulations in Massive Open Online Courses （MOOCs）. In Proceedings of the Fifth International Conference on Learning Analytics and Knowledge （pp. 51-58）. New York， NY， USA： ACM. doi：10.1145/2723576.2723606

Fisher， W. W. （2014）. HLS1x： CopyrightX course report. doi：10.2139/ssrn.2382332

Ga?evi?， D.， Kovanovi?， V.， Joksimovi?， S.， & Siemens， G. （2014）. Where is research on massive open online courses headed？ A data analysis of the MOOC Research Initiative. The International Review of Research in Open and Distributed Learning， 15（5）. Retrieved from http：//www.irrodl.org/index.php/irrodl/article/view/1954

Hecking， T.， Ziebarth， S.， & Hoppe， H. U. （2014）. Analysis of dynamic resource access patterns in online courses. Journal of Learning Analytics， 1（3）， 34-60. doi：10.18608/jla.2014.13.4

Hollands， F. M.， & Tirthali， D. （2014）. MOOCs： Expectations and Reality （Full Report）. Center for Benefit-Cost Studies of Education， Teachers College， Columbia University. Retrieved from http：//cbcse.org/wordpress/wp-content/uploads/2014/05/MOOCs_Expectations_and_Reality.pdf

Joksimovi?， S.， Poquet， O.， Kovanovi?， V.， Dowell， N.， Mills， C.， Ga?evi?， D.， Dawson， S.， Graesser， A. C.， & Brooks， C. （2017）. How do we model learning at scale？ A systematic review of the literature. Manuscript Submitted for Publication. Retrieved from http：//vitomir.kovanovic.info/？ddownload=1145

Kizilcec， R. F.， Piech， C.， & Schneider， E. （2013）. Deconstructing disengagement： Analyzing learner subpopulations in Massive Open Online Courses. In Proceedings of the Third International Conference on Learning Analytics and Knowledge （pp. 170-179）. New York， NY， USA： ACM. doi：10.1145/2460296.2460330

Kizilcec， R. F.， Schneider， E.， Cohen， G.， & McFarland， D. （2014）. Encouraging forum participation in online courses with collectivist， individualist and neutral motivational framings. eLearning Papers， 37， 13-22. Retrieved from http：//rene.kizilcec.com/wp-content/uploads/2013/02/kizilcec2014encouraging2014elearning.pdf

Kovanovi?， V.， Ga?evi?， D.， Dawson， S.， Joksimovi?， S.， & Baker， R. S. （2015）. Does time-on-task estimation matter？ Implications on validity of learning analytics findings. Journal of Learning Analytics， 2（3）， 81-110. doi：10.18608/jla.2015.23.6

Kovanovi?， V.， Joksimovi?， S.， Ga?evi?， D.， Owers， J.， Scott， A.-M.， & Woodgate， A. （2016）. Profiling MOOC course returners： How does student behavior change between two course enrollments？ In Proceedings of the Third ACM Conference on Learning @ Scale （L@S16） （pp. 269-272）. New York， NY， USA： ACM. doi：10.1145/2876034.2893431

Kovanovi?， V.， Joksimovi?， S.， Ga?evi?， D.， Siemens， G.， & Hatala， M. （2015）. What public media reveals about MOOCs： A systematic analysis of news reports. British Journal of Educational Technology， 46（3）， 510-527. doi：10.1111/bjet.12277

Lamb， A.， Smilack， J.， Ho， A.， & Reich， J. （2015）. Addressing common analytic challenges to randomized experiments in MOOCs： Attrition and zero-Inflation. In Proceedings of the Second （2015） ACM Conference on Learning @ Scale （pp. 21-30）. New York， NY， USA： ACM. doi：10.1145/2724660.2724669

Li， N.， Kidziński， ?.， Jermann， P.， & Dillenbourg， P. （2015）. MOOC video interaction patterns： What do they tell us？ In Proceedings of the 10th European Conference on Technology Enhanced Learning （pp. 197-210）. Springer International Publishing. doi：10.1007/978-3- 319-24258-3_15

Mak， S. F. J.， Williams， R.， & Mackness， J. （2010）. Blogs and Forums as Communication and Learning Tools in a MOOC （pp. 275-284）. Presented at the Seventh International Conference on Networked Learning.

Ramos-Soto， A.， Vazquez-Barreiros， B.， Bugarín， A.， Gewerc， A.， & Barro， S. （2017）. Evaluation of a data-to-text system for verbalizing a learning analytics dashboard. International Journal of Intelligent Systems， 32（2）， 177-193. doi：10.1002/int.21835

Reich， J. （2015）. Rebooting MOOC research. Science， 347（6217）， 34-35. doi：10.1126/science.1261627

Rosé， C. P.， Ferschke， O.， Tomar， G.， Yang， D.， Howley， I.， Aleven， V.， Siemens， G.， Crosslin， M.， Ga?evi?， D.， & Baker， R. （2015）. Challenges and opportunities of dual-layer MOOCs： Reflections from an edX deployment study. In Exploring the Material Conditions of Learning： The Computer Supported Collaborative Learning （CSCL） Conference 2015， Volume 1 （Vol. 15， pp. 848-851）. Gothenburg， Sweden： The International Society of the Learning Sciences. Retrieved from https：//www.isls.org/cscl2015/papers/1309-InteractiveEvent-Rose.pdf

Sinha， T. （2014）. “Your click decides your fate”： Leveraging clickstream patterns from MOOC videos to infer students information processing & attrition behavior. arXiv：1407.7143 [Cs]. Retrieved from http：//arxiv.org/abs/1407.7143

Tomkin， J. H.， & Charlevoix， D. （2014）. Do professors matter？ Using an A/B test to evaluate the impact of instructor involvement on MOOC student outcomes. In Proceedings of the First ACM Conference on Learning @ Scale Conference （pp. 71-78）. New York， NY， USA： ACM. doi：10.1145/2556325.2566245

Veeramachaneni， K.， Halawa， S.， Dernoncourt， F.， OReilly， U.-M.， Taylor， C.， & Do， C. （2014）. MOOCdb： Developing standards and systems to support MOOC data science. arXiv：1406.2015 [Cs]. Retrieved from http：//arxiv.org/abs/1406.2015

Venkatesh， V.， & Bala， H. （2008）. Technology Acceptance Model 3 and a research agenda on interventions. Decision Sciences， 39（2）， 273-315. doi：10.1111/j.1540-5915.2008.00192.x

Williams， J. J.， Kim， J.， & Keegan， B. （2015）. Supporting instructors in collaborating with researchers using MOOClets. In Proceedings of the Second （2015） ACM Conference on Learning @ Scale （pp. 413-416）. New York， NY， USA： ACM. doi：10.1145/2724660.2728705

Winne， P. H. （1982）. Minimizing the black box problem to enhance the validity of theories about instructional effects. Instructional Science， 11（1）， 13-28. doi：10.1007/BF00120978

收稿日期：2017-05-08

定稿日期：2017-05-09

作者简介： 维托米尔·科瓦诺维克（Vitomir Kovanovi?），英国爱丁堡大学（University of Edinburgh）信息科学学院博士研究生和研究助理，美国德克萨斯大学阿灵顿分校（University of Texas at Arlington）学习创新和网络化知识（Learning Innovation and Networked Knowledge，LINK）研究实验室研究助理，学习分析技术研究学会（Society for Learning Analytics Research，SoLAR）执行委员会委员；曾担任2016年学习分析技术与知识大会（LAK16）执行主席和2016年慕课学习大会（Learning with MOOCs）程序委员会主席；主要研究兴趣为学习分析技术和教育数据挖掘，已发表40多篇同行评审论文，曾荣获爱丁堡大学、西蒙弗雷泽大学（Simon Fraser University）和塞尔维亚教育部奖学金。

斯雷奇科·约克西莫维奇（Sre?ko Joksimovi?），英国爱丁堡大学莫雷教育学院（Moray House School of Education）博士研究生，SoLAR执行委员会委员，美国德克萨斯大学阿灵顿分校学习创新和网络化知识研究实验室研究助理；研究兴趣为网络学习环境下教与学分析，发表多篇论文，曾荣获爱丁堡大学、西蒙弗雷泽大学奖学金。

菲利普·凯特林诺珀洛斯（Philip Katerinopoulos），先后毕业于希腊雅典国立科技大学（National Technical University of Athens）和英国爱丁堡大学，现在爱丁堡任职软件开发工程师；研究兴趣为数据管理和可视化。

哈拉兰博斯·米凯尔（Charalampos Michail），先后毕业于希腊帕特雷大学（University of Patras）和英国爱丁堡大学，现在希腊雅典任职软件工程师；研究兴趣为生物信息学和计算系统。

乔治·西蒙斯（George Siemens）博士，美国德克萨斯大学阿灵顿分校学习创新和网络化知识研究实验室教授、执行主任，加拿大阿萨巴斯卡大学（Athabasca University）远程教育中心教授；研究兴趣包括技术、网络、分析技术、情感和社会性交互，以及教育的开放性。他是大规模公开在线课程和学习分析技术先驱，SoLAR创会主席，曾应邀到35个国家发表学术主旨演讲，研究成果获得多个奖项，秘鲁圣马丁大学（Universidad San Martin de Porres）和加拿大弗雷泽谷大学（Fraser Valley University）授予他荣誉博士学位，以表彰他在学习、技术和网络等领域的开拓性工作，并为澳大利亚、欧盟、加拿大和美国的政府部门以及很多外国大学提供数字学习和学习分析技术在教育领域应用等方面的顾问咨询服务。

德拉甘·伽瑟维克（Dragan Ga?evi?），英国爱丁堡大学莫雷教育学院和信息科学学院教授、学习分析技术和信息科学首席教授，致力研究能够影响下一代的学习技术、促进我们理解自我调节和社会性学习的计算方法；曾担任2011年和2012年LAK大会程序委员会主席，2013年和2014年学习分析技术暑期研讨会（Learning Analytics Summer Institute）程序委员会主席，2016年学习分析技术与知识大会（LAK16）主席，《学习分析技术期刊》（Journal of Learning Analytics）（2012-2017年）创刊主编，SoLAR主席（2015-2017年）。在澳大利亚、加拿大、香港和美国还有多个荣誉性职位；先后获得加拿大、澳大利亚、欧洲和美国相关机构和业界的资助，多篇论文在学习和软件技术领域主要国际会议获得最佳论文奖，经常应邀到各地发表主旨演讲。

译者简介： 肖俊洪，汕头广播电视大学教授，Distance Education （Taylor & Francis）期刊副主編，System： An International Journal of Educational Technology and Applied Linguistics （Elsevier）编委（515041）。

责任编辑 郝 丹