自适应学习:溯源、前景与误区
2018-11-10佩特·约翰内斯拉里·拉格斯多姆
佩特·约翰内斯 拉里·拉格斯多姆
【摘 要】
直至不久前,面向成千上万学习者大规模提供个性化教育纯属天方夜谭。得益于普适计算能力、大规模用户群体和可扩展分析算法,现在似乎比以往任何时候都更有可能通过自适应学习的形式,基于学习者的输入而非教师的直觉改变学习者个体的学习体验。这篇综述旨在向工程教育领域负责人和工程专业教师提供三个方面的指导。首先,解释什么是自适应学习系统以及这种系统需要什么类型的数据;其次,对自适应系统的主要用例及可能性进行分类;最后,简要阐述现阶段自适应系统的局限以及值得关注的地方。工程专业的负责人和教师可以据此判断他们的教学环境是否适合使用这些系统;教育研究者则可以研究现有系统的特点,了解它们能在哪些方面发挥重要作用。
【关键词】 在线学习;自适应学习;机器学习;慕课;认识论;学习者模型;知识跟踪
【中图分类号】 G420 【文献标识码】 B 【文章编号】 1009-458x(2018)7-0043-11
导读:从历史上看,对教育而言,个性化似乎是理所当然的事情。比如,我国以前的私塾便是一种个性化教育,英国牛津和剑桥大学的传统导师制(即所谓OxCam Tutor模式)更是个性化教育的典范。我们平时常挂在嘴边的“因人施教”其实也是为了使教学更个性化。随着社会的发展,对教育的需求日益增长,“私塾”也好,“导师制”也好,远远满足不了这些需求,“私塾”还可能有悖于现代教育规律和培养目标,而在具体教学实践中“因人施教”的“人”也不一定是某一个“个体”,更多的是以班组为单位的“个体”,因此难以实现真正意义上的“个性化”。在技术与教育如此“水乳交融”的今天,借助技术手段帮助教育重拾“个性化”是再自然不过的事情(“如果说教育的‘终极目标是实现教育个性化,那么目前自适应教育则被认为是达成这个目标的上策”,而“现在由于有普适计算能力、大规模用户群体以及可扩展分析算法,我们能够基于学习者的输入而非教师的直觉改变个体学习者的学习体验,而且能够大规模开展”),学术界可能觉得这是他们义不容辞的责任,而商界则从中嗅到浓浓商机,于是自适应学习应运而生,如同其他一些基于技术的教学创新一样,在大众媒体的推波助澜下,风生水起。然而,毋庸讳言,并非所有人都真正了解自适应学习;要充分发挥自适应技术对学习的促进作用,我们就必须对其“知根知底”,不断探索、不断改进,才能扬其所长、避其所短。
本文是美国斯坦福大学两位研究者佩特·约翰内斯和拉里·拉格斯多姆博士提交美国工程教育学会(ASEE)2017年年会的论文①,文章不是很长,但诚如史蒂芬·道恩斯所言,言简意赅,较为完整地给读者呈现了自适应学习领域的发展历史、实践与研究现状以及存在的问题。有一点需要说明,本文的读者对象原本是工程教育领域的教育工作者和研究者,所以个别地方的措辞明显针对工程教育领域同行,但我认为这并不意味着文章所述仅局限于工程教育。
文章第一部分从两个方面对自适应学习进行溯源:发展脉络和科学原理。从其发展脉络看,一方面可以追溯到“二十世纪八十年代个人电脑的出现以及把电脑作为一种自动化辅导教师(an automated form of tutor)或‘智能辅导系统(intelligent tutoring system)使用的可能性”,另一方面则是“得益于教育领域慕课的兴起和数据科学领域机器学习方法的发展”,目的是“提高学习者的参与度、学习效果和坚持学习的信心”,最终降低辍学率。至于科学原理,文章用通俗易懂的语言简要介绍了与自适应学习系统有关的基本概念和原理,包括自适应模型、领域模型和用户模型、叠加建模与不确定性建模,以及知识跟踪等。
文章第二部分在回顾自适应学习现状和对学习的促进作用基础上展望发展前景。从现状看,自适应学习领域是一个高度商业化的领域,“企业、出版商以及后台系统供应商都在把自己的收入和客户满意度押在自適应学习上”,当然,高等教育机构也不甘落后,事实上不少商业机构与大学有千丝万缕的关系。另外,有些大学“投资开发用于‘高危学生预警系统的学生预测模型。这些模型有助于设计和实施自适应干预措施,从而降低不及格率和辍学率”。自适应学习的商业化必然带来一些问题,比如技术垄断或对成效夸大其词等。尽管如此,我们还是能够从企业与学术界合作的一些项目中了解到一些实施案例的情况,其成效主要体现在三个方面:“减少学习时间”“缩小成绩和学习参与度的差距”,以及“提高考试及格率”。第二部分以一个图表收尾,分别从领域模型、学习者模型和自适应模型三个角度归纳自适应系统对学习者、教育工作者、学习科学研究者和计算机科学家的潜在好处。
虽然研究表明自适应学习能够产生一些积极学习效果,但是也存在言过其实的宣传。2013年比尔和梅琳达·盖茨基金会启动“自适应学习市场加速项目”,旨在推广自适应学习的应用,成功中标者包括14家高等教育机构。这是一个大规模项目,共有23,000名学生参加该项目,基金会委托斯坦福国际研究中心对项目的实施情况进行评估,包括学习结果、成本和满意度等方面。研究结果喜忧参半。换言之,大众传媒或企业对自适应学习的成效有言过其实之嫌。因此,文章第三部分的第二小节重点阐述三个方面的问题:第一,对学生的歧视和标签化,比如,根据学生在某一门课程上的学习情况给他们贴上“差生”“中等生”或“优等生”标签是否会产生副作用?标签化是否会导致学生“只能囿于某种学习路径”?例外情况的学生又该如何处理?再者,不论从何种角度看,算法都不是中立的,这样就很容易导致有些学生遭受歧视。第二,自适应学习系统赖以支撑的知识和认识观单一,从而影响其应用范围。比如,大多数自适应学习系统都把知识分为描述性和程序性两种,“认为所有相关知识不仅可以建模,也可以显性化”,未能处理隐性知识。换言之,它们可能适合某些内容的学习,但对于另外某些内容的学习可能作用适得其反。第三,学生数据的透明性、易得性和安全性同样是我们必须警惕的问题。
文章最后指出,自适应学习系统所存在的问题或局限不是不可避免的,“而是有意或无意为之的结果”。自适应学习是一种潮流,甚至是一种必然发展趋势,不管我们喜欢与否,它的存在是一个客观事实,因此,作者呼吁广大教育工作者不要排斥它,而是应该积极主动参与自适应学习系统的设计,从而在自适应学习领域发挥应有的影响,帮助其健康发展。
衷心感谢佩特·约翰内斯和拉里·拉格斯多姆博士对本文的翻译所给予的积极配合和支持!(肖俊洪)
引言
2015年,美国斯坦福大学校长、工程学教授约翰·轩尼诗(John Hennessy)在美国教育委员会(American Council of Education)发表了一个演讲,展望如何通过新技术工具和新教学方法提升高等教育质量的前景。他特别强调可以打造能因人而异调整学习进度、深度和方法的在线和混合式学习材料,给课程注入活力(Hennessy, 2015)。其他学者也发表过同样的意见。譬如美国国家工程学院(National Academy of Engineering)把“个性化和自适应学习”列为其面临的重大挑战之一。由来自不同大学、基金会、政府部门、非营利性组织和营利性公司的37名代表组成的“学习分析工作组”提出了一个“终极”目标,即“大规模提供个性化网络学习,满足地球上每一个人对任何知识领域的求知欲”(Pea, 2014)。Knewton、Acrobatiq、Coursera以及 Udacity这些公司或是把自适应学习技术商业化,或是正在使用这种技术。此外,在线高等教育机构也正在其课程中使用这种技术,譬如美国西部州长大学(Western Governors University)。鉴于此,大学的工程学院和教师在不久的将来很可能就要面对如何运用自适应技术和类似的技术提高学习效果的问题。当然,学生和家长可能会提出此类问题,媒体甚至认证机构也可能提出此类问题。
本综述旨在帮助工程教育的负责人和教师了解什么是自适应学习系统,这种系统的主要用途以及存在的问题等。
自适应学习溯源
在个体学习者的学习过程中改变其学习体验,而非全班的学习体验,这对教育工作者而言既不是一个新目标,也不是不可为之的事情。毕竟,教师向某个学生提供反馈或助教在实验课上以不同方法帮助每一个学生——这些都不是只在科幻故事中才可以做到的。现在由于有普适计算能力、大规模用户群体以及可扩展分析算法,我们能够基于学习者的输入而非教师的直觉改变个体学习者的学习体验,而且是能够大规模开展的。但是,直至不久前这种事情还只是天方夜谭。本节将简要回顾自适应学习在教育研究这个宽广领域的地位以及现代自适应教育的理论基础。
1. 自适应教育的历史
如果说教育的“终极”目标是实现教育个性化,那么目前自适应教育则被认为是达成这个目标的上策。我们可以循着两个方面探索自适应学习的发展脉络。一条脉络可以溯源到20世纪80年代个人电脑的出现以及把电脑作为一种自动化辅导教师(an automated form of tutor)或“智能辅导系统”(intelligent tutoring system)使用的可能性(Wan, 2016)。智能辅导系统是“一种计算机系统,该系统执行教学或学习辅导功能(比如挑选作业、提问、提示、评价学生的回答、反馈、鼓励反思和提供能激发学生兴趣的评语等),并且对学生的认知、动机或情感状态进行建模,以调整或个性化这些功能”(Nesbit, Liu, Liu, & Adesope, 2015)。不难看出,STEM的内容(尤其是计算机科学的内容)被证明非常适合进行这一类的建模。这不仅是因为计算机科学家首先是计算机设计者,也因为他们工作的知识领域把知识分为陈述性知识(概念和事实性知识)和程序性知识(方法和途径知识),而且这种一分为二的区分能被计算机所识别(Chandrasekaran, Johnson, & Smith, 1992; Corbett & Anderson, 1994)。与其他一些学科不同的是,如果没有计算機,计算机程序是很难教授的。计算机编程的关键是计算机必须能够理解编码。因此,把计算机作为一种学习的媒介和自适应的媒介是符合逻辑、顺乎自然发展的结合。
另一条脉络的历史不长,得益于教育领域慕课的兴起和数据科学领域机器学习方法的发展。从活动的多样化和学习范围上看,在线环境是传统智能辅导系统难以企及的,因此吸引了成千上万学生在线阅读材料、完成测试和观看录像。早期许多慕课由初创公司运营,因此采集数据以及提供自适应学习在商业层面(而非学术层面)上显得更加紧迫。文献显示,对自适应学习的兴趣在某种程度上是因为辍学率居高不下(Halawa, Greene, & Mitchell, 2014; Kizilcec, Piech, & Schneider, 2013)。辍学率居高不下是因为慕课学习者在某些方面存在不同,比如在学习动机方面,他们的学习方式也不尽相同,比如观看视频(Guo, Kim, & Rubin, 2014; Lagerstrom, Johanes, & Ponsukcharoen, 2015)和浏览课程(Guo & Reinecke, 2014; Kim, Guo, Cai, Li, Gajos, & Miller, 2014)的方式。在线学习平台和供应商所面临的一个巨大挑战是如何快速分析所有这些点击流数据,以便提高学习者的参与度、学习效果和坚持学习的信心。为解决这个问题,研究人员转向研究机器学习方法,包括由智能辅导系统提供不同学习方法(Brusilovsky, 2000),比如贝叶斯网络(Bayesian Networks)。在线学习研究的一个合乎逻辑的发展方向是采用更加新颖的分析方法进行试验,比如循环神经网络(Recurrent Neural Networks),并检验这些新方法在描述和预测在线学习环境下学习表现的准确性(关于贝叶斯网络和循环神经系统网络,分别参见Brusilovsky & Millán, 2007和Piech, Bassen, Huang, Ganguli, Sahami, Guibas, & Sohl-Dickstein, 2015)。
2. 自适应教育的科学原理
布鲁希洛夫斯基和米兰(Brusilovsky & Millán, 2007)总结了自适应学习领域的研究,尤其是自适应超媒体系统(adaptive hypermedia systems)和自适应教育系统领域有关知识建模和用户建模的研究。这些系统之所以具有自适应性,是因为它们能够基于系统采集和处理的数据改变每个用户在学习系统中的体验。系统用于决策如何改变个体学习体验以及改变什么的数据,即自适应模型(adaptation model),来自两个方面:领域模型(domain model)(比如数学、语法等不同知识领域和陈述性、程序性等不同类型的知识)和用户模型(user model)(比如用户对领域知识模型的了解,与用户行为有关的特点和个性)。在自适应教育系统中,因为被建模的领域是一个知识领域,该模型通常被称为知识模型。此外,由于用户是学生,用户模型通常被称为学生模型。自适应系统的开发者或者使用者需要重点考虑的是:建模的对象是什么、如何建模以及如何维护这些模型。尽管建模的方式多种多样,但是现在最常用的是叠加建模(overlay modeling)。叠加建模的核心原则只有一条:一个领域存在某种基础模型,某个用户的模型属于该基础模型的子模型。按照这个范式运行自适应系统有双重目的:一是改变用户的体验,使用户的叠加子模型最终与系统的基础模型相匹配;二是改变系统的基础模型,使它更精确地表征某个领域(Brusilovsky & Millán, 2007)。
这种建模被称为不确定性建模(uncertainty-modeling),即我们不可能100%确定建模的内容。简而言之,如果一个学习者答对一道多项选择题,这仍然有可能是学习者猜对答案而已,因此模型不能100%肯定学习者掌握了该道题目涉及的知识。由这个例子进行推论:即使模型积累了要得出学习者掌握某个知识点的结论所需的足够证据,如果考虑到遗忘或出错的可能性,学习者掌握相关知识的概率可能只是99%,而不是100%(Baker, Corbett, & Aleven, 2008; Corbett & Anderson, 1994)。由于存在不确定性,大多数模型本质上带有概率性,最受欢迎的概率模型是贝叶斯网络。贝叶斯网络使用的知识模型由与证据要素(比如反馈、行为、正确性等)关联的个人知识成分(比如概念、程序、规则等)组成。每一个关联都具备一定权重,显示相关证据与掌握某个知识成分存在多大程度的关联以及需要多大程度上掌握某个知识成分才有可能出现这个证据。当用户与系统交互时,系统会在每次交互之后更新用户的知识状态(这个概率是基于用户的输入,直到用户了解某个知识成分为止),显示何种活动可以进一步证明用户处于某一特定的知识状态。在学习者完成一系列练习、活动或者测评(而不是修完整门课程)之后更新学习者处于某种知识状态的概率,这种方法被称为知识跟踪(knowledge tracing)(Corbett & Anderson, 1994)。
除了对用户知識状态建模外,自适应系统的设计者也对诸如用户目标、兴趣、解决问题策略、情感状态以及社会心理状况的建模感兴趣(Brusilovsky & Millán, 2007)。当然,要注意处理好模型概念的完整性和模型的计算效率之间的平衡,但是我们的最大愿望是将来有一天这些系统能处理任何特定用户的大量复杂交互行为,并以精确的个性化方式改变用户的体验。
自适应学习的前景
更加个性化的教学对大班授课尤其有益,因为在大班教学中师生交互经常受到诸多限制。本杰明·布鲁姆在其被广为引用的研究“2西格玛问题:寻找与一对一同样有效的集体授课方法”中比较了单独辅导与正常课堂教学的效果,结果发现单独辅导的效果更优,效应量为2。也就是说,接受单独辅导的学生的平均成绩比正常课堂教学的学生高两个标准差(或者换个说法,单独辅导的学生的平均成绩位于课堂教学学生平均成绩的第98个百分等级位置上)(Bloom, 1984)。后来,范冷在一篇元分析的文章中提出质疑,认为教学效果的差距更接近一个标准差,不是两个(VanLehn, 2011)。虽然这两项研究的结果不同,但是,这并没有改变一个重要的问题,即能否复制优质单独辅导的效果或甚至是取得更好效果以使更多学生受益?
1. 自适应学习的现状
学术出版物和大众传媒经常提到各种具有破坏性的自适应学习公司并详细报道美国公立学校校区开展自适应学习的情况,因此研究能否大规模复制单独辅导的效果成为目前学术界主流所关注的问题(Burrows, 2016; Riddell, 2013; Wan, 2016)。与之相应的是,也有研究人员试图验证自适应学习是否如一些近年新建的公司所期待的那样带来利润,比如Acrobatiq(成立于2013年)、Knewton(成立于2008年)、CogBooks(成立于2006年)、Cerego(成立于2000年)、Realizeit(成立于2007年)、LoudCloud(成立于2010年)以及Smart Sparrow(成立于2010年)。这些公司提供的服务包括:整套现成的课程、大众化科目的补充材料(尤其是在语言和STEM领域的入门内容和基础知识)、教师和课程设计者编辑课程的平台以及帮助大学或其院系开发基于自适应学习的课程。至少有三篇综述文章涉及对这一类服务提供商进行调查的研究(Brown, 2015; Bryant, Newman, Fleming, & Srkisian, 2016; EdSurge Inc., 2016)。教育出版商或是通过与自适应学习公司合作(比如Pearson和 Knewton的合作),或是购买一家自适应学习公司(比如McGraw-Hill 购买 ALEKS,Barnes & Noble 购买LoudCloud)进军这个市场。大部分学习管理系统的供应商(譬如Blackboard、Canvas、D2L和 Moodle)或者自行开发自适应学习内容,或者通过设置允许第三方服务使用这些学习管理系统,或者两者兼而有之。总而言之,企业、出版商以及后台系统供应商都在把自己的收入和客户满意度押在自适应学习上。
在这方面,大学并未落后。事实上,榜上有名的好几家公司都来自大学开展自适应学习的项目和其属下的研究机构。譬如创立于2013年的Acrobatiq 可以溯源于2002年卡耐基梅隆大学(Carnegie Mellon University)发起的开放学习计划(Open Learning Initiative),而创立于2010年的Smart Sparrow则归功于2007年始于新南威尔士大学(University of New South Wales)工程学院的研究工作。许多在线学习平台目前正在开发慕课而且越来越多在提供自适应学习,比如Coursera、Udacity 以及 Open EdEx,它们都源自大学,其目前所使用的算法也源自大学。譬如,蒙大拿州立大学(Montana State University)正在进行一项历时数年的项目,要把自适应学习运用到其数字逻辑课程中(LaMeres, 2015)。大学还投资开发用于“高危”学生预警系统的学生预测模型。这些模型有助于设计和实施自适应干预措施,从而降低不及格率和辍学率。普渡大学(Purdue University)的Course Signals系统也许最为出名,但是密歇根大学(University of Michigan)、阿拉巴马大学(University of Alabama)、北亚利桑那大学(Northern Arizona University)、佐治亚州立大学(Georgia State University)、特拉华州立大学(Delaware State University)和凤凰城大学(University of Phoenix)也在使用或开发类似系统(Arnold & Pistilli, 2012; Ekowo & Palmer, 2016; Lonn, Krumm, Waddington, & Teasley, 2012; Nunn, Avella, Kanai, & Kebritchi, 2016)。
2. 自适应学习的作用
但是,自适应学习领域商业化程度如此之高,以至于产生了很多附带影响,其中之一就是许多算法、结果和数据都是独家专有的,除非某家公司选择通过研究报告或者更为常见的白皮书或者新闻发布会的形式公布研究成果。如果企业和学术界不能找到纠正这种局面的办法,这很可能会阻碍自适应学习的发展。所幸商界和学术界的一些合作使我们能够了解不同的学习效果和一些成功开展自适应学习的案例。范冷的元分析有助于我们了解这些合作的目的,该文的结论是智能辅导系统“在STEM科目学习中的作用与传统教师进行一对一辅导是一样的,能有效提高学习效果”(当然,智能辅导系统的设计和使用有一些需要注意的情况)。尤其值得一提的是,范冷发现较之于无人辅导的学习,教师一对一辅导的效应量为0.79,而智能辅导系统的效应量则为0.76,两者几乎没有差别(VanLehn, 2011)。下面介绍的是公司和学术界在自适应学习方面的一些合作及其主要研究发现:
减少学习时间:“开放学习计划”与卡耐基梅隆大学的合作:研究表明,“开放学习计划”的学生“只用一半时间参加一半面授課”就能完成‘开放学习计划统计学课程的学习,而且“在统计学知识国家标准的CAOS(Comprehensive Assessment of Outcomes in Statistics,即统计学学习结果综合测评)考试及类似考试中的成绩优异……这些学生与采用传统方式学习的学生在一个学期后参加跟踪测试,二者的成绩没有显著差异”( Lovett, Meyer, & Thille, 2008)。后续的“试验在六所(公立)机构中随机分配学生参加‘开放学习计划统计学课程的混合式教学和传统面授教学,将二者进行比较之后发现,混合模式学生的成绩与传统模式学生的成绩相当或优于后者,并且在效果相同的情况下学习时间减少25%”( Bowen, Chingos, Lack, & Nygren, 2014)。
缩小成绩和学习参与度的差距:①“开放学习计划”与卡内基梅隆大学的合作:有一项研究调查社区大学开设的“开放学习计划”心理学、解剖与生理学、生物学以及统计学课程的学习情况,研究发现,“教师使用‘开放学习计划课程和他们在这方面的经验与学生取得更高分数相关,鉴于某些种族的学生学习成绩欠佳,这也许有助于消除这种现象”(Kaufman, Ryan, Thille, & Bier, 2013)。②Realizeit与中佛罗里达大学(University of Central Florida)的合作:Realizeit开发了一套自适应学习系统,用在中佛罗里达大学的心理学、护理学以及代数课程上。结果表明,学生学习表现有适度提高,学生满意度非常高。83%的学生表示这个系统有助于他们更好地学习(Howlin, 2015)。
提高考试及格率:①Smart Sparrow 与 澳大利亚大学的合作:它们开发了自适应辅导促进力学入门课程的教学。使用第一年,考试不及格率从31%下降到19%。通过调整课程,不及格率连续两年下降到10%以下。研究者还观察到学生在第三学年学习力学工程课程时,学习成绩也得到提高。如今澳大利亚好几所大学都在力学入门课程中使用这些自适应辅导(Prusty & Russell, 2011)。②Realizeit与科罗拉多技术大学(Colorado Technical University)的合作:科罗拉多技术大学使用Realizeit开发的一套系统,据称能够将入门层次在线课程的及格率和巩固率提高约5-10%或以上。一门代数课程的不及格率由30%下降到18%。他们在三角学和微积分前修课程的混合式教学模式中使用这个系统,学生线上和课堂上的活动各占50%。三角学的及格率从78%上升到98%,微积分前修课的及格率从66%提高到98%。他们成功的关键之一是采取审慎的逐步推广方式:第一年有三门课程采用该系统,第二年发展到16门课程,第三年是25门,第四年达到63门(Daines, Troka, & Santiago Jr., 2016)。③Knewton与亚利桑那州立大学(Arizona State University)的合作:亚利桑那州立大学的数学入门课程使用Knewton开发的自适应学习技术,及格率提高18%,退学率下降47%(Bryant, Newman, & Stokes, 2013)。
以上所述旨在说明,当大学与商业公司合作时,这些系统能给学习带来的好处。科比特和安德森(Corbett & Anderson)有关知识跟踪领域的论文影响深远,迄今为止,上述这些研究的结果都与他们在论文中所概括的结果以及潜能一致。即使我们没有深入了解这些研究以及其他许多研究的结果,我们也能看到自适应学习系统给教育带来的影响。图1概括了自适应学习对主要利益相关者的潜在好处。
自适应学习的误区
鉴于自适应学习的实证研究结果(包括来自课堂教学和自适应学习系统的研究结果)以及人们普遍认为自适应学习在教育领域有积极的应用前景,自适应学习经常被吹得天花乱坠。但是,自适应学习有一些误区(包括一些可能存在的误区),有自身的局限和(或)值得我们警惕的问题,我们不能忽视这些问题。
1.“自适应学习市场加速项目”研究:停止炒作、回归理性
由于自适应学习的研究结果令人鼓舞,加上传媒的大肆炒作,2013年比尔和梅琳达·盖茨基金(Bill and Melinda Gates Foundation)启动“自适应学习市场加速项目”(Adaptive Learning Market Acceleration Program,简称ALMAP)并公开征集研究计划,旨在进一步推广自适应学习的应用(SRI International, n.d.)。成功中标者中有14家高等教育机构,涵盖20多门课程和一系列自适应学习产品,涉及基础数学、代数、英语语言艺术、商业、营销、经济学、心理学以及生物学等学科。销售商或者课件供应商包括Pearson/Knewton、Cerego、Smart Sparrow、CogBooks、Adapt Courseware、Learn Smart/Connect、Assessment and Learning in Knowledge Spaces(ALEKS)以及 Open Learning Initiative(开放学习计划)。这些课程在教学方法上做了一些改变。2013-2015年间,23,000多名学生参加了课程学习以及相关的学习,其中大约10,000名使用自适应学习课件(其他学生参加控制组或者课程对照组的学习)。低收入家庭的学生占学生总数的40%。斯坦福国际研究中心(SRI International)受聘评估各种实施情况,并报告“学习结果、成本和满意度等的研究发现”(SRI International, n.d.)。研究结果显然喜忧参半(Yarnall, Means, & Wetzel, 2016):
课程学习效果:15门课程中有4门分数略有提高,但是大部分课程“没有明显效果”(不管采用哪一种测评方法,并非所有课程都能提供足够数据或者有恰当的研究设计确保其结论具有统计学上的意义)。另一方面,有7门课程能够“对应比较相同学习测评的分数”,结果显示它们的差别“不是很大”,但“具有显著积极意义”。从传统讲授式改为自适应学习模式的课程的效果最好。
课程完成情况:就课程完成率而言,自适应课件不具备任何可测量的效果。16门课程中,仅有两门的完成率上升。一些先前的研究显示低收入家庭的学生似乎在在线学习或者混合式学习环境中表现欠佳(SRI International, n.d.)。然而,“自适应学习市场加速项目”的相关研究显示他们的表现与其他学生无异。
教师满意度:教师的看法和满意度不一。整体而言,74%的教师对该项目非常满意,尤其喜欢用于跟踪学生进步的实时仪表盘。但是,基础性(补习)课程的教师和通识教育入门课程的教师的意见有分歧:67%的基础性课程教师计划将来使用自适应课件,相比之下,仅有49%的通识教育课程教师有此打算。在所有这些课程中,非常值得注意的一点是只要让学生充分使用自适应学习课件,便能从中受益。如果仅仅将自适应学习课件视为时髦的在线教科书或者额外的教学材料和练习,而不是课程的核心内容,学生可能像对待其他教科书一样漫不经心。
学生满意度:学生的看法和满意度因学生类型和课程类型而异。两年制社区学院学生比四年制大学学生更加赞成使用自适应学习课件。77%的两年制学生表示课件有助于他们的学习,然而仅有51%的四年制学生持这种观点。此外,两年制学生中56%总体上感到满意,而四年制学生只有33%感到满意。90%以上的基础性课程学生认为自己的学习有进步,60%认为他们使用自适应课程材料时学习更加投入。但是仅有25%通识教育入门课程学生有同感,而且仅有33%认为学习效果好。
不出所料,自适应学习实施之初成本较高,主要因为教师工作量增加了。但是经过第一轮使用之后,有充分数据显示10门课程中有7门成本降低了。
“自适应学习市场加速项目”研究的最重要结论是:如何实施自适应学习以及实施的质量至关重要。同一款自适应学习产品因实施情况不同可能略有不同的积极效果,因此强烈建议“计划大规模使用自适应学习课件的机构应该对学生使用自适应课件与其他学习方式的学习效果进行内部分析”(Yarnall, Means, & Wetzel, 2016);應尝试更精确地分析学习效果,而不仅仅是看课程分数和完成率;比较不同学生和不同课程的结果时,必须注意比较的基准要相等,“因为影响学习结果的因素多种多样,要充分了解学生的学习结果,相关分析必须结合学生的特点(包括先前知识和技能)、自适应课程的详细使用情况、除了课件外课程其他方面内容以及学习的测评方法”(Yarnall, Means, & Wetzel, 2016)。同时,为了营造高效学习环境,激发学生学习课程材料的积极性,必须向学生清楚地解释为什么要使用自适应课件以及有何预期效果。
2. 自适应性学习的误区
正如“自适应学习市场加速项目”相关研究所示,并非所有的自适应学习都能获得好结果,从技术到哲学层面看也有其他一些问题和值得关注的地方,下文拟重点阐述其三。
对学生的歧视和标签化所引发的反馈环:假定某条算法基于学生在某一个科目的表现将他们分为差生、中等生或优等生,如此分类会导致发生什么情况呢?学生是否因此只能囿于某种学习路径?果真如此的话,谁将处理边缘或异常个案?不论是从种族、政治还是其他方面看,任何一种算法都不是中立的,因为算法由人所设计,而设计者很可能带有偏见而且自己还可能对此毫无察觉。虽然这似乎是一个假设性或者抽象的观点,但其实并非如此。凯丝·奥尼尔(Cathy ONeil)在其著作《数学杀伤性武器》中阐述算法设计正在破坏经济和政治平等的各种情况(ONeil, 2016)。她认为核心问题是“我们是否已经消除人类偏见或者只是用技术掩盖偏见”(ONeil, 2016, p. 23)。“掩盖”并不只是一种表达方式,因为她所讨论的具有危害性的算法是“有意为之的神秘黑匣子”(ONeil, 2016, p.28)。她用了整整一章的篇幅讨论《美国新闻》(U.S. News)的美国大学排名机制,指出它所采用的评价指标导致其评价机制很容易被玩弄。这种可能性又催生了一个旨在向大学提供顾问咨询服务以帮助它们提升名次的行业,这种行业进一步巩固那些有较高社会经济地位的学生(通常来自城市上层白人家庭)的特权。因此,即使模型本身可能并不是产生歧视的主要工具,但它显然可以为产生歧视提供一定的条件,这一点非常明显。正如奥尼尔所解释的那样,我们希望建模的原因之一是为了能够根据模型的测量数据创设现实世界的反馈环。有些歧视可能很明显,但是并非所有都如此,除非我们保持警觉,否则我们可能陷入这样的反馈环,即从时间和成本上讲,学习的效率越来越高,但是从公民原则和诚信而言却并非如此(ONeil, 2016)。
对知识、认识和学习的严格限制:智能辅导系统和自适应学习系统可以被视为基于知识的系统(knowledge-based systems),因为它们结合学生的知识水平对一个知识系统进行建模,然后向他们推荐一条知识建构线路(Chandrasekaran, Johnson, & Smith, 1992; Corbett & Anderson, 1994)。这些任务属于知识和认识领域,即认识论范畴。但是到目前为止,这些系统大多数遵循基于思维的适应性特征(ACT-R)理论的认识论观点(Anderson, 1996)。该理论认为人类认知由两部分组成:一方面是将环境中的对象编码成知识单位(通过知识组块),另一方面,对环境中发生的变化进行编码(通过产生式规则)。这就意味着如今我们使用的大部分系统都认为知识是以描述性和程序性两种方式存在。系统认为所有相关知识不仅可以建模,也可以显性化(Anderson, 1996)。但是,认识论模式并非只有这些,长期以来,学界一直在争论隐性知识对学习的必要性,这表明我们不能忽视这些系统没有考虑隐性知识这个问题(Collins, 2010; Polanyi, 2009)。如果过度使用这些系统,将其应用到不适合它们发挥作用的地方,我们实际上是在开始将各种知识领域局限在这些系统赖以支撑的那些认识论上,那么这时会发生什么情况呢?如果我们不了解其他的认识论知识建构观,而是将这些系统与某种知识和认识观绑定在一起,然而长远看这种知识和认识观对学习某个学科或者某些学科的作用却适得其反,那么又会发生什么情况呢?自适应学习系统的认识论基础非常狭隘,因此它们可能正在失去教育和科研上的某些优势(Johanes, 2017)。
数据的透明性、易得性和安全性:自适应学习系统的使用涉及一个根本问题,即谁拥有系统产生的数据?学生输入产生的数据不仅可用于评定成绩、测评和颁发证书,而且也可能被泄露、被搜索到和被兜售。数据的安全性有多大?学生、教师和大学在多大程度上可以(或应该)获得这些数据?更重要的是,在线学习提供商可能正在采集用户的数据,而用户甚至不知道这些数据的存在,比如键盘敲击的节奏(甚至可用于学习环境之外的用户身份识别)。虽然这看起来似乎无甚危害,但是平台能够从我们产生的数据中了解我们情况的程度可能会使我们感到不安,比如在线学习平台现在开始使用更加多样化、更加复杂的数据采集方案,旨在了解用户的情感和社会心理方面的情况。
我们并非暗示这些误区是固有的、不可改变的,甚至导致自适应学习的失败,但这些问题非常突出,必须引起我们的警惕,因为哪怕这些系统有服务学生的良好初衷,但是它们也可能造成事与愿违的后果。通过指出上面三个方面的问题,我们希望鼓励工程教育领域自适应学习系统的研发要以相关研究成果为基础且体现包容性,而不是想当然、“自我禁锢”。
结论
本文旨在简要介绍什么是自适应学习、为什么需要自适应学习、为什么不需要自适应学习以及如何开展自适应学习,以便教师和管理人员能更好地斟酌、使用和评估自适应学习系统。表1基于实证证据和相关理论归纳目前自适应学习的主要发展前景和存在问题。由于自适应学习在商界和学术界发展迅速,其继续存在是不容置疑的。因此对大多数教育工作者而言,问题不在于我们是否愿意采用自适应学习,而是我们是否愿意适应它。正如我们在上文阐述自适应学习的误区时所指出的,自适应学习系统的任何局限和不足并非其本身所固有的,而是有意或无意为之的结果。作为教育工作者和研究者,我们越是参与自适应学习系统的設计,而不是反对使用这些系统,我们越能影响其发展并提供进一步改进的意见。自适应学习系统并非灵丹妙药,也非“瘟疫”,但是它们可以大有作为。现在我们有机会让它们首先在教育领域有所作为。高等教育机构在这方面具有独一无二的优势,因为我们往往能够把一所高校的教育工作者、学习科学研究者和计算机科学家召集在一起,组织他们开展协作(至少大型教育机构能够做到这一点)。如果我们有意识地创建适合使用自适应学习系统促进学生学习的学习环境,我们便能够重新定义教学、研究和学习。自适应学习系统是促进这些具有深远影响的协作的催化剂。
参考文献
Anderson, J. R. (1996). ACT: A simple theory of complex cognition. American Psychologist, 51 (4), 355-365.
Anderson, J. R., Corbett, A. T., Koedinger, K. R., & Pelletier, R. (1995). Cognitive tutors: Lessons learned. The journal of the learning sciences,4 (2): 167-207.
Arnold, K. E., & Pistilli, M. D. (2012). Course signals at Purdue: Using learning analytics to increase student success. In Proceedings of the 2nd international conference on learning analytics and knowledge, 267-270. Retrieved February 13, 2017 from http://dl.acm.org/citation.cfm?id=2330666
Baker, R. S. J., Corbett, A. T., & Aleven, V. (2008). More accurate student modeling through contextual estimation of slip and guess probabilities in bayesian knowledge tracing. In International Conference on Intelligent Tutoring Systems, 406–415. Retrieved February 12, 2017 from http : // link.springer.com/chapter /10.1007/978-3-54069132-7_44
Bloom, B. S. (1984). The 2 sigma problem: The search for methods of group instruction as effective as one-to-one tutoring. Educational researcher, 13(6): 4-16.
Bowen, W. G., Chingos, M. M., Lack, K. A., & Nygren, T. I. (2014). Interactive Learning Online at Public Universities: Evidence from a Six-Campus Randomized Trial: Interactive Learning Online at Public Universities. Journal of Policy Analysis and Management, 33 (1), 94-111.
Brown, J. (2015). Personalizing Post-Secondary Education: An Overview of Adaptive Learning Solutions for Higher Education. Ithaka S+R. Retrieved from http://www.sr.ithaka.org/publications/personalizing- post-secondary-education/
Brusilovsky, P. (2000). Adaptive hypermedia: From intelligent tutoring systems to webbased education. In International Conference on Intelligent Tutoring Systems, 1-7. Retrieved February 12, 2017 from http://link.springer.com/chapter/10.1007/3-540-45108-0_1
Brusilovsky, P., & Millán, E. (2007). User models for adaptive hypermedia and adaptive educational systems. In The adaptive web, 3–53. Retrieved February 12, 2017 from http://dl.acm.org/citation.cfm?id=1768199
Bryant, G., Newman, A., Fleming, B., & Srkisian, L. (2016). Learning to Adapt: The Evolution of Adaptive Learning in Higher Education. Tyton Partners. Retrieved from http://tytonpartners.com/library/learning- to-adapt-2-0-the-evolution-of-adaptive-learning-inhigher-education/
Bryant, G., Newman, A., & Stokes, P. (2013). Learning to Adapt: A Case for Accelerating Adaptive Learning in Higher Education. Tyton Partners. Retrieved from http://tytonpartners.com/library/accelerating-adaptive-learning-in-higher-education/
Burrows, P. (2016). Adaptive learning: Can industrys most provocative software make a difference in the classroom? EdSurge. Retrieved December 5, 2016 from https://www.edsurge.com/research/special-reports/adaptive-learning/
Chandrasekaran, B., Johnson, T. R., & Smith, J. W. (1992). Task-structure analysis for knowledge modeling. Communications of the ACM, 35(9): 124-137.
Collins, H. (2010). Tacit and explicit knowledge. University of Chicago Press.
Corbett, A. T., & Anderson, J. R. (1994). Knowledge tracing: Modeling the acquisition of procedural knowledge. User modeling and user-adapted interaction, 4(4): 253-278.
Daines, J. B., Troka, T., & Santiago Jr., J. M. (2016). Improving Performance in Trigonometry and Pre-Calculus by Incorporating Adaptive Learning Technology into Blended Models on Campus. Retrieved from https://www.asee.org/public/conferences/64/papers/15905/view
Ekowo, M., & Palmer, R. (2016). The Promise and Peril of Predictive Analytics in Higher Education: A Landscape Analysis. New America.
Guo, P. J., Kim, J., & Rubin, R. (2014). How video production affects student engagement: an empirical study of MOOC videos. 41–50. Retrieved from http://up.csail.mit.edu/other-pubs/las2014-pguo-engagement.pdf
Guo, P. J., & Reinecke, K. (2014). Demographic differences in how students navigate through MOOCs. 21–30. Retrieved from https://learningatscale.acm.org/las2014/talks/paper_philip_guo1.pdf
Halawa, S., Greene, D., & Mitchell, J. (2014). Dropout prediction in MOOCs using learner activity features. Experiences and best practices in and around MOOCs 7.
Hennessy, J. L. (2015). Information Technology and the Future of Teaching and Learning. Retrieved from https://www.youtube.com/watch?v=QLLMLG-jqxc
Howlin, C. (2015). Realizeit: System Overview. Realizeit.
Johanes, P. (2017). Epistemic cognition: A promising and necessary construct for enriching large-scale online learning analysis. In Proceedings of the Fourth ACM Conference on Learning at Scale, L@S 2017. https://doi.org/http://dx.doi.org/10.1145/3051457.3051462
Kaufman, J., Ryan, S., Thille, C., & Bier, N. (2013). Open Learning Initiative Courses in Community Colleges: Evidence on Use and Effectiveness. Open Learning Initiative. Carnegie Mellon University. Retrieved from http://www.hewlett.org/library/open-learning-initiative-courses-in-community-collegesevidence-on-use-and-effectiveness/
Kim, J., Guo, P. J., Cai, C. J., Li, S., Gajos, K. Z., & Miller, R. C. (2014). Data-driven interaction techniques for improving navigation of educational videos. 563–572. Retrieved from https://dash.harvard.edu/bitstream/handle/1/30856888/21104053.pdf?sequence=1
Kizilcec, R. F., Piech, C., & Schneider, E. (2013). Deconstructing disengagement: analyzing learner subpopulations in massive open online courses. In Proceedings of the third international conference on learning analytics and knowledge, 170–179. Retrieved February 1, 2016 from http://dl.acm.org/citation.cfm?id=2460330
Lagerstrom, L., Johanes, P., & Ponsukcharoen, M. (2015). The Myth of the Six Minute Rule: Student Engagement with Online Videos. age 26: 1.
LaMeres, B. J. (2015). Deploying Adaptive Learning Environments to Overcome Background Deficiencies and Facilitate Mastery of Computer Engineering Content. Retrieved from http://www.montana.edu/blameres/vitae/publications/d_conference_full/conf_full_027_adaptive_learning_to_overcome_background_deficiencies.pdf
Lonn, S., Krumm, A. S., Waddington, R., J., & Teasley, S. D. (2012). Bridging the gap from knowledge to action: Putting analytics in the hands of academic advisors. In Proceedings of the 2nd International Conference on Learning Analytics and Knowledge, 184-187. Retrieved February 13, 2017 from http://dl.acm.org/citation.cfm?id=2330647
Lovett, M., Meyer, O., & Thille, C. (2008). JIME-The open learning initiative: Measuring the effectiveness of the OLI statistics course in accelerating student learning. Journal of Interactive Media in Education 2008, 1. Retrieved February 12, 2017 from http://jime.open.ac.uk/article/view/142/jime-2008-14.pdf
Nesbit, J. C., Liu, A., Liu, Q. & Adesope, O. O. (2015). Work in Progress: Intelligent Tutoring Systems in Computer Science and Software Engineering Education. In Proc. 122nd Am. Soc. Eng. Education Ann. Conf. Retrieved February 12, 2017 from https://www.asee.org/file_server/papers/attachment/file/0005/4286/ITS_in_CS_and_SE_Edu cation.pdf
Nunn, S., Avella, J. T., Kanai, T., & Kebritchi, M. (2016). Learning analytics methods, benefits, and challenges in higher education: A systematic literature review. Online Learning 20, 2. Retrieved February 12, 2017 from http://olj.onlinelearningconsortium.org/index.php/olj/article/view/790
ONeil, C. (2016). Weapons of Math Destruction: How big data increases inequality and threatens democracy. Crown Publishing Group, New York, NY.
Pea, R. (2014). The learning analytics workgroup: A report on building the field of learning analytics for personalized learning at scale. Retrieved from https://ed.stanford.edu/sites/default/files/law_report_complete_09-02-2014.pdf
Piech, C., Bassen, J., Huang, J., Ganguli, S., Sahami, M., Guibas, L. J., & Sohl-Dickstein, J. (2015). Deep knowledge tracing. In Advances in Neural Information Processing Systems, 505-513. Retrieved October 24, 2016 from http://papers.nips.cc/paper/5654-deep-knowledge- tracing
Polanyi, M. (2009). The tacit dimension. University of Chicago Press.
Prusty, B. C., & Russell, C. (2011). Engaging students in learning threshold concepts in engineering mechanics: adaptive eLearning tutorials. In 17th International Conference on Engineering Education (ICEE). Retrieved February 12, 2017 from http://www.ineer.org/Events/ICEE2011/papers/icee2011_submission_250.pdf
Riddell, R. (2013). Adaptive learning: The best approaches weve seen so far. Education Dive. Retrieved December 14, 2016 from http://www.educationdive.com/news/adaptivelearning-the-best-approaches-weve- seen-so-far/187875/
Tang, Y., Jahan, K., & Bielefeldt, T. (2015). The Effectiveness of an Adaptive Serious Game for Digital Logic Design. Retrieved from https://pdfs.semanticscholar.org/e7d5/7fe126b633164a9882dbf6a8f3b9a37 12f40.pdf
VanLehn, K. (2011). The Relative Effectiveness of Human Tutoring, Intelligent Tutoring Systems, and Other Tutoring Systems. Educational Psychologist 46 (4) : 197-221. https://doi.org /10.1080/00461520. 2011.611369
Wan, T. (2016). Adaptive Learnings Potential and Pitfalls. EdSurge. Retrieved December 5, 2016 from https://www.edsurge.com/news/2016-02-08-adaptive-learning-s-potential-andpitfalls
Woolf, B. P. (2010). Building intelligent interactive tutors: Student-centered strategies for revolutionizing e-learning. Morgan Kaufmann.
EdSurge Inc. (2016). Decoding Adaptive. London: Pearson. Retrieved from: https://www.pearson.com/about-pearson/what-we-do/innovation/smarter-digital-tools/adaptive-learning.html
Yarnall, L., Means, B., & Wetzel, T. (2016). Lessons learned from early implementations of adaptive courseware. SRI International. Retrieved from https://www.heartland.org/publications-resources/publications/lessons-learned-from-early-implementations-of-adaptive-courseware
SRI International. (n.d.). Adaptive Learning Market Acceleration Program (ALMAP) Evaluation. Retrieved from https://www.sri.com/work/projects/adaptive-learning-market-accelerationprogram
收稿日期:2018-03-27
定稿日期:2018-04-23
作者簡介:佩特·约翰内斯(Petr Johanes),斯坦福大学教育研究生院博士生,研究兴趣:工程教育、在线学习以及认识的认知(epistemic cognition)在学习中的作用。
拉里·拉格斯多姆(Larry Lagerstrom)博士,斯坦福大学暑期班项目总监、副院长,曾任该校工程学院在线学习总监。
译者简介:张永胜,汕头广播电视大学副教授(515041)。
审校者简介:肖俊洪,汕头广播电视大学教授,Distance Education (Taylor & Francis)期刊副主编,System: An International Journal of Educational Technology and Applied Linguistics (Elsevier)期刊编委(515041)。
责任编辑 郝 丹 韩世梅
编 校 韩世梅