LAK十周年:引领与塑造领域之未来*
——2020学习分析与知识国际会议评述
2020-07-17吴永和程歌星刘博文朱丽娟马晓玲
吴永和 程歌星 刘博文 朱丽娟 马晓玲
(1.华东师范大学 教育学部 教育信息技术学系;2.华东师范大学 经济与管理学部 工商管理学院,上海 200062)
一、引言
2020年3月23-27日,由“学习分析研究协会”(Society for Learning Analytics Research,SoLAR)组织的“第十届学习分析与知识国际会议”(LAK 2020)在线召开。来自教育技术、计算机科学、数据挖掘等领域的研究者、从业者、相关教育工作者、领导、行政人员以及政府和行业的专业人员,共同交流和研讨如何利用数据和分析来促进学习。此次LAK 2020的主题为“LAK 十年:塑造领域的未来”,大会内容重在梳理学习分析领域前十年取得的成就,并为未来十年的发展规划路径。
过去十年,在“学习分析研究协会”的组织和领导下,学习分析领域已取得了突飞猛进的发展。LAK每年持续增长的论文发表数量见证了学习分析研究热度的稳定增长。研究表明,学习分析领域的相关研究人员重点关注的研究选题依次为:预测和描述分析、参与模式和资源使用、多模态学习分析和合作学习、知识与技能建模、推荐系统和学习分析应用、教学影响和学习实践、阅读和写作分析、MOOCs 和社会学习、学习评估、基于游戏的学习和学习策略、情感建模[1]。这些研究极大丰富了学习分析学的内涵。
在庆祝LAK 过去十年所取得成就的同时,我们也非常清楚,学习分析领域固有的跨学科性质,以及它所具有的多元理论和方法论立场,在未来将面临更大的挑战。为此,瑞安·贝克(Ryan Baker)在LAK 2019 主题报告中介着重绍了学习分析研究的六大挑战(见表1),这些挑战被界定为具有明确定义的成功标准问题。例如,在LAK 2020 中,佩拉内克(Pelánek)[2]探讨了学习分析领域未来发展的三个重要挑战:(1)解决学习环境中固有的权衡问题(Trade-offs);(2)系统开发的可扩展性(Scalability);(3)解释方法论问题(Methodology)。首先,他认为学习系统(和一般教育)的发展面临许多权衡问题,比如,对模型一方面的“改进”将有可能导致另一方面的“恶化”,这些权衡问题通常没有所谓“正确”的解决方案;其次,他认为当前的研究已从实验室研究扩展到实际采用,还需要进一步解决系统开发的可扩展性问题,特别是技术的计算效率问题;最后,研究者试图通过提供现成的数据分析解决方案来促进研究,但读者却难以从中获取实现该实验方法的细节。例如,对数据训练集和测试测试集的分层方法等,因此,详细的方法介绍就显得尤为重要。
表1 学习分析研究六大挑战及解释
二、主题报告
本次会议邀请两位专家:来自南澳大利亚大学(University of South Australia)的肖恩·道森教授以及英国伦敦经济和政治科学学院(London School of Economics and Political Science)的米莲娜·茨维特科娃教授,分别报告了过去十年学习分析的研究成果及未来发展、群体学习分析的重要性及进展。
(一)主题报告1:学习分析——一个处于相关性边缘的领域?(Learning Analytics:A Field on the Verge of Relevance?)
肖恩·道森(Shane Dawson)教授在报告中总结了LAK 由最初推进学习科学发展的小型聚会,发展成为影响深远的学习分析领域,并引起众多教育研究者和实践者广泛关注的国际学术会议的历程。他在报告中评估了迄今为止该领域的主要成就,包括研究人员解决的那些问题及其产生的影响。并在此基础上提出:(1)随着公平、隐私、道德、机器学习和人工智能成为领域关注的主要研究话题,社会和研究人员需要重新评估数据的作用,未来应继续探索数据扮演的重要角色;(2)学习分析的可持续发展及长久影响将取决于该领域如何处理不同观点,同时保持对学习和知识过程等观点的科学性;(3)随着基于学习分析的研究、新学位项目和学习分析技术商业化的发展,学习分析领域的影响力将持继从实验室环境扩展到教室和社会。在这个转变过程中,LAK 应该探索研究者扮演的角色,特别是在预测和应对公众对教育数据可能存在的错误信息和误解方面,而“学习分析研究协会”主管在内的领导层应发挥主体作用。
(二)主题报告2:群体学习分析(Group Learning Analytics)
米莲娜·茨维特科娃(Milena Tsvetkova)教授利用基于网络的大规模社会交互实验、在线数据分析和基于代理的建模,来分析社会现象。她指出,学习分析和机器学习的相关研究大多以个人作为分析的基本单位。然而,无论是在传统的课堂环境中还是在在线学习中,学习都嵌入在由社交网络构成的群体交互之中。群体效应公认的影响因素有:群体的规模及组成、群体的结构、群体协作交流的网络结构及合作、其他激励措施。这些因素都会影响到个人的感知、行为和结果。此外,她认为群体结果也很重要。例如,群体在课程中参与和学习情况的整体分布与个人平均水平同样重要。然而,群体分析也面临新的方法论层面的挑战,包括收集数据、减少数据异质性和解决观测的非独立性。最后,米莲娜·茨维特科娃教授验证了群体层面的分析能够提供有价值的研究成果这个结论。
三、主要内容分析
本次会议共收录论文80 篇,其中长论文50 篇,短论文30 篇,根据对会议论文关键词的分析,本次会议论文主题涵盖了学习分析领域的各个方面,其中以“学习分析工具的使用”与“教学/学习设计”专题为主,广泛关注学习分析基础设施、学习分析应用、风险预测及决策支持、评估与反馈、学习分析可视化等方向。特别是今年新增的几个会议专题,凸显了学习分析领域的新发展,包括:新用途、新领域、新方法。
(一)理解学习
1.认知心理学(Cognitive Psychology)
认知心理学是关于个体如何感知、学习、记忆与组织信息的学科,研究个体对知识获取、存储、提取的运作机制[3]。学习分析关注学生的学习过程表现,同时探究在认知、情绪及社会等因素影响下学生问题解决能力的发展,这需要建立心理模型与理论,可以说,学习分析研究离不开认知心理学的理论基础。
问题解决能力对于学生来说是一种必需但又难以掌握的能力。先前的研究表明,研究者可以利用数据追踪来测量隐藏在学习活动之下的隐性认知过程。如,佩弗(Peffer)等[4]利用K-means 和特征选择的统计方法,探究学习者在问题解决过程中表现出来的行为模式。该研究结果发现:为解决问题连续执行多个元认知步骤(如,监督、检查、计划)或参与执行步骤(如,使用信息、画图、重述过程)的学生,在期末评估中表现更好。西特林格(Seitlinger)等[5]借鉴数学心理学中的模型,开发了用于在研究性学习环境中学习分析解决方案的认知模块,该解决方案可以监控和评估学习者自我导向学习活动中涉及的心理能力。最后,该模型预测学生的高精度形成新概念方面的认知能力将会普遍提升。
2.自我调节学习(Self-regulated Learning)
自我调节学习(SRL)可以预测学习者的学习成绩,因此,在助力学习者发展并完善自我调节学习能力的过程中,学习分析至关重要,其甚至可以通过改变学习支持的方式来改进学习实践。为此,维伯格(Viberg)等[6]基于2011-2019年期间发表的54 篇关于在线学习环境中自我调节学习的实证论文,探究学习分析在在线学习环境中测量和支持学习者自我调节学习的应用情况。结果表明,当前研究主要是为了测量而非支持自我调节学习。因此,迫切需要进一步探索,以便有效利用自我调节学习,来培养学习者在在线学习环境中的自我调节学习能力。
在在线或数字媒介教育中,自我调节学习框架常被用于评估和理解学习者的认知及实践与学习成绩之间的关系[7]。然而,在大规模在线开放课程(MOOCs)实践应用的背景下,对自动检测策略与心理结构之间关系的研究仍存在空白。玛查(Matcha)等[8]采用过程挖掘与序列挖掘技术相结合的分析方法,探索从MOOCs 平台检测到的学习策略与学习成绩和“大五人格”特质(Big Five Personality)之间的关联。研究发现,挖掘到的四种学习策略:多样化导向、视频导向、评估导向、信息导向均是由严谨性、神经质和宜人性来预测,并且与学习成绩相关。
3.社会学习(Social Learning)
在学习分析领域,研究者较早进入了对数字学习环境中的社会互动的分析研究,社会网络分析已成为分析社交学习的主要分析工具。波克(Poquet)等[9]使用来自大型edX、MOOCs 论坛的学习者社交互动数据,来检验组间定位和人际定位这两种网络定位之间的关系。研究结果表明:组间和人际定位会捕获社会学习的不同方面,这与不同的学习结果有关;同时,网络协同进化分析揭示了论坛网络中群体间性和人际中心性存在相互依赖关系。在社会学习中,除探究个体在社会网络中的定位之外,了解思想和观点的传递过程,能够帮助设计者和教育工作者更好地支持和指导协作学习活动。派瑞(Peri)等[10]提出应用生命周期的概念框架来衡量个人在公共社会空间的参与方式。为了验证框架的合理性,他们在学术会议中,使用个人发帖的方式对twitter 上的社会参与程度进行了调查。在这个研究中,他们将个人参与和社会参与联系起来,来探究社会交互中思想表达、传播和进化的过程。
(二)设计学习
1.学习方法与设计
(1)学习方法(Learning Approaches)。学习方法是一种与认知心理相关的隐形结构,可外在表现为一种动态现象,并因许多变量(如,主题、任务难度等)而异。因此,学习者在在线学习环境中的学习痕迹(可观察到的行为),可被用于理解学习者的认知和元认知策略、学习策略和学习模式等。例如,阿卡珀纳尔(Akçap1nar)等[11]基于理论驱动与数据驱动方法,利用电子教科书(电子书)系统收集的日志,来分析学习者的学习方法。结果表明,学习方法可分为三个类别:深度学习方法、策略性学习方法和浅层学习方法,采用深度学习方法的学习者更有可能取得好成绩。目前,大学收集到的学生的海量学习数据,可用于支持将面临学业失败风险的学生。库孜勒克(Kuzilek)等[12]认为,考试规划是学生需要学习的最重要的能力之一。他的团队挑选了153 名考试成功的学生,提取基于考试过程的考试序列,构建了“分层”马尔可夫链概率模型,旨在探索获得考试成功的学生的考试路径和策略。
自适应学习系统能够识别出不同学习者的能力水平,根据学习者的学习能力调整任务难度,并为之提供了个性化学习服务。法迪耶维奇(Fadljevic')等[13]为此分析了11-15 岁年龄段的学习者在自适应数字学习环境中的时间行为,研究完成学习花费的时间(勤奋程度)与学习绩效之间的相关性。结果表明,学习者给自己阅读和执行任务的时间越多,他们的整体表现性就越好。这些结果在更广泛的层面上揭示了在个性化学习系统存在的情况下,学习策略对学习绩效的必要性。
(2)学习设计(Learning Design)。研究者认为,为了使学习设计的学习分析达到支持理解学习和优化学习环境的双重目的,必须使用兼顾这两个方面的策略来开发它们。威利(Wiley)等[14]借鉴学习分析实施设计(LADE)和知识整合(KI)教学框架的原则,开发面向教师的学习分析服务,以改进中学探究科学单元的学习设计。此外,他们还借鉴了协调学习分析框架的原则,以吸引利益相关者(即教师、研究人员和开发人员)共同参与设计。这项研究从理论上证明了为学习设计开发和评估学习分析的各个方面的基础价值和重要性。
惠特洛克-温赖特(Whitelock-Wainwright)等[15]提出使用网络分析方法,探索混合学习设计中的学科差异。他们利用澳大利亚一所高等教育机构四年来的数据,通过分析物理空间和在线空间中的学习活动数据,来研究混合学习环境中的学习设计。他们认为,混合学习中的在线学习对应用学科更有利,因为学生可以通过虚拟环境、虚拟病人和模拟,获得应用实践。相比之下,非工科(Non-STEM)学科在本质上更需要高质量的面对面交流,来培养学生对复杂话题的理解。
2.学习分析设计
有意义地参与学习分析工具设计是学习分析研究中的一项富有挑战性的工作,让教师参与对技术增强学习环境的设计,是弥合研究与实践之间差距的一种有效方法。米科斯(Michos)等[16]以美国和西班牙的两个研究项目为背景,介绍了两个案例研究,旨在通过专业发展计划,让教师参与学习分析工具的共同设计。总结跨案例分析的结果得出了教师驱动学习发展的相同点、不同点和启示。维佐利(Vezzoli)等[17]提供了一个详细的案例研究,描述了在现有的学习游戏背景下的一种协同式学习分析设计方法。从方法角度考虑,他们为其他有兴趣采用共同设计方法和工具(如,灵感卡)的学习分析研究人员提供可参考的经验。
学习分析对象需要从仅记录活动痕迹等低极数据,转向教育者和学生都能够理解的具有教育意义的高阶数据。普雷斯蒂贾科莫(Prestigiacomo)等[18]为设计师和研究人员提供了一种以人为中心的方法,使他们能够通过“半透明”(Translucence)的可见性、意识和责任感这三个关键原则,更深入地了解特定教师群体是如何谈论他们的数据需求。该方法包括三个步骤:(1)发散性思维阶段,引发对当前和潜在循证实践的反思;(2)收敛阶段,缩小设计空间并优先考虑想法;(3)直接促使利益相关者思考,如何从高阶教育结构和学习分析系统提供的证据,来促进学习者的责任感。他指出这些方法的顺序和具体实施方式,应根据学习环境和设计目标的特殊性进行调整。
(三)计算与追踪学习
1.学习分析方法
过去十年,随着学习分析领域的不断发展与计算机、人工智能、大数据等技术的进步,学习分析方法逐步从传统的、单一的、静态的模式转变为不断创新的、整合的、动态的模式。主要模式包括基于自然语言处理的文本分析、视频分析、多模态分析等。
2018年5月,《学习分析杂志》(Journal of Learning Analytics)发表了一期特刊①详见https://epress.lib.uts.edu.au/journals/index.php/JLA/issue/view/443。,探讨“学习分析中的方法选择”,其中有几篇文章讨论了模型的可靠性问题。对此,艾根(Eagan)等[19]认为,当前多数模型忽略了评分者间信度(IRR),介于任何模型的可靠性取决于模型输入的可靠性,而模型输入由数据编码组成。因此有理由认为,关于编码可靠性的方法论问题是学习分析领域的重要考虑因素。尼梅杰(Niemeijer)等[20]认为,教育测试通常是针对单个评估模块分别进行,这使得研究人员很难将这些结果组合成一个统一的供学校选择的建议。为此,他和团队基于荷兰学生监测系统的数据,收集多种技能的测试结果,来跟踪学生几年来的教育进展,借鉴特定领域的项目响应理论(IRT)模型,将多个测试结果整合起来,形成对学生的整体评估,以帮助学生做出重要的教育决策。
(1)文本分析(Text Analytics)。随着自然语言处理技术的发展,教育者和研究者对分析学习者学习过程中形成的文本产生了关注。通过对文本的深入挖掘和分析,他们从多角度理解和支持学习,更有效地发现学习规律。盖勒(Geller)等[21]利用学习者在在线课程论坛上使用的预定义标记,开发了一种新的方法来检测学生对课程材料的困惑。验证发现,检测结果与教师的判断一致。荣(Jung)等[22]通过开发一个多维自动评估来解决卫生职业教育中难以开展大规模反思性评价的问题,他们对369 名牙科学生的1500 次反思文本进行了人工编码,应用单标签和多标签分类方法的LIWC 工具,对提取的语言特征进行了测试。研究结果表明,在卫生专业教育中实施多层次自动化评估是可行的。巴博萨(Barbosa)等[23]研究了在线讨论信息的跨语言自动分类的认知存在水平。具体来说,他们使用英语讨论信息语料库上训练的分类器,对葡萄牙语讨论信息进行了分类。研究表明,认知结构的可高度概括性,使其可在不同的语言间传递。
(2)视频分析(Video Analytics)。视频正在成为提供教育材料的主要媒介,随着眼动、姿势识别等技术的发展与成熟,视频分析获得了足够的技术支持。朗(Lang)等[24]通过实验设计,探讨了视频播放速度与学生学习结果的关系。结果发现,选择加速播放内容的学生更有可能取得好成绩,并能够尝试更多的课程内容,获得更多的证书。斯利瓦斯塔瓦(Srivastava)等[25]提出了一种基于计算机视觉和图像处理技术,能自动提取不同区域面部温度的完整流程。他们通过热成像相机,对学生观看视频过程进行了持续实时监测,结合学生的主观反馈,探究使用热式摄影机,用于评估学生观看不同风格的视频课程时的认知负荷,并揭示热成像测量与认知负荷之间的关系。
(3)多模态学习分析(Multi-modal Learning Analytics)。当前,多模态学习分析已经受到研究者的广泛关注,其利用多模态数据(学习体征数据、人机交互数据、学习资源数据和学习情境数据),对复杂环境下的学习行为进行分析予以优化学习体验。夏尔马(Sharma)等[26]提出了一种自适应评估环境下的学习者任务努力分类方法。具体来说,他们在自适应自我评估活动中,通过使用学习日志和生理数据(即,眼睛跟踪、脑电图、腕带和面部表情),捕捉32 名学生的行为模式,选择使用隐马尔可夫模型(HMMs)和维特比(Viterbi)组合算法,预测学生即将完成的任务的努力。最后,他们与支持向量机、随机森林进行了比较,结果表明,HMMs 在探究行为和学生努力之间的关系方面更有效。
传感技术的应用为分析学生的行为,提供了前所未有的海量数据。阿布拉汉森(Abrahamson)及其同事开发了“比例的数学图像训练(MIT-P)”具身学习平台,它使用触摸屏来帮助学生探索数学比例的概念。基于欧(Ou)等[27]对传感器及平台捕捉到的活动的屏幕记录、参与者的手移动数据、滚动条高度坐标、眼动数据和访谈时的音频数据,进行定量与定性分析,揭示了学生行为序列中存在阶段性(初始阶段、中间阶段、后期阶段),并了解学生之间存在其他难以用定性分析发现的阶段转换模式。
2.学习分析场景追踪
(1)MOOCs(Massive Open Online Courses)。MOOCs平台能收集学习者连续的追踪数据流,学习分析研究人员使用这些数据流进行探索性分析及评估并提出干预措施。为减轻数据处理的负担,许多研究者开发了开源工具。托雷(Torre)等[28]介绍了基于浏览器的edX日志文件分析工具ELAT(无安装成本),它可保持数据的本地性(不需要服务器,具有隐私性的学习者数据不会发送到任何地方)并将edX 数据转储作为输入。ELAT 不仅能够处理原始数据,还可生成语义上的平均单元(学习者会话而不是单击事件),这些单元通过各种方式(学习路径、论坛参与、视频观看序列)实现可视化。亚历山大(Alexandron)等[29]与来自世界各地的13 家MOOC 平台进行合作,运用多平台的方法对数百万学习者的数据进行联合及比较分析。
(2)混合学习(Blended Learning)。混合学习模式可提供更多的时间来进行必要的师生互动,因而在当前学习环境中的应用越来越广泛。谢尔(Sher)等[30]以混合课程为研究对象,分析学生在线学习习惯的一致性与学习成绩的关系。研究结果发现,学生有意义的聚类表现出相似的行为,并进一步识别了三种不同的一致性模式:高度一致、渐进一致和不一致的学生,还发现这些模式与学生的学习成绩之间存在显著关联。与MOOC 相比,混合学习环境下的预测性学习分析研究仍然相对较少。哈拉克(Harrak)等[31]基于硕士级混合课程的日志数据,以完全基于在线模块(一个小型私人在线课程)获得的数据,来预测学生的成绩,使用并比较了基于logistic 回归和随机森林的预测模型。分析表明,尽管数据有限,但仍然可在课程中途做出成功与失败的预测。将来,该模型既可以用于预防失败,也可以用于加强学生的积极学习行为。
(四)评估与改进学习
1.评估与反馈
(1)学习策略挖掘(Mining Study Strategies)。随着学习分析技术的发展,借助序列分析和过程挖掘的方法,对学生的行为跟踪数据进行分析,可以有效识别学生在学习过程中的学习策略,从而促进学习成功。乌兹尔(Uzir)等[32]提出了一种从学生行为数据中挖掘学习策略的有效分析方法。他们利用该方法从482 名本科生的行为数据中,挖掘其所使用的学习策略。结果发现,学生体现出三种不同的时间管理模式(准备和重新访问、混合、准备),以及五种不同的学习策略使用模式(信息查看导向、测试导向、作业导向、阅读和讨论导向、课本和资源导向)。并通过差异检验进一步发现,学生对学习策略的有效使用和调节,会使得他们拥有更高的学业成就。
在自我调节学习理论的影响下,研究人员开始将学习视为随着时间的推移而不断发展和变化的过程。基于自我调节学习过程的微观分类框架(目标设定和制定计划、任务处理、评价和反思),森特(Saint)等[33]使用简单频率测量、认知网络分析、时间过程挖掘以及随机过程,采用四种学习分析技术,对239 名计算机工程专业本科生的在线学习行为活动进行分析。研究发现,与所使用的四种分析方法中的任何一种方法相比,四种分析方法的组合能更好地表征自我调节学习行为,挖掘自我调节学习策略。
(2)测试和评估(Testing and Assessment)。为应对评估有效性和项目开发周期过长的问题,贝尼代托(Benedetto)等[34]提出了R2DE 模型(Regressor for Difficulty and Discrimination Estimation)。该模型基于自然语言处理技术,构建了评估项目难度和区分度估计的回归指标,能够通过查看评估问题的文本和可能选项的文本,来评估新生成的多项选择题。结果表明,该模型能够以较低的不确定性来估计题目难度和区分度。
沙拉宁(Saarinen)等[35]将知识建模引入自适应测试当中,提出了一种自适应测试评估框架,该框架围绕数据效率和准确性两个方面进行探究。同时,该研究提出了一种用于挖掘依赖关系进行自适应测试的快速算法,即定向项依赖和置信度阈值(Directed Item-Dependence And Confidence Thresholds),该算法执行贝叶斯推理的受限形式(Restricted Form),可实现高准确性和高数据效率,同时保证运行时间短暂。该研究拓展了自适应测试领域中对模型的使用,对于实现评估高准确性和高效率尤其有用。
(3)提示和反馈(Prompts and Feedback)。提示学生用自己的话语来解释所学内容,对促进学生的学习非常有益[36]。为了促进学生的问题解决,阿萨诺(Asano)等[37]将提示功能嵌入到在线编程作业中,以了解学生在解决编程问题时的选择提示,来解释他们的所做的答案。通过实验发现,超过25%的学生会在提示时写下自己的解释。该研究分析了学生如何使用提示来进行自我解释,并为今后教育教学中提示的使用提供了参考。
反馈是帮助学生识别差距和评估自身学习进度的关键要素[38],高质量的反馈可以帮助学生改善他们的学习行为和表现,增强学生的自我调节学习能力[39]。哈蒂(Hatty)等[40]将反馈分为四个层次,分别是:任务反馈、过程反馈、自我调节反馈以及自我水平反馈。随着参与在线学习的学生人数的增加,教师提供高质量的反馈信息成为一项挑战。卡瓦尔康蒂(Cavalcanti)等[41]基于哈蒂和蒂莫利提出的反馈质量层次框架,使用随机森林分类器,构建了一种对反馈文本的质量进行自动分析的模型。基于LIWC 和Coh-Metrix 文本分析工具,提取反馈文本的特征,实验表明,该模型具有良好的表现,其准确度达到87%,一致性系数(Cohen’s kappa)为0.39。
2.学习预测和推荐
(1)预测分析(Predictive Analytics)。对学生的学习进行建模,并进一步预测学生的学业表现是学习分析的重要任务,这可以提高在线学习平台的留存率[42]。卫(wei)等[43]基于学生的互动特征和交互式问题之间的相似性,将学生的鼠标移动轨迹用作预测学生表现的重要特征(如思考时间、首次尝试和首次拖放),以描述学生解决问题的细节。同时,该研究将异构信息网络用于整合学生在相似问题上的历史解决问题信息,从而增强了学生对新问题表现的预测。对学生学习过程的大数据收集是预测学生的学习行为和学习表现的重要保障。但由于存在数据隐私泄露的可能,越来越多的学者建议应收集最少的数据量。基于此,郎(Lang)等[44]提出了一种使用经验贝叶斯的方法,来估计和测试评价指标,从而实现数据收集简约性。结果表明:虽然该方法的有效实施还存在一些障碍,但是该研究提出的评价指标(P(S))在某些方面优于其他指标。
(2)智能导学与推荐(Intelligent Tutoring and Recommender)。近年来,智能导学系统成为使用学习者模型实时自适应支持学生学习过程的重要工具[45]。基于此,福肯(Faucon)等[46]提出了一个支持预测和模拟学生,对分类任务进行归类推理的模型。该方法使用贝叶斯模型,来描述学生的推理过程,通过考虑学生的特征偏差,来预测学生在分类问题中的选择。通过分析222 名学生的三个主题分类数据,结果表明,该模型具有75%的准确性。教育推荐系统旨在向学生自适应地推荐最能满足其学习需求的各种个性化资源和活动[47],基于协同过滤的算法是目前常见的个性化推荐方法之一。对此,帕多斯(Pardos)等[48]基于课程目录描述构建一组推荐模型,并根据注册历史记录(Course2vec)建立了另一组推荐模型。通过对70 名在线学习大学生进行实证研究,将所提出模型与系统现有的基于递归神经网络(Recurrent Neural Networks)的推荐引擎进行比较,结果表明,递归神经网络的推荐建议缺乏新颖性,难以满足偶然性推荐的需求;而Course2vec 模型表现最佳。
(3)仪表盘与可视化(Dashboards and Visualisations)。学习分析仪表板是学习分析的核心之一,旨在使教育利益相关者更多地参与教育决策过程。学习分析仪表盘中的常见操作是“向下钻取”(Drilldown),基于此,莎巴妮内贾德(Shabaninejad)等[49]提出了一种向学习分析仪表盘用户推荐深入“向下钻取”标准的方法,来帮助他们有效使用学习分析仪表盘。为了实现个性化与可视化,莫琳娜(Molenaar)等[50]开发了学习路径应用程序,用于支持学生的内在学习调节过程。该个性化与可视化应用程序基于三个核心要素开发:自我调节学习理论基础、跟踪数据的使用以及为学生改善自我调节过程,为学生提供清晰可行的建议。对照实验结果表明:个性化及可视化可以有效改善学生的行为调节和学习。
(五)学习分析之“新”
学习分析的应用越来越具有包容性,不仅探索教师教学、学生学习相关的行为,也逐渐深入到其他领域并广泛应用。LAK 2020 单列了学习分析领域的新用途、新领域和新方法三个专题,并从不同角度呈现了学习分析领域的新发展。
1.学习分析之“新用途”
目前,学习分析从关注单一学习者转向对学习者之间、学习群体以及人机交互的关注。此外,学习分析个性化支持服务也不仅局限于认知因素的探索,对非认知因素,如环境、情绪等方面的个性化服务的探索,也逐渐引起研究者的关注。凯姆(Kim)等[51]探索了社交机器人是否能帮助刚开始上学的幼儿发展协作技能。他们采用案例研究法,探究一个机器人和两个学习者三位一体的交互情况,其中学习者在共享平板上进行对话以解决问题,机器人提示孩子们完成任务。并对人工注释和自动语音识别等获取的多模态行为数据(话语、运动学和语音),进行编码及分析,最后总结了学习者在机器人介导写作学习中的参与模式。
音乐作为学习的背景伴奏,被一些学习者认为是集中注意力和调节情绪的有效工具。李(Li)等[52]通过实验探讨背景音乐在学习过程的认知和情感方面的潜在作用。他们通过预实验问卷、在音乐应用程序中弹出的调查以及音乐应用程序的日志记录,系统收集了一组与参与者及音乐相关的数据。通过对所得数据进行统计学分析,发现某些音乐特征与学习者任务参与和感知任务表现之间存在相关性。
2.学习分析之“新领域”
近年来,研究者逐步探索学习分析之新领域,在公平与隐私、伦理与道德、边缘性学科等方面取得了众多成果。此外,学习分析技术在医护人员技能发展方面也取得了一定进展。图蒂(Tuti)等[53]探究一种改善医护工作者专业实践能力的有效方法。从在线学习环境中,提取医疗保健工作者的学习任务尝试序列及时间特征,并将其输入到神经网络中,可高精度的预测其未来的学习表现,准确率为0.748~0.883。该模型捕捉到医疗保健工作者临床知识及其学习行为模式的细微差别,可提供及时的警告,帮助医疗保健提供者加强自我调节学习,同时为个性化的教学支持提供基础,以帮助改善其专业实践的临床结果。
3.学习分析之“新方法”
学习分析中的众多方法已经有了长足的发展,当前众多研究者开始关注不同方法的精度、可靠性(效度)以及可迁移、可复制能力。学习分析方法朝着更精细、更准确和泛化能力更强的方向发展。基于学生日志文件数据的连续两次点击之间的持续时间,一直是学习分析研究中最常用的指标之一。然而,许多研究对于如何处理离群点(即过长的持续时间)往往没有明确地报告,或者简单将其归结于“学习离开”。因此,阮(Nguyen)[54]基于理论的方法,提出了一种考虑个体、时间和任务差异的离群点检测方法,并评价其对学业成绩预测模型的影响。他考虑了个体学习模式的异质性、时间变化、课程以及每个学习任务的设计。研究表明,当考虑个体、时间和任务的差异时,R2 测量模型性能增加了3-4%。
社会学习中的学习分析尚缺乏有效的方法,来解释跨课程变化对学习者行为的影响。对此,波克(Poquet)等[55]采用空模型(Null models)方法,探索学习者发帖行为在多大程度上可解释学习环境中论坛网络的形成。他们以20 个在线课程的论坛活动为研究对象,探究模拟固定的个人发帖活动和发帖人气的随机网络是否能产生与现实课程论坛类似的网络结构。他们分析了两种不同的论坛交流网络表现形式:(1)帖子树网络;(2)学生—线程帖子网络。结果表明:即使是这些简单的空模型,都可解释论坛学生网络的广度(度)和频率(强度)。
四、LAK 十年研究概述
自2011年至今,“学习分析研究协会”已经成功举办了十届学习分析与知识国际会议。经过十年的发展,会议规模从六十人增加到一千多人,已引起国际教育界对学习分析这一重要领域的广泛关注。基于以往的研究,我们总结出LAK 已经走过的技术奠基、领域内整合与跨领域学科融合三个阶段(见表2),揭示了其从“学习分析技术”到“学习分析”再到“学习分析学”的研究领域的发展历程[56]。在这个过程中,LAK 取得了重大的进展,也面临着诸多问题与挑战。因此,在LAK 发展十周年之际,领域内总结反思并寻求可持续发展的探索,形成了以LAK 2018、LAK 2019 与LAK 2020 为主的可持续发展探索阶段。该阶段从2018年以用户为中心的分析,发展到2019年探讨学习分析如何促进包容与成功,以及2020 探索如何塑造领域的未来,逐步从研究对象、绩效等,全方位、多角度拓展学习分析研究的深度和广度,为迎来学习分析领域下一个十年发展,打下坚实的基础。
表2 学习分析与知识国际会议发展历程(2011-2020)
学习分析领域的发展历程,与《地平线报告》中学习分析相关发展情况呈现出一致性,如表3所示。学习分析领域于2011年作为长期发展趋势首次出现在《地平线报告》中,并在2011-2014年实现长期、中期到短期的跨越。由于学习分析技术的发展对自适应学习的支撑作用[57],学习分析与自适应学习在2016年的报告中合体出现。自适应学习是学习的一个本质特征,是力求就学习问题作出更加接近其本质性特征的方法论意义上的研究[58]。因此,学习分析助力自适应学习的发展,是学习分析从教育和学习本质上探索更好地支持学习的研究,是学习分析更高阶的发展形态。
表3 《地平线报告》学习分析技术发展情况
从2017年至2019年,“分析技术”替代学习分析作为《地平线报告》的重要技术连续三年出现,且在近两年是短期发展趋势。“分析技术”是未来几年高等教育蓬勃发展的重要组成部分,除了对学习者成绩与行为进行静态分析外,还包括提供动态的、连接的、预测的和个性化的支持[59]。美国高等教育信息化专业组织(EDUCAUSE)发布的《2020年地平线报告:教与学版》,将学生成功分析列为影响高等教育未来发展的新兴技术与实践的五大技术之一。学习分析当下已实现对学习者可预测的、个性化的支持,但这类支持往往是有延时且呈碎片化、片段性形式,这在一定程度上并不能满足学习者连续学习的需求。因此,在“分析技术”引领下,无论是自适应学习还是学习分析,都将朝着数据粒度更细、模型更高级、动态化更智能的方向发展。
五、未来研究之展望
(一)人工智能、虚拟现实等技术不断促进学习分析的包容性发展
“确保全民包容性、高质量教育以促进终身学习”是联合国面临紧迫的可持续发展挑战之一[60]。但当前学习分析受众有限,对边缘学习者、学习障碍者以及各年龄段学习者来说,造成一种不公平的现象。随着人工智能、虚拟现实等技术的落地和广泛应用,学习过程和数据来源不再局限于单一的在线学习环境和学习管理系统,分布在多设备、跨平台学习环境中;学习过程数据,结合眼动、脑电、心电与皮肤电等生理数据与心理数据,集结成结构化的多模态数据,成为当前学习分析的环境支撑和数据来源。由此,在一体化环境和多模态学习分析支持下,将学习者生理和心理数据映射到学习过程数据,为学习者提供更精准评价反馈与建议,实现高质量学习,成为辅助各学习对象终身学习的有力保障。在智能技术支持下,多对象,多环境与多通道数据,共同促进了学习分析的包容性发展。
(二)脑和神经科学合力推动“帮助决策”向“高阶素养”转变
学习分析在帮助学习者学习的同时也会影响学习者的自治度,但学习分析不是为了“方便”学习,而是为了“改进”学习。学习分析工具在帮助决策方面发挥了不可替代的作用。个性化学习工具“方便”了学习,但可能导致学习者对工具产生依赖,没有产生持久影响,即自律和高阶素养的产生。随着脑与神经科学研究的不断发展,研究者揭示了与学习决策、学习风格相关的人脑学习之内部机制,也揭示了学习经验如何塑造大脑的物理结构,从而为大脑形成适应性行为创造条件[61]。因此,在脑与神经科学技术与研究的共同支持下,学习者在学习过程中的脑电波动可以映射到学习者学习过程数据,以构建学习者“学习—心智”模型[62],这有助于辅助高阶认知的产生。在此基础上,通过脑与神经科学和学习分析的深度融合,共同推动“帮助决策”到“高阶素养”的转变。
(三)学习分析从局部探索向一体化的系统级研究转变
学习分析是多学科融合的产物,它的目标是发展对学习全过程的洞察力和理解。近年来,学习分析已从学科及研究的概念化过渡到实践与应用的探索阶段,并逐步走向成熟。目前,学习分析研究依然大多是小规模以技术为中心的探索性研究,重点关注对象是注册独立课程或小项目的学习者,对学习者的反馈与干预停留在单一的研究,对学习结果的解释坚持“让数据说话”。为了使学习分析发挥其更大的潜力,需要在系统层面解决学科、技术和环境因素之间复杂的相互作用,在“学习者—数据—分析—反馈—学习者”的迭代研究中,用多学科理论解释学习结果,避免“唯数据论”的倾向。需借助整体性和系统动力学观点,对学习活动的洞察和理解进行系统性迭代研究,代替局部的片段式探索,寻求跨系所、跨校、跨地区、跨国协作的机会[63],实现探索研究到结果的复制和评估,以促进学习分析的不断成熟。
(四)多方利益相关者参与学习分析的生态构建
学习分析多集中在对学习者和教师在开放学习环境中的学习研究,鲜有关注研究者、管理者等其他利益相关者如何更好的支持学习活动的研究。在教育信息化2.0 环境下,研究者将学习分析用于关注学习者的全面发展,重在构筑开放的学习分析生态系统,以应对学习者日益多元化的学习需求和不断复杂的学习环境需求。这需要由一线教师和学习者为主体的学习参与者以及教育管理者、教育研究人员、学校、标准制定者、产品或技术提供与服务方等多方利益相关者协同构建。在这个系统中,每个利益相关者既是“生产者”又是“消费者”,通过相互连通和协作对话,促进学习分析研究的良性循环。
(五)学习分析助力并赋能未来教育
大数据的出现与广泛应用,将驱动教育的又一次变革。教育信息化2.0 时代带来的是教育生态的重构,颠覆了传统教育模式和方法,致力于实现教育现代化。教育和学习都是复杂的社会性问题,人类直接观察已经不能窥视到复杂学习行为的本质。学习分析作为学习理论和复杂学习行为之间的桥梁,成为助力信息时代教育范式转变的有力抓手。学习分析研究需要深入教与学全过程,全方位揭示教育多学科性的本质;构筑起学习分析生态圈,并与教育生态圈相互作用,促进教育生态良性循环。通过参与教与学设计、开发、管理、利用和评价等方向的迭代研究,为建成服务全民终身学习的现代教育体系,提供一站式服务。
(六)立足于学习分析学的自身发展
本次LAK 2020 单列了学习分析领域的新用途、新领域和新方法三个专题,体现了该领域自身所获得的新发展。学习分析领域作为教育研究向数据密集型科学发展的学科分支,对教育技术学的发展具有重要影响。近年来,在学习分析工具与技术不断完善的同时,学习分析与其他领域的跨界对话和互联互通中吸纳新成员加入,为学习分析的发展注入新鲜血液和新思路。通过与教育研究不断整合,碰撞出创意火花,在此良性循环中,不断推动学习分析系统性发展与生态构建,从而不断丰富学习分析学科的内涵并拓展其深度与广度。
有研究者指出,学习分析学正如一座冰山,可见的部分通常是物化的工具和显见的活动,掩藏在冰山底部的包括学习的本质,教育大环境里的社会、政治和文化等[64]。因此,学习与分析之间的“中间地带”,起着不容忽视的作用。学习分析学应立足于自身的发展,既要根植于学习的本质,也要不断吸纳分析学及其相关技术的精华,在环境、教学与学习理论、社会、文化、政治等“中间地带”要素的沟通下,架起学习分析学的“桥梁”,成为教育技术领域探索教育本质的重要“武器”。