基于在线作业数据的学习行为投入画像构建研究
2021-10-14张治杨熙夏冬杰
张治 杨熙 夏冬杰
[摘 要] 学习者画像是描述学习者特征、实现智能化推送、实施个性化教育的重要基础。如何挖掘并利用在线学习平台中的数据构建学习者画像是当前亟待解决的问题。研究以在线作业为目标场景,以在线学习行为投入为切入点,构建了以参与、坚持、专注、学术挑战和自我调控为主要维度的分析框架和测量指标,利用7695名小学生在线作业数据进行了27个测量指标的有效性验证,采用K-Means聚类方法对在线学习者的行为特征和结果特征进行了标签分类,形成了四类学习者的群体画像,提出了相应的学习指导建议。研究发现,学习者的学业成绩与作业行为投入之间存在显著相关,不同的行为投入平台指标与学业成绩呈现不同的相关性,学习品质相关指标与学业成绩呈现强相关。因此,在线教育平台应通过画像技术,持续跟踪学习者的在线学习行为投入,评估学习者的学习品质,提出个性化的指导建议,推送精准化的学习资源,进而提升学习者在线学习效率。
[关键词] 学习者画像; 学习行为投入; 在线作业; 测量指标; 学习分析
[中图分类号] G434 [文献标志码] A
[作者简介] 张治(1975—),男,河南周口人。正高级教师,博士,主要从事教育管理、教育信息化、研究性学习研究。E-mail:87476088@qq.com。
一、问题的提出
近年来,随着信息技术快速的发展,世界各国开始通过大力发展教育信息化来促进教育教学改革,这使得信息技术快速地融入了教育的各个领域[1]。大量教育信息化服务平台应运而生,进而产生了大量的教育领域数据[2]。如何挖掘并利用这些数据中隐含的学习者的习惯、投入、情感及态度信息就成了学界主要关注的问题。
学习者画像作为描述学习者特征、精准识别学习者群体的新兴研究领域,可以为教育数据的挖掘与应用提供一个新的思路和方向。一方面,学习者画像可以更加直观地呈现对学习者个体的评价结果,动态地反映学习者状态,为个性化综合评价、精准化服务的实现提供数据支持。另一方面,学习者画像是一种新的综合素质评价结果呈现方式,可以更加形象、全面、易懂,方便学习者、教师以及教育管理者使用综合素质评价结果,为教育教学规律的发现提供依据[3]。安特尔曼(Antelman K)等学者认为,学习者画像的目标是刻画学习者的关键特征[4];谢里菲(Sharifi M)等学者认为,学习者画像可以精准地评估学习者的学习能力[5]。也有学者认为,学习者画像是一种帮助在线学习中利益相关者有效地报告学习者的学习效果、学习行为、理解和优化学习以及产生环境的方法[6-7]。丁恩(Dinh D. P.)等人先通過学习动机对学习者角色进行划分,再根据各个学习者角色的特点提供不同的服务,从而达到个性化服务的目的[8]。霍利(Holley D)和奥利弗(Oliver M)利用风险预测模型构建学习者模型以识别高危、中危、低危学习者,并为不同类型的学习者提供相应的干预服务[9]。
现有的学习者画像研究通常包含学习者个人基本信息、心理特征、学习行为特征、学习结果特征、环境特征等多种维度的信息[10]。安特尔曼等学者构建的学习者画像中包含学习者的学习需求、学习动机和学习偏好等特征[4]。陈海建等人为了实现个性化教学而构建的学习者画像中包括基本特征、学习风格偏好特征、学习者类型特征及知识点兴趣特征[11]。肖君等人为了从不同角度评价学习者的学习效果,通过知识水平、行为特征和态度特征等维度来构建学习者画像[12]。
但这些特征受到数据采集方式、丰富程度、分析方法及评价方式等方面的制约,目前尚没有一套统一的标准或方式可以融合起来,这就给学习者画像的实现带来了极大的困难和挑战。笔者认为可以选择一个较为具体且数据丰富的场景进行分析。尽管在更具体的场景下我们无法全面地刻画学习过程,但可以从更精细的粒度去分析和解释学习者在某一任务过程中所体现的规律与特质。基于上述考虑,本文选择在线作业作为主要的研究场景,主要原因有:(1)作业是教学过程中非常重要的一环,每个学习者都不可避免地要完成各种形式的作业任务;(2)相对于教学过程的其他子环节,学习者完成作业任务的过程相对独立且完整,可以提供丰富的细节性数据;(3)智能化的在线作业平台已经被我国中小学广泛地使用,为我们进行在线作业数据的采集和分析提供必要的支持。
实现基于在线作业行为的学习者画像研究的必要条件是探寻到一个具有教育意义的、与在线作业场景相关的且具有可执行性的特征框架来刻画学习者,即要解决从哪些维度来刻画学习者的问题。本文在文献调研的基础上,选取学习行为投入作为主要的画像描述框架,主要基于以下几点考虑:(1)学习行为投入是影响学习效果的重要因素[13-15],对学习行为投入的及时评测与干预可以有效地促进学习效果的提高;(2)学习行为投入可以影响教学改革的成效,是国内外教育机构进行教学研究、教学改革和评估重点关注的因素[16-17];(3)在线作业行为可以反映学习者的行为投入,在已有的研究工作中,作业相关指标经常作为学习投入整体分析框架中的子模块来进行分析,且很多研究也表明了作业相关指标与学习效果具有很强的相关性[18-22]。
综上分析,本文以学习者在线作业行为为切入点,通过对学习者作业状态的跟踪和分析,刻画学习者在作业行为中隐含的行为特征,构建基于作业数据的学习行为投入画像。主要探索的问题如下:
(1)在线作业学习行为投入的分析框架:从哪些维度来刻画在线作业系统中的学习行为投入,这些维度的理论依据是什么;
(2)在线作业学习行为投入的评价指标:哪些平台指标能够有效地表征学习行为投入,这些指标与学习者的学习效果的相关性如何,呈现出怎样的规律性;
(3)在线作业学习行为投入的学习者画像构建及分析:如何利用学习行为投入指标和学习效果进行学习者分类,探究影响各类学习者学习效果的影响因素并提出针对性建议。
二、基于在线作业行为的学习行为投入评测框架
(一)分析框架及指标构建
在现有的众多国内外研究中,学习行为投入的分析维度众多,研究人员通常会根据对象、场景及环境的不同而提出不同分析方法与维度。本文从学习行为投入研究出发,对近年来具有代表性且与在线学习场景密切相关的研究进行了梳理,见表1。
通过表1可知,参与(Participation)、坚持(Persistence)、专注(Concentration)、交互(Interaction)、自我调控(Self-Regulated)等维度常作为学习行为投入的评测维度。李爽等人的研究表明,“交互”类指标与成绩呈高度相关性,但考虑到本文面向的在线作业场景要求学习者独立完成作业[22],因此,不将“交互”作为学习行为投入的评测维度。李爽等研究框架中的“学术挑战(Academic Challenge)”维度,与张琪等提出的“专注”维度有一定的概念重合,都强调在面对有难度和有挑战的问題时学习者的学习行为投入表达。主动性(Initiative)维度仅在张琪、武法提的研究中被明确提及,其他的两个研究工作中并未单独刻画,但在具体评测指标的建立和分析过程中,主动性也是主要考虑的因素,如李爽等认为,尽早提交作业、专注完成作业、为获得满意成绩而多次提交最好版本的作业等指标,都体现了学习者在完成作业过程中的主动与努力,而这些指标可以拆分到“坚持”“专注”“自动调控”三个维度中[22]。
综上,本文在文献研究的基础上,结合在线作业数据的特点,构建基于在线作业的学习行为投入分析框架。将参与、坚持、专注、学术挑战和自我调控作为分析学习行为投入的主要维度,对应的分析子维度和相关平台指标示例见表2。
“参与”指学习者投入到在线作业这项任务中的时间与精力,表现为在线作业的参与情况、作业投入时间及是否按时提交作业的情况,体现了学习者对于作业规则、要求的接受和认同程度。“坚持”指学习者为实现学习目标而表现的持续性的努力,表现在作业的高参与率、高完成率等方面,体现了学习者在较长的时间维度上的持续性精力与时间的投入,说明学习者不仅可以遵循和响应基本要求,还在任务中投入了更多的坚持和努力。“专注”指学习者集中完成作业任务的程度,表现在完成作业的效率、能不能一次性不间断地完成作业等方面,体现了学习者对作业任务的兴趣以及克服外界干扰的能力。“学术挑战”指学习者在面临有难度、有挑战的任务时的投入,表现在对难度较高的题目的完成质量和效率,体现了学习者的知识掌握程度和高阶能力的发展情况。“自我调控”指学习者对自我的管理、调节和控制方面的投入,表现在反思性、时间管理和规律等方面,体现了学习者的责任感和自我管理意识。
(二)指标有效性验证
为了回答引言部分提出的第2个问题,本文基于在线作业平台收集了一批学习者作业行为数据。通过对在线作业平台各模块的分析,本研究根据基于在线作业的学习行为投入分析框架初步设定46个行为投入测量指标,其中,参与类7个,坚持类6个,专注类16个,学术挑战类11个,自我监控类6个。通过ANOVA(Analysis of Variance)方差分析及数据可视化方法,分析不同成绩的学习者在各个行为投入指标上的表现,以此来验证平台指标的有效性。
1. 智能作业平台与样本数据
本文首先通过“一起作业”智能作业平台收集了2020年春季学期(3月到7月)上海市9所小学的语文、数学、英语三科作业行为及测试结果数据,经过对基础数据的清洗、标准化等处理,共得到有效的7695名小学生的作业和考试数据。
2. 指标的差异性分析
为了探究学习行为投入指标的有效性,需要验证不同分组的学习者在学习行为投入上的表现是否存在差异。本研究根据考试成绩进行分组,这里的考试成绩指单科多次考试的平均成绩,共分为9组。分组的规则:考试成绩为100分制,60分以上的学习者,以5分为一档进行分组;60分以下的学习者分到fail组。各组人数整体呈正态分布。
在预设的46个指标中,剔除13个指标缺失率在75%以上的指标,对其余的33个指标进行方差分析,结果显示,有6个指标和成绩无明显相关性,其余的27个指标呈分组显著差异(显著性水平为0.01),表2中摘录了部分差异显著的平台指标。方差分析结果表明,提前提交作业时长、作业完成率、作业效率、不同难度题目的时长及结果、错题订正率等指标的区分度十分显著,说明这些指标可以作为评价学习者作业行为投入及学习者画像构建的重要参考维度,具有进一步深入分析和刻画的意义。
3. 指标的可视化分析
在上述分析的基础上,可以利用可视化方法,观察各种指标在学习者群体中表现出的规律和细节,但由于篇幅的限制,本节选取几种特别典型的指标进行可视化分析。
(1)参与类指标分析
在参与类指标中,提前提交作业的时间可以反映学习者完成作业任务的积极程度。如图1所示,成绩越好的学习者,越能够提早提交作业,同时其置信区间较小,说明分布紧密,该指标表现稳定。成绩越差的学习者,越倾向于在作业截止时间提交作业,在不及格(fail)段的学习者会出现平均皆为延迟提交的情况。同时,成绩越差的学习者,该指标置信区间分布广,说明其分布不稳定,即这一部分学习者没有一个稳定良好的提交作业习惯。
(2)坚持类指标分析
在坚持类指标中,在一个较长时间段内的作业完成率可以反映学习者表现出的持续性的投入程度,如图2所示,不同的折线代表不同科目的表现。总体来说,学习者的作业完成率很高,基本保持在92%以上。成绩越好的学习者,作业完成率越高。但是,在数学学科上,D+和C组的学习者也有较高的作业完成率,但他们在成绩上表现并不理想。对于这一部分学习者,在肯定他们完成作业的态度的同时,需要在知识层面上进行指导。
(3)专注类指标分析
总作业时长用于刻画学习者在作业过程中的总体耗时,有效作业时长是切实投入到作业上的时长。总作业时长和有效作业时长的均值分布情况如图3所示。可以发现,成绩越好的学习者,其作业总时长均值就越小,同时有效作业时长的均值越长,说明成绩越好的学习者越能够专心投入在作业上。结合作业质量来看,高分组(A+和A组)的学习者能高效、高质量地完成作业,而低分组(D组和fail组)的学习者则是高效、低质量地提交作业,很可能是在应付作业,因此,对这部分学习者,需要关注其作业质量。
同时,注意到60分段(D和D+)的学习者,其作业总时长和有效作业时长均值都比较高,说明这部分学习者确实投入了很长的时间和精力在作业上,但是可能因为学习能力不足或做题效率低等原因,导致总作业时间很长。对于这部分学习者,建议从提高学习能力和做题效率方面进行强化训练。此外,fail组学习者的有效作业时长是整体中最低的,且作业完成度、作业完成质量等指标都相对较低,建议从提高作业完成度和作业质量的角度进行干预。
(4)学术挑战类指标分析
学习者在不同难度的题目上的有效时长可以反映学习者的作答能力和作答意愿。图4展示了不同成绩的学习者在面对不同难度题目时投入的作答时长分布情况,题目难度的数值越大,表示题目难度越高。可以发现,在难度为1~3的题目上,不同成绩段的学习者作答时长相差不大。在难度为4的题目上,呈现A+组学习者解题时间短,D-A组学习者解题时间稍长且分布均匀的情况。结合学习者不同难度题目得分等指标可以发现,虽然A+组和fail组的学习者作答速度都很快,但A+组学习者的做题正确率更高。在难度为5的题目上,成绩越好的学习者,解题时间越长,说明成绩更好的学习者,更有挑战难题的意愿。
(5)自我调控类指标分析
错题订正率是指学习者对自己错题进行订正的比率,可以反映学习者的自主反思性。如图5所示,成绩越好的学习者,对错题的订正率越高。注意到A+组学习者的错题订正率几乎接近100%,同时箱盒的分布也更加紧密,说明这部分学习者保持着良好的订正习惯。而B、B+和A组的学习者,其错题订正的眾数明显低于A+组的学习者,对这一部分学习者,如果能多督促他们及时地进行自我评估和反思,有较大概率可以提升学习成绩。
三、基于在线作业的学习行为投入的学习者画像构建
(一)画像目标
学习者画像根据分析目标的不同,往往有不同的学习者画像模型。本文将结合在线作业的场景特点,在学习行为投入特征和学习结果特征的基础上对学习者进行分类,形成学习者群体画像,进而探讨不同的学习者群体在学习行为投入和学习结果上的不同表现,为后续的个性化、精准化的学习服务提供数据支持。
构建学习者画像的前提是确定学习者画像维度。李雪娇通过理论演绎和总结的方法,在尹烨彬[10]所构建的在线学习者多维特征模型的基础上,补充了学习结果特征,构建了包含人口学特征、心理特征、行为特征和学习结果特征在内的在线学习者画像模型[25]。笔者认为,该模型较为全面地包含了在线学习者的特征分析的主要内容。考虑到本文的研究场景为在线作业,属于在线学习中的一个环节,因此,本文在该模型的基础上,选取行为特征和结果特征作为主要的分析和建模维度。其中,行为特征主要指学习者在在线作业中所体现的行为投入特征,可在上一节刻画的学习行为投入分析框架及指标来刻画。学习结果特征则由学习者的学业成绩来描述。
学习者画像分析将围绕学习者画像中各个维度的特征而展开,主要思路是利用这些维度的信息将学习者分类,分析不同学习者群体所表现出来的不同特征。本文综合考量学习者的作业行为投入特征与学习结果特征,对学习者进行聚类分析。聚类分析的结果可为学习者、家长、教师及其他教学利益相关者提供教学评价、设计和改进的参考。
(二)学习者群体的聚类分析
如何基于学习者的行为特征和学习结果特征进行学习者分类是学习者画像分析的关键。利用聚类分析方法进行学习者分类,已经被众多的研究者所采用[26]。本文基于行为投入特征下的参与、坚持、专注、学术挑战、自我调控,利用K-Means聚类方法,将学习者进行聚类,使用的数据与本文第二部分相同。经过多次聚类与质量评估,学习者最终可被划分为四类,轮廓系数为0.313。从F检验的结果来看,四类学习者人群在平台指标上的表现也均有显著差异,说明了聚类模型的有效性。为了更直观地了解这四类学习者在作业行为投入上的表现,选取代表性的指标对四类学习者人群进行分析,见表3。
第I类学习者在各项指标上均表现优秀,作业完成率高,投入的有效作业时长和总时长较短,作业效率很高,错题订正率高,但在难题上投入的时间较短。说明本类学习者在参与、坚持、专注及自我调控维度表现优秀,但在学术挑战维度略有不足。综合学业成绩来看,该类学习者的平均成绩是四类中最高的。所以对于本类中成绩优秀的学习者,在督促其保持良好学习习惯的同时,可以适当增加一些挑战性学习项目,激发其学习兴趣和潜力。同时,本类中也包含部分学习成绩不突出的学习者,说明这部分学习者本身学习习惯良好,但是成绩不够理想,建议对其进行学习方法上的针对性指导,以获得较大幅度的成绩提升。本类学习者占总人数的44.40%。
第II类学习者在各项指标上均表现良好,作业完成率高,在难题上的投入时间长,有效作业时间在四类学习者中最长,但作业效率仅略高于整体平均水平,错题订正率略低于整体平均水平。本类学习者的学业成绩表现良好,说明这一部分学习者本身具有较强的学习能力和良好的作业习惯,但在如作业效率、错题订正率等行为维度上与第I类学习者有显著的差距。说明本类学习者在参与、坚持及学术挑战维度表现良好,但在专注和自我调控维度表现一般。所以,可以考虑从学习主动性、反思性及作业质量等方面对本类学习者进行指导,促进其学习效果的提升。本类学习者占总人数的20.51%。
第III类学习者各项指标大多处于整体平均水平左右,与第I、II类学习者有较大差距,特别是作业效率在四类学习者中最低,作业完成率也不理想,学业成绩同样处于整体平均水平。说明本类学习者在参与、学术挑战及自我调控维度上表现一般,而坚持、专注相较其他维度来说表现有待提升。对于这一部分学习者,需要家长和教师的关注和及时干预,特别是在坚持和专注这两项基本指标上的加强提高,极有可能改善其学习表现。进一步地,在学术挑战和自我调整方面进行提升,从更高级的层面给予学习者心理及认知策略上的指导,促进学习态度的改变,进而提高学习效果。本类学习者占总人数的18.28%。
第IV类学习者各项指标均低于整体平均水平,学业成绩也是四类学习者中最低的。说明本类学习者没有良好的作业习惯,学习行为投入的各个维度均有待提升。本类学习者需要特别的关注,建议教师和家长与学习者深入沟通,充分分析学习者的主要问题,并进行针对性的干预与指导,帮助学习者解决遇到的困难或问题。数据分析发现,本类学习者中有一部分成绩优秀者(A级以上),这部分学习者同样应该成为教师和家长重点关注的对象,帮助其在保持优秀的学业成绩的同时,拥有较高的学习投入和好的学习习惯,使其具有长期的可持续的能力提升空间。本类学习者占总人数的16.81%。
四、结论与探讨
本文在文献研究的基础上,结合目标场景,构建了“基于在线作业的学习行为投入的分析框架”,并在此基础上探究了哪些在线作业行为的平台指标可以有效表征和评价学习行为投入。为了实现构建学习者画像的目标,本文在上述分析框架的基础上,利用聚类分析的方法将学习者划分为四类。基于以上的理论及数据分析结果,我们可以得到以下结论:
首先,学习者的学业成绩与作业行为投入之间存在显著相关,说明作业行为投入对学习绩效具有较强的解释力。与已有的研究结果一致[13-14, 22],行为投入与学习成绩之间存在显著的正相关关系,即行为投入越高,学习者的学业成绩越好。
其次,不同的行为投入平台指标与学业成绩呈现不同的相关性。如作业时长、作业完成次数等指标与学业成绩呈弱相关性,这从数据层面有力地说明了并不是作业做得越多、题目做得越多,就能够得到更好的成绩;而恰恰是体现学习者的作业积极性、作业效率、挑战难题的意愿和反思性等學习品质方面的指标与学业成绩呈现强相关,说明提升学业成绩的核心在于提升学习者的学习品质(如坚持、专注、反思等)等非学业方面的素质。这也为从作业角度进行“减负增效”提供了有力的数据支持和方向指引。
最后,建立对学习者行为投入的跟踪和评价系统是非常必要的。结合学习者画像构建技术,从多个维度来刻画学习者的行为投入情况,对不同类型的学习者采用个性化的指导方案,例如,可以针对不同类型的学习者推送个性化的作业任务或个性化的学习资源,利用智能化的学习系统提升学习者的学习投入是实现高效学习的有效方式。
信息技术的发展使得在线学习的方式与边界都在不断扩大。目前,本文中涉及的场景比较单一,主要是教师布置的在线作业任务,对于其他类型的作业,如线下作业、自主作业、选做作业、假期作业等以及其他非作业场景中的任务均有待进一步的探究。在未来的研究中,笔者将继续对所构建的模型、指标和方法进行完善与探索,使之适应不同类型、不同情境下的学习行为投入分析。同时,未来研究也将探讨影响学习者学习行为投入的因素,例如,在自我调控的反思性维度,教师和家长的错题提醒是否能够影响学习者反思能力的提升,同伴之间的协作或互评是否可以促进学习者更积极主动地参与到作业任务中。将进一步地探讨干预和促进学习行为投入的机制,提升学习者的学习绩效。
[参考文献]
[1] 祝智庭,管珏琪.教育变革中的技术力量[J].中国电化教育,2014(1):1-9.
[2] 顾小清,舒杭.信息技术的作用发生了吗——用学习分析技术刻画学习行为印记[J].现代远程教育研究,2016(5):10-19.
[3] 张治,戚业国.基于大数据的多源多维综合素质评价模型的构建[J].中国电化教育,2017,368(9):69-77,97.
[4] ANTELMAN K, FELIX E, KIM J H. Creating personas workshop tool[DB/OL].(2018-10-10)[2021-07-09]. https://learningspacetoolkit.org/.
[5] SHARIFI M, SOLEIMANI H, JAFARIGOHAR M. E-portfolio evaluation and vocabulary learning: moving from pedagogy to andragogy[J]. British journal of educational technology, 2017, 48(6): 1441-1450.
[6] 肖君,乔惠,许贞,等.泛在学习环境下基于活动理论的移动MOOC设计及实证研究[J].中国电化教育,2017(11):87-94.
[7] DARWISH H. The "persona effect": shortcomings in the evaluation of pedagogical agents' embodiment[C]// 2014 International Conference on Web and Open Access to Learning (ICWOAL), Dubai, November 25-27,2014. Piscataway: IEEE, 2015.
[8] DINH D P, HARADA F, SHIMAKAWA H. Directing all learners to course goal with enforcement of discipline utilizing persona motivation[J]. IEICE Transactions on information & systems, 2013, 96(6): 1332-1343.
[9] HOLLEY D, OLIVER M. Student engagement and blended learning: portraits of risk[J]. Computers & education, 2010, 54(3): 693-700.
[10] 尹烨彬.在线环境下成人学习者多维特征研究[D].上海:华东师范大学,2017.
[11] 陈海建,戴永辉,韩冬梅,等.开放式教学下的学习者画像及个性化教学探讨[J].开放教育研究,2017,23(3):105-112.
[12] 肖君,乔惠,李雪娇.基于xAPI 的在线学习者画像的构建与实证研究[J].中国电化教育,2019(1):123-129.
[13] FREDRICKS J A, PARIS B A H. School engagement: potential of the concept, state of the evidence[J]. Review of educational research, 2004, 74(1): 59-109.
[14] JOHNSON M L, SINATRA G M. Use of task-value instructional inductions for facilitating engagement and conceptual change[J]. Contemporary educational psychology, 2013, 38(1):51-63.
[15] 李艷燕,彭禹,康佳,等.在线协作学习中小组学习投入的分析模型构建及应用[J].中国远程教育,2020(2):40-48,77.
[16] COATES H. Student engagement in campus-based and online education: university connections[M]. London: Taylor and Francis, 2006:1-212.
[17] 武法提,张琪.学习行为投入:定义、分析框架与理论模型[J].中国电化教育,2018(1):35-41.
[18] ELBADRAWY A, POLYZOU A, REN Z, et al. Predicting student performance using personalized analytics[J]. Computer, 2016, 49(4):61-69.
[19] QIU J, TANG J, LIU T X, et al. Modeling and predicting learning behavior in MOOCs[C]// the Ninth ACM International Conference. New York: ACM, 2016:93-102.
[20] SOROUR S E, MINE T. Building an interpretable model of predicting student performance using comment data mining[C]// 2016 5th IIAI International Congress on Advanced Applied Informatics (IIAI-AAI). Piscataway: IEEE, 2016:285-291.
[21] 武法提,牟智佳.基于学习者个性行为分析的学习结果预测框架设计研究[J].中国电化教育,2016,348(1):49-56.
[22] 李爽,王增贤,喻忱,等.在线学习行为投入分析框架与测量指标研究——基于LMS数据的学习分析[J].开放教育研究,2016(2):77-88.
[23] 张思, 刘清堂,雷诗捷,王亚如.网络学习空间中学习者学习投入的研究——网络学习行为的大数据分析[J].中国电化教育, 2017,363(4):24-30.
[24] 张琪,武法提.学习行为投入评测框架构建与实证研究[J].中国电化教育,2018,380(9):108-114.
[25] 李雪娇.基于学生画像的在线学习支持服务策略设计研究[D].上海:华东师范大学,2019.
[26] 王梦倩,范逸洲,郭文革,汪琼.MOOC学习者特征聚类分析研究综述[J].中国远程教育,2018(7):9-19,79.