学习计算视阈下基于CIEO分析思想的 学习结果预测设计与实证研究

牟智佳

[摘   要] 设计具有可指导、可理解和可操作的系统化学习结果预测理论是改善学习成效的一种教学处方。研究从学习活动理论视角阐述了MOOCs环境下的学习过程与学习结果，并提出CIEO学习结果预测分析思想和学习结果预测工作模型。该模型包括理论层、参与层和行为层，其中，理论层包括个性化学习理论、项目反应理论和社会认知理论，分别对参与层中的学习内容、学习互动和学习评价进行指导;参与层是从学习活动的主要表现形式层面进行设计;行为层则遵循“目标—过程—结果”的分析思路，从学习行为的具体表现层面进行设计。在此基础上，对学习行为分析指标进行设计，形成面向学习结果的六类分析指标，即基于学习内容行为的完成度和掌握度、基于学习互动行为的参与度和贡献度、基于学习评价行为的测评完成度和通过率。最后，采用多元回归分析法对学习行为指标与学习结果的相关性进行探索;采用属性选择法、预测分类法、文本分析法对学习行为分析指标的重要性、预测准确率进行验证性分析，并得出学习结果预测计算方程。

[关键词] MOOCs; 学习分析; 学习结果预测; 学习行为指标; 数据挖掘

[中图分类号] G434            [文献标志码] A

一、研究背景

在大数据教育应用、数据科学和学习计算的背景下，基于学习行为数据分析学习者的学习活动过程信息并进行学习预测，成为学习分析研究中的一项重要内容。以往的教育数据挖掘和统计分析侧重对行为数据的分析和挖掘，而学习分析则是在数据分析结果的基础上，通过建立分析模型来预测行为，并对学习过程进行预警、优化和干预等[1]。近年来，大规模开放在线课程（MOOCs）凭借其免费性、高质量的学习资源和较好的学习支持服务在世界范围内得到推广和应用。尽管MOOCs拥有较高的课程注册率，但学习者在实际学习过程中所表现出的高辍学率和低参与度的现状[2]，确实是一个无法回避的问题，且尚未找到有效的解决方案。基于学习活动数据有效预测学习结果，为教学服务人员提供干预依据，进而改善学习参与度并降低辍学率是本研究所要回答的核心问题，对于该问题的解决则进一步凸显本研究的重要性和价值。本研究通过设计学习结果预测工作模型和学习行为分析指标，并利用MOOCs数据进行分析以形成具有可指导和可操作的学习结果预测理论，为研究成果的应用转化提供实证支持。

二、研究设计

（一）研究问题

本研究拟通过设计基于学习活动过程与学习行为数据的学习结果预测工作模型和学习行为分析指标，利用MOOCs数据进行探索和验证分析，为基于学习结果的学习活动和学习策略的调整提供数据支持。基于此，本研究的问题包括以下三个方面：（1）MOOCs学习环境下，如何基于学习内容和活动进行学习结果预测？（2）如何基于学习行为数据进行指标设计和预测分析？（3）如何实现学习结果预测的数据计算与测量？

（二）研究样本

本研究选取edX上的两门MOOCs课程，课程名称分别是“Data，Analytics，and Learning”和“Introduction to Engineering and Engineering Mathematics”。其中，第一门课程作为探索性分析，选取参与各项学习活动且坚持学完所有课程内容的学生作为研究对象，即在后面设计的各分析指标中均有计算数值，其目的是剔除多数无效和不完整的数据样本，最终确定311个数据分析条目;第二门课程作为验证性分析，由于是对所有学习行为分析指标进行分析，涉及的数据涵盖课程中的视频学习、互动讨论、学习评价和文本学习等不同学习模块，而学习者在不同学习模块中的活跃程度存在差异，各指标的样本数量有所区别。为了选取有意义数据，使各指标在同一样本数量上进行分析，在计算完成各分析指标数据后，通过id选择所有指标的共同样本，并剔除在所有指标上的缺失值，对数据进行二次处理和指标计算，最后得到分析样本数2383个。在数据使用授权和范围上，已得到课程负责人和所在学校数据审核委员会的批准，准许使用剔除学生个人信息的数据。

（三）研究方法与工具

本研究分别采用预测分类、文本分析、多元回归分析、属性选择等方法进行分析。预测分类方法包括机器学习中较为常用的朴素贝叶斯网络和决策树，在分析准确率和效率上两者互补，同时对噪声数据有很好的鲁棒性。在学习结果上，应用回归分析时采用数字型的学习成绩数据，应用预测分类时采用标称型的学习成绩等级数据。文本分析用于分析互动内容的相似度，主要对互动主题和发帖内容进行分析。属性选择是搜索数据集中所有可能的属性组合，分析各属性在预测结果上的权重比例，并找到预测效果最好的属性子集，应用该方法对学习分析指标的重要性进行评估。在分析工具上，采用Weka、Semilar、SPSS进行分析，Weka是一个包含数据处理、学习算法和评价方法的数据挖掘和机器学习软件，用于预测分类和属性选择分析;Semilar工具通过应用空间向量的余弦算法来计算文本相似度。在分析类型上，采用有监督的学习，即通过给定的输入和输出数据集，学习两者之间的映射关系，从而实现预测分析。

三、CIEO学习结果预测分析思想与

预测工作模型设计

（一）MOOCs环境下的学习过程与学习结果阐述

传统的教授主义认为，教师是大量陈述性知识和程序性知识的拥有者，其目标是将这些知识传递给学习者。而基于认知心理学、社会学和计算机科学所形成的学习科学对学习过程作了更为科学的探索，认为要促进更好地学习需要学习者积极参与到学习过程中并更深刻地理解概念的重要性[3]。学习科学关注的焦点是学习环境正在发生什么，以及这些内容和变化是如何改善学习绩效的[4]。學习科学认为，当学习者外化自己掌握的知识并表达自己观点时，学习效果会更好。而MOOCs学习环境的出现应当在满足传统环境下学习需求的情况下，更注重促进学习者对概念的理解和应用。因此，MOOCs学习环境下学习过程的第一要义是知识学习，帮助学习者掌握基本知识。当前网络学习资源的演变形式只是为了在更符合学习者认知特征基础上帮助学习者更有效地掌握知识，但传递知识本身的特征并未改变。例如：交互式微视频的应用期望是通过围绕某一知识点的短小精悍的视频帮助学习者理解知识并通过少量练习题进行检测;教育游戏期望将知识学习与游戏相结合，通过寓教于乐的方式学习知识内容。

当学习者通过视频和文本材料完成知识点内容学习之后，需要通过师生或生生互动交流来解除知识学习过程中的疑惑。在MOOCs学习过程中，师生或生生之间的互动交流可以将自己内化的知识外化表达，以促进其对概念的理解，同时满足学习社群交流的需求。因此，MOOCs环境下学习过程的第二要义是学习互动，通过社群交流和问题讨论可以帮助学习者对知识进行意义建构，促进其对知识概念的深层理解。MOOCs学习平台在互动交流方面的发展方向应当是在社群网络分析的基础上，结合学习者知识掌握情况，推荐能够进一步促进其知识发展和理解的其他学习个体或社群，而不应当只是揭示学习者的社会网络关系。

学习者完成知识学习和交流讨论之后，还需要通过测评对学习者知识掌握情况进行分析，从教与学流程来看是知识传递到知识内化的过程。因此，MOOCs环境下学习过程的第三要义是学习测评，通过不同形式和内容的测评促进学习者的知识内化。新型网络学习平台将利用学习数据突出测评的个性化和自适应[5]，如KNEWTON个性化网络学习平台可以针对学习者在测评中的答题情况进行自适应推荐。

上述三方面的学习活动过程是相互渗透和贯穿的，即学习者在知识学习过程中可能会穿插测评和互动交流，在测评过程中会根据结果建议学习者返回学习某个知识点，以及需要跟哪些同伴做互动交流。我们认为MOOCs环境下的新型学习是基于学习行为数据分析的基础上形成以学习活动过程为导向，以掌握学习为目标，以个性化学习路径为特征的非线性学习方式。

学习结果是衡量学习者学习成效的主要方式，而MOOCs环境下学习结果的测量則需要形成性评价的支持。已有的基于网络的评价系统侧重某一方面的内容评价，例如：ASSISTMENT系统支持教师基于网络对学习者数学测试进行过程评价[6];ACED（Adaptive Content with Evidence-based Diagnosis）系统通过创建自适应诊断系统评价学习者的知识和技能[7]。然而，MOOCs环境下的学习活动涉及内容学习、互动交流和练习评测，某一方面的学习行为表现并不能准确反映其真实的学习结果，应当综合其学习行为过程进行评定。MOOCs环境下的形成性评价在评价角色、评价频率、评价内容和反馈等方面相对于传统的形成性评价都有所不同[8]。在评价角色上，应围绕学习者的学习特征展开，侧重分析学习者的个性特征和学习成长[9];在评价频率上应当是对学习活动过程行为的连续性记录，而非间接性评价[10];在评价内容上，要对学习者的各方面内容进行结构性分析和立体化评价，以真实了解其学习状况[11];在学习反馈上，依据学习诊断结果为学习者提供改善学习成效的学习反馈，以促进学习者进一步发展[12]。学习结果的测量应当依据上述评价方面进行分析，并以结果判断和建议反馈方式作为结果输出。

综上所述，MOOCs环境下的学习结果是以学习内容、学习互动和学习评价为过程依据，以学习成效和基于个体特征的学习建议为结果输出的立体化学习表现。本研究将解决学习结果预测设计和验证分析问题。

（二）CIEO学习结果预测分析思想

MOOCs学习环境下学习者的典型活动特征主要体现在学习知识内容、学习互动交流和学习测评考试三个方面，而学习者的个性化学习特征将影响这三个方面的学习活动过程并最终作用到学习结果上。基于前面对MOOCs学习环境下的学习过程三要义与学习结果的阐述，以及对基于证据的学习行为分析指标的阐述，我们提出CIEO学习结果预测分析思想，CIEO分别是学习内容（Learning Content）、学习互动（Learning Interaction）、学习评价（Learning Evaluation）和学习结果（Learning Outcome）的首字母，其中学习内容、学习互动和学习评价共同预测学习结果。在学习内容上，通过测评学习内容完成度和掌握度进行分析;在学习互动上，通过测评互动参与度和贡献度进行分析;在学习评价上，通过测评完成度和通过率进行分析。分析维度和指标及其之间的关系如图1所示。CIEO学习结果预测思想的核心在于，基于学习过程中的关键活动和主要环节预测学习者的最终学习表现。其优势在于通过整合学习基础行为数据形成有意义学习分析指标进行预测，同时基于个性特征和学习活动表现为其学习推荐提供科学依据，最终目标是改善学习结果，而不仅仅是预测学习结果。

（三）基于CIEO的学习结果预测工作模型

前期我们已经对面向学习结果的个性化学习分析模型进行了设计探索，为了进一步推进学习结果预测的理论设计，形成具有可指导、可理解和可操作的系统化预测工作模型，依据学习理论、个性化学习模型和CIEO学习结果分析思想，我们提出了基于CIEO的学习结果预测工作模型，该模型包括以下两个原理：（1）学习结果是由学习内容、学习互动和学习评价共同作用影响的，通过对这三个方面进行分析来预测学习结果;（2）学习结果要通过具体的学习行为数据和分析指标进行预测分析，并为其提供个性化信息反馈。整个工作模型设计如图2所示，包括理论层、参与层和行为层，其中，理论层包括个性化学习理论、项目反应理论和社会认知理论，分别对参与层中的学习内容、学习互动和学习评价进行指导;参与层则是根据学习者参与学习活动的主要表现形式进行设计，为学习结果预测的行为指标设计提供指导;行为层的设计遵循“目标—过程—结果”的分析思路，形成与学习内容、学习互动和学习评价的层级对应。在操作层面上，按照“设计—分析—记录”思路进行实践。整个设计通过层层迭代、内容对应、相互关联实现学习结果的预测分析。

四、面向学习结果的学习行为

分析指标计算设计

尽管学习者的基础学习行为数据能够预测学习结果，但在学习分析中应当以有意义的学习行为分析指标作为分析对象，从而得出学习者的活动表现情况。在学习数据上，应当将相关学习活动数据进行整合，以提高数据的分析价值以及凸显行为指标的学习分析意义。为了更加全面反映和预测学习结果，我们对学习行为分析指标进行设计，即对学习者基础行为数据进行计算以综合反映学习者各部分的学习状况。通过计算分析得出学习行为的六个分析指标，为后面的学习结果预测提供支持。在数据使用上，主要从学习者点击行为数据中整理出时间数据、次数数据以及文本互动内容等信息。

（一）学习内容分析指标设计

学习内容分析主要依据学习者课程视频学习行为和文本材料学习行为两个方面进行评定。其中，视频学习行为包括学习时长和学习次数，从定量角度判定学习者的知识学习完成情况。由于视频学习并不能完全反映学习者的知识内化和理解行为，因此，需要引入文本材料学习行为的分析，即将学习者的视频学习行为与文本材料学习行为相结合以综合判定其知识内容完成情况，这与学习者的实际学习行为也较为一致。当学习者通过视频学习知识点时，如果知识点有一定难度，会通过查看文本学习材料来促进其对知识内容的理解，这一线性设计思路与当前MOOCs课程内容的设计较为一致。例如：edX平台上的课程内容设计将微视频学习、学习文本材料、学习互动交流和学习测评以学习活动时间轴的方式进行呈现，学习者只需按照线性学习活动设计逐步参与即可。该部分的具体分析变量包括学习内容完成度（LCF）和掌握度（LCM），其中，学习内容完成度的计算方式是LCF （t是单个视频中个人学习时长，T是视频时间总长，F是视频学习次数）;LCM= （H为文本学习材料时长）。

（二）学习互动分析指标设计

学习互动分析主要对学习者在网络论坛中的发帖数量、点赞数和发帖内容进行分析，具体分析变量包括学习者的参与度（LIE）和贡献度（LIC）。其中，参与度主要判定学习者的互动频率，这里通过个人发帖量占总发帖量的百分比进行分析，计算公式为LIE= （Q是个人提问数，A是个人回答数，R是个人回复数，P是论坛总发帖量）。除参与度外，还需分析学习者的貢献度以判定其互动深度，计算公式为LIC= +C（G是帖子点赞数，S是总点赞数，C是帖子内容与主题相关度）[13]。以上两个指标中的发帖量和点赞数均通过个人总量与集体总量的百分比进行降维处理，以避免学习者之间以非正常方式提高个人数据。

（三）学习评价分析指标设计

学习评价分析主要依据学习者在交互式微视频中的互动练习、单元学习作业和考试结果进行分析，具体分析变量包括学习测评完成度（LEP）和测评内容通过率（LER）。学习测评完成度是对单次测评次数和测评内容总量进行分析，单次测评次数反映测评内容的难易程度，测评内容总量反映学习者的完成进度，判定其参与情况，计算公式为LEP= （e是个人测评内容量，E是总测评量，F是测评次数）。通过率分析是判定学习者在内容掌握上的情况，其分析结果为最终学习结果提供一定的参照依据，计算公式为LER= （P是测评通过数，S是总测评数）。在实际分析中，可选取某一单元测评内容对学习者的各个变量行为信息进行汇总，并分析其与学习结果之间的关联度和预测准确率。

依据上述学习行为分析指标设计，下面将应用前面介绍的MOOCs课程数据对分析指标与学习结果的相关性、重要性和预测效力进行分析。

五、研究结果分析

（一）学习行为分析指标与学习结果的相关性分析

该部分利用第一门MOOC课程的学习行为数据，采用多元回归分析探索学习行为分析指标与学习结果的相关性。回归分析时，变量间的理想关系是分析变量之间呈现中低度相关，而分析变量与结果变量呈现高相关。分析变量与学习结果的积差相关矩阵结果显示，学习内容完成度与学习内容掌握度、互动参与度和互动贡献度的值较高，说明变量间存在共线性问题，其中，内容完成度和掌握度在计算方式上存在递进性，因此，具有较高的相关性，而互动参与度和贡献度存在相关性说明积极参与互动论坛的学习者也能够进行深度互动，促进知识分享。整个回归模型摘要分析结果见表1，多元相关系数R值为0.656，决定系数R2为0.527，说明所有分析变量能够解释学习结果变量52.7%的变异量。Durbin-Watson（以下简称DW）统计量主要验证模型中是否存在自我相关，当各预测变量的样本观察值间具有某种程度的直线关系时，该系数不为0;当DW统计量接近于0时，说明相关系数越接近1，残差项间越呈现自我相关;当DW统计量接近于2时，说明相关系数越接近于0，残差项间无自我相关。本研究中DW统计量为1.822，说明误差相关性在可接受的范围之内。

通过上述分析可以看出，虽然指标存在部分共线性相关问题，但整个回归模型的解释变异量在可接受范围内，说明基于计算后的学习行为分析指标与学习结果具有相关性，这为后面探索基于学习行为数据的学习结果预测提供了可行性支持。这一结论也得到国外相关研究的支持，即在异步网络学习环境下学习管理系统中的学习过程行为数据能够为学习者最终成绩提供有用的相关性信息[14]，从学习管理系统数据中抽取重要指标可以预测学习成绩[15]。

（二）学习行为分析指标的重要性评估

尽管各个学习分析指标都可以预测学习结果，但从贡献率和重要性上看，各指标之间存在差异，因此，有必要了解各指标在学习结果预测上的重要程度，为后期教学实践应用提供参照。该部分将采用第二门MOOC课程的样本数据进行验证分析。在分析方法上，采用属性选择模块进行分析。在属性评估器上，选择InfoGainAttributeEval评估器，用于评估各指标在预测结果上所占的权重。在搜索方法上选择Ranker，它能够生成一个抛去若干非重要属性之后的排名列表，且通常与InfoGainAttributeEval评估器默认绑定。预测学习结果的指标权重按重要性排序依次为：学习测评通过率、学习测评完成度、学习内容掌握度、学习内容完成度、互动参与度和互动贡献度。可以看出，学习评测和学习内容两个模块在学习结果预测上较为重要。需要说明的是，学习行为分析指标的重要性分析并非依据预测率，而是基于各指标与学习结果的相关性得出。因此，指标的重要性分析和后面的分类预测准确率、逐步多元回归分析在结果上会有一定的出入，两类分析的原理并不一样。

（三）基于学习行为分析指标的预测分析结果

在预测分析上，采用朴素贝叶斯网络对各指标进行预测分类，采用决策树对所有指标进行预测分类。为了进一步清晰地展示各分析指标的预测准确率和相互结构关系，我们依据分析指标和分析结果形成学习结果预测准确率模型，如图3所示。

箭头上的数值代表每个变量的预测准确率，包括六个学习行为分析指标和三个学习分析维度指标。各指标的均方根误差值在0.09～0.27范围内，测量精度较高。各指标整体预测准确率比较高，说明通过基于学习基础行为数据计算后的预测指标可以较好地预测学习结果。在学习内容预测上，掌握度预测准确率略高，说明通过对视频学习行为和文本学习行为进行综合评价可以较为准确地判断学习内容掌握情况。在学习互动预测上，贡献度预测率略高，说明通过发帖获得的点赞数和发帖内容能够较好地判断学习者互动深度。在学习评价预测上，通过学习测评通过率可以较为精确地估计学习结果。采用决策树分类方法对所有指标进行分类分析，得出预测准确率为98.4545%。结合前面对重要性的评估可以看出，尽管各类指标在重要性上存在一些差异，但每个指标均能表现出较高的预测率，且整体预测率较高。这在一定程度上说明指标设计的合理性和有效性，基于指标预测分析能够逼近学生的真实学习结果。

（四）基于学习行为分析指标的学习结果预测计算方程式

在学习计算的背景下，要使学习结果预测分析能够实现可计算和可测量，为将来平台化的自动分析提供设计依据，需要基于学习结果预测分析的计算方程式提供支持。这里采用预测型的回归分析对分析指标和结果进行分析，形成可计算的学习结果预测方程式。逐步多元回归分析通过从多个自变量中探索出对因变量最具预测力的自变量以构建一个最佳的回归分析模型。在使用逐步回归分析法时，被选取进入回归模型的自变量对因变量的预测力均会达到显著性。使用SPSS对样本数据进行分析，得出学习结果预测回归模型的方差分析。由于采用的是逐步多元回归分析法，因而每个回归分析模型的整体显著性检验的F值会达到显著水平（p<0.05），同时也表示进入回归方程式的预测指标对学习结果预测的解释力达到显著，各指标的回归系数均不等于0。在进入模型的变量数量上，有5个变量进入回归模型分析中，仍有1个变量未进入到模型中，说明该变量未产生显著性预测。

整合回归系数和显著性检验结果得出回归模型摘要，见表2。从标准化的回归系数来看，各变量的β值分别为0.417、0.205、0.178、0.132、0.068，前五項值均为正数，表示其对学习结果的影响均为正向，最后一项值为负数，说明其对学习结果呈反向影响。从解释变异量（R2）中可以看出，有5个预测变量进入到回归分析模型中，由于最后一个变量β值为负值，因此，将其剔除分析。这些预测变量对学习结果因变量具有显著预测力的大小顺序是测评通过率、测评完成度、内容掌握度、互动贡献度，各自的预测力分别为68.8%、1.3%、5.2%、5.1%、1.1%，共同解释变异量的81.5%，说明基于这些变量可以在较大程度上预测学习结果。在投入变量方面，学习内容完成度未进入到预测回归分析中，说明其对学习结果预测的回归系数未达到显著水平。结合前面采用机器学习方式对学习指标的预测准确率分析结果可以判断，测评通过率、测评完成度、内容掌握度、互动贡献度、互动参与度是影响学习结果预测的显著指标，可以基于这些指标做实际计算分析。

依据上述数据分析结果，选取正向影响学习结果的预测变量及其β值，我们可以得出基于学习行为分析指标的学习结果预测计算方程式：学习结果=0.417×测评通过率+0.205×测评完成度+0.178×内容掌握度+0.132×互动贡献度+0.068×互动参与度。基于该方程式可以为网络平台的预测功能参数设计提供实证依据。

六、研究局限与展望

本研究设计了基于CIEO分析思想的学习结果预测工作模型和面向学习结果的学习行为分析指标，并利用MOOCs数据进行探索和验证分析。然而，在不同年龄段群体、不同类型的数据结构和学习结果表现形式上还需要作进一步对比分析。首先，在课程学习群体上，尽管MOOCs面向全球所有学习者开放，但在课程内容设计和学习目标上，不同类型的课程有不同的主要学习群体，学习者在年龄段、学习层次、学习风格等方面存在差异，而这些可能构成学习结果预测的影响因素，因此，需要采用多门不同年龄群体的课程进行对比试验，查看学习群体是否影响学习结果预测。其次，MOOCs课程因学习人数众多，教学服务人员较少，学习者的最终学习结果不一定都会得到较为科学的评价，而学习结果预测分析需要学习者的最终学习成绩数据作为分析依据，因此，需要拥有较科学的学习评价课程数据来进行验证分析。最后，MOOCs类型包括基于内容的MOOC、基于网络的MOOC、基于任务的MOOC，本研究主要针对基于内容的MOOC进行分析，后面还需要对不同类型课程进行比较分析，探索课程类型在学习结果预测上是否存在差异。以上三个方面的因素干扰和条件限制意味着学习结果预测准确率模型和计算方程的效度还有待进一步验证。

[参考文献]

[1] SIEMENS G. Learning analytics：the emergence of a discipline [J].American behavioral scientist，2013，57（10）：1380-1400.

[2] FREITAS S I，MORGAN J，GIBSON D.Will MOOCs transform learning and teaching in higher education？Engagement and course retention in online learning provision[J]. British journal of educational technology，2015，46（3）：455-471.

[3] BRANSFORD J D，BROWN A L，COCKING R R.How people learn：brain，mind，experience，and school[M].Washington，D.C.： National Academy Press，1999.

[4] 基思·索耶主編.剑桥学习科学手册[M]. 徐晓东，译.北京：教育科学出版社，2012.

[5] RANI M，NAYAK R，VYAS O P.An ontology-based adaptive personalized e-learning system，assisted by software agents on cloud storage[J]. Knowledge-based systems，2015，90（12）：33-48.

[6] KOEDINGER K R，MCLAUGHLIN E A，HEFFERNAN N T.A quasi-experimental evaluation of an on-line formative assessment and tutoring system[J]. Journal of educational computing research，2010，43（4）：489-510.

[7] SHUTE V J，GRAF E A，HANSEN E G.Designing adaptive，diagnostic math assessments for individuals with and without visual disabilities[J]. ETS research report series，2006，5（1）：25-37.

[8] SHUTE V J.Tensions，trends，tools，and technologies：time for an educational sea change[J].ETS research report series，2006（1）：32-49.

[9] BELCADHI L C.Personalized feedback for self-assessment in lifelong learning environments based on semantic web[J]. Computers in human behavior，2016，55（2）：562-570.

[10] DUNLOSKY J，RAESON K A.Do students use testing and feedback while learning？A focus on key concept definitions and learning to criterion[J]. Learning and instruction，2015，39（10）：32-44.

[11] RITZHAUPT A D，KEALY W A.On the utility of pictorial feedback in computer-based learning environments[J]. Computers in human behavior，2015，48（7）：525-534.

[12] VALDEZ A.Computer-based feedback and goal intervention：learning effects[J]. Educational technology research and development， 2012，60（5）：769-784.

[13] CHAI K，POTDAR V，CHANG E. User contribution measurement model for web-based discussion forums[C]//The 3rd IEEE International Conference on Digital Ecosystems and Technologies.New York：Institute of Electrical and Electronics Engineers，2009：347-352.

[14] LOWES S，LIN P，KINGHORN B.Exploring the link between online behaviours and course performance in asynchronous online high school courses[J]. Journal of learning analytics，2015，2（2）：169-194.

[15] YOU J W.Identifying significant indicators using LMS data to predict course achievement in online learning[J]. The internet and higher education，2016，29（4）：23-30.