APP下载

基于MOOC的学生参与在线课程模式研究

2018-08-07张莉

中国教育信息化·高教职教 2018年6期
关键词:学生评价模型

张莉

摘 要:本文针对MOOC在线学生的行为,分析数据模型,建模学生参与行为,提出基于学生行为开发用于理解学生参与在线课程的框架,研究潜在学生在三门MOOC课程中坚持下来的模式,预测学生在课程前期的生存状况,对以用户与MOOC交互和课程的不同点识别学生活动的指标作进一步的定量分析。

关键词:MOOCs;模型;概率软逻辑;学生评价

中图分类号:G434 文献标志码:A 文章编号:1673-8454(2018)11-0048-04

一、引言

大量学生参与MOOC课堂为我们提供了分析大型在线交互和行为数据的机会。通过识别模式,提出新的反馈机制并提高教师干预措施,可以帮助提高学生参与MOOC的能力,此外通过分析在线学生参与MOOC的行为,也有助于验证和改进大家对传统教室的理解。

运用模型从MOOC课程收集真实数据,并以实证显示其捕捉学生行为的模式和预测结业能力。为了准确地预测学生的学习动机和完成课程的能力,实验结合上网行为的各个方面验证了为学生活动提供一个全面的看法的重要性,数据表明,模型能够用课程早期阶段获得的数据完成预测。早期阶段的预测可以帮助教师进行干预,有助于提高学生的课程结业率。

国内很多研究集中在MOOC的发展历程及主要特征分析;[1]基于MOOC数据的学习行为分析与预测;[2]学生学习效果和能力等方面进行研究;[3]以及以课程为例的教学模式的研究;[4]并尝试在不同学期相同课程中进行平台改进并对比;[5]搭建一个大数据分析平台,对不同课程,不同平台的数据进行综合分析。[6]Kuh 研究了传统课堂的课程中学生参与和学习成绩之间的关系,确定用户参与的几个指标(如师生互动、学术水平的挑战)。[4]Carini 等定量地证明,尽管大多数参与指标呈正相关性能,在许多情况下该关系可以弱化。本研究的思路借用了Kuh(2003)、Carini、Kuh和Klein(2006),并从统计学生课程结业模型(Richards2012)和适应这些MOOC来设置。

学生的参与被称为是学生学习成功的一个显著因素,但对于研究MOOC学生的参与仍然是有限。本研究试图利用集群了解学生的参与度,不同在于使用参与类型作为潜变量和从数据来区分不同的参与类型。[7]使用测验——提交作为学生存在的量度,并使用学生存活分来训练模型。因此,潜参与变量是为预测学生生存专门构建的。然后用这个模型来预测学生是否在学习课程中提交了期终考试/任务/测验,即学生是否坚持学完了课程。

二、建模学生课程结业

预测并建模MOOC数据具有极大的技术挑战性,因为它需要结合大量的网络论坛实体(学生、教师、任务等)的语言能力和图表分析。为了应对这一挑战,使用概率软逻辑(PSL)这样一个框架,以一种简洁的方式提供简单的方法来表示行为、语言和结构特征。由于在传统的教学模式下,评估在线学生参与有间接线索来评价。在电子环境识别这些线索是具有挑战性的,但大量的可用数据可以抵消人与人间通信的丢失。建模学生参与,需要考虑在线学生的观察行为和在教室中的生存状态的潜变量,发现这个潜在的信息提供一个更好的学生完成课程的行为的解释。

检查实际MOOC数据,可以观察到有几个指标对衡量学生參与是有用的,如查看课程内容、与其他学员或工作人员在论坛互动这些主题和内容。此外学生经常参与整个课程中不同方面,例如一些学生参与在线社区方面——通过发帖、提问和回答问题;而另一些只是听讲课和做一些小测试却没有与社区进行交互。考虑到这些差异并提出一个模型,用不同的行为来区分参与模式:被动或主动。使用这些参与类型来预测学生的生存和推理其随时间的行为。

由于学生在与MOOC课程的交互过程中会生成详细的记录,包括网页浏览和视频点击率,访问论坛,论坛的互动如投票、发布消息和回复、以及像测试和作业类的分数元素。在本节中将描述怎样建模学生的课程,以及交互过程中这些学生的各种行为和语言特征。

为了建模在这些特点和学生生存之间的交互作用,使用PSL,一种关系概率模型。PSL通过对这些谓词编写规则来编码观察到的特征和(潜在和目标)变量作为逻辑谓词和设计模型。PSL在一个参数化的概率模型中解释这些规则,并能够使用机器学习算法和参数拟合执行高效的推理。PSL的表现力和灵活性使能够轻松地为MOOC数据建立不同的模型,通过对比多种模式建立一种简单的直接关系到学生生存特征的模型。

1.概率软逻辑

PSL是应用在学习和预测关系领域的一种建模语言。类似的任务发生在自然语言处理等很多领域,社交网络分析、计算机视觉、机器学习。PSL允许用户直观描述问题,类似逻辑的语言,然后将其模型应用于数据。

PSL是一种在关系领域中进行收集和进行概率推理的框架,其语法基于一阶逻辑,作为连续的图形模板语言模型用随机变量代表软真实值。像其他的统计关系学习方法,PSL采用加权规则来建模一个领域中的依赖模型,然而一个显著的方面是PSL使用持续的变量来代表真值,限制布尔真值在区间[0,1]。三角规范是逻辑连接词AND和OR。由PSL语义定义的底层概率模型是hinge-loss Markov 随机数(HL-MRF)。在HL-MRFs中推理最可能的解释是凸优化问题,这使得相比那些使用离散表示的许多关系模型工具用PSL工作是非常高效的。HL-MRFs应用各种学习算法到完全监督训练数据,并适用于点估算期望最大化的潜变量部分监督数据。在该模型中使用该功能来表示学生的参与潜变量。

2.建模MOOC学生活动

MOOC在线环境主要包括两个资源:视频讲座和在线论坛。学生可以多次观看视频并在此期间回答测试提问。学生可以通过在论坛中提出和回答问题进行互动。通常有按主题组织的多个论坛,分别有多个主题,每个主题由多个提问组成,学生们可以响应、对现有问题投票(向上或向下)以及订阅更新论坛的主题。每个学生都给予基于选票创建的信誉得分。这些活动如图1所示,通过定义一组用于创建特征的PSL谓词来量化这些活动,把这些谓词分类为行为性、交互性或时间性。

(1) 行为特性

行为特征是学生在MOOC网站上所显现出来的属性, 考虑两种类型的行为特征:聚合和非聚合。聚合特征描述学生的行为,论坛中捕获用户活动的行为有发贴(用户)、投票(用户)和查看(用户)。综合所有用户评估是否该功能的值大于中值。聚合词取布尔值。非集合特征直接量化学生的行为。发布(USER,POST)和投票(USER,POST)捕捉用户在发布并投票的讨论论坛的一个实例级别的日志。如果后期有积极的票赞同(POST)是true的,否则为false,如果一个投票一直向下投票,预测反对(POST)是true。

(2)论坛内容和交互特性

MOOC论坛具有相关信息因而内容丰富,体现该学生对课程和内容的态度,以及学生之间的社会交往。使用两种类型的特征捕捉论坛特性,语言特征捕捉帖子内容的感悟,结构特征捕捉论坛结构信息、局部组织成线和论坛类型,学生在论坛上表达的态度可以通过估算情感倾向被捕获(正面或负面),并确定主观性的发帖。由于MOOC论坛包含数千个帖子,使用一个自动化的工具OpinionFinder(Wilson et al.2005)以避免手工标注。该工具把论坛帖子分成句子,并给每个句子分配主观性和极性标记.基于它的预测,定义了两个谓词:主观(POST)和极性(POST)。使用OpinionFinder工具通过正常化主/客观和正/负极性标签的数量进行计算,通过保持这些值在[0; 1]区间使之正常化。

论坛是结构化的实体,由高层次的主题(论坛级)和特定主题(线程级)组织。包括这些结构关系上的模型来确定论坛的帖子之间的结构关系,并与学生们参与论坛讨论连接起来。代表论坛结构谓词sameThread(POST 1,POST2)和sameForum(THREAD1,THREAD2),分别适用于在同一个线程和线程在同一论坛上。这些谓词适用于学生论坛交流时的传播。

(3)时间特性

学生活动程度是随着课程变化而转变的。学生们经常活跃在初期,随着课程的进展失去兴趣。为捕捉学生活动随着时间变化的信号,引入一组时间特性。将课程划分为三个时期:前期、中期和结束期。通过将整个持续时间分成三个相等的块。时间特性有lastQuiz lastLecture lastView和lastVote,表明每个交互用户发生的最后时段。这些特性通过长度来测量用户参与课程的不同方面。

使用上面的特征来构造有意义的PSL规则,使用逻辑连接词,如表1所示。PSL模型将这些规则与学生生存,直接或间接使用潜变量联系。

三、实证评估

模型基于中国人民大学的三门MOOC课程:C语言程序设计、大学英语以及高等数学。将这些课程分别记作C-TECH、E-Question和 M-E。数据由每门课的七周为一周期的匿名学生档案、成绩和在线行为组成。图2揭示了不同课程相关活动参与者的数量。学生注册总数6%左右的学生选择C-TECH和P-Question,约15%的学生选择M-E并完成了期末考试。用这类方法来定义课程的存在。在所有这三门课程中,在线学生最突出的活动是观看讲座。因此排名基于观看讲座的学生人数,作为基线进行比较。其他常见的活动包括竞猜提交和查看论坛内容等。观察统计数据,相比M-E课程,C-TECH和P-Question课程参加论坛的比例更高。

评估在如下度量模型中进行:ROC曲线下面积为正和负标签。使用10倍交叉验证,留出10%的数据为训练模型权重测试。

实验的目的是通过了解影响学生生存过程中的因素测定学生生存、参与的类型和参与过程中的变化,并预测课程不同时间段的有效性。在第一组实验中,用整个过程中所有学生的活动来预测每个学生是否需要最终的测验。选择基线通过观看讲座人数对学生进行排名。基线和两个模型列于表2中,仅使用演讲提交功能可以预测辍学相当良好的基线,但其相对较低的精确度和召回为被动生存(AUC-PR pos),单独采用这种方式是不理想的。因为该班级失衡和较高的辍学率,它可以识别哪些学生将更有价值地高比例完成课程。模型结合行为、语言、时间和结构特征来预测学生的生存。

预测学生的生存能给教师提供一个强大的工具,如果能够在学生脱离和辍学前可靠地预测,就可以模拟这个场景通过训练的模型在课程早期收集数据。学生生存的标签具有相同的完整数据集(即在课程结束时,学生是否提交了最终的测验),但模型只从课程的早期访问数据。把过程分为三部分,根据过程的持续时间、时间特征建模MOOC学生活动。表2列出了两个模型的性能指标,表3显示的是同样的结果,在AUC-PR的分数变化是可以忽略的,因为班级是不平衡的,所以在所有模型中接近最優。为了彰显模型的实力,只报告模型的AUC-PR(Pos)分数。把每个课程分为开始、中间和终点三个阶段。开始——中间指通过开始和中间阶段收集的数据。开始——结束指的是在整个课程过程中收集的数据。

早期预测的分数,在表3“开始”、“中间”和“开始—中间”中(即用部分数据预测生存),表明模型确实可以使这些预测可靠。作为更接近课程结束的现有数据,模型能做出更好的预测。正如在以前的实验设置中,潜参与模型达到最高预测质量。潜在模型在M-E课程的所有时间段中开始阶段优于直接模型。

从结果来看,似乎中间阶段是监控学生活动用于预测学生是否在课程中生存的最重要阶段。从中间相位数据对比,使用的数据从起始阶段设置,并且几乎相等的数值,启动中间模型能产生更高的AUC-PR值。可以推测,这是由于开始较多的学生参与,未能坚持到结束。这种现象不管是传统课堂还是在线课堂都是很典型的,学生对课程熟悉,然后再决定是继续或辍学。消除这一类群收集的数据有助于提高学生的生存预测。

四、特征分析

通过让每个功能显现出来并观察预测性能值所产生的变化来评估每个功能的特征。考虑的特征是:在论坛发帖子(发布),查看论坛内容(视图),在最后测验的时间段用户提交的测试(测验)以及查看演讲。以上提到的四个特性,从所有PSL规则忽略相关功能构建一个PSL模型。图3给出这些测试阶段(启动、中期和最终)的结果。讲座的特征对于学生的生存预测是很重要的。论坛作为连接世界各地在线课程的一个平台,也被证明有强烈的促进功能。一直以来,论坛帖子所分析的课程更多是在中期和结束阶段,所以论坛的帖子在中期和结束阶段相应地更重要。从图3可以看出论坛特性仅次于讲座。

五、结束语

维护和培养学生参与学习是至关重要的。了解学生参与在线课程的影响因素将有助于设计更好的课程和提高学生的保留率。大规模开放在线课程(MOOC)的参与者和MOOC交互过程中收集的数据为研究学生大规模参与学习提供了开放的途径。

参考文献:

[1]陈肖庚,王顶明.MOOC的发展历程与主要特征分析[J].现代教育技术,2013(11):23.

[2]蒋卓轩,张岩,李晓明.基于MOOC数据的学习行为分析与预测[J].计算机研究与发展,2015(3):614-618.

[3]伍苗苗,黄蕙欢,马北河,等.基于学生学习评价的国内翻转课堂研究述评[J].中国教育信息化,2017(18):1-4.

[4]刘正涛,黄慧,曹阳.基于MOOCs教学模式的研究与实践[J].中国教育信息化,2017(18):47-52.

[5]AndersonA,Huttenlocher D,Kleinberg J,et al.Engaging With massive online courses [C].http://Procof the 23 rdInt Conf on World Wide Web.NewYork:ACM,2014:687-689.

[6]Dernoncourt F,Do C,Halawa S,et al.MoocViz:A large scale,open access,collaborative,data analytics platform for MOOCs[C/OL]//MOOCs [C/OL].http://Neural Information Processing SystemsWorkshopon Data Driven Education,2013 [2014-06-01].http://groups .csail.mit.edu/EVO-DesignOpt/groupWebSite/uploads/Site/MoocViz.pdf.

[7]陈然,杨成.SPOC混合学习模式设计研究[J].中国远程教育,2015(5):42-47.

(编辑:王晓明)

猜你喜欢

学生评价模型
重要模型『一线三等角』
重尾非线性自回归模型自加权M-估计的渐近分布
小学英语课堂中对学生评价的改革
3D打印中的模型分割与打包
FLUKA几何模型到CAD几何模型转换方法初步研究