基于相关向量机的SPOC成绩预测模型构建

马洁明，李池利，王　俭，班建民，奚雪峰，付保川

（1.苏州科技学院电子与信息工程学院，江苏苏州215009；2.湖北工业大学外国语学院，湖北武汉430068）



基于相关向量机的SPOC成绩预测模型构建

马洁明1，李池利2，王俭1，班建民1，奚雪峰1，付保川1

（1.苏州科技学院电子与信息工程学院，江苏苏州215009；2.湖北工业大学外国语学院，湖北武汉430068）

摘要：SPOC是互联网与传统校园教学的有机结合。作为信息化教学平台的一部分，成绩预测模型可为学生相关课程成绩进行合理预测。针对SPOC学生成绩样本数量小的特点，提出一种基于相关向量机的概率式成绩预测方法。结果表明，模型较神经网络等传统数据挖掘方法有更精确的预测性能，有助于师生及时了解掌握知识的程度，提高教学质量，为推广SPOC提供技术支持。

关键词：相关向量机；成绩预测；SPOC

在教育全球化和信息化的背景下，MOOC（Massive Open Online Course）概念被广泛应用到教学实践中。MOOC是基于课程与教学论及网络和智能技术发展起来的新兴在线课程形式[1]。然而，在当前的信息技术条件下，以脱离实体学校的大规模在线学习还难以完全替代传统课堂[2]。加州大学伯克利分校的MOOC负责人Armando Fox提出通过网络教学资源来改变传统高等教育现状的一种解决方案—SPOC（Small Private 0nline Course）。SPOC针对小规模、特定人群，采用讲座视频及在线评价等功能作为校园课堂的教学辅助手段，是MOOC与传统校园教学的有机融合。SPOC不但可有效地弥补MOOC课程缺乏学习气氛、平均完成率低等缺陷，而且在教学改进中引入数据分析模块。成绩预测是SPOC教学中评价教学质量和学习效果不可或缺的分析模型，其利用数据挖掘的方法，从学生的现有成绩和其他相关信息对学生知识掌握程度进行综合预测，及时预警学习状况不良的学生，为教学管理部门提供决策支持信息，促进教学质量的提高。

近年来，数据挖掘方法，如BP（Back Propagation）神经网络[3]、遗传算法[4]、决策树[5]等被应用于成绩预测。BP神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用较广的神经网络模型。决策树通过归纳和提炼现有数据所包含的规律，建立预测模型，实现对新数据的预测。这两种模型往往需要大量数据样本才能达到较好的预测结果，适用于数据较多的学生成绩统计系统。遗传算法是模拟达尔文生物进化论自然选择和遗传学机理的优化计算模型，但迭代过程中容易陷入局部极小点。文章提出基于相关向量机（Relevance Vector Machine，RVM）[6]的成绩预测模型，以解决在SPOC课程样本数量小，常规数据方法难以精确预测的问题。

1　基于相关向量机的学生成绩预测

RVM是由美国Tipping博士2000年提出的基于稀疏贝叶斯学习理论的算法模型。RVM根据有限的样本信息，通过事先选择的核函数（非线性映射），将低维输入变量映射到一个高维的特征空间,在贝叶斯框架下估计回归函数映射到高维空间的输出,在模型的学习能力和复杂度之间寻求最佳折中，因此在回归和预测领域得到广泛应用[7,8]。设｛xi｝Ni=1为给定RVM训练样本集，为目标值，RVM的输出模型如图1，可数学表达为

式中，K（x,xi）为核函数，wi为权值，N为样本数，w是由wi组成的向量。可以合理地假定目标值是彼此独立的，可用概率来表示带噪声的模型

图1　 RVM模型结构

其中，εi为服从Gauss分布N（0,σ2）的噪声，在已知｛xi｝Ni=1和σ2条件下，tt的分布如下

Φ是由xi｛代入核函数所得的N×（N+1）矩阵，即

通过最大似然法可求出最优w，但可能导致过度拟合。为避免这种情况，采用稀疏贝叶斯方法对权值赋予先验条件：w分布于0周围的高斯分布，可表示为

α用于描述每个wi的反向变异。上式表明，每个权值与超参数αi相关，控制着先验条件的影响程度。未知参数w、α和σ2的先验概率可表示为P（w,α,σ2|t），根据贝叶斯公式，可写为其中

后验协方差∑=（σ-2ΦTΦ+A）-1，m=σ-2∑ΦTt，A=diag（α0,α1,α2,…,αN）。

后验概率P（α,σ2|t）不能通过分解求得，因此引入狄拉克函数做近似计算αMP和σ2MP为P（α,σ2|t）的最优解，由于P（α）P（t|α,σ2|）P（α）P（），在一致超先验条件下，可忽略P（α）和P（σ2）,对P（α,σ2|t）的极大极小估计转化为最大化P（t|α）

其中，P（t|w,σ2）和P（w|α）服从如下分布

胃病是临床上常见病。胃病与人的生活饮食无规律、心理压力过大等有较大关系。在胃病患者护理实践中，心理护理主要从患者心态的调适上，增加治疗效果。

M为x的维度，将式（10）与（11）代入（9），简化整理后得

其中，∑ii为后验权协方差矩阵的第i个对角元素。由于不能直接求得m，可以反复迭代估计αi和σ2的值以实现相关向量学习。

1.2算法实现

文章以RVM进行学生成绩的仿真估计与预测。算法的学生成绩输入为xi｛，xi可为包括D维成绩的向量，综合成绩的预测值为输出。由于成绩的评价方式多样，在执行算法前往往对数据进行归一化处理。RVM通过在w上定义受超参数控制的高斯先验概率，利用自相关判定理论来移除不相关的点，得到稀疏化模型，与支持向量机（Support Vector Machine，SVM）相比，不但适合小样本预测，而且减少了核函数计算量，具体见以下算法：

Algorithm 1基于相关向量机的成绩预测

Input:学生现有成绩x=[x0，x1，x2，…xN]T

Output:学生综合成绩预测值t=[t0，t1，t2，…tN]T1：数据归一化处理

2：选择和σ2起始值

3：while αi＞αmindo

4:计算m=σ2∑ΦTt和∑=（A+σ2ΦTΦ）-1

5：根据公式（13）和（15）更新α、σ2

6：end while

7：预测成绩t=mTΦ（x'）

2　实验验证

SPOC课程往往通过离线调查、在线测试等方式采集学生成绩。为评价RVM的预测效果，选用24个学生在某课程中取得的教师评价数据，包括课堂的考勤、作业成绩、期末考试成绩。同时通过自评互评的方式，了解学生对课堂考勤、作业成绩、课程难度及对课程的兴趣，见表1。

表1　原始输入数据

设教师对课堂考勤、作业成绩以及学生自评及互评成绩为预测模型的输入。表1中，学生自评及互评成绩通过数据标准化处理，课堂考勤及作业成绩分为0，0.5，1三个等级，分别表示优、中、差。同理，课程难度与学生对课程感兴趣程度也分为0，0.5，1三个层次，分别表示程度的高、中、低。设期末考试为需要预测的结果，采用RVM、SVM（惩罚参数c=362.049和核函数参数g=0.016）、BP神经网络（双隐含层，每层节点数为5）和随机森林对表1中的数据进行预测。图2比较了四个模型的预测能力，模型的预测结果越精确，则其与实际成绩的比值与斜线y=x越接近。不难发现，SVM、BP神经网络和随机森林在[20，40]和[80，100]两个区间内有较大的误差，RVM预测成绩与实际成绩的比值较接近于1。为量化各模型的预测能力，可采用拟合优度（决定系数）对预测结果进行评价。经过仿真计算，RVM、SVM、BP神经网络的拟合优度分别为0.984 9，0.933 5，0.890 8，0.942 2，证实了RVM在小样本数量情况下表现出最好的预测能力。

图2　不同模型预测结果比较

3　结语

文章面向SPOC课程提出了一种基于RVM的学生成绩预测模型。根据实例，提出的模型拟合优度较SVM和随机森林提高了约5%，较BP神经网络提高了近10%，说明了RVM模型在小样本数量概率式预测中有更好的精度和有效性。该模型方便教师实时掌握学生学习状况，同时也可为相关学生提供预警作用，为SPOC课程的推广提供了依据和数据基础，有较好的应用价值。

参考文献：

[1]康叶钦.在线教育的“后MOOC时代”——SPOC解析[J].清华大学教育研究，2014，35（1）：85-93.

[2]郑奇,杨竹筠.SPOC：结合高校教学的融合创新[J].物理与工程，2014，24（1）：15-18.

[3]邹丽娜，丁茜.基于BP算法的成绩预测模型[J].沈阳师范大学学报，2011，29（2）：226-229.

[4]罗永国.基于改进的遗传算法的学生成绩预测模型[J].科技通报，2012，28（10）：223-225.

[5]商俊燕，陆兵，柏倩然.决策树C4.5算法在学生成绩分析中的应用[J].微型电脑应用，2015，31（4）：43-52.

[6] DEH W．Time series prediction for machining errors using support vector regression [C]//Pro of the 1st International Conference of Intelligent Networks and Intelligent Systems，2008：27-30．

[7] YUAN J，YU T，WANG K S，et al．Adaptive spherical gaussian kernel for fast relevance vector machine regression [C]//Proc of the 7th World Congress on Intelligent Contrnl and Automation，2008：2071-2078.

[8] SHEN Y，LIU G H，LIU H．Classification method of power quality disturbances based on RVM [C]//Proc of the 8th World Congress on Intelligent Control and Automation，2010：6130-6135.

[9]黄芳.基于数据挖掘的决策树技术在成绩分析中的应用研究[D].山东：山东大学，2009：1-47.

（责任编辑：卢文君）

Students’grade prediction model using relevance vector machine

MA Jieming1，LI Chili2，WANG Jian2，BAN Jianming2，XI Xuefeng1，FU Baochuan1
（1.School of Electronic and Information Engineering，SUST，Suzhou 215009，China; 2.School of Foreign Languages，Hubei University of Technology，Wuhan 430068，China）

Abstract：Small Private Online Course（SPOC）combines E-learning and traditional campus teaching.As a module of digital teaching platforms, the grade prediction model is capable of predicting a reasonable grade for students in a course.Since SPOC is featured with its small sample size, a probabilistic grade prediction model is proposed based on Relevance Vector Machine（RVM）.Compared with the data mining methods like neural networks, simulation results show that the RVM exhibits more accurate prediction performance, helping teachers and students to keep abreast of the degree of mastery of knowledge, improve teaching quality, and provid technical supports for the promotion of SPOC.

Key words：relevance vector machine; grade prediction; SPOC

中图分类号：TM311

文献标识码：A

文章编号：1672-0679（2016）01-0077-04

[收稿日期]2015-09-14

[基金项目]江苏省教改重点项目（2013JSJG063）；江苏省高校自然科学基金项目（15KJB480002）

[作者简介]马洁明（1984-），男，江苏苏州人，讲师，博士，从事人工智能及其应用方面的研究。