基于深度学习的高校学生成绩预测与评价方法研究

2023-01-07曹挚

信息记录材料 2022年11期

曹挚

（徐州幼儿师范高等专科学校江苏徐州 221004）

0 引言

随着人工智能的不断发展和应用，尤其是机器学习、深度学习技术的不断进步，促使教育数据的分析和评价有了革命性的变化。教育数据挖掘（educational data mining，EDM）应运而生。教育数据挖掘技术是运用教育学、计算机科学、心理学和统计学等多个学科的理论和技术来解决教育研究与教学实践中的问题[1]。高校学生成绩预测与评价正是教育数据挖掘中的重要内容。

机器学习技术使得高校逐步实现由数字校园向智慧校园的转变。在智慧校园的建设过程中，沉淀了各种各样的教育数据，学生成绩数据是其中的重要组成部分。传统的学生成绩管理是由教务管理系统进行，只是简单的记录保存成绩数据、缺乏对学生成绩信息的有效挖掘和分析，更谈不上决策与应用。基于机器学习的高校学生成绩预测与评价的方法旨在通过教育领域内不断积累的海量数据资源，通过机器学习、数据挖掘和统计分析等相关技术和方法来分析挖掘其中的内在规律，以期解决教学过程中的各种潜在问题，继而提升教学质量和学生学业水平。鉴于目前高校每年都有一定数量的学生出现考试不及格、留级甚至退学现象，因此构建高效的学生成绩预测方法具有重要的应用价值和实践意义。不同角色人员使用该预测方法的目的如表1所示。

表1 角色与预测目的表

1 数据源、预测粒度及预测方法概述

1.1 数据源与预测粒度

数据源一般又称为数据集，是预测源头的数据集，也是预测算法的“原始材料”。预测源数据集的性质决定了采用哪种智能算法进行预测。预测源头的数据在机器学习和深度学习中，有一个公认的准则，就是数据量的大小和质量很大程度上决定着预测结果。即使算法再好，如果数据量少并且分布不均，也不会产生好的预测结果。反之如果数据量质量好，数目多，即使算法一般，也会产生好的预测结果。本文的数据主要来源有三个方面：一是线上课程平台日志文件，近年来，微课和慕课等线上教学平台蓬勃发展，涌现出了一批以MOOC（Massive Open Online Courses）为代表的在线学习平台。这些在线平台记录了大量的学生在线学习日志，例如学生在线考试成绩、在线学习时长、学习次数、完成测验次数等。利用这些信息通过相关智能预测算法可以预测学生未来的学业发展情况和成绩；二是线下环境中积累的数据，线下面对面教学仍然是高等教育的主流模式，多年来积累了海量的数据，这些数据与学生信息密切相关，比如学生系统中学生的基本信息（如性别、年龄等）；教务系统中学生的课程成绩、选课情况；一卡通系统中的学生消费习惯、就餐行为；图书管理系统的学生借书行为以及去图书馆自习的情况等；三是问卷调查，这也是一种传统的搜集数据源的方式。预测粒度也可以分成三种[2]，分别是：试题（问题）级别的预测、单科课程级别预测和学生综合成绩的预测。

1.2 建模方法

建模，就是建立模型，是为了理解事物而对事物做出的一种抽象。对于学生成绩预测问题来说，通过分析影响学生成绩的因素并以此为据搜集整理建模所需的数据，是获得一个性能好的预测模型的基本要求。首先要搜集学生成绩相关的数据，数据来源主要是上面叙述的三个方面：一是课堂上的问卷调查，可以通过微信小程序让学生提交；二是通过校教务系统导出教务系统的相关数据；三是摘取来自MOOC 平台、云班课等网上慕课的成绩信息，将这些异构的成绩数据进行初步建模、归类，化成同一种数据格式。然后运用机器学习算法对数据进行训练，在这里，要运用多种机器学习算法（监督学习算法、非监督学习算法、深度学习算法、感知机、支持向量机算法等）和深度学习算法（神经网络算法、卷积网络CNN、循环网络RNN、LSTM 模型、Transformer 模型等）进行比较测试，从不同的维度进行比较，选择最优的算法进行训练，并将训练完的模型用于学生成绩的预测活动中。具体流程如下：

图1 预测模型流程图

2 基于机器学习的预测方法

2.1 机器学习

机器学习的起源可以追溯到1959年Arthur Samuel[3]。机器学习方法主要分成三类：监督学习（supervised learning，SL）、非监督学习（unsupervised learning，UL）和强化学习（reinforcement learning，RL）。在监督学习中，训练的数据包括示例和目标值，其目的是为每个输入实例分配类别或真实的值，分配的值为类别的情况称为分类，分配的值为连续的真实值的情况称为回归。而在非监督学习中，训练示例并没有被标记为相应的目标值，因此通常用于将相似的数据进行聚类。而强化学习关注的是在给定情况下找到合适的行动以通过与周围环境交互来获得最大化的奖励。深度学习是机器学习的一个分支，在过去十年中迅速扩展，深度学习将在下一节进一步介绍。

在监督学习中，根据输出的模型不同，可以分成三类：分类预测模型、回归预测模型和序列预测模型。分类预测模型是一个从输入变量（x）到离散输出变量（y）的映射函数。这里输出变量通常称为标签或类别。目前一些常见的SL 分类器有：决策树（DT）、支持向量机（SVM）、朴素贝叶斯（NB）、逻辑回归（LoR）、K 近邻（KNN）、神经网络（NN）、随机森林（RF）。回归预测模型是一个从输入变量（x）到连续输出变量（y）的映射函数。输出的连续变量是实数，例如整数或者浮点值。一些常见的回归模型有：线性回归（LiR）、支持向量回归（SVR）、逐步回归（SWR）、分类和回归树（CART）、岭回归和人工神经网络（ANN）等。序列预测模型中的序列建模是预测接下来会出现什么单词/字母的任务。当前输出取决于先前的输入，输入的长度不固定。分类和回归算法之间存在一些重叠。一些算法可用于分类和回归，只需稍做修改，例如，可以通过设置适当的阈值将线性回归转换为二元分类：给定阈值（k），如果输出（y）大于k，则文档（d）将被标记为1；否则，d将被标记为0。随着机器学习的不断发展，又出现了一些高级的机器学习技术，如集成学习（ensemble learning）、半监督学习（semi-supervised learning）、主动学习（active learning）和迁移学习（transfer learning）。

2.2 机器学习的成绩预测

高校学生成绩的数据源基本上都是具有标签的数据集，因此可以考虑使用监督学习的方法进行预测。在预测模型上，分类和回归都可以使用，也可以结合使用。分类可以用作对学生成绩以及相关情况类别进行划分。而通过回归模型则可以看出不同学生相关成绩的连续变化情况。早期，研究者们提出了运用贝叶斯网络来构建预测模型[4]，取得了良好的效果。随着机器学习的发展，决策树算法[5]也被应用到了成绩预测模型中。运用决策树中的CART 算法进行模型构建，改进了预测的准确度。但是决策树在生成模型过程中过于庞大、复杂，制约了训练的速度。

预测分数本质上是个回归问题，回归是根据特征因素预测出数值，特征可以有多个，预测的数值也可以有多个。在设计实验的过程中，需要考虑两个问题，一是如何把类别转换成数值变量；二是如何选择回归模型。常见的回归有线性回归、逻辑回归、岭回归和套索回归等。可以采用独热码（one-hot code）对其类别进行编码。独热码的效果就是把特征数字化、扩大化。数字化顾名思义，就是把类别变成数字，扩大化则是把一个特征列变为多个特征列。从回归模型上看，选择了线性回归模型，在该模型中，给定数据集，其中x为特征，y为真实值。线性回归模型实际上就是求y和x的关系。它假设y和x之间存在线性关系，然后试图学得一个线性模型，然后根据模型尽可能准确地预测一个与真实值相接近的数值，表达式为：

f（x）=w1×x1+w2×x2+…+wn×xn+d

向量表达式为：f（x）=wTx+d，其中w=（w1，w2，……，wn）

经过四个模型的比较，发现岭回归模型效果较好。

3 基于深度学习的预测方法

3.1 深度学习

深度学习的起源是神经网络。神经网络由许多称为“神经元”或“单元”的简单元素组成。神经元通过连接上的权重连接在一起，以便它们可以协作处理信息并将信息存储在这些权重上。一组神经元，即所谓的“层”，在神经网络中的特定深度一起运行。网络的第一层称为输入层，其中包含原始训练数据，最后一层是输出层。每一层都可以被视为创建前一层输出的抽象表示。

深度学习中常用的有四种神经架构：前馈神经网络（FNN）、深度信念网络（DBN）、递归神经网络（RNN）和卷积神经网络（CNN）。前馈神经网络（FNN）是一系列非循环人工神经网络，在输入和输出层之间具有一个或多个隐藏层，旨在通过使用具有多个非线性变换的模型架构来表示数据中的高级抽象[6]。深度信念网络（DBN）是一种生成图形模型，它使用多级神经网络从训练数据中学习层次表示，可以高概率地重建输入数据的语义和内容[7]。卷积神经网络（CNN）特别适合图像识别和视频分析任务，因为CNN 的灵感来自对哺乳动物的视觉皮层的研究。与FNN不同，RNN 允许反向链接，因此可以记住事物。因此它非常适合处理文本和音频等顺序数据，因为它的反馈机制模拟了“记忆”，因此RNN 的输出由其当前和先前的输入决定[8]。虽然RNN 有记忆，但它的记忆可能不是那么好。具体来说，由于梯度消失的问题，它只记得最近的事情，而不是前一段时间看到的内容。为了使用标准RNN 模型解决这个问题，SE 中广泛采用了两种变体，它们具有捕获长期依赖关系的机制：长期短期记忆（LSTM）网络[9]和门控循环单元（GRU）。2017年以后，注意力机制（Attention）得到了大家的认可。Transformer 模型[10]为目前较为先进的深度学习模型。

3.2 深度学习的预测

在运用机器学习方法进行学生成绩的预测过程中，对样本进行特征工程是其重要的一个步骤环节。特征的选择依赖于相关教育专家的知识积累和预测。深度学习则避免了人工的经验缺陷，可以自动学习到样本的特征表示。在深度学习的模型中，成绩样本通过模型的层层传递和加工，消除了与预测目标联系不紧密的特征。这也是深度学习技术在预测过程中强于传统机器学习方法的关键之处。

由于高校学生成绩的原始数据都是文本型数据，因此在将数据放入模型前先要进行特征提取。可以运用卷积神经网络模型（CNN）[11]，首先对文本进行分词，转化为词向量。CNN 中的卷积层可以将词向量转化为特征矩阵。对于单个神经元，可以引入非线性因素，使得神经网络可以模拟非线性函数的效果，运用ReLU 反向激活函数[12]进行非线性映射。CNN 中的池化层可以去除特征中的噪声，保留了特征中的重要因素。由于CNN 没有记忆功能，可以考虑结合LSTM 模型进行特征提取。同时考虑使用带有注意力机制的Transformer 模型进行预测，实验证明，Transformer模型可以更加精确地进行预测，但是也存在需要大数据量训练以及训练时间较慢的缺点。