基于人工智能LSTM 循环神经网络的学习成绩预测

2022-05-11未晛

中国教育信息化 2022年4期

未晛

（北京劳动保障职业学院，北京 100029）

一、引言

近年来，人工神经网络已被广泛应用于教育、医疗卫生、经济等诸多领域，并在疫情期间的社会生活中发挥了巨大作用[1][2]。在教育领域，教学成绩是一项评价学校教学质量的重要指标，对于学生学业、教师教学能力及学校教学管理意义重大。利用人工神经网络对学习成绩进行预测，给学生课业学习提供风险提示，并对学生专业发展提供合理化建议；教师据此制定或调整更符合学生成长规律的教学策略，同时促进自身教学水平的提高，进而提升学校教学质量；学校教务部门可预判各学科教学质量，优化教学管理进而预防教学事故的发生。学习成绩预测已成为人工神经网络在教育领域应用研究的热点与难点[3-6]。

目前，在学生成绩预测实践中常采用BP（Back Propagation）神经网络，这类算法具有很好的非线性映射能力、泛化能力、容错能力，并在应用中取得了一定效果。但人们在使用过程中发现，该类算法存在收敛速度慢、容易陷入局部极小值等缺陷[6]。同时，BP 神经网络只能单独处理单独的输入，前一个输入和后一个输入是完全无关的。然而，学生的学习成绩具有一定相关性，即前期课程基础对后期课程成绩有一定影响，此时BP 神经网络就产生了不适应性[7-9]。这时，就常用循环神经网络（Recurrent Neural Network,RNN）模型。长短期记忆网络（Long Short Term Memory networks,LSTM）是循环神经网络的典型代表，该模型除具有常规循环神经网络特征外，还能较好地解决原始循环神经网络的长距离依赖问题，已成为当前最流行的循环神经网络，这也贴近学生成绩的数据变化规律。基于此，本文利用长短期记忆网络，以北京劳动保障职业学院学生成绩为例，进行成绩预测，并在此基础上给出针对学生、教师及学校三类群体的合理化建议，以达到提高教学质量的目的。

二、LSTM 概述

（一）LSTM 原理

LSTM 是一种特殊的循环神经网络，由霍克赖特（Hochreiter）和施米德胡贝（Schmidhuber）提出，用于处理长时间序列数据。LSTM 采用特殊隐式单元，在继承了大部分RNN 模型特性的同时，能够解决长期依赖问题，避免梯度消失，模型准确度高、训练速度快、并行处理能力强[10-12]。目前基本的LSTM 网络结构如图1 所示。

图1 LSTM 结构图

LSTM 模型由遗忘门限、输入门限、输出门限和神经单元状态组成。遗忘门限决定哪些信息需要被丢弃，表达式为：

其中，ft为遗忘门限的激活向量；σ为sigmoid 函数；W为权重矩阵；ht为LSTM 神经元的输出向量；xt为LSTM 神经元；bf为偏置项；下标t表示不同时刻。

输入门限决定哪些新信息被存放到单元状态中，表达式为：

其中，it为输入门限的激活向量；为当前输入的单元状态。

LSTM 模型的关键是单元状态，即贯穿图1的水平线，单元状态类似于传送带，贯穿整个链条，只有小的线性相互作用，使其容易以不变的方式向下流动，表达式为：

其中，Ct为神经元细胞状态向量。

输出门限是来控制单元状态有多少输出到LSTM 模型的当前值，表达式为：

其中，ot为输出门限的激活向量。式（1）到式（6）就是LSTM 模型前向计算的全部公式。

（二）LSTM 模型训练算法框架

LSTM 循环神经网络的训练算法采用反向传播算法，包括以下几个步骤：首先，按照公式（1）到公式（6）前向计算每个神经元的输出值，即ft、it、Ct、ot、ht五个向量的值。其次，反向计算每个神经元的误差项δ 值。像循环神经网络一样，误差项向两个方向进行反向传播：一个是沿时间的反向传播；一个是将误差项向上一层传播。再次，根据误差项，使用一定的优化算法，通过计算每个权重的梯度来调整模型参数，使预测结果靠近优化目标。最后，通过上述迭代过程训练模型，直至训练得到符合要求的优化目标，从而建立满足误差要求的LSTM 循环神经网络预测模型。

三、成绩预测的实现

（一）实验数据

本文进行成绩预测的数据均来自北京劳动保障职业学院学生的真实成绩数据，数据格式为：姓名、性别、学号、学年、学期、课程名称、成绩等，具体如表1 所示。

表1 学生成绩数据

由于存在部分考生请病假、事假，导致缺考等异常情况，需要对数据进行预处理，包括去除空项、非正常数据等。同时，选择相关度较好的基础物理、基础数学等课程，结合入学成绩及各学年度的行圆成绩（主要表征学生在考勤、自习课、宿舍卫生、校园纪律等方面的表现）进行成绩预测，每位学生由4 项特征属性进行描述，并做出如下假设：

假设1：学生成绩可以通过入学成绩、各阶段历史成绩和学生行圆成绩来反映。

假设2：影响学生成绩的因素比较稳定，不会大起大落。

按照假设对数据进一步处理（去除非必要项）得到表2 所示的结果。表2 第一项为序号，第二项到第四项为基础数学成绩、基础物理成绩、行圆成绩和入学成绩。

表2 学生成绩预处理结果

（二）LSTM 模型预测框架

由于预测成绩数据集由4 维特征向量构成，所以，输入层的节点数量为4，输出层为LSTM模型的输出结果，即目标课程成绩基础数学和基础物理，所以输出节点数为2。根据构建神经网络超参数的经验，本文采用经典的三层网络模型，LSTM 循环层的节点数为20 个，如图2 所示。优化采用Adam 算法，使用Dropout 正则化方法来防止过拟合现象的发生。预测回归类模型精度的评价方法很多，本文采用平均绝对值误差来衡量模型预测结果的好坏。

图2 LSTM 循环神经网络的预测框架

四、应用效果分析及建议

首先，为保持数据集的独立性且不被窥探，在将数据输入到神经网络训练之前，先将数据分成训练集和测试集。数据集中共计7680 个4 维数据，6144 个数据集被用作训练数据，其余数据用于测试，然后将训练集和测试集分成输入和输出变量。最后，将输入（X）重构为LSTM 预期的3D 格式。

其次，对训练数据和测试数据进行归一化处理。数据归一化是很重要的环节，常用方法如下：

其中xi为样本数据、xmin为最小值、xmax为最大值为归一化后的数值。

最后，在神经网络的训练过程中，通常利用损失函数来衡量网络模型对训练数据的拟合能力。神经网络算法通过多次的训练迭代来调整模型参数（即网络的权重值），最终通过损失函数的下降趋势来判断算法是否已经取得理想的深度神经网络模型。图3 为训练数据集的损失函数，模型收敛较快。

图3 训练和测试损失函数

为方便查看预测成绩结果，采用两种方式进行显示：一种是列表方式，另外一种是图表方式。在匹配学生的姓名、学号、系统预测成绩后可分别显示出来，形式如表3 所示。另外，预测数据也可以呈图表显示，如图4 所示。

表3 列表显示学生成绩预测

图4 学生成绩预测结果

从表3 和图4 可以看出，基础物理和基础数学的预测成绩和实际考试成绩误差较小，预测精度较为准确。但个别学生（如学生5）的预测成绩和实际成绩误差较大，后经教务处证实，入学前约30 名学生并未选择基础物理学科，而其他学科则处于持续学习中，数据的相关性受到影响，学生5 为其中之一。同时，对课程的喜爱程度、回答问题次数等因素也影响学生的课程成绩，这或许是导致预测成绩精度稍差的原因之一。总体而言，模型预测成绩和实际考试成绩的趋势一致，精度较为精确。

综上，基于学生基础物理、基础数学、入学成绩，以及各学年度行圆成绩等数据，在假设条件下，利用LSTM 循环神经网络模型进行成绩预测具有较好的实验效果，表明该方法具有效性和实用性。

学习成绩预测是为教育教学服务的，探讨预测成绩数据，在不同维度上对提高教学效果具有重要意义。为充分利用预测数据，达到提高教学质量的目的，成绩预测有三项功能建议。

首先，对于学生而言，基于成绩预测结果可以筛查出处于及格线以下及边缘的课程，达到对学生课程学习进行提醒与警示的目的，以便学生对薄弱科目进行重点复习或突破，减少课程不及格的风险。学生可以通过专用接口查询学业预警情况。例如，蔡同学从表4 中可以看到存在挂科风险的课程名称为“基础数学”，今后会更加注重该学科的学习。通过学生学业预警，能够给学生更直观的警醒或提示，使其能够更加重视某学科的学习，及时解决学习中存在的问题，预防不能如期毕业情况的发生。同时，学生可以明确自己的优势学科，在进行专业选择、毕业设计时，倚靠优势学科，发挥特长，在毕业择业时亦能做到“人尽其才”。

表4 学生学业预警

其次，对于教师而言，通过筛查授课科目的不及格率，定性或半定量了解学生的学习状态，对处于及格线及其边缘的同学重点关注，并主动提供学业帮助。表5 为根据预测数据筛查出的基础数学某任课教师所教授学生中，存在挂科风险的学生姓名及其预测分数。针对表5 中的学生，教师可以从学生的学习兴趣、自我效能感、学习策略等方面切入，分层分类开展教学管理。对于这部分学生，教师可适当地降低教学目标，增加成功激励，提高其自我效能感，并加强薄弱环节的调节、鼓励寻求帮助和进行自我监控能力的培养。

表5 某学科挂科风险学生列表

最为重要的是，教师不仅要关注学生成绩数据本身，更应思考数据背后是一个个有待教育、引导的鲜活个体。在关注学生学习成绩的同时，更要关心学生身心健康的发展。同时，借助新的信息技术手段及时调整授课方式方法、改进教学手段，促使教师不断反思教学过程。特别是近年来，利用人工智能技术高效开展线上课程（钉钉直播课、学习通、雨课堂等），扩展了教学方式，离散了教学过程的“时间—空间”（可回放、重复、非教室），进一步丰富了教师的授课方式和教学手段，助力教师对学生（存在挂科风险）的课业辅导与教学。

最后，对于学校教务部门而言，可以系统地对教师的教学质量做出预评估。如果某科目成绩低的学生过多，则证明该课程存在发生教学事故的风险。这时需要提示相关教学部门及时介入干预，同时提醒相关教师更加注重教学效果，甚至可以采取更为严格的管理措施来防范教学事故的发生。对学校教务部门而言，通过对教学质量的预警评估，能够达到改善学生管理和预防教学事故的目的。

本研究可以在以下方面进一步扩展：①优化基础数据。学习成绩是学习效果的直接体现，受到诸如学生情感、行为、原有基础知识结构等诸多因素的影响，越能准确刻画这些信息，并且恰当地融入到预测模型中，越能提高模型的预测精度。例如，开展学生情感特征及目标学科成绩关联性分析，并科学量化融入模型，无疑对提高模型预测精度大有裨益。所以，这些因素的科学量化及准确表达是一个重要的研究方向。②探索教学过程时效性评价新途径。在本文中，预测结果是依据历史成绩、入学成绩，以及考勤、宿舍卫生、校园纪律等行为特征进行的阶段性成绩预测。实际上，随着师生在教学过程中的互动，在学生更加注重自身学业、教师持续优化教学设计并改善教学活动等因素的共同影响下，教学效果必然实时发生变化，导致模型预测结果亦发生变化。预测结果的变化量可作为教师教学效果过程性评价的一个重要参考。