基于多维度特征的智能评价育人效果研究

杨智宇 赵均 刘静 杜力

摘 要：智能教育评价是教育改革重点研究方向。然而，运用人工智能相关技术对多维度特征的育人效果智能评价研究仍不深入。为解决上述问题，通过对调查问卷采集数据分析处理后得到20个智能评价模型特征，并通过感知机等5种算法分别建立智能评价模型，以寻找最优智能评价方法。实验结果表明，不考虑模型计算时间和泛化能力，基于感知机算法建立多维度特征智能评价模型更为准确；考虑模型计算时间和泛化能力，基于决策树C4.5算法建立多维度特征智能评价模型更为准确。

关键词：人工智能；智能评价；多维度

智能教育评价是教育改革重点研究任务，2020年中共中央国务院印发《深化新时代教育评价改革总体方案》中提出，要创新评价工具，利用人工智能、大数据等现代信息技术，探索开展学生各年级学习情况全过程纵向评价、德智体美劳全要素横向评价。［1］

大量学者针对智能教育评价展开相关研究，现有研究主要集中在教育评价智能化可行性等方面。人工智能理念为教育评价改革带来了契机与挑战，教育评价智能化可行性方面的研究主要在寻找突破方向与实现路径等方面。［2］课堂教学评价智能化方面的研究主要在课堂教学评价改革与技术实现框架、策略以及智能化评价关键技术［3］等方面。职业教育评价智能化方面的研究主要在教育评价智能化改革体系构建和促进职业教育高质量发展［4］等方面。

上述研究对深化教育评价改革的探索非常有意义。然而，运用人工智能相关技术对多维度特征的育人效果智能评价研究仍不深入。为解决上述问题，通过对调查问卷采集数据分析处理并建立评价模型。由于目前对于哪种算法更适合用于建立多维度特征智能评价模型未有确切指导，故通过感知机算法等5种算法建立智能评价模型实现多维度特征智能评价。

1 调研数据分析与处理

调查问卷主要涉及学生沟通协调能力、价值观和知识学习运用能力等多方面特征，设计并发放工科大学生工匠精神及创新意识调查问卷。发放449份调查问卷，有效收集449份调查问卷。根据现有数据量综合分析，采用二分法将“学生解决复杂工程问题能力是否具备”这一结果划分为“有”和“没有”两大类。“有”一类为正例，用数字1表示，共计389份；“没有”一类为负例，用数字0表示，共计60份。每份调查问卷涉及20个选项作为特征值，分别涉及沟通协调能力、价值观和知识学习运用能力等四个方面内容。特征值取值范围为1～5之间的整数值，依次表示“完全不符合”“不符合”“基本不符合”“基本符合”和“完全符合”，对特征进行总结性描述后具体数据如表1所示。

为了建立学生复杂工程问题解决能力智能评价模型及测试模型性能，将所采集数据划分为模型训练集和测试集。为确保正、负样本在模型训练集和测试集中的均衡，并根据现有数据量综合分析，分别从正、负样本集中各随机选择其中的87%用做模型训练，共计390个样本作为训练集，其中正样本数量为338份，负样本数量为52份；剩余13%用作模型测试，共计59份样本数量作为测试集，其中正样本数量为51份，负样本数量为8份。

根据上述数据分析及处理，得到“学习目的”“抗压能力”等20个维度的学生复杂工程问题解决能力智能评价模型所需训练特征。由于目前对于哪种算法更适合用于建立学生复杂工程问题解决能力智能評价模型并未有确切指导，故通过感知机算法、二项逻辑斯谛回归算法、支持向量机算法、AdaBoost算法和决策树C4.5算法建立5个学生复杂工程问题解决能力智能评价模型。

2 复杂工程问题解决能力智能评价模型

2.1 感知机智能评价模型

感知机［5］由两层神经元组成，输入层接收建立学生复杂工程问题解决能力智能评价模型的特征值作为输入信号后传递给输出层。感知机智能评价模型以输出学生复杂工程问题解决能力具备情况作为结果，用1表示“具备”，-1表示“不具备”。

2.2 二项逻辑斯谛回归智能评价模型

二项逻辑斯谛回归［6］模型中条件概率分布用于估计学生复杂工程问题解决能力是否具备的可能性，用P（Y|X）表示。二项逻辑斯谛回归智能评价模型中X为输入特征向量，为学生复杂工程问题解决能力相应的多维度特征；Y为模型输出结果，是学生复杂工程问题解决能力具备情况，用1表示“具备”，0表示“不具备”。

2.3 支持向量机智能评价模型

支持向量机模型［7］通过找出建立智能评价模型的20维度特征空间最优超平面实现二分类，从而实现学生复杂工程问题解决能力具备情况智能评价。支持向量机智能评价模型输入为学生复杂工程问题解决能力相应的多维度特征；输出结果用1表示“具备”，-1表示“不具备”。

2.4 AdaBoost智能评价模型

AdaBoost算法［8］模型先建立多个学生复杂工程问题解决能力具备情况弱分类器，再组合各个弱分类器形成最终智能评价分类器。Adaboost智能评价模型输入为学生复杂工程问题解决能力相应的多维度特征；输出结果用1表示“具备”，0表示“不具备”。

2.5 决策树C4.5智能评价模型

决策树C4.5算法［9］模型先从模型属性中选出信息增益高于平均水平的相关属性，然后再从这些属性中选择增益率最高的或直接选择增益率最高的用以建立智能评价模型。决策树C4.5智能评价模型输入为学生复杂工程问题解决能力相应的多维度特征；模型输出结果用1表示“具备”，-1表示“不具备”。

3 智能评价模型性能分析

3.1 智能评价模型评估指标

基于上文提及的五种机器学习分类模型，建立基于多维度特征的学生复杂工程问题解决能力智能评价模型。对智能评价模型进行评价时，在考虑查准率、查全率、准确率、F1度量的基础上结合模型计算时间和4折交叉验证平均得分对模型进行综合评估。为计算模型性能评估的查准率、查全率、准确率、F1度量，现引用混淆矩阵［10］及相关术语概念，假设一个二分类任务中分类变量值可以假定为正例（P）和负例（N）。实际正例（P）被正确标记为正例，命名为真正例（TP），而实际正例（P）被错误地标记为负例是假负例（FN）。实际负例（N）正确标记为负例为真负例（TN），实际负例（N）错误标记为正例为假正例（FP）。故查准率等计算公式如公式（1）、公式（2）、公式（3）和公式（4）所示：

查准率：PPrecision=TPTP+FP（1）

查全率：RRecall=TPTP+TN（2）

精度：Acc（Accuracy）=1-FP+FNTP+FP+TN+FN（3）

F1度量：F1=2·P·RP+R（4）

3.2 智能评价模型性能对比分析

通过结合多维度特征建立各智能评价模型并进行模型性能测试，各智能评价模型查准率、查全率、精度和F1度量指标的计算结果与模型训练时间、预测时间和4折交叉验证平均分一同在表2中展示：

根据表2显示所有智能评价模型查准率都至少在90%以上，其中感知机模型与决策树C4.5算法模型查準率性能最好，达到100%；查全率方面支持向量机模型查全率性能最好，达到100%；精度方面Adaboost算法模型精度性能最好，达到94.92%。F1度量作为模型性能综合评价指标，根据表2显示所有分类器模型F1度量均达到90%以上，其中感知机模型F1度量指标值最高，达到96.96%。

鉴于数据总样本量为449，为验证模型泛化能力，故对每个模型进行K折交叉验证。将K设置为4，以交叉验证获得的平均值作为评价指标评价每个模型的泛化能力。根据表2显示，所有智能评价模型交叉验证平均分均达到0.8以上，各个智能评价模型泛化能力较为理想。其中决策树C4.5算法模型交叉验证平均分最高，达到0.861561。

综合上述分析，在不考虑模型计算时间和泛化能力的情况下，选择感知机模型建立基于多维度特征的学生复杂工程问题解决能力智能评价模型更为合理；在考虑模型计算时间和泛化能力的情况下，选择决策树C4.5算法模型建立基于多维度特征的学生复杂工程问题解决能力智能评价模型更为合理。

结语

对育人效果中的学生复杂工程问题解决能力相关信息通过调查问卷收集数据，经数据分析与处理后得到20个多维度特征。结合感知机算法等5种机器学习算法分别建立多维度特征学生复杂工程问题解决能力智能评价模型。通过模型评测指标得出：当不考虑模型计算时间和泛化能力时，选择感知机算法建立基于多维度特征的智能评价育人效果模型更为合理，精度达到94.91%；当考虑模型计算时间和泛化能力时，选择决策树C4.5算法建立基于多维度的智能评价育人效果模型更为合理，精度达到93.22%。

参考文献：

［1］中共中央 国务院印发《深化新时代教育评价改革总体方案》［EB/OL］.（20201013）［20220531］.http：//www.moe.gov.cn/jyb_xxgk/moe_1777/moe_1778/202010/t20201013_494381.html.

［2］张琪，王丹.智能时代教育评价的意蕴、作用点与实现路径［J］.中国远程教育，2021（02）：916.

［3］胡钦太，伍文燕，冯广，等.人工智能时代高等教育教学评价的关键技术与实践［J］.开放教育研究，2021，27（05）：1523.

［4］孙翠香.新时代职业教育高质量发展的内涵、特征与推进策略［J］.教育与职业，2022（03）：512.

［5］何立群，占永平.感知器神经网络模型研究［J］.九江学院学报（自然科学版），2014，29（04）：3739.

［6］李航.统计学习方法［M］.北京：清华大学出版社，2012.

［7］张学工.关于统计学习理论与支持向量机［J］.自动化学报，2000，26（1）：11.

［8］曹莹，苗启广，刘家辰，等.AdaBoost算法研究进展与展望［J］.自动化学报，2013，39（06）：745758.

［9］苗煜飞，张霄宏.决策树C4.5算法的优化与应用［J］.计算机工程与应用，2015，51（13）：255258.

［10］周志华.机器学习［M］.北京：清华大学出版社，2016.

基金项目：重庆市社会科学规划项目——“新工科”专业课程思政教育理想愿景、现实困境与突破路径研究（2020PY08）；重庆市高等教育教学改革研究项目——智能车辆工程专业“产—学—赛—团—社”协同育人培养模式研究与实践（213198）；重庆市教育科学“十三五”规划项目——基于人工智能的新工科专业课程思政育人质量评估研究（2020DP25）；重庆工商大学校级教改项目——渗透科技报国情怀的新工科专业课程思政形态与时态架构研究和实践（205007）

作者简介：杨智宇（1985— ），男，汉族，吉林长春人，工学博士，重庆工商大学汽车工程系主任，讲师，硕士生导师，主要从事工程教育智能评价、智能汽车决策与控制研究。