基于大数据技术的高职学生多维评价体系的研究

赵 丽,柴造坡

(黑龙江生态工程职业学院 机电信息工程系,哈尔滨 150025)

继2019年《国家职业教育改革实施方案》推出后,2020年10月13日中共中央、国务院印发《深化新时代教育评价改革总体方案》明确指出:“坚持科学有效,改进结果评价,强化过程评价,探索增值评价,健全综合评价,充分利用信息技术,提高教育评价的科学性、专业性、客观性。”[1]

大数据技术在各行业领域中的应用越来越广泛,其在教学评价、学生评价中也将成为重要的工具。本文从《中国学生发展核心素养》出发,确定评价的一级指标、二级指标,同时采用多角度、多方法的评价方式,构造多维度评价模型,通过综合评价指标加权的方式,进行数据分析与数据挖掘,形成学生的数字画像,从而在学生的学业预警、就业升学等方面形成决策支持。

一、高职学生评价体系的现状及存在的问题

目前,大多数高职院校对学生评价的依据是职业学校学生综合素质测评方法,秉承以德智体美劳五育全面衡量的原则。学生综合测评成绩由基础分数、加分项目、减分项目组成,其中基础分数为学期各门课程的总和,加分项目为品行评定加分、大赛加分、社会实践加分等项目,减分项目为学生所受处分累计结果。每学期进行一次综合测评,测评结果作为学生评优及奖学金的依据。测评工作主要由学校学工部门负责,统计工作集中在开学初一次性完成。

1.评价维度及指标相对简单

基于综合素质测评方法的学生评价以课程成绩作为主要衡量标准,德育、体育、文娱加分按级别累计,最终的得分将成为学生排名的依据。测评方法中的指标侧重于权重和级别,在纵向上详细的划分,但在横向上的覆盖面有所不足,即存在维度缺失的情况,同时指标偏向层级划分,此种方式便于计算,但在全面评价方面略显单薄。

2.评价的作用具有局限性

综合素质测评方式虽然能够起到一定的衡量作用,但未考虑学生的差异性及增值评价,同时综合素质测评倾向于结果评价,具有滞后性。综合素质测评方式与本科学生的评价体系大致相仿,没有体现职教的特点,学生的职业素养、岗位能力并不能从测评中得到有效评估,不能对就业起到指导作用。

二、注重增值和层次的评价体系

随着国家对职业教育日益重视,越来越多的教育工作者开始深入研究如何评估学生在接受专业教育后的提升程度。其中,基于CIPP模式的评估体系注重培养学生的专业认知、团队合作、实践创新和职业技能[2],而基于AHP的综合素质评估体系则注重多层次的评估。这两种基于数学模型的评估都为课题研究提供参考。

1.基于CIPP模式的评价体系

CIPP模式由背景评价、输入评价、过程评价、成果评价四部分组成,基本观点是“评价目的不在于证明而在于发展改进”,注重评价对象的个体差异、进步幅度及评价主体的多元化,既着眼基础更看重发展,既重共性更重个性[2]。在此模式下,更多的是考虑学生的增值评价,通过大量的指标调查学生的满意度和能力增值水平,进而从专业信息处理维度、学术阅读理解维度、领导组织协调维度、人际交往维度、组织创新维度、专业技能维度、职业领域迁移维度进行数据采集和分析,最终得出学生的增值评价。

2.基于AHP的综合素质评价体系

AHP层次分析法可以帮助人们快速、准确地解决一些比较复杂、模糊的问题,尤其是在需要进行深入探究的情况下更加有效。层次分析法大致按四个步骤进行:第一步,建立递阶层次结构模型;第二步,构造出各个层次中的两两比较判断矩阵;第三步,层次排序及一致性检验;第四步,层次总排序及一致性检验[3]。面向高等学校的AHP综合素质评价体系一般会有总体评价目标,即核心能力评价,在总体评价目标下细化为一级指标和二级指标,在核心能力评价结果上每个指标产生的影响并不相同,所以需要确定指标的权重。

三、基于大数据技术的高职学生多维评价体系

基于大数据技术的高职学生多维评价体系的研究,参考CIPP模式评价体系中学生增值评价的维度,根据《中国学生发展核心素养》和基本要点,建立高职学生递阶层次结构评价体系,在核心能力评价的基础上细化评价指标,同时采用直接评价和间接评价法,进行多角度、多方法评价,使评价结构更加严谨和准确。在数据处理上,本课题使用基于区分矩阵的DMNI算法进行数据净化,并通过数据分析、挖掘、对比调整权重,使用基于神经元的BP算法训练模型,不断迭代从而优化模型,最终得出学生的数字画像。

1.构建评价模型,做好评价体系结构

高职院校的评价体系侧重于学生的学业成绩、社会实践、比赛等常规数据,数据相对单一,为了能够更加客观、科学地对学生进行评价,并对其实习就业能够作出预测及指导,本课题目标研究构造了更加细致全面的评价体系结构,增加评价主体,加强过程评价,做到多角度、全方位评价,从而使评价更为科学化,能够体现职业教育的特色,最终为学生岗位实习、就业及职业发展作出预测及导向,评价体系构建的具体思路及工作流程如图1所示。

2.依据《中国学生发展核心素养》确定评价体系指标

由北京师范大学牵头,多所高校共同参与的联合课题组历经三年研究后得出,《中国学生发展核心素养》以培养“全面发展的人”为核心,分为文化基础、自主发展、社会参与三个方面,并综合表现为人文底蕴、科学精神、学会学习、健康生活、责任担当、实践创新等六大素养,具体细化为国家认同等18个基本要点[4]。

根据国家对《中国学生发展核心素养》的描述及多方面调研的基础上,本课题确定了评价体系的一级指标和二级指标,同时确定相应指标的权值,具体可见表1。

3.直接评价与间接评价相结合,提升评价的客观性和准确度

相对单一的课程评价,本课题采用直接评价和间接评价的方式,将评价主体由教师延展至学生个体、企业导师、用人单位。同时,借助“1+X”证书、职业技能大赛、社会实践等客观事件,通过学生的参与度、完成情况,对学生进行评量,从而使评价体系更加客观和完善,具体的评价方式及方法见图2。

直接评价是通过专业课程、公共课程、职业认证、技能大赛等数据直接进行量化,数据客观、及时;间接评价是通过用人单位、校友的反馈形成评价结果,评价相对主观且具有一定的滞后性,但其在学生职业生涯发展中具有举足轻重的作用。直接评价和间接评价相结合,可以弥补各自的不足,从而提升评价的客观性和准确度,同时也使评价具有可持续性。

4.多渠道采集数据,加强过程评价,及时反馈评价结果

本课程研究的多维评价体系借助大数据采集技术拓宽数据采集的渠道。例如,专业课程任课教师可以通过课堂中学生实践任务完成的情况、学生对提问的回应情况、课堂中的小测及学生完成当堂课作业的情况给出评定,使课程的过程评价更加具备实时性,对于学习上懈怠的学生能够及时发现、及时预警,尽早发现学生在学业上存在的问题并予以纠正。

高职院校学生的岗位能力及职业素养相对抽象,在测评时难以量化,针对这样的情况,多维评价体系在过程评价中加入专业技能指标、数字能力指标,通过实训课程教师评价、企业导师评价等方式采集相应数据,结合“1+X”认证等评价组织对学生实践能力的考核,形成学生职业能力图谱,让学生直观了解自身在实践能力上的优势和劣势,在对标相应岗位能力要求的基础上有目的地进行提升,为岗位实习作好相应准备。

5.DMNI算法做好数据预处理

评价体系指标确定后,通过多渠道采集学生数据,其中学科考试成绩、日常行为、生理健康指标等客观数据结构简单却具备真实性,但心理评测、认知诊断等数据主管性较强,通常以问卷形式进行数据采集。如果学生态度不够认真,随机选择选项,会导致评价结果不准确。针对这种情况,本课题采用DMNI算法,即在数据量较大时,先对数据进行预处理。如,对于属性相容的记录存放于集合A,对于属性不相容的记录存放于集合B,接下来对B建立区分矩阵,当两条记录的评测结果为不相容数据,加入同类的第三条数据,与属性不相容的两条数据进行属性匹配,保留属性相容的两条数据,删除与之不匹配的记录,从而去除脏数据,让评测的结果更加接近于真实情况。

6.使用专业数据分析软件形成学生能力图谱及数字画像

围绕学生、教师、学校、企业等多元主体,针对学生的综合素质和个性化差异,多方位全方面采集数据。同时,在获取数据后,通过DMNI算法去除脏数据,将预处理后的数据投入专业数据分析软件,以权值作为标准调整相应阈值,即可得出学生能力图谱。能力图谱分对应一级指标,宏观反映学生的思想道德素质、科学文化素质、职业技能素质、身心健康及创新创业能力,教师可以通过能力图谱对学生作出更专业的就业导向;数字画像对应二级指标,从更为细致的角度反映出学生差异性和各自的特点,以便于学生更好地对自身进行评价,从而在发展方向上作出更好的选择。

7.生成数字画像后,采用BP算法优化模型

为了提升数字画像的准确度,本课题采用人工神经元中的BP算法训练评价模型,采集2019级、2020级学生的就业实习数据,投入评价模型,通过数字画像预测其就业趋势,将其与学生真实的就业状况和职业发展情况进行对比,并根据所得学生画像分析其专业能力、身心成长状况。如果评估体系实际输出结果与真实结果不相符,则将输出的误差通过隐含层逐层反传到输入层,同时将误差分摊到各层的各个单元中,从各层中得到误差信号,作为调整各层即评估指标权值的依据。通过反复训练,最终使评价系统的评价结果和趋势预测与真实值达到较高匹配度,从而提升评价系统的准确性。

四、形成学生综合成像体系,在学业及学生职业生涯中提供辅助决策

评价体系对学生进行的数据采集是全时空多方位的,学生的数字画像可在学期中和学期末分时段形成,因此可根据数据预测学生可能出现的问题,从而及时发出预警,尤其在心理健康方面,学校可以及早进行疏导和督促,以避免严重后果的发生。

评价体系通过不同角度、多层面收集的数据,在不间断持续分析的基础上,能够观测学生的学业成长路径以及思想、身心成熟情况,通过BP算法能够形成收敛的趋势,从而指导学生选择更为适合的岗位,更好地服务学生就业及职业生涯发展。

五、结语

学生评价是教学过程中比较重要的环节,本课题研究基于国家对《中国学生发展核心素养》的描述确立了一级宏观指标和二级微观指标,在此基础上构建评价体系。在评价体系确立后,利用大数据采集技术多途径采集数据,多指标客观衡量,DMNI算法去除无效数据,专业数据分析软件生成可视化能力图谱和数字画像,在学生的学习过程中对学业成绩和学生的身心健康进行监测,从而实现动态监测、及时预警。同时,课题组对毕业生进行回访,通过问卷、座谈方式得到学生的就业数据,结合就业质量评价,与评价系统得出的数字画像相对比,通过BP算法训练多维评价体系,使其能够快速收敛,从而使学生的能力图谱、数字画像更为准确,教师可据此对学生进行岗位推荐,学生可据此其进行更好的自我认知,便于在岗位实习时作出正确的选择。