基于数据有效性评估的高校学生评教分析优化

卞 慧 王 茜 汤勇明

(东南大学 教师教学发展中心,南京 211100)

学生对教师开展的课堂教学进行评价是课程课堂教学质量评价的重要途径,学生评教结果是评价教师教学质量的重要依据之一。学生评教体现了学生在教学中的主体地位,凸显了以学生为本的教学理念[1]。开展学生评教工作既能够激发学生参与教学管理的责任意识,也能够更好地激励教师从学生视角出发查找问题和改进方向,促使教师积极提升教学能力。同时,学生评教数据也为高校教学质量管理部门开展教学管理和教学改革工作提供了数据保障,为课堂教学质量闭环管理模式的构建提供了数据支撑。

学生评教制度最早可追溯至1927年,美国普渡大学的教授雷默斯编制了标准化“学生评教量表”[2]。20世纪80年代中期,我国高校逐步开始试行学生评教制度。经过近四十年的摸索实践,学生评教制度已基本成为大多数高校教学管理中不可或缺的环节[3]。然而,在高校建设课堂教学质量评价体系的实践过程中,对学生评教制度的争议一直存在[4]。对学生评教制度存疑的专家和教师对于学生是否能够认真评教和公正评教表示担心,认为学生评教存在一定的应用风险[5]。目前,组织了学生评教但对结果不敢用成了很多高校的窘境。如何对海量的学生评教数据进行科学有效的统计,使得学生评教的结果可信可用是大多高校亟待解决的问题。本文首先针对D高校近年真实海量的学生评教数据开展多维度的有效性分析,并基于研究结果提出相应的数据统计降噪处理算法和基于K-means的分类评价方案。

1 学生评教数据源头有效性提升

学生评教包括前期的筹备阶段、中期的实施阶段以及后期的数据统计阶段。三个阶段相辅相成,共同构成了学生评教完整模式。但在一些高校的实践过程中出现了重结果不重过程的情况[2]。学生评教结果可信可用的基础在于有效提高学生对于评教工作的认识,提升学生主动参与评教的意愿是工作前提[6]。因此,高校务必重视学生评教全流程、各环节的工作组织安排。

为了提高学生参与学生评教的积极性与便利性,D高校近两年对学生评教系统进行多方位更新升级,组织实施学生评教意愿提升计划。首先,D高校打破了原有系统一次性完成评教任务的限制。目前,学生可以根据个人时间安排,分课程分次灵活评分,不会因为单次评教时间过长导致后续应付性填报。其次,评教系统内打分题预置八分良好缺省值,此举有效统一了不同学生的评价基准线、极大提高了学生评教效率,也为后续分析提供了更丰富的参考信息。另外,D高校为每位学生构建其个人专属的学生评教档案。学生完成评教后可查看个人评教数据分析报表,内容包括学生本人对于教师的评价与班级整体对于教师的评价的比较,学生本人课程成绩与教学班整体课程成绩的比较等。最后,学生评教数据取之于学生也应该用之于学生,即学生评教数据在为教学管理提供数据支撑的同时也应该为学生自身的学习提供参考帮助。因此,D高校根据学生评教数据,建设学生评教优质课程榜,相关信息也在学生评教档案界面反馈,可供学生在选课过程中进行参考。如表1所示,实施学生评教意愿提升计划后,学生参评率由68.69%上升至96.14%,已评教学班的数据有效率从96.16%上升至99.72%。

表1 D高校近年学生评教参与情况

2 学生评教数据有效性分析

学生评教相较于督导评价、同行评价和领导听课等评价方式有着覆盖面全、面向教学结果信息量大等不可替代的优势;以学生为中心的教学工作,也必然要求把学生的学习感受作为课堂质量评价不可或缺的一环[7]。但与督导专家等相较,学生评教工作的组织往往让学生参与时较为被动,学生在专业知识方面和教学方法技能方面的了解也不够专业。因此,学生进行教学评价时的认真度、对教师教学情况评分的公正客观性值得进行深入的研究[8]。本文从学生评教打分一致性、学生评教缺省值修改率和学生评教奇异值三个维度出发,对D高校近年的学生评教数据进行有效性分析。

2.1 学生评教打分一致性

图1 学生评教问卷总体打分与分项打分一致性情况

数据表明,绝大多数学生在进行课程问卷填写时,能够做到思维连贯,根据评价指标文字提示认真完成评价问卷内容,少部分学生填写问卷时存在思路前后不连贯的问题。总体打分和分项打分的一致性可以视作学生评教认真度的一项衡量指标。

2.2 学生评教缺省值修改率

为有效统一学生打分基准,切实提高学生评教效率,D高校在学生评教问卷中创新性引入8分良好默认值设置,即学生仅需要根据实际授课情况对他们认为特别优秀或者不满意的教师合理上调或下降分值。该问卷设置带来的另一个作用还包括考察学生是否简单应付式地对所有课程的评教问卷提交默认值,对应学生个人参与评价的认真性考究。针对学生评教时是否主动修改缺省值进行分析,可以通过对回收的问卷进行分类标签实现。若问卷作答默认值未修改后提交则标记为“未修改问卷”。若某学期某学生提交的所有课程问卷均为未修改问卷,则该学生标记为“评教主动性较弱学生”。如图2所示,D高校绝大部分学生能够认真对待评教任务,对不同课程不同教师的授课情况进行分值调整。学生评教时是否修改缺省值也可以视作学生评教认真度的一项衡量指标。当然,可以从信息平台上通过学生个人评教档案对少部分评教主动性较弱的学生予以提醒,促进这些学生今后增强对于评教认真负责的意识。

图2 D高校学生评教缺省值修改率情况

2.3 学生评教打分奇异值

由于学生评教是学生个体的主观性评价,可能会存在由于师生间的误解矛盾或者熟人现象等,个别学生给部分授课教师打出不符合实际教学情况的极高分或者极低分,往往表现为评教记录中的奇异值打分。在奇异值处理方面,有些高校的处理方式是去除最高分和最低分,例如去除前5%和后5%的评分进行偏差纠正,D高校往年工作中也采用这样的统计办法。但是,原始数据经去除高分段和低分段后,在保证数据不受少部分学生的极端打分影响的同时,也可能导致部分有效信息缺失。特别是在小班化教学大规模普及的情况下,教学班内每个学生个体的打分都有一定的信息量,并不是所有的高分打分或者低分打分都是奇异值。统计过程中为了保障评分的公正性,需要去除的仅仅是高分和低分中偏离教学班群体认知的个别极高打分或者极低打分。因此,D高校在评分统计过程中引入离散值分析机制。根据教学班的平均打分情况X和标准差S,计算学生每人次打分数据的离散度Qi=|(Xi-X)/S|,其中Xi为学生i对某个教学班的评价总分。若打分记录离散值超过一定的阈值,则该打分记录被认定为奇异值,与教学班绝大多数学生的评价打分不符,有不合群或古怪嫌疑,可暂不纳入该教学班评分统计。

从D高校近年的数据可以看出,学生评教打分奇异值整体占比仅在0.6%左右,所以常见的去除最高和最低的5%的打分会去除过多的有效打分。而且从奇异值涉及课程占比情况来看,并非所有的课程都需要进行高分和低分数据去除处理,仅15%左右的课程需要对奇异值进行处理,具体情况如表2所示。通过奇异值分析策略,能够在保障评分统计公平公正的前提下,最大程度上保留每个学生反馈数据的信息量。

表2 D高校学生评教奇异值分布情况

3 基于数据有效性的降噪处理算法

前面通过分析D高校近年来60万余条学生评教数据,可以看出绝大多数高校学生能够做到端正态度,认真对待评教工作,合理公正地进行课程评价。但也存在少部分学生的评教认真度和主动性较弱的情况。因此,结合学生评教认真度衡量,有可能也有必要对学生评教数据进行不同权重的降噪处理,从而提升学生评教数据的有效性,保障学生评价结果公平公正、可信可用。

3.1 数据降噪算法

结合上文所述的学生评教认真度衡量指标,本文提出了包含数据降噪算法的评价数据综合性处理方案。学生评教问卷由一条综合评价指标Z和K条X1,X2,…,Xk分项评价指标组成。学生j对教学班i的各分项评价打分之和记为Xij。如图3所示,数据降噪算法从离散度、一致性和缺省值修改率三个维度来考察学生评教数据的有效性,并针对不同情况赋予学生评教数据不同的权重。降噪算法所赋权重ξ1,ξ2,ξ3可根据本校实际情况进行合理地动态调整,其中0≤ξ1<ξ3<ξ2。

图3 学生评教数据降噪处理算法

3.2 数据降噪算法优势

首先,统计数据显示本文所提的数据降噪算法相较最高分和最低分去除算法能够保留近4.6%的有效的学生评价信息。因此,在数据在统计过程中采用本算法提出的奇异值判别机制代替原有的最高分和最低分去除机制能够保留更多的学生评价信息,更加有效可行。同时,本文所提的算法能够有效提升评教结果的可信度。正常情况下,教师教学水平在某一学期不应有大幅波动,即教师在某一学期教授同一类课程的不同教学班的评教结果应有一定的一致性。但由于学生评教噪声数据的存在,出现了教师个人多个教学班评教结果差异较大的现象,这也是部分教师不相信学生评教结果最直接的导火索。例如,某教师一学期内开设了建筑设计类课程2门次教学班,学生评教原始均分分别为89分和81.64分。在课程类型、授课学期和授课教师等主、客观情况都相同的情况下,不同教学班评分的分差较大的问题需要进一步探究实际情况。

采用本文所提的降噪算法对上述2个教学班的学生评教数据进行处理后发现:教学班B存在3位学生为评教主动性较弱学生,应通过权重调整,降低其提交数据对于最终统计结果的影响。另有1位学生提交的数据未能通过问卷一致性检验,应予以剔除。如图4所示,经降噪处理后,两个教学班的统计得分分别为89分和87.45分。

图4 同教师不同教学班的数据降噪处理前后对比

本文所提的降噪算法较好地解决了由于噪音数据导致的同一位教师授课的两个教学班的评分不一致问题。进一步对该学期的所有评教数据进行降噪处理,以提高分析结果的可参考性。经降噪处理后,全校同一位教师教授的多个教学班的评价结果的标准偏差均值降低3.57%。数据表明,降噪算法有效降低了极端打分以及非认真评价数据对于评教统计结果的影响。

4 基于K-means聚类算法的学生评教分类

经调研,目前大多数高校对学生评教数据汇总统计后进行总分排序。学生评教排序的数值或者排序的占位百分比成为了部分教师关注的焦点。总分排名是学生学业考核中常见的制度。学生学业考核的目的不仅在于检验学生的学习效果,也在于对学生的学习成果进行衡量排序,以便后续升学就业等场景使用。但与学生学业考核不同的是,学生评教的目的不在于给教师的授课效果进行排序,而是在于查找教师授课过程中存在的问题,及时改进并提升教学质量。因此,常见的总分排序法在学生评教结果的运用中存在一定的弊端。学生评教总分排序的弊端之一在于较小的分差可能会导致较大的排名差异,从而引发教师对排名结果的认可度降低。另外,总分排名数据相对单一,无法显示出教师授课存在问题的方面。因此,D高校采用分类分段评价模式代替原有总分排名模式。根据教师各维度评价指标,对授课教师进行群体分类,再对不同教师群体大类进行分段分析。实施分类分段评教后,高校可以对不同类型的授课教师在教学中存在的共性问题开展针对性的督导和培训。

由于具备收敛速度快、实现难度低等优势,基于K-means的分类算法被广泛运用于各行各业。在对原始评教数据进行降噪处理后,进一步采用基于K-means的聚类算法对学生评教数据进行分段建模分析。

如图5所示,分类算法将教师教学情况分成四类。①A类:该类型教师教学效果优秀,各维度评价均值达9分左右,可作为优质课程推荐给新入职教师、青年教师等观摩学习。②B类:该类型教师教学效果整体良好,各维度评价均值达8.6分左右,各方面存在一定的提升空间。③C类:该类型教师教学基本合格,各维度评价均值达8.2分左右,基本为正向评价,即大部分学生小幅上调了8分缺省值。但该类型教师授课存在教学节奏把控弱和课堂重点不突出等较为明显的弱势方面,需要进一步引导和提升。④D类:该类型教师的教学指标学生评价总体为负向评价且部分指标得分为极低分。此类型教师虽占比低,但教学往往存在较大的问题,需要教学质量管理部门以及院系予以重点关注。

图5 基于K-means的学生评教结果分类情况

5 结语

如今随着信息技术的发展,学生评教在不断普及实践的过程中得到了发展和完善,从纸质问卷人工统计迭代更新到信息化评教系统为数据智能分析提供支撑。通过对D高校近年学生评教数据的有效性进行多维度的探索分析,提出了数据降噪算法和基于K-means的分类评价方案。数据表明,所提方案具备有效性和可行性,能够有效提升学生评教数据的可信度和可用性,让学生评教数据更好地为教学服务。

未来D高校将持续发展完善评教机制,通过有效挖掘主观评语信息、引入客观数据拓宽课堂质量评价维度、加强多维数据间的相关性分析等措施,完善多维融合评价体系。同时,D高校将继续坚持教学实施、教学评价和教学培训三方联动,构建教学质量的有效闭环管理体系,达成“以评促教”的根本目标。