基于默认值的教学评价信息增益分析

王 茜 卞 慧 赵松立 汤勇明

(东南大学 党委教师工作部(教师教学发展中心),南京 210096)

中共中央国务院印发的《深化新时代教育评价改革总体方案》指出要把认真履行教育教学职责作为评价教师的基本要求,引导教师上好每一节课、关爱每一个学生。教育部等六部门关于加强新时代高校教师队伍建设改革的指导意见中指出要完善教学质量评价制度,多维度考评教学规范、教学运行、课堂教学效果、教学改革与研究、教学获奖等教学工作实绩。有效及时的课堂教学评价对于教学单位和授课教师获取课堂教学效果反馈信息,推动课堂教学质量改进具有至关重要的意义[1]。

对于课堂教学评价,国内在近十几年的研究与应用基础上基本形成了一种包括学生评价、同行评价、督导评价、教师自评在内的课堂教学评价办法。在上述常见评价手段中,学生评价是唯一可实现全员参与、全过程感受、全覆盖评价的评价办法[2]。但绝大多数高校在实践中,都把学生评教用作对教师进行总结性评价的工具,以加强对教师的人事管理和控制,而非形成性评价的工具,以帮助教师改善其教绩[3]。各高校在实行学生评教后,都不同程度地出现了持续的学生课程分数的膨胀,同时引起了教师普遍的焦虑[4]。

随着高校“智慧校园”“信息化平台”的建设,网上评教成为数据收集的主流方式。大数据回收后,让数据“开口说话”,挖掘数据背后的价值[5],利用大数据分析来帮助学校进行科学评估与决策,是当前学生评教工作发展的重要趋势。当前我国的教学评价主要是“学评教”的传统模式,这种单一方式存在主观性强、缺乏学习数据支撑等问题,不能完整地对教学质量进行客观评价[6]。通过优化调整调查手段,在数据源头埋下数据挖掘线索,可为数据处理分析提供更多参考与依据。基于大数据库信息,实现数据结果的标准化和可比较化,为学生评教制度的持续改进提供量化依据。

本文基于D大学学生评教客观数据默认值设置这一措施,对措施实施以来四学期评价数据进行分析,与未设置默认值获取的评价结果进行比较分析,研究此方法的优化效果及存在问题。

1 学生评教的问题分析

学生评教是一种面向全体上课学生的全覆盖式评价。基于当前常见的学生评教组织形式,学生评教最终结果通常以评价总分、指标均分、评价排名及主观评语组成。该评价结果被运用于教师职称评定、绩效考核、课程管理、质量监控等活动和程序中[7]。而由于学生评教能力匮乏[8],且在认知能力、评教动机、课程兴趣、学习态度及评教态度等心理特征上存在差异,学生个体在做出价值判断时容易出现评判标准认知和教学事实感知上的偏离,导致学生评教这一模式面临着评教结果失真的问题[9]。

1.1 评价结果虚高,缺乏区分度

李克特量表以受访者感受为中心的表达方式适用于面向学生、非专业性受访者进行的调查,但5度划分对更精确的感受表达产生了一定限制。学生评教时由于受到考试成绩、师生关系、是否匿名等不确定因素的制约,存在一定感情上的倾向或心理上的顾忌,倾向于默认选择最高分项,导致分数膨胀,使得分数的分布向高分段集中[10],分数之间缺乏区分度。如表1、图1和图2所示对D大学2017学年至2019学年四个学期的学生评教原始数据进行统计,四个学期共对11024个教学班课程进行评价,学期均分分布于89.15～95.00之间(满分100分),学期总体方差均分分布于11.26～18.39之间,中位数均在89分以上,65%以上课程评价达90分,近99%的课程评价均在80分以上。

图1 全校均值及方差分布

图2 全校各分数段统计分布

表1 各学期评价结果

1.2 评价标准不一,存在个体化差异

学生评教问卷的客观题部分通常以“以学生为中心”的问题导向,引导学生从立德树人、教学组织、课堂互动、收获体验等维度表达自身感受,对教师课堂教学进行评价。表达方式通常为李克特量表的“十分满意、满意、一般、不满意、十分不满意”,或采用“十分制”:以10分表示最满意,以1分表示最不满意进行评价。但无论是李克特量表的“满意”,或是十分制评价中的“8分”“10分”,均无法体现“好”“坏”“一般”的标准。由于个体化差异,学生依据个人感受进行评价时,对于“好”“坏”“一般”的标准难于统一,“好”是以7分还是9分进行表达,学生之间亦存在隐形差异,由此产生了评价主体的客观标准差异,对最终评价结果产生影响。

1.3 学生应付评教,结果可信度不足

当前高校的评教多为对课程评教或对教师评教。在期末集中评教中,学生通常需要一次性或分批次完成所有评教问卷。以每个问卷10题客观题,1题主观题计,学生认真完成一份问卷需要3 min。以D大学2020-2021学年1学期为例,16 247名学生共收到203 740份问卷,平均每人收到问卷12.54份。50%以上的学生收到问卷数量在9～13份之间(如图3所示),平均一个学生完成全部评教的时间大约为37.5 min,学生在耗时较长的情况下,答题一致性较差,且延长答题时间会降低学生的满意度[11]。

图3 问卷数量人次统计

当前虽提倡以学生为中心的评教,但是更多的学生评教结果对学生的意义并未能让学生感知。为提升评教率常见的督促方式有管理式,如绑定成绩查看、选课等;鼓励式,如组织学生评教员、设置评教完成奖等[12],但这并不能从根本上改变学生应付评教的心态,学生仍处于被动评教而非主动评教的心态。为快速完成评教而产生的应付评教,其评价结果可信度存疑,且难以通过技术手段甄别。

1.4 仅有评价分数,评教信息量有限

学生评教结果通常由评价总分、指标均分、评价排名及主观评语组成,最常用的处理方法是按绝对分值进行排名。而拥有高评教分数即可拥有高评价排名的导向,使得教师会采用放宽课程要求、给更高的课程分数等方式“讨好”学生,以换取高评教分数,使得评教“失灵”。基于有限信息的评价结果的应用,可能存在应用失当与路径依赖等问题[13]。

2 默认值设置的合理性及有效性分析

为提高学生评教源头数据准确性及评价结果科学性,D大学自2019-2020学年3学期起,对学生评教组织形式、评价对象、问卷内容、统计方式等进行系列调整,通过授课学时区分评价对象为课程或教师,对不同类型的课程评价指标进行关联性梳理,对客观评价指标设置默认值,在结果统计时去除离散学生评价等,以提高最终评价结果的科学性和合理性。其中客观评价指标默认值设置是在问卷客观题设置时,将每个分项指标设置为8分,评价方可依据自身感受选择进行调整或默认提交。

2.1 提高评教效率,降低学生评教负担

通过设置默认值,学生对于认为无特殊评价意见的教师可以一键提交问卷,将主要精力分配于愿意主动对其进行评价的教师或课程。对于设置了默认值且学生无分数调整意愿问卷,学生可在30 s内完成问卷提交,大大提高了学生的评教效率,减轻学生评教负担。

设置默认值后,可以通过问卷是否均进行缺省值调整,判断学生是否在评教过程中进行了主动判断,将学生分为主动评教学生、应付评教学生与未评教学生。以D大学2020-2021学年1学期评教数据为例,全校共有13 114名学生参与评教,共回收165 269条针对教师/课程的评教数据。其中共有11 508名学生对个人名下的问卷进行了分数调整,占总人数的87.75%,可见绝大部分学生在给出评价时经过思考,并非全然默认。

如图4所示,对D大学实行默认值评价以来的四个学期,学生非默认提交的比例进行观测统计,各学期非默认提交学生比例均在85%以上,仅10～15%的学生评价结果均按默认值进行提交,学生主动评教积极性状况良好。

图4 非默认提交学生比例

2.2 统一打分基准,凸显评价区分度

学生评教问卷的客观评价部分,本质为学生对于相应指标的满意度、收获感表达。通过默认值设置给到学生心理合格线相应的分值,可以在一定程度上统一学生对满意的表达标准差异。同时将分数细化,有利于学生更加准确表达自身感受。可以从价值逻辑和技术逻辑两方面突破现有限制,从而更充分地助推学生评教自下而上的作用发挥,发挥学生评教本身庞大的数据优势[14]。

如表2、表3和图5所示,对D大学在2019-2020学年3学期至2021-2022学年1学期采用设置默认值问卷的学生评教结果进行统计。全校5%分位值与95%分位值较未采用设置默认值的评价方式均降低了4分左右,有效改善了评价分数虚高情况;95%分位值与5%分位值分差均值为13.79,四学期均值与未设置默认值相比扩大了2.75分,四学期方差均值21.74与未设置默认值相比提高了7.42,分数密集现象也得到了一定的改善。

图5 学期评价结果变化趋势

表2 未设置默认值学期评价结果

表3 设置默认值学期评价结果

2.3 新增标准分界线,补充评教信息量

设置默认值后,学生打开问卷可依据自身的感受,对各项指标分数进行调整。以默认值为一般水平标准,若感受为正向,则将分数调高,反之则调低。最终统计结果中,若教师/课程评价高于默认值,说明学生整体对教师正向评价,对于最终教学效果表示认可;若教师/课程评价低于默认值,则学生整体对教师负向评价,对于最终教学结果表示一定程度不认可。这个正负向评价信息是原有的评教数据所不具备的内容,对于教学质量评价有非常重要的参考作用。

如图6所示,以D大学2020-2021学年1学期学生评价结果为例,共有4 303个教学班学生评教均分为80分(含)以上,占教学班总数的96.24%,其结果表明学生对教师/课程表示正向认可。

图6 班级均分所属分数段统计

如图7、图8所示,对D大学实行默认值评价以来四个学期学生评价分数段与未实行默认值评价前四个学期学生评价分数段分别进行统计。设置默认值前,课程评价均分集中于90分及以上,课程数量累计占比61.84%,设置默认值后,课程评价均分集中于80～90分,课程数量累计占比68.06%。评价集中分数段由90～100分变为80～89分,分数段分布得到优化。

图7 班级均分分数段变化统计

图8 班级均分分数段分布统计

2.4 增加评教认真度和差异度的判断信息

未设置默认值时,仅能通过学生是否参与评教获知学生评教主动性信息,将学生分为评教学生与未评教学生,且由于评教动机可能受管理手段或激励手段影响,评教信息真实性有待核实。设置默认值后,若一名学生某学期所有问卷中有1份问卷进行了分数调整,即认为该学生的所有问卷为主动评价问卷。主动评价问卷信息的客观性和真实性有更加明确的体现。

如图9所示,通过对D大学2019-2020学年3学期至2021-2022学年1学期共计四个学期期末学生评教回收的评教记录的评价一致性进行分析,80%以上人次对于分项评价指标的均分与总体评价分差<0.5分,95%以上人次对于分项评价指标的均分与总体评价分差<1分。绝大多数学生未因评教便利随意打分,能够依据课程实际情况给予客观公正的评价。

(a)2019-2020学年3学期期末

3 默认值设置存在问题及优化空间

由于系统中已设置默认值,学生可以选择打开问卷提交,对不得不参与评教的学生,可以通过全部提交默认值问卷完成评教,不会对教师授课进行认真评价,此类行为习惯可能会在提高评教率的同时,提高了无效数据的比例。在未来统计中,可通过关联性分析,将提供“无效评价信息”的学生甄别出,考虑调整主动评教学生与被动评教学生的分数权重,提高主动评教学生的话语权,提高教师获得评价结果的客观性与真实性。

对于提供“无效评价信息”的学生,从评价主体角度,可以通过强化界面提醒、优化评价反馈等正向引导,强化其主动评价意愿。从客观操作层面,可以通过分类评价,缩减其待评价课程/教师数量,提高评价对象精准度的同时,进一步减轻学生心理负担,增强其主动评价意愿。

4 结语

综上,基于D大学设置默认值的评教结果比较分析发现,默认值设置在降低学生评教负担、提高评教效率的同时,保障了学生评教的总体数据可信度,获取了学生评教认真度信息。默认值的设置引导了学生对于评价基准的认知,减少了个体分数差异,同时有效缓解了学生评教中的分数膨胀现象,提高了评价结果的区分度,使评价结果更趋近于正态分布。而且增加了学生正负向评价信息、主被动评价判断依据,为进一步开展数据分析,完善综合评价算法,优化课程评价结果提供更丰富的信息。