APP下载

数据驱动的高校学生评教实施策略研究

2019-10-24杜江程建钢

中国电化教育 2019年9期
关键词:学生评教数据驱动

杜江 程建钢

摘要:当前高校学生评教的实施策略主要体现为直觉和经验驱动,数据驱动为学生评教实施策略的改革提供了新的思路。该研究以中华女子学院为例,采用案例研究、行动研究、问卷调查等方法,尝试将数据驱动管理与决策的理念和方法用于高校学生评教。首先,基于对学生评教历史数据和师生调查数据的分析,揭示出学生评教结果失真、发展功能失效等问题;其次,基于数据反映的问题,顺应教育评价发展的趋势,提出学生评教改革的目标和任务;再次,构建了学生评教的实施策略,该策略包括六个要素:明确学生评教的目标、树立发展性评价理念,建立切实可行的制度安排,有效组织学生评教的实施,构建学生评教网上支持系统,持续开展基于数据的反思,并将其用于案例校的学生评教改革;最后,比较分析了改革前后的学生评教数据,发现学生的参评责任心和积极性得到提高,学生评教更有助于促进教师改进教学,从而初步验证了数据驱动的高校学生评教实施策略的有效性。

关键词:学生评教;数据驱动;教学评价策略;教学管理改革

中图分类号:G434 文献标识码:A

一、引言

数据是填充逻辑过程的基石,大数据正在改变决策的驱动方式,由直觉和经验驱动决策开始向数据驱动决策(Data-driven Decision Making,DDDM)转化[1]。数据驱动决策在教育中是指收集、分析、报告和使用数据用于学校改进的过程[2]。当前,数据驱动的理念、方法和技术已被广泛引入政府管理、教育、医疗、金融和物流等多个领域。数据驱动可以帮助管理者改善决策过程,优化资源分配,改变管理模式。有学者认为,对未来高等教育影响最大的因素是大数据及其分析[3]。数据驱动的管理与决策研究,不仅具有突出的科学前沿性和重大的战略意义,而且具有巨大的实践价值和鲜明的时代特色[4],是当前发展最为迅速的教育研究领域之一。

尽管数据分析可上溯到统计学、运筹学、人工智能、科学计量学等多个更早的研究领域[5],但数据驱动的相关研究仍然处于起步阶段[6],数据驱动管理与决策研究的理念、思路、方法和学术路线等方面的探索已经开始全面展开[7][8]。韩锡斌等通过系统梳理、分析教育数据挖掘、教育大数据和学习分析等紧密相关领域的学术论文、相关学会及年会、主要期刊、主要研究者与研究机构、重要报告与书籍等,发现这些领域研究的主要内容和核心问题都已浮现,主要围绕概念与综述、构成与模型(数据选择与采集、数据分析与处理.结果呈现与反馈、分析模型)、技术系统、组织实施、效果评价等方面展开。但在院校机构组织实施方面的研究还很少,相关论文占比只有约7.2%,对数据分析应用效果评估方面的研究欠缺;且很多数据分析的研究与实践偏离真实的教育问题,很多研究在迷恋收集数据、分析数据和呈现数据的方法和技术的同时,忘却了“为什么分析以及分析结果面向哪些人”这一核心问题[9]。

学生评教是一种研究最多、使用最广泛的教师教学评价方式。但是,在当前我国高校实践中仍然面临很大困境,长期以来饱受争议[10-13]。突出表现在两个方面:一是评价结果失真,评价分数普遍偏高,与师生的实际感受不符,评价结果受到评价利益相关者尤其是教师的普遍质疑;二是结果利用不当,常直接用于教师奖惩,对评价结果缺少全面、深入的分析和客观认识,结果反馈的渠道不畅,反馈之后的教学指导和改进不足。最终表现为学生评教的应有作用并未有效发挥,实践效果“停滞不前”,不能回应教学利益相关者的合理需要,而受到他们的反感与抵触。这引发了很多学者的研究,并提出了一些改进对策:建立科学、合理的评价指标体系[14];完善学生评教制度,改进学生评教组织实施[15];正确认识与使用学生评教结果等[16]。但关于这些对策在高校的具体实施及其效果的研究相对缺乏,而且这些对策的提出大多是基于对学生评教实践经验的总结与反思,或相关理论的探讨,学生评教的实施更多体现为直觉和经验驱动,而不是数据驱动。

鉴于此,本文将基于一个案例,尝试将数据驱动的理念和方法用于高校学生评教,研究数据驱动的学生评教实施策略,以期推动学生评教持续改进,为其他高校提供参考。

二、研究问题与方法

(一)研究问题

(1)案例校学生评教存在哪些问题?

(2)如何构建数据驱动的学生评教实施策略?

(3)实施策略的应用效果如何?

(二)研究方法

1.研究方法與思路。本文基于一所案例校进行研究。在学校学生评教的问题诊断、改革目标的提出、实施策略的构建及应用、实施效果的验证中都尽量基于数据和数据分析,避免过多地依赖相关管理人员的直觉和经验。

研究思路如下:首先,基于对学生评教历史数据和师生问卷调查数据的分析,揭示学生评教存在的主要问题;其次,针对数据反映的学生评教问题,顺应当前教育评价发展的趋势,确定学生评教改革的目标与任务;再次,基于马克思主义认识论和数据驱动的理念,提出目标、理念、制度、实践、技术系统、反思六个要素组成的学生评教实施策略,并将其用于案例校的学生评教改革,推动学生评教改革的迭代和递进;最后,对比新的策略实施前后数据变化,评价实施效果,进而验证数据驱动的学生评教实施策略的有效性。

2.案例校基本情况。本文案例选择第一作者所在中华女子学院,该校自2007年起开展基于信息系统的学生评教,积累了大量的历史数据,为本研究提供了基础。

三、研究结果与讨论

(一)案例校学生评教存在的问题

1.历史数据揭示的问题

案例校历史数据中蕴含着学生评教的过程和结果信息,对这些数据的分析与挖掘不但是理解和使用评价结果的需要,而且也是开展学生评教元评价的重要方法,可以揭示出学生评教存在的问题。本文系统、全面地收集了案例校2011-2016学年逾64万条学生评教数据,通过分析发现,学生评教存在的主要问题表现在以下两个方面:

(1)特殊量表率高,学生有效参评率低,学生参评责任心和积极性差

学生评教结果的可靠性与参评学生的人数存在显著的正相关[l7]。为了提高参评人数和参评率,大部分高校在学生评教中启用了强制性参评措施,学生必须完成评教任务才能查看课程考试成绩,并且将学生评教时间安排在学生查看课程考试成绩的高峰期(每学期末和寒暑假期间)。该措施的确有效保证了学生评教的高参评率,案例高校大多数学期的参评率都大于95%,学生参评率统计如表1所示。如此高的参评率是否意味着学生评教结果具有很好的可靠性呢?答案可能是否定的。通过进一步分析发现,大部分学生提交的评价量表属于特殊量表(学生对量表中所有题项的打分完全一样)。2011-2016学年10个学期的特殊量表率平均值达77.2%,更有相当比例的学生给出的是极端值(满分或零分),满分率平均值达33.6%,零分率平均值为1.5%。如果将排除特殊量表后剩下的量表当作有效量表,计算学生的有效参评率,2011-2016学年学生有效参评率的平均值仅有21.5%。这意味着大部分课程(选课人数小于100人)教师的有效参评学生数可能小于20人,从而影响学生评教结果的可靠性。特殊量表率高反映出大部分学生在完成教师教学评价量表时,可能没有认真阅读量表中的题项,并根据题项内容结合所评教师教学实际情况评价教师,而是依据对教师和课程的整体印象或其它因素,出于尽快完成评教任务以查看其课程成绩的目的而完成评价量表。同时也揭示出很多学生参与评价的责任心不强,积极性不高,学生评教结果存在一定程度的失真。

(2)评价整体偏高,区分度低,使用价值低

尽管学生评教特殊量表(含极端分值量表)所占比例大,但在统计和分析评教结果时并未将特殊量表(含极端分值量表)排除,而是直接将所有学生评分的算术平均分认作学生评教的结果,供分析和使用。2011-2016学年10个学期共7782门次被评教师课程得分均值为93.7,标准差3.0,总体优秀率达98.4%(大于等于85即为优秀),而小于60分即不及格的教师课程门次数仅为1。由此可见,学生评教分数整体偏高,区分度很低。这样的评价结果无法区分教师教学优劣,很难将其作为教师奖惩和教学资源分配的依据,对于教学管理决策基本不具有用价值。

学生评教指标项的得分代表着教师教学在该指标上被学生的认可程度,指标项得分的差异可以引导教师思考自己教学的优势与不足。选取2016春季学期共680门次f该学期共开课726门次)理论课的学生评教数据为对象,分析其评价指标项的得分情况。12个指标所得分数的均值、最大值、最小值和标准差几乎完全相同,均值最高与最低之间仅相差0.2分,与结果分数f指标项加权平均分1也没有差异。使用SPSS相关分析发现,各指标项得分和总分在0.01级别(双尾)相关性显著,其皮尔逊相关系数最低0.97,最高0.99,表明它们之间存在极强相关关系。对主观题项答案的分析发现,在评教时对教师提出主观意见的学生占比很低,仅有6.7%,且其中超过90%的学生都只是简单地表达对教师教学的肯定,很少有学生对教师改进教学提出有意义的建议。上述分析表明学生评教各指标项得分整体偏高,指标内和指标间的区分度都很低,评教结果中蕴含很少可帮助教师改进教学的信息。

2.师生调查数据反映的师生诉求

对教师和学生开展调查,收集他们对学生评教的意见和建议,对于高校改进学生评教具有重要意义。本研究于2017年6至7月对案例高校本科师生开展了问卷调查。共收回有效学生答卷1601份、教师答卷54份,其中有649名学生、42名教师回答了“您认为学生评教应该如何改进?”这个主观问题。对这些建议进行逐条分析、归类统计后发现,师生提出的建议虽然角度不同,但有着很多相似之处,都集中在评价结果反馈与利用、评价标准、评价途径等方面(如表2所示)。

(二)数据驱动的学生评教实施策略的构建

数据驱动的教学改革,除了技术性问题,更多地需要考虑利益相关者群体及其诉求、内部限制和外部约束等多个方面的组织实施要素[18]。高校强调工具理性,注重鉴别和管理的奖惩性学生评教有其深厚的历史、文化和现实基础,已经产生了严重的路径依赖,在此基础上开展改革,实施多形式、多途径的发展性学生评教面临诸多阻碍,不可能一蹴而就。马克思主义认识论可为消除这些阻碍,打破路径依赖提供指导。认识从实践中产生,随实践而发展,在实践中得到检验,对实践具有反作用。理念是实践探索与改革的源头。任何理念或目标的实现都离不开适当的制度安排[16]和持续的实践探索。制度可以物化思想理念,是理念转化为行为实践的中介[20]。实践是落实、检验、完善理念的根本途徑,同时也是改革取得预期成效的根本途径[21]。反思是持续推动学生评教理念转变、制度完善和实践改进的动力之源。

高校开展发展性学生评教,需要学校领导、教学评价管理者、教师、学生等各类利益相关者之间充分沟通、协商、甚至博弈,在深刻认识经济社会发展趋势,高等教育教学发展规律,学校战略、目标与任务、及其教育教学改革与发展的方向的基础上,确立学生评教改革的目标,转变理念,逐步树立起发展性学生评教理念,修订或重建评价有关制度,建设支持发展性学生评教开展的网上支持系统,推动师生参加学生评教改革实践,取得促进教学改进、回应师生合理需要的成效,以检验理念,激励师生积极实践,并基于数据分析不断总结与反思,推动学生评教改革的迭代和递进。

基于以上分析,本文提出目标、理念、制度、实践、技术系统、反思六个要素组成的学生评教实施策略(如图1所示)。该策略把数据驱动的理念的方法贯穿于每个要素中,在学生评教改革目标的确立、理念的转变、制度的建立、评价的组织实施、技术系统的构建、评价的反思中都尽量基于数据和数据分析。

1.确立学生评教改革的目标

学生评教改革目标的制定应基于数据反映的学生评教现状与问题,尊重评价现实需要,顺应当前教育评价发展的趋势。教育评价的基本走向是从强调客观测量工具(第一代评价)、目标实现程度(第二代评价)、实际价值判断(第三代评价)的鉴定性评价转向重视协商与建构(第四代评价)的发展性评价[22]。当前教育评价理论的发展具有以下两个趋势:第一,评价目的指向由侧重甄别转向激励与发展;第二,多元化趋势明显,统一评价标准逐渐淡化,多元价值标准和评价方法受到重视。因此,本研究将提高学生参评责任心和积极性,增强学生评教对教师改进教学的促进作用,作为学生评教改革的主要目标。改革任务主要包括:重新定位学生评教,树立发展性评价理念;改进学生评教制度安排和实施过程;以学生和教师为主体,重构学生评教指标体系;加强评教结果的分析、反馈与使用。

2.树立发展性评价理念,重新定位学生评教

评价理念作为一种观念和精神要素,蕴含着评价的目标定位、发展方向和运行原则等。学生评教改革首先需要摒弃过去形成的不合时宜、过分强调工具理性、仅突出管理价值的评价理念,树立发展性评价理念。高校学生评教改革过程实际上是在实践中践行发展性评价理念的过程。理念的转变源自主体感受、体验、分析、评价、并主动适应自身所处环境不断发展变化的需要。学生评教理念的转变需要其利益相关者基于数据和数据分析,深刻认识经济社会发展的趋势和高等教育教学的规律,顺应教学评价和数据驱动发展的趋势,打破因循守旧的思想观念和思维定势,并经过实践不断地检验与完善。学校领导和管理人员应解放思想,深刻认识学校的内外部环境变化,从学校发展战略的高度,根据学校发展的目标和任务,重新定位学生评教,尊重多元教学价值观,把“发展”确立为学生评教的核心目的。在学生评教管理中尽量基于数据和数据分析,通过评价理念宣传教育、制度创新、实践探索、文化培育等多种途径,引导教师和学生在主动参与或主动发起学生评教改革,使他们认识到学生评教不仅是教学管理的重要手段,更重要的是教学对话的平台,其根本目的是促进教学改进,提高教学质量。教师和学生需打破自己以往的思维定势,积极表达与争取自己的主体权益,把学生评教看作为日常教学和学习活动不可或缺的组成部分。

3.改进学生评教制度,建立起蕴含发展性评价理念,切实可行的制度安排

学生评教制度作为解决评价中人与人之间互动关系的行为规则,对评价利益相关者的行为起规范、引导和激励作用。但改革之前的学生评教制度存在明显的缺陷,在理念上,更多地体现了学校行政部门的价值选择,过度强调其教师管理功能,秉承评价主客体二元对立的思维,与当前学界所倡导的发展性评价理念不一致;在制度的规则中,只注重总结性评价,评价准则和标准与教师讲授为中心的课堂形态和追求知识传承的价值观高度契合,不适应当前教学观、学习观和教学实践形态的时代特点,以学生评分均值表示最終评价结果,并将其用于奖惩的依据。鉴于此,需要遵循目标导向原则、信息完备原则、民主参与原则、系统协调原则、现实可行原则和稳定可调原则,对学生评教制度进行修订和完善。改进的主要内容如下:一是,制度设计秉承发展性评价和数据驱动理念,以促进教学改进与发展为目标。二是,广泛听取师生意见,全面收集、分析相关数据,有效引导师生全面、深入地参与评价制度的设计与修订,保证师生收益。三是,评价准则和标准注重对教师教学问题的查找,突出针对性,针对当前学校教师教学存在的薄弱点,结果的反馈突出信息性。四是,建立学校、院系两级的学生评教组织管理制度。学校职能部门(质量监控处)负责发起学生评教的研究和实践,组织师生和专家评价、修订、完善学校学生评教制度和方案,逐步消除阻碍学生评教有效开展的因素.推动学生评教制度和方案的执行,做好评价过程跟踪管理和结果分析反馈工作,确立学生评教及其结果使用的发展性导向,避免直接将相对片面的评价结果用于教师奖惩。二级教学单位负责本部门学生评教的组织实施,建立、补充本单位学生评教指标体系,负责本部门学生评教数据的分析和使用。

4.有效组织学生评教的实施,开展发展性学生评教实践

学生评教改革的关键在于优化学生评教的组织实施,开展发展性学生评教实践。

改进学生评教工作机制。在学生评教的组织实施方面,发挥行政权力的优势。学校教学评价职能部门主要负责完善学生评教相关制度,组织开展校本学生评教的研究与实践,组织发起每学期学生评教,并做好评教过程跟踪管理,以及学校层面的评教结果分析、反馈和使用工作。二级教学单位负责本部门学生评教的组织实施,对本部门师生做好学生评教的宣传、动员工作,维护、核定本部门参评课程、任课教师和选课学生信息,组织教师做好学生评教结果信息的查询、分析和利用工作,收集任课教师对学生评教的意见和建议,鼓励教师追求教学卓越,督促教师根据学生评教信息改进教学。在评价方案设计、结果分析和反馈改进等方面发挥学术权力优势,吸引评价研究人员、教师和学生积极参与,并以他们为主体修订、完善学生评教方案和指标体系。要求教师主动分析和使用学生评教信息,并将其看作是自己教学学术活动的重要组成部分,正确看待评价结果,积极反思、不断改进自己的教学,寻求自身专业发展。学生应合理行使自己的权力,在学习过程中及时向教师如实反映学习状况和教学改进意见,积极参加各种形式的评教活动,帮助教师持续改进教学,以提高学习效率和效果。

重构学生评教指标体系。让学生和教师成为学生评教指标体系设计的主体,直接、全面参与学生评教指标体系的设计。指标体系重构突出学生的学习收获,指标内容以第一人称表达,使之更符合学生的视角;突出对教师教学问题的诊断,淡化对教师教学的整体鉴定,致力于为教师改进教学指明方向;突出针对性,针对当前学校教师教学存在的薄弱点,引导教师进行有针对性的改进;突出可操作性,适当放弃全面性,合理控制指标项的数量。

多途径动员学生,提高学生有效参评率。主要途径包括:学校在校园网发布参评邀请,正面邀请全体学生参与评教;二级院系动员本部门教学管理和学生工作队伍分别通过各自的工作渠道(微信、QQ、班会、课堂等),通知、动员、组织学生主动登陆评价系统完成对其任课教师的评价;各专业学生教学信息员利用自己已建成的教学信息沟通渠道向同学宣传学生评教的目的、意义和参评方式等,动员同学积极参与评教。

调整学生评教时间,逐渐取消强制参评限制。学生评教的结果通常会用于教师考核、聘任等,具有总结性评价的特征,那么评教时间应安排在期末。但为了调动学生参评积极性,评教时间应避免占用学生复习考试时间,安排在课程教学过程中。综合以上两方面需要,从2017春季学期开始将学生评教从学期末调整到学期中后期(14-16教学周)。并通过严格匿名评教,限制教师在提交学生成绩之后才能查看其学生评教结果,消除学生顾虑。调整时间后学生参评时间与学生查看成绩时间相隔一个月左右。这实际上割裂了学生参评与查看成绩的强制关联,逐渐消除了学生必须完成评教任务后才能查看考试成绩的强制参评限制,可以更好地满足学生自主的基本心理需要,有利于提高学生评价的有效率。

加强评教结果的分析、反馈与使用。在学校层面,安排专业人员负责对学生评教数据进行统计分析,并形成详细的分析报告。然后在全校教学主管会议f参会人员包括主管教学副校长、教务处、质量监控处和教学单位负责人)上进行报告解读,正式介绍学校学生评教的整体情况,分析评教结果反映出的普遍问题,便于教务处和各院系采取有针对性的改进对策。要求二级院系探索并建立有效的评教信息反馈利用机制,确保学生评教信息能真正充分用于改进课堂教学质量。之后通过学校教学督导听课、谈话、培训等手段帮助学生评教得分较低的老师改进教学。院系层面,指定专人负责分析、反馈、管理本部门学生评教数据;并全面收集任课教师对学生评教结果的意见和建议(要求存档,学校抽查);组织全体任课教师做好学生评教信息的查询、分析和反思工作,督促任课教师根据学生评教信息改进教学;并于学期末,向学校提交学生评教结果的反馈与利用总结。教师层面,要求所有教师认真分析其学生评教结果,对其提出自己的判断与意见,并说明原因、制定教学改进计划,积极参与各类教师教学能力提升活动,提高教学水平。学生层面,允许学生查看自己所评教师的整体评价结果。

5.构建学生评教网上支持系统

为了支持数据驱动的学生评教实施,构建以评价项目为核心的学生评教网上支持系统(如下页图2所示)。

该系统将不同的评价主体、评价对象、评价准则和指标体系有机整合起来,能灵活支持各种高校教学评价的在线开展,有效降低评价的人力成本,提高评价信息管理质量和效率,统计分析各类教学评价信息,以发现教学及教学评价的不足,支持高校教学评价改革。并采用定制开放的方式,使用SSH(STRUTS+SPRING+HIB-ERNATE)开放框架,完成了上述教学评价网上支持环境的开发,实现了上述基本功能。并于2017年春季启用,用于支持学生评教和师生调查的在线开展。

6.持续开展基于数据的反思

对学生评教数据的分析与挖掘可以揭示出学生评教组织实施中存在的问题。高校学生评教改革不可能一蹴而就,需要在改革过程中不断基于数据思考改革的经验教训,提高认识,及时完善、调整评价相关制度安排和实施过程,才能取得预期的改革成效。具体来说,需要及时收集、分析各种学生评教数据,持续评估学生评教制度安排、实施过程及其产生的实际效果,分析改革中存在的问题,针对问题及时完善、调整相关制度安排和实施过程,推动学生评教改革的迭代和递进。

(三)数据驱动的学生评教实施策略的应用效果

通过对案例高校学生评教改革前后评价数据的比较分析,以及对任课教师的调查,发现数据驱动的学生评教实施策略的应用实现了改革目标,提高了学生参评责任心和积极性,增强了学生评教对教师改进教学的促进作用,这可以从以下三个方面得到初步证实。

1.特殊量表率大幅降低,学生参评责任心和积极性增强

2017年春开始开展学生评教改革之后,全校學生评教特殊量表率大幅降低,学生有效参评率得到提升(如图3所示1,这可以反映出学生参评责任心和积极性得到增强。

为进一步检验学生评教特殊量表率的降低是否具有统计学意义,本研究选取案例高校2014春至2018春季学期(共9个学期)连续开设思想政治理论公共必修课的教师教学为实验对象,共计19个。选择它们是出于两方面考虑,一是保证数据样本量。这类课程作为公共必修课每学期均在开设,且修习学生多,任课教师也比较多,且队伍相对稳定。二是提高效度,尽量控制学生、教师和课程因素的差异对学生评教结果的影响。每学期参与这类课程教师教学评价的学生范围和数量大(最低111人),出于对参评学生的复杂性和随机性考虑,忽略不同学期参评学生群体之间的背景差异,将每个学期的参评学生当作同一群评价主体。同时这类课程教学内容、方法和教师都相对稳定,可以有效降低课程和教师本身变化对学生评教结果的影响。使用SPSS23.0对不同量表和组织方式下实验对象的特殊量表率进行差异显著性检验。

不同学期学生评教主要变化如表3所示。量表1共包含12个指标,指标内容与以教师讲授为中心的课堂形态高度契合;指标的设计和语言描述都是出于专家的角度对教师教学的描述和要求;对每个指标采取百分制计分。量表2突出对学生学习收获的调查,指标内容表述采用学生第一人称,同时减少了指标数量(12项减为8项),并将百分制计分改为五级制计分。量表3的指标内容突出对教师教学问题的诊断,淡化对教师教学的整体鉴定,致力于为教师改进教学指明方向;突出针对性,针对教师教学存在的薄弱点,引导教师进行有针对性的改进;突出可操作性,适当放弃全面性,合理控制指标项的数量(11项);采用五级制计分。组织方式1的显著特征是组织成本很低,不对学生评教做任何动员和宣传,只依靠教务管理系统的限制,在学生期末使用系统查看成绩时,弹出必须先完成评教任务才能查看成绩的提示,学生出于查看成绩的目的,被迫迅速完成对任课教师的评价。组织方式2彻底改变了组织方式1的做法,增加了组织人力投入,多途径动员学生,提高学生有效参评率;调整学生评教时间,将学生评教时间从学期末调整到学期中后期(14-16教学周),逐渐取消强制参评限制;并使用新建的教学评价网上支持环境开展学生评教。

利用配对样本t检验,分别判断T2与T1、T3与T2、T4与T3时段实验对象的特殊量表率的差异,分析结果如表4所示。T1、T2时段量表的变化对特殊量表率没有显著影响。T3时段实验对象的特殊量表率的均数比T2时段低59.46%(95%CI:-61.19%至-57.73%),差异具有统计学意义,t(18)=-72.208,P<0.001。T4时段对象的特殊量表率均数比T3时段低了3.96%,差异具有统计学意义,t(18)=-7.312,P<0.001,d=-1.678。这表明,当控制了其他因素的影响后,学生评教组织方式由组织方式1调整为组织方式2,量表由量表2变为量表3,对象的特殊量表率都显著降低。特殊量表率的降低,很大程度上意味着学生参评态度的端正和责任心的提升,表示学生评教结果有效性的提升。

2.评价结果数据蕴含更多有助于教学改进的信息

学生评教结果数据相比改革之前发生了明显的变化(如表5和表6所示)。

从表中可以看出,开展学生评教改革后,评教分数整体降低(平均分降低约4分),区分度增大(标准差增加约1分),分数分布更接近正态分布。

分析2018春523门次理论课学生评教指标项得分发现,指标项得分平均值最高与最低之间相差达4.5分(2016春的该值仅0.2分),各指标项得分平均标准差达14.2(2016春的该值仅3.1分),这表明相同指标和不同指标得分的区分度相比评价改革前都增大了。

对2018春学生评教主观题答案的统计发现,在评教时对教师提出主观意见的学生占全体参评学生的比例大幅提升,从2016秋的6.7%上升到34.9%,其中超过30%的学生对教师改进教学提出了有意义的建议。这些变化表示实施评价改革后的学生评教结果数据蕴含着更多有助于教学改进的信息。

为进一步检验学生评教分数的降低是否具有统计学意义,同样选取2014春至2018年季学期连续开设思想政治理论公共必修课的教师教学为实验对象,使用SPSS23.0对不同量表和组织方式下对象的学生评教结果分数(按5%的比例去掉极端分后的算术平均数,下面简称得分)进行差异显著性检验。

配对样本t检验结果如表4所示。T1、T2时段量表的变化对学生评教结果分数没有显著影响。T4时段对象得分的均数比T3时段增加了0.89分(95%CI:0.28-1.49),差异具有统计学意义,t(18)=3.080,P=0.006,d=0.706。这意味着量表对学生评教得分的影响会受到学生评教组织方式的影响,有助于提高学生有效参评率的组织方式可以增强量表的效力。T3时段对象的得分均数比T2时段低5.43分(95%CI:-6.66至-4.19),差异具有统计学意义,t(18)=-9.227,P<0.001。这表明,当控制了其他因素的影响后,学生评教组织方式由组织方式1调整为组织方式2,对象的学生评教得分显著降低。学生评教得分的降低,缓解了学生评教中普遍存在的虚假高分问题,一定程度上代表着学生评教结果有效性的提升。

3.任课教师对评价帮助教学改进的作用更为认同

2017年6月至7月,开展学生评教改革刚满1个学期时,利用自编的问卷对本科全体专任教师进行了问卷调查。调查结果显示70.8%的教师“同意”或“非常同意”学生评教可以有效帮助其发现教学问题,改进教学。这可以反映出任课教师对学生评教帮助他们改进教学作用的认同。此外,为了进一步调查任课教师对学生评教作用的认识,于2018年12月对承担不同课程教学任务的9名教师f专业课6人、公共课2人、选修课1人;教授1人、副教授3人、讲师5人;涵盖6个门类)進行了访谈。经过访谈发现,9名教师都认同改革之后的学生评教对其查找教学问题、改进教学的作用。

四、结论与局限性

本文构建了数据驱动的学生评教实施策略,该策略包括六个要素:明确学生评价的目标、树立发展性评价理念,建立切实可行的制度安排,有效组织学生评教的实施,构建学生评教网上支持系统,持续开展基于数据的反思。将其用于案例高校的学生评教改革。改革之前,案例校存在学生评教结果失真、发展功能失效等问题;改革过程中,实施新的评教策略,通过动态收集、分析各种学生评教数据,基于数据持续反思、调整改革措施,推动学生评教改革的迭代和递进;改革之后,通过深入比较、分析改革前后的学生评教数据,发现学生的参评责任心和积极性得到提高,学生评教更有助于促进教师改进教学,改革目标得以实现。实践表明,数据驱动的学生评教实施策略可以取得良好的效果。本文结论只是基于一所高校的情况得出的,需要在更大范围中进行检验。

参考文献:

[1]王萍,傅泽禄.数据驱动决策系统:大数据时代美国学校改进的有力工具[J].中国电化教育,2014,(7):105-112.

[2] University of New Mexico College of Education.Data-hased decisionmaking for student success[EB/OL].http://coe.unm.edu/uploads/docs/ipd/issue3.pdf,2014-02-12.

[3] Siemens G,Long P D.Penetrating the Fog: Analvtics in Learning and Education[J].Educ ause Review.2011,46(5):30-32.

[4][6]徐宗本,冯芷艳等.大数据驱动的管理与决策前沿课题[J]管理世界,2014,(11):158-163.

[5] Cooper A.A Brief Historv of Analytics[J].Analytics,2012,1(1):6-7.

[7]冯芷艳,郭迅华等.大数据背景下商务管理研究若干前沿课题[J].管理科学学报,2013,16(1): 1-9.

[8] Chen H,Chiang R H L,et al.Business intelligence and analvtics:from hig data to big impact[J].Management Information SvstemsQuarterly,2012,36(4): 1165-1188.

[9]韩锡斌,黄月等。学习分析的系统化综述:回顾、辨析及前瞻[J]清华大学教育研究,2017,38(3):41-51.

[10]李雅娟.高校学生评教:名存实亡[N].中国青年报,2016-01-18(9).

[11]韩天琪.学生评教如何走出尴尬境地[N].中国科学报,2018-04-09(7).

[12]刘涛.学生评教如何走出“无关痛痒”[N].中国教育报,2013-06-26(3).

[13]赵惠君,耿辉.高校学生评教倦怠现象及其归因分析[J]高教发展与评估,201 1,(1):60-66.

[14]钟有添,王立等.高校学生评教探析[J].教育探索,2008,(3):75-76.

[15]鲍嵘,王洋.美国德州大学奥斯汀分校的学生评教系统及其启示[J]比较教育研究,201 1,(5):65-68.

[16]周天芸,姜禹杉.高校学生评教制度及其效果探讨——基于S大学的评教数据[J]高教探索,2015,(7):78-82.

[17] Marsh H W.Students' evaluations of universitv teaching:Dimensionality,reliability,validity,potential biases.and utility[J].Journal ofeducational psychology,1984,76(5):707-754.

[18] Greller WDrac.hsler H.Tmnslating Leaming ino NumheLsA Ceneric Framework forLeaming Analytics[J]Educational Thnology&Society2012,15(42):42-57.

[19]宋燕.“教學学术”国外研究述评[J]江苏高教,2010,150(2):67-70.

[20]刘理彭时代.大学制度与大学特色发展[.高等教育研究,2005,(4):13-17.

[21]吴仁华.坚持理念实践成效有机统一[J].中国高等教育,2016.(5):24-26.

[22]卢立涛.测量、描述、判断与建构一一四代教育评价理论述评[J]教育测量与评价(理论版),2009,(3):4-7.

猜你喜欢

学生评教数据驱动
基于云模型的高校学生评教方法研究
持续改进课程教学质量的一种措施
高职图书采编外包商选择模型研究
数据驱动和关键字驱动的研究与应用
基于网络与数据智能化的数码印花产品设计定制模式研究
数据驱动理念在大学英语课程中的应用
大数据背景下的警务模式创新研究
高校学生评教有效性分析与策略研究
残疾大学生评教制度效果和问题研究
关于民办高等学校学生评教可靠性的研究