教师教育技术能力培训效果评价的再思考——借鉴Kirkpatrick培训效果评估模型开展培训效果评价
2010-08-15
(南京师范大学,江苏南京 210097)
2005年4月中小学教师教育技术能力培训项目启动以来,在逐步推进培训开展的同时,为了保证培训的质量,达到预期的培训目标,推进培训更好开展,对于培训效果的全面把握显得尤为重要,因此需采用科学的方法实施培训效果评价。目前,培训效果评价尚缺乏足够的关注,本文就目前培训效果评价的现状,分析其存在的问题,并尝试引入解决问题的方法和途径。
一、目前教师教育技术能力培训效果评价的现状及存在的问题
(一)培训效果评价现状
目前,培训效果评价主要包含培训过程中的形成性评价以及国家中小学教师教育技术水平考试两部分。在培训过程中,评价的对象主要针对教师学员,评价的内容为教师学员的平时表现以及最后的作品展示,同时借助于过程性评价平台以及电子档案袋来全面关注教师学员的培训效果。全国中小学教师教育技术水平考试则以考试的形式统一规范地从基本理论的理解、教学设计能力、操作技能等多个方面来综合考查教师的教育技术能力,同时也达到评价培训效果的目的。
(二)目前培训效果评价的问题
结合目前的培训效果评价现状,可以发现目前的效果评价主要存在以下两个问题:
1.培训效果评价的内容不够全面
目前的培训效果评价还仅仅关注于培训过程中教师学员的学习,并把评价结果作为衡量培训效果的依据。培训迁移理论认为,培训不是单纯地指受训者在培训过程中学习、获得知识的过程,它还包括受训者在迁移情境中运用这些学到的知识、技能的过程。[1]因此对于培训效果的评价,不能单单局限于培训的过程,还要关注培训后教师学员在实际工作中的行为变化,这样才能全面地评价整个培训项目。
2.培训效果评价难以深入开展
从客观上来说,目前深入开展培训效果评价还具有一定的困难。首先,中小学教师教育技术能力培训主要是采取集中培训的方式,教师学员从不同的地方聚集到一起接受培训,培训结束后又分散到各自的工作单位,很难再对他们进行跟踪考察,培训后的应用实施得不到适时的反馈。其次,培训的内容如何转化为培训后的评价指标、如何进行评价实施等等也缺乏足够的研究和关注,因此培训效果的评价还仅局限于培训中教师学员的学习。
中小学教师教育技术能力培训的目标在于培养教师的教育技术能力,通过培训使其在日常的教学中能够予以应用,从而达到优化教育教学、促进自身专业发展的目的。因此,培训后教师的教学行为发生了哪些变化,培训效果有哪些体现,这些内容同样需要予以关注,也应该是效果评价的重点。那么,如何全面系统地评价培训效果、怎样进行操作呢?针对此问题,企业培训中一直被广泛应用的Kirkpatrick培训效果评估模型可以为中小学教师教育技术能力培训效果评价提供一个很好的实施框架,为培训效果评价的具体实施提供参考。
二、Kirkpatrick培训效果评估模型简介
美国威斯康辛大学从事管理学研究的教授柯克帕特理克(Donald L.Kirkpatrick)于1959年提出了培训效果评估模型。该模型把培训效果分为四个层次:反应层(Reaction)、学习层(Learning)、行为层(Behavior)、结果层(Result)。
反应层:衡量参与培训项目的学员对培训所做出的反应,可以称为顾客满意度的测量[2]。
学习层:考查参训学员参加培训项目后,能够在多大程度上实现态度转变、知识扩充或技能提升等相应结果[3]。
行为层:主要关注参训学员参加培训项目后,能够在多大程度上实现行为方面的转变[4]。
结果层:指参训学员参加培训项目后,能够实现的最终结果[5],可以指产量的增加、事故的减少、质量的提高、利润的增长等等。
三、借鉴Kirkpatrick培训效果评估模型开展培训效果评价
Kirkpatrick评估模型针对培训效果评价的复杂性和综合性,从四个不同的方面来对培训做出全面的评价,为一直困惑于如何进行培训效果评价的企业界打开了一扇智慧之门。同样,也为教育培训效果的评价提供了可借鉴的思维方式。根据该评估模型,结合中小学教师教育技术能力培训的内容和特点,下面主要从评价层次、评价的内容和评价方法三个方面予以阐述。
(一)培训效果评价的层次
在Kirkpatrick评估模型中,“结果”层关注企业业绩的提高,迁移到教育技术能力培训中,我们很难简单地描述为学校教育教学水平的提高,因为要达到这样的结果,不是短短几个月就能看到显著结果的,因此,需要对评估模型中的“结果层”予以细化。
结果层的衡量主要从培训最终的受益者来界定评价的内容。由于教育技术能力培训的首要指向是一线教师的专业能力提升,因此,教师行为的改变无疑仍是对培训结果考查的首要内容。其次,从教学行为的影响对象来说,学生的改变可以更深一层反应教师行为的改变。“从国外中小学教师培训评价的研究和实践看,也是一致认为学生学业进步是衡量教师培训有效性最有说服力的证据”。[6]因此,深入了解教师行为改变的最好途径是对学生学习效果的关注。最后,从“组织层面”来分析培训效果给学校所带来的改变,作为培训效果的最终考查内容。综上,评价可分为:对培训的反应、教师学员的学习、教师行为的改变、学生的学习效果、对学校的影响五个层次。
(二)评价的内容
中小学教师教育技术能力涉及到教育技术基本理论、基本操作技能、教学设计与评价等多方面的内容,在实施评价的过程中,需要全面深入地来考查各个层次的培训结果,下面,笔者结合《标准》阐述中小学教师教育技术能力培训效果评价的内容。
1.对培训的反应
对培训的反应主要关注教师学员对培训项目本身的喜好情况,因此可以从培训项目的结构、时间安排、培训的学习氛围、项目文化、讲师的表现、学员之间的交流合作等方面进行考查。
2.教师学员的学习
这一部分的评价主要针对学员在培训中的学习情况进行评价。由于学习的内容很多,在评价上要注意全面性和特殊性,在整个培训中,教学设计能力是重点,应该成为评价的重点。目前对该教师学员的“学习”的评价已经有比较完善的评价体系,为全面的评价提供了支持。
3.教师行为的改变
教师行为的改变,主要考查学员是否将所学的东西应用到日常的教学工作中去。由于培训学习具有一定的滞后性,因此要给教师学员足够的时间,从而使其拥有实施培训所学的机会和可能,Kirkpatrick认为此层次的评价一般在培训完成的三到六个月以后。
对于教师行为的衡量,笔者认为可以结合对学习层的评价来对应地予以实施考查。结合《标准》以及培训的内容(初级),笔者认为可以从以下四个方面进行考查:(1)操作技能的提高(教案设计、课件制作、评价工具的编制);(2)教学设计能力的提升(教学内容的分析、对学生的分析、教学方法的灵活选择、教学媒体的选用);(3)教学评价的设计实施;(4)教学反思。
4.学生的学习效果
对于学生学习效果层的评价,主要是以学生为受众,考查教师的行为改变对于学生学习效果的促进作用。因此,这一层的评价主要从课堂实施以及课后评价来考察。如:课堂实施中对学生的关注情况,实施促进学生对于知识的学习,对于学生的评价是否能够获得学生的认可等等。
5.对组织的影响
可以把教师学员培训后在教育教学上对其他教师的影响、学校教学水平的提高、对学校教育信息化的推动等方面所作的贡献作为衡量“最终结果”的依据。当然,造成组织发生改变的结果可能不是培训所产生的,因此,对这一层的测量不要追求确凿的数据支撑,而是寻求与培训相关的“有力证据”。
(三)评价的方法
在Kirkpatrick的评估模型中,各个层次用什么方法、怎样开展等都进行了较为详细的描述。如:问卷调查法、测试、现场操作等等。对于全国中小学教师教育技术能力培训,利用现有的信息化条件,可以采用更加多样化的评价方法,充分利用各种评价工具,从而使评价的实施更加便捷。
对于反应层的评价,由于培训一般都是在多媒体机房进行,因此,可以充分利用培训资源,使用网上问卷便于分析和统计。此外,由于这部分的评价主要是针对项目本身,因此,可以适当扩大调查的对象,如:班主任、组织人员等等。
对于学习层的评价,可以充分利用现有的评价体系,全面了解学员在整个培训中学习情况;同时,结合电子档案袋、过程性评价平台等工具来关注教师学员的学习过程,注重过程性评价。此外,在具体的实施上,培训机构可以设计针对培训内容的学习反思量表,在一定的课程结束后发给教师学员进行对照反思,这样一方面可以及时了解教师学员的学习情况,同时可以了解培训学员对培训内容中还存在的问题,也便于在下次培训前及时地予以补充说明。
对于结果层的评价(教师行为的改变、学生学习的效果、对组织的影响等),可以利用评价量规,对各个层面的评价内容指定评价指标,保证评价的客观全面性。还可以通过培训平台追踪教师培训后的行为变化,如:提交教学设计方案、教学反思等等,一方面可以了解培训后的实施,另一方面也有利于分析影响结果的原因。
四、结束语
在借鉴Kirkpatrick评估模型的同时,要注意教育培训的特殊性,以及特定培训项目的具体内容和要求,在评价的方法上要灵活;同时,需要构建一套完善的评价体系,以保证评价的统一、规范、便于实施。
初级培训暂告一段落,中级培训即将全面展开,此时对初级培训的培训效果进行深入考查具有很深远的现实意义:一方面可以全面地了解初级培训的培训效果,另一方面还可以积累培训效果研究的经验,寻求影响培训效果的相关因素,从而为完善培训计划、更好地开展中级培训打下基础。
[1]吴怡,龙立荣.培训迁移影响因素研究述评[J].心理科学,2006,(14):749-756.
[2]唐纳德 L.柯克帕特里克.如何做好培训评估:柯氏四级评估法[M].北京:机械工业出版社,2007:16.
[3]唐纳德 L.柯克帕特里克.如何做好培训评估:柯氏四级评估法[M].北京:机械工业出版社,2007:17.
[4]唐纳德 L.柯克帕特里克.如何做好培训评估:柯氏四级评估法[M].北京:机械工业出版社,2007:17.
[5]唐纳德 L.柯克帕特里克.如何做好培训评估:柯氏四级评估法[M].北京:机械工业出版社,2007:19.
[6]张雪梅,张进宝,宋媛.我国中小学教师培训评估研究[J].中小学教师培训,2006,(12):11-13.