即时改变度：教师培训效果评价的新思路

黄宁生

摘 要：教师培训效果评价对改进培训工作，提高培训质量十分重要。探寻便捷的培训效果评价方法是培训机构的亟需。即时改变度评价法从描绘学员自身的即时改变程度入手，以定量衡量的办法评价学员的即时培训效果，在一定程度上弥补了目前普遍运用的学员满意度评价的不足。因其可操作性较强，故可帮助培训机构及时反思工作，提高培训设计、实施与组织管理水平。

关键词：教师培训；培训效果；培训质量；评估；评价

中图分类号：G726 文献标识码：A

教师培训研究者们在探究提高教师培训质量的途径与方法时，对改善培训效果的评价给予很大关注。许多文章对此作了专门讨论，希冀以改进培训效果评价为突破口，促进培训内容与方法的改变，促进培训管理水平的提升，提高教师培训的质量。

一、完备的教师培训效果评价面临“想到而做不到”的困难，探寻简单易行的培训效果评价方法成为培训机构的共同诉求

（一）利用柯克帕特里克“四层次”培训效果评估模型评价教师培训效果存在实际操作困难

美国学者柯克帕特里克（下简称柯氏）在1959年提出了著名的培训效果评估“四层次”模型，从受训者的反应（学员对培训的感受怎样）、学习（学员学到了什么知识和技能）、行为（学员返岗后有什么行为改变）和结果（学员返岗改变后的效果是什么）四个层次分别对培训效果进行评估。它成为培训评估理论中最经典的模型之一。

对于教师培训效果的评价，研究者们借助柯氏培训效果评估模型提出了许多方法。例如考试、现场评价、问卷、训后座谈、训后访谈、观察参训者在培训前后的变化以及变化带来的实际效果等。但是除了涉及反应层、学习层的评价以外，那些关于行为层和结果层评价的方法操作成本往往都很高。现实中如果不是为了做研究，绝少有培训机构能在培训结束一段时间后，为每一个项目投入人力和财力，跟踪到每一位学员的单位，用问卷、测试、观察、座谈、个别访谈等方法去调查学员返岗后的行为改变情况以及因这些改变而产生的教育教学成效。一般情况下，培训机构是没有条件获得这种训后跟踪评价信息的。并且，就算偶尔对某一个培训项目实施了这样的跟踪评价，所得的评价结论也不能用于所有培训项目。而且，在培训项目结束几个月甚至半年或更长时间后才获得的培训效果评价报告对于培训机构改进自身工作的迫切需要来说也显得过于滞后。

（二）柯氏“四层次”培训评估模型依赖的背景条件在如今的教育现实中很少存在

柯氏“四层次”评估模型其实有一个隐性假设作为依赖背景，即参训者在培训结束返回工作岗位后至接受跟踪评价之前，不再有其他的学习行为，并且其工作对象、工作环境、专业发展外部条件等与培训之前相比未发生变化（否则，无论参训者在教育教学行为上发生什么改变，后又有怎样的效果，都没有理由认为一定是参加此次培训所致）。然而，这个假设在现实中是很难实际存在的。

在信息传播方式和传播速度迅猛发展的今天，人们的学习渠道和学习方式已经多样化。随着终身学习的理念为人们普遍认同，教师的学习行为不会仅存在于一个培训项目。事实上，有的教师在参训前后还用其他渠道和形式参加培训或进行学习。例如校本培训就常常发生在教师的生活中。教师在返岗一段时间后发生的变化，是历次学习和实践累积起来的效果，除了教师本人，他人很难分清这种变化是哪一次学习的贡献。再加上教师每天都在接触学生、家长、同行、领导等等，每天都在演绎各种教学故事和生活故事，这些人和事也时时可能对教师的思想、理念、行为的改变发生作用。

因此，如果没有“隔开”诸如此类的种种“干扰”因素，我们就不能断言，训后几个月、半年或者更长时间中教师发生的教育行为改变一定只是“那一次”培训的“功劳”。而如果不能确认“改变”是“那一次”培训的“功劳”，则对“那一次”培训所作的行为层和结果层评价的结论就没有了说服力。

再说，如果一个参训教师在训后一段时期未发生良性的行为改变，也未必是这次培训的“罪过”。就像有时教师对某个学生苦心教育初见成效，却可能被社会或学生家庭的负面影响抵消效果一样，参训教师也可能因培训以外的其他环境因素——例如学校的制度或文化因素干扰而妨碍了他的改变，抵消了培训的积极效果。而且，参训教师自身的动力因素甚至更为关键，有的教师“听了激动，想了感动，回去没动”，是其本人惰性的负向干扰。所以说，很难保证行为层和结果层评价的结果对培训效果的评判是客观的。

（三）探寻简单易行的培训效果评价方法成为亟需

诸多原因使得一些培训效果评价方法仅成为教师培训界沙龙中热议的话题，有些在理论上看似完备的培训效果评价方法仅成为专门性研究时的概念性“样品”，难以在实际评价中普及运用。因此，探寻既能客观判断培训效果，又简单易操作的常态评价办法显得十分必要。

近年来，南京晓庄学院教师研修学院从培训项目管理实际出发，探索试行了一种易于操作的学员培训效果评价方法——“四层面”即时改变度测量，将其结果与学员满意度测评结果综合起来，对培训工作的成败得失作出有依据的判断，为及时改进工作，提升培训质量提供有用的参考。

二、“四层面”即时改变度测量是教师培训效果评价的可行思路

（一）“四层面”即时改变度测量是考量培训效果的便捷方法

一般情况下，参加一次培训对自己有没有帮助，学习收效怎样，学员自己最有发言权。在培训结束之际，学员在专业理念和师德、专业知识、专业能力等方面正在发生的改变，是培训效果的初步体现。相对于返岗后的改变，这是一种即时改变。即时改变在很大程度上是有知觉的改变，即学员本人能够觉察到的改变。利用一定形式，让学员对自己的即时改变情况作自我判断，可以帮助培训机构获得评价培训效果的参考信息。

我们用“即时改变度”来表达学员参加培训的效果强弱，从四个层面分别衡量学员的改变状况：

知识层面：衡量学员是否掌握了新知识，获取了新信息，开阔了眼界，提高了认识，化解了疑惑。

方法层面：衡量学员是否学会一些技能和方法，明白方法的道理；是否准备返岗后进行移植或借鉴；是否打算对自己的教育教学方法作出改变。

理念层面：衡量学员的理念、观念有无改变；是否能理解教育教学之原理，掌握其规律；有无打算返岗后遵循规律、运用理念、探索创新。

情感层面：衡量培训内容是否对学员的思想产生积极影响；是否增强了学员的教育信念；学员的职业情感、态度有无发生良性改变，精神面貌是否焕新。

在全部培训课程结束之后，对学员以问卷调查形式作测量，统计测量结果，按公式（1）计算出每位学员的即时改变度，获得学员即时培训效果的评价依据。

为衡量整个培训项目的即时效果，我们建立“即时改变率”的概念。所谓即时改变率是指上述每个层面处在某个即时改变度的人数占全班人数的百分比。下面作具体说明。

（二）即时改变度测量问卷

（三）即时改变度的定义及计算方法

我们把培训结束之时，学员个体在知识、方法、理念、情感等四个层面中某一层面发生改变的程度叫做他在该层面的即时改变度，用Ci表示，定义即

其中，i等于1、2、3、4时，依次是这个学员知识层面、方法层面、理念层面、情感层面的即时改变度。Xij是第i层面第j个问题被学员选中的系数。

例如某学员对方法层面的4个问题分别选了程度系数5、4、3、2，则有

这表明他在方法层面的即时改变度是0.7。

把学员个体在四个层面的即时改变度的均值叫做该学员的总体即时改变度，用 表示，

一个学员的总体即时改变度反映了他在四个层面的改变情况的综合信息，可以用来描述该学员总体的即时培训效果。例如，某学员在知识、方法、理念、情感层面的即时改变度依次是C1=0.7，C2=0.8，C3=0.3，C4=0.7，则他的总体即时改变度

从即时改变度的定义可知，Ci的值在0到1之间，即

（ ）。 的值也在0到1之间，即 。可以看出，Ci越接近1，表明学员在第i方面即时改变程度越大；Ci越接近0，表明学员在第i方面即时改变程度越小。与之相仿， 越接近1，表明学员总体即时改变程度越大； 越接近0，表明学员总体即时改变程度越小。

在评价学员改变情况时，有时需要关心即时改变度达到某一确定数值时的人数占全班人数的比例。因此给出即时改变率的定义。把即时改变度为C0的学员人数与全班人数的比称为即时改变度为C0的全班即时改变率，用 表示，

例如：全班学员共50人，在知识层面即时改变度为0.8的学员人数为15人，这时C0=0.8，则即时改变度为0.8的全班即时改变率

这表明该班学员在知识层面即时改变度为0.8的即时改变率是0.3。显然，在即时改变度C0较大（高）时，相应的全班即时改变率 越接近1越好。

用这个方法我们也可以计算出总体即时改变度为

的全班即时改变率。例如，全班学员共50人，总体即时改变度在0.9以上的学员人数为32，则总体即时改变度0.9以上的全班即时改变率为

还可以通过计算各层面全班学员即时改变度的平均数来对本班的即时培训效果作出判断。对比几个培训班的这组数据——各层面即时改变度平均数和即时改变率，亦能看出班与班之间即时培训效果的差异。

三、从即时改变度测量结果看培训工作的改进

（一）四个层面培训效果的主要影响因素

总的说来，培训的课程设计、教学过程、管理服务、学员态度等是影响培训效果的主要因素。但是，当我们细致地分析，从微观上分别审视四个层面的培训效果时，可以比较“精确地”找到影响培训效果的具体因素，这将帮助我们有针对性地改进培训工作。

从长期培训实践来看，对知识层面培训效果影响较大的因素主要是培训的教学内容，特别是培训中的理论性学习；对方法层面的培训效果影响较大的因素主要是培训的教学内容、教学方法、培训中的实践性学习、学员的背景；对理念层面培训效果影响较大的因素主要是教学内容、教学方法、培训中的理论学习和实践性学习，培训的管理与服务、学员的背景；对情感层面培训效果影响较大的因素主要是培训教学方法、培训环境、培训的管理与服务等。对这四个层面培训效果影响都较明显的还有学员的态度等（如表1）。

（二）利用即时改变度测量结果分析培训项目的得失

以下是我院承办的某省国培项目某骨干教师培训班的即时改变度测量数据统计（如表2），该班在教育部匿名评估中的评价结果位列该省同类项目前列。

从表2可见，学员在方法层面的即时改变情况略弱于其他几个层面。我们反思该班课程安排后发现，虽涉及教育教学技能与方法的内容并不少，但在学习形式上，学员实践性学习的量仍显不足，到一线课堂里现场观察与研讨的机会比起学员的期待来说还显不够。在情感层面存在个别学员即时改变度低的情况，表明培训过程还要更加强调面向全体，关注每一位学员。

一般地，如果即时改变度较高时的即时改变率偏低，可以从以下角度分析存在的问题：

知识层面——审视培训内容是不是紧密结合教育教学实际，有无充分介绍相关方面的改革信息和创新成果，学习内容是否接近学员的最近发展区，专家讲课是不是生动，讲课案例是不是贴合实际等。

方法层面——审视培训内容与形式的安排是不是与教育教学密切相关，有没有让学员充分参与，是不是在实践现场中学习，现场考察和讨论交流是否充分等。

理念层面——审视是不是体现了用教育事实来说明问题，是不是把理念融入在知识与方法的学习中，是不是让学员在实践中体悟理念等。

情感层面——审视有没有发挥好基地学校名师、团队的作用，是否有效地运用基地学校和名师的影响效应，培训管理是否无可挑剔，是否实现了用培训团队的优良培训行为来浸润和感染学员等。还应检视在培训过程中是否存在对学员服务或关心不到位的情况。

在作分析时，如果将即时改变度数据与学员满意度测评数据结合起来，则可更为准确地判断学员的参训效果及效果形成的原因，进而准确把握培训工作的得失，找到改进的方向。

四、用即时改变度评价学员培训效果的信度与效度

（一）即时改变度测量问卷的设计是合理的

在即时改变度测量问卷设计中，除了关注学员学到知识与学到方法两方面的情况，还应关注学员在正确理念建立和积极情感形成方面的成效。正确理念和积极情感是学员回到岗位后发生教育教学行为改变的重要基础和不竭的动力源泉。有理由推断，学员的正确理念建立了，其教育教学行为一定会有改变；学员的积极情感增强了，其师德水平一定更高，敬业精神一定更强，教育创新意识一定更浓。

由于学员的教育教学能力变化情况要经过实践才能判断（在返岗实践之前学员凭个人主观感觉是无法预知能力变化大小的），所以在问卷中未对能力层面的即时变化情况作测量。

（二）即时改变度测量数据是可以采信的

在培训机构为了提高项目水平而进行自我诊断的意图之下，培训者告知学员本问卷测量结果只用作对培训项目评价而不与学员个人学习成绩挂钩。这样，在无记名的条件下，思想顾虑和心理干扰较少，绝大多数学员会将学习效果的自我判断真实表达出来，提供可靠的信息。因此，即使存在不同学员的自我判断尺度或许不一的可能性，从统计学意义来说，测量所得数据总体是可以采信的。

（三）即时改变度对判断学员培训效果具有一定说服力

因为即时改变度的测量主要依赖于学员的自我评价信息，所以它还不是十分全面的观测，但它从学员主观感受的角度反映了学员在训期间的习得状况和思想、理念、情感变化状况，在一定程度上解决了培训效果评价中及时获取评价信息的操作问题。它帮助我们判断学员培训即时效果，这比仅凭感觉的印象评价更理性，也比仅看学员对培训项目的满意度来评价更合理。它由一组量化的参数来表现学员培训效果，比反应层和学习层的评价信息更直观、清晰，便于培训管理者作比较和分析，具有一定说服力。若能把它与学员参训的表现、完成作业的情况等考核结合起来，则可为评价学员的参训效果提供更为丰富的依据。

（四）评价对象主要是学员，真正关注学员参加培训的成效

即时改变度测量问卷所关注的问题聚集于学员自身有怎样的变化，使评价的注意力真正放在学员这个学习主体上来，从学员的即时变化看培训项目的得失，进而找到项目改进的抓手，打破了以往培训效果测评仅仅关注学员对培训项目及培训机构是否满意的模式，减少了因学员在某件事上对培训机构不满意而过度否定整体项目或对培训机构的服务很满意而过誉整体项目的可能性。例如我院承担的某国培项目的即时改变度数据和项目满意度测评结果显示，学员对培训的住宿和餐饮满意度并非很高，但是四个层面即时改变度和即时改变率数据却非常好，这表明即使学员对培训生活服务评价不太高，但其培训收效感是很强的。

（五）即时改变度测量的评价方法虽不完备但很适用

用测量即时改变度的方法，培训机构可以及时获得学员参训效果的反馈，即使它尚不够完备，但也为我们开启了一种评价教师培训效果的简易方法。事实上，如果过于强调培训效果评价方法的全面性、完备性，其结果是迟迟找不到可行的评价方法，往往使常态的培训效果评价落空。

（六）即时改变度不宜用来评价学员个体的参训效果

对全班的即时改变度测量结果进行统计，可以对本培训项目的学员整体培训效果作出评价。但因无记名答卷的原因，不宜依此对每一个学员个体的培训效果作出评价。

参考文献

[1]王冬凌.建构教师培训效果评估模式：内涵与策略——兼论教师培训机构走向专业化的路径[J].大连教育学院学报，2011（12）.

[2]汪文华.“满意度”高≠培训效果好——教师培训效果评估思考[J].教育科学论坛，2011（9）.

[3]贺安溪，胡惠明.农村中小学教师培训评价研究[J].当代教育理论与实践，2012（1）.