乡村教师混合式培训效果测评指标体系构建研究

孟 梦，孟宪荣

（1.中国教育科学研究院课程教学研究所，北京 100088；2.青岛市李沧区教育研究发展中心，山东 青岛 266000）

乡村教师培训是落实农村地区教师队伍建设、提升农村教育质量的重要途径。国务院办公厅印发《乡村教师支持计划（2015—2020）》，为全面落实乡村教师培训提供政策支持与推进依据。在此背景下，“国培计划”着力于满足农村教师培训需求，且在培训形式上改革创新，推行集中面授、网络跟进研修与课堂现场实践相结合的乡村教师混合式培训（以下简称“混合式培训”）。然而，透视已有文献并审视当下现实不难发现，教师培训效果的评定缺乏有效的评价与管理机制[1]，呈现出因测评目标不清晰而缺乏方向、因测评内容不全面而不能客观地反映培训价值、因测评工具不成熟致使培训效果的评定难以操作等不足。为此，本研究旨在构建混合式培训效果测评指标体系，以明确培训效果的测评方向与内容，为科学评定培训效果提供量化指标与测评工具，具有重要的理论价值与现实意义。本研究借鉴人文社科领域中教材难易度测评[2]、学生课业负担测评[3]、数学符号意识测评[4]、学校特色发展测评[5]以及小学生统计思维测评[6]等研究中构建指标体系的程式，即以界定变量的操作性定义为线索，探析混合式培训效果的测评维度，据此研制测评量表并获取数据，进而构建并验证混合式培训效果的测评指标体系。

一、混合式培训效果测评维度的探析

（一）已有研究回顾

教师培训，除了让教师从培训中获得一定的职业知识，掌握一定的职业技能，更重要的是改进教学实践、提高学生的学习效果，即将在培训过程中习得的知识、技能、态度等有效地应用到工作中去。[7]对于教师培训效果的认识，国内已有相关的研究。如有研究指出短期参与式教师培训的效果包括教师对知识的掌握水平有所提高、教学行为有所改善，并乐于将培训中学到的方法、理念运用到教学中等方面。[8]也有研究针对远程教师培训，指出其培训效果包括教师的知识、技能、情感、态度和价值观等方面的变化，这些变化进一步影响了教师的个人工作绩效，并带动对学生、同事、学校等组织层面的绩效变化。[9]也有学者关注培训对教师能力的提升，认为培训效果主要体现在教师的学习能力、实践与应用能力、综合创新能力的提升。[10]对于混合式培训而言，我们借鉴了企业培训、教师培训中较具影响力的研究，以《小学教师专业标准(试行)》《中学教师专业标准(试行)》《“国培计划”课程标准(试行)》等政策文件为导向，结合专家访谈与认同度调查结果，将混合式培训效果的内涵界定为：培训带给乡村教师自身知识与情感的改变、技能的提升与运用、返乡返岗后组织绩效的变化，具体体现在师德理念与专业知识、专业能力、返岗作用三个方面。[11]

鉴于研究目的和已有研究分析，本研究将对混合式培训效果的内涵做进一步探析，界定其操作性定义。

（二）混合式培训效果的操作性定义

在教育研究中，操作性定义是探析变量的测评维度的重要依据，构建的一般逻辑为：认识变量——分析变量的内涵与本质特征——将变量的内涵与本质特征转化为具体的可操作要点——将各要点按照一定的逻辑与语法规则进行修正——形成操作性定义。[12-14]

1.观测要点的析出

遵循上述逻辑构建混合式培训效果的操作性定义。在前两个步骤中，较为理想的方式是利用研究变量的抽象性定义描述变量的基本特征，再用操作程序和测量指标的形式列出可操作要点，便于把握操作性定义的方向和意义。而混合式培训效果内涵在提出时，已经具有较好的测评属性，故只需进一步分解出可操作要点，即测评维度：一是教师在师德与理念的改变（情感因素）；二是教师专业知识的改变（知识因素）；三是教师专业能力的改变（技能因素）；四是教师培训后返岗作用的发挥（组织绩效）。与混合式培训效果内涵的三个维度不同，操作性定义中的测评维度应分解为单一不重叠为止，而师德理念与专业知识是一个明显的复合维度，应进一步分解为情感因素与知识因素两个方面。

2.测评指标的确定

基于“乡村教师混合式培训效果评价结构表”[15]的主要内容，依据可操作要点的四个维度重新梳理相应的二级测评指标。相关论据素材的收集主要通过以下三种途径。

第一，文献分析。查阅国内外公开发表有关教师培训的文献，以及相关的国家政策文件，运用文献分析法抽取出充分反映混合式培训效果的可操作要点的相关表述。

第二，形成专家小组。专家小组中，7位来自高校并从事教师教育、教师培训的专家学者，7位来自教科院所并从事教研与教师培训的教研员，6位来自中小学的校长或教师。20位专家均参与或熟悉混合式培训，并活跃于实践与研究第一线。由他们组成临时讨论组，为本研究提供智力支持。本研究向专家组寻求情感因素、知识因素、技能因素、组织绩效四个可操作要点的认识和理解，以及它们的观测点。

第三，开放式问卷调查。采用方便取样对重庆市开展的“国培计划”学员进行开放式问卷调查，访谈题目包括：（1）对培训效果的直观感受与认识，并举例说明；（2）对“师德与理念的改变”“专业知识的改变”“专业能力的改变”“返岗作用的发挥”的理解，并举例说明。

经对上述三方面论据素材的梳理，本研究进一步明确了操作性定义的测评维度与指标，形成的主要意见有：一是基于测评视角，确定将“师德理念与专业知识”维度分解为“师德与理念”“专业知识”两个维度，而其余两个维度保持不变；二是根据确定的四个测评维度，将原先9个二级测评指标扩充为12个，并补充相应的描述（参见表1）。

该操作性定义将混合式培训效果具体化为若干可操作要点与具体指标。此举积极地引导着混合式培训效果研究从“概念化”过渡到“操作化”，为测评指标体系的构建提供概念基础与操作依据。

二、研究工具的开发与研究样本的选择

（一）初始问卷与预试结果

初始问卷在与2名教育学、1名心理学专业的博士研究生的合作下形成。为检验问卷题项是否存在表述不清、语义模糊或者过于学术化的现象，问卷编制好后请10位在西南大学参加“国培计划”的教师学员进行阅读，确保所有题项能够清晰、准确地反映混合式培训效果的内容，并得到30个题项的预测问卷。其中，所有题项采用李克特五点记分法从1（“完全同意”）到5（“完全不同意”）。

预试问卷的样本选取采用目的性抽样法，首先在重庆、贵州、青海、云南、山东五个省份进行预试，问卷通过“问卷星”平台发放，回收有效电子问卷340份。经分析，预试问卷的KMO值为0.972，其内部一致性系数Cronbach为0.981，表明问卷的信度很高，且适合做因子分析。

表1 混合式培训操作性定义的维度与指标

（二）正式问卷与施测样本

本研究再次征求专家组意见，对个别题项的表述进行微调。综合考虑内容效度、文字表述以及是否符合乡村教师的实际情况等，每个上位指标至少保留3个题项。最终形成包含36个题项的正式问卷。

正式施测样本的选择同样采用目的性抽样法，从国内东部、中部及西部共9个省份抽取2128名乡村参训教师展开混合式培训效果的调查研究。样本分布情况如下（参见表2）。

较预试样本，正式测试的样本在男女教师比例、年龄分布上更为均衡；增加对样本在学校担任职务和任教学科的统计，前者清晰地呈现出被试样本中校长、副校长、学校中层管理者、代课教师、普通教师的比例，后者以不同任教学科，如数学、语文、英语、其他（科学、化学、信息技术、思想品德、美术、体育等），对教师进行统计；职称方面，预试样本中并无正高级，而在正式测试中增加了正高级6人（占1%）；教龄、最高学历、执教学段的分布并无明显变化。

将2128份有效问卷随机分成等量两组，一组样本数据借助SPSS软件进行探索性因素分析，另一组样本数据借助AMOS软件进行验证性因素分析。

三、混合式培训效果测评指标体系的探索与验证

（一）测评指标体系的探索性因素分析

表2 正式测试样本情况（N=2128）

1.第一次探索性因素分析

采用主成分分析法和正交旋转法抽取公共因素。依据Tabachnica与Fidell（2007）提出的因素负荷量判断标准，本研究判断是否保留一个题项的标准为：该题项在某一维度上的负荷在0.55左右，且不存在交叉负荷。参照KMO与Bartlett检验和碎石图来确定是否适合进行因素分析以及因子的有效数目。结果显示，此次探索性因素分析的KMO值为0.976，Bartlett检验卡方值显著，表明适合进行因素分析。陡坡图显示，从第四个因素开始，坡线甚为平坦，因而保留三个因素较为适宜。故以固定因子数为3抽取。几经尝试后，依据上述保留题项的判断标准，得到旋转后的成分矩阵。

旋转后的成分矩阵显示因素1、因素2与因素3分别包含10个、6个和7个题项。照应3个因素所含题项对应的实际意义，可依次命名为返岗作用、专业知识、师德与理念。而维度数量从原先的4个降维为3个。进一步分析对应题项的实际意义发现，专业能力维度所对应的题项被分解到专业知识和返岗作用两个维度。如此降维能否符合本研究原先的构想，则需对这3个因素进行第二次的探索性因素分析与观察。

2.第二次探索性因素分析

此次探索性因素的KMO与Bartlett检验结果同样满足探索性因素分析的要求，故继续依次探索返岗作用、专业知识、师德与理念的因素结构，并得到解释变异量情况与旋转后的成分矩阵。

返岗作用维度可以提取3个因素，依据题项的意义将这3个因素依次命名为课堂教学（5个题项）、同事互助（3个题项）、学生发展（2个题项），其解释变异量为84.697%。专业知识维度可提取2个因素，依据题项的意义将2个因素依次命名为学科知识（3个题项）、学科教学知识（3个题项）。其解释变异量为86.778%。师德与理念维度可提取3个因素，依据题项的意义将3个因素依次命名为师德修养（3个题项）、教育态度（2个题项）、专业理念（2个题项）。其解释变异量为88.009%。

经过两次探索性因素分析，探索出混合式培训效果的测评指标体系（参见图1）。该指标体系由三个一级维度构成，即师德与理念、专业知识、返岗作用。与原操作性定义的不同之处在于：专业能力没有纳入一级维度。究其原因，原操作性定义中的专业能力是指参训教师教学能力的改变，包括教学设计的能力、教学实施的能力、学业检查评价的能力，这一维度与教学设计相关的指标被纳入专业知识维度之中，作为学科教学知识的一部分，而与教学实施和学生评价相关的指标被纳入返岗作用之中，作为课堂教学的一部分。

图1 乡村教师混合式培训效果测评指标体系

3.信效度检验

第一次探索性因素分析结果中，返岗作用、专业知识、师德与理念三个因素的解释变异量依次为27.025%、25.330%、24.568%，量表的累积解释变异量为76.924%，表明该量表具有较好的建构效度。第二次探索性因素分析结果中，相应二级指标对一级维度的总解释变异量也均在80%以上。故混合式培训效果测评量表各级维度清晰，具有较强的解释性与较好的建构效度。

此外，师德与理念、专业知识、返岗作用和总量表的内部一致性系数Cronbach均大于0.9，表明本研究所编制的量表具有理想信度，可作为未来测评者或其他继续研究的参考。

（二）测评指标体系的验证性因素分析

验证性因素分析是验证上述结构模型是否与实际数据适配，探索三个维度与混合式培训效果的关系。研究表明，当样本量等于1000时，其收敛率为93.0%。[16]本研究所用数据为正式施测所获、随机抽取的另一半有效数据（N=1064），故可保证因素分析样本具有较好的收敛率。

1.主要拟合指标与拟合结果

一阶验证性分析时发现师德与理念、专业知识、返岗作用三个维度间存在较高的关联度，且结构模型与样本数据适配较好。混合式培训效果的一阶验证性因素分析结果（参见图2）。

图2 一阶三因素模型（图中系数为标准载荷系数）

模型适配度参数以预设模型（default model）列的参数为主，就模型与数据的拟合程度来说，卡方自由度比（CMIN/DF）小于5，残差平方根（RMR）和近似误差均方根（RMSEA）都小于0.06，拟合指数（GFI）和比较拟合指数（CFI）均大于0.9且非常接近于1，各类拟合指标的结果均表明该结构模型与样本数据适配较好，拟合度高（参见表3）。

表3 乡村教师混合式培训效果测评指标体系主要适配指标

由上述数据结果可知，本研究所构建的混合式培训效果测评指标体系（结构模型）的基本适配指标均达到检验标准，表示一阶验证性因素分析模型与实际观察数据的适配情况良好。说明通过探索性因素分析得到的3个一级维度、8个二级指标和23个测评题项的构成是比较合理的，由此也证明了该结构具有良好的结构效度。

2.信度检验

信度检验方面，在SEM分析中，以组合信度作为模型潜在变量的信度系数。由组合信度公式[17]求出三个潜变量的组合信度分别为0.922，0.922和0.915，均大于0.60，表示模型内在质量佳。本研究还通过平均方差抽取量指标检验模型的信度。由平均方差抽取量的计算公式[18]带入数值计算，可得三个潜变量的平均方差抽取量的值分别为0.798，0.856和0.782，均高于0.50的标准，表明模型的内在质量理想。

四、混合式培训效果测评指标体系的构建结果与检验

（一）混合式培训效果测评指标体系的初步形成

根据指标体系设计的目的性、综合性和可操作性原则，在思辨和实证研究结果的基础上，通过探索性因素分析、验证性因素分析的构建与检验，本研究初步形成了由3个一级维度和8个二级指标构成的混合式培训效果测评指标体系。

对于指标体系来说，权重是不可忽略的部分，它反映了某一个体在整体中的相对地位。为此，一级指标权重的确定采用第一次探索性因素分析的结果，对提取出的3个因子对应的解释变异量依次进行标准化计算，得出三个一级维度的权重分别为0.320（师德与理念）、0.329（专业知识）、0.351（返岗作用）。

（二）混合式培训效果测评指标体系的检验

一级维度权重的验证采用专家排序法。在全国范围内，邀请65位了解或参加过乡村教师混合式培训的高校专家、教研员、中小学校长以及从事教师培训研究的学者、博士生等，对“师德与理念”“专业知识”“返岗作用”三个一级维度的重要程度进行排列（认为最重要的记为1，其次重要的记为2，第三重要的记为3）。利用专家排序法公式[19]：

公式中，aj表示第j项指标的权重，j表示指标的序号（j=1,2,3）。m为专家人数（m=65）。n为指标个数为3。Rj表示第j个指标的轶和R1=154，R2=119，R3=117。

由公式计算各指标的权重，得a1=0.272，a2=0.362，a3=0.367。对比发现，两种方法计算所得的师德与理念、专业知识、返岗作用的权重大小和总体趋势基本吻合。值得关注的是，师德与理念在培训效果评定中的权重始终处于劣势，而在前者的计算方法中这种劣势更为明显。表明了在专家的主观认识中，师德与理念仍未被多数专家列入主要的培训效果之一，这与当前重知识、技能、职称评选的培训功能取向基本吻合。

五、混合式培训效果测评指标体系构建的讨论

（一）科学构建混合式培训效果测评指标体系

混合式培训效果测评指标体系的构建经历了文献分析、访谈与开放式问卷调查、构建理论、编制指标、初测和正式测试等程序，严格遵循教育统计的基本过程，并且以探索性因素分析得到的结果为依据，初步确定了混合式培训效果测评指标体系。该测评指标体系既有理论依据，又有一定的建构效度。在此基础上，验证性因素分析的结果也证明了混合式培训效果测评指标体系具有较好的结构和真实性，所构建的3个维度、8个指标及其对应的权重系数可以作为培训效果的测评工具。

（二）开展混合式培训效果测评维度研究

混合式培训效果测评指标体系由三个维度构成，其贡献率依次为：返岗作用＞专业知识＞师德与理念。三个维度与问卷平均分显著相关，拟合指数均符合要求，这一结果具有重要理论意义。其中，返岗作用的贡献度略高于其他两个维度，出现这种结果的主要原因可能在于对于混合式培训来说，评定其培训效果最具说服力的表现在于参训教师能否产生学校层面的培训迁移，即将培训收获辐射到返回学校后的课堂教学、同事互助、学生发展方面。

值得一提的是，在重点关注教师的教育理念、专业知识与技能的培训环境下，教师的师德也逐渐成为教师培训的重点内容与评定培训效果的重要指标。在近期中共中央国务院颁布的《关于全面深化新时代教师队伍建设改革的意见》中，再次强调了“着力提升思想政治素质，全面加强师德师风建设”的重要意见。由此可见，师德建设定会与教师专业素质能力一道成为教师队伍建设的重中之重。

（三）加大混合式培训效果测评指标体系的实际应用

通过对混合式培训效果测评指标体系的定量研究，可以初步形成一套衡量混合式培训效果的指标量数，即根据反映培训效果的综合指数和若干分类指数，据此判断或预测混合式培训的水平。根据本研究构建的混合式培训效果测评指标体系，未来可以从参训教师个体的角度出发，重点考察师德与理念、专业知识、返岗作用这三项内容。

由于国内外教师培训效果测评问题的定量研究较少，本研究尝试构建的混合式培训效果测评指标体系仍需进一步完善。未来要在研究周期、样本选择、应用范围等方面进一步扩大，丰富有效样本的构成，加强对测评指标体系的应用与改进。与此同时，培训效果的影响因素也是培训效果测评研究的重要内容与分支，个体因素、培训因素、环境因素对培训效果的影响是其主要的研究范畴，未来也可尝试探索混合式培训效果的影响因素对培训效果的单因素或多因素作用，推进混合式培训效果测评研究的纵深发展。此外还需注意的是,对于教师培训测评指标体系的研究要“淡化形式,注重实质”[20]，防止走入机械化与形式化的误区。希望通过本研究能够引起学界对教师培训效果测评这一议题更多的关注，在争鸣中逐步形成更为科学、有效的教师培训效果评定工具，更好地服务于教师培训效果的科学评定与管理决策。▲