兽医现场流行病学项目培训效果评估模型构建

刘丽蓉，刘爱玲，张丽丽，于丽萍，韦欣捷，康京丽

（1.中国动物卫生与流行病学中心，山东青岛 266032；2.烟台市牟平区动物疫病预防与控制中心，山东烟台 264100）

中国兽医现场流行病学培训项目（以下称，CFETPV 项目）是在农业农村部和联合国粮食及农业组织（FAO）、美国国际发展署合作框架下，由农业农村部畜牧兽医局、FAO 跨境动物疫病应急中心中国办公室与中国动物卫生与流行病学中心联合举办的，面向全国各省、自治区、直辖市、计划单列市和重点地区动物疫病预防控制机构、国家级兽医技术支撑机构优秀业务骨干及兽医重点院校老师，开展为期2年的兽医流行病学培训。该项目致力于培养具备专业知识和实战经验的高级兽医现场流行病学人才。截至目前，培训班累计举办5期，培养了来自29个省区的101名流行病学技术骨干（包括正在培训的第五期学员20人）。随着项目的扩大发展，培训课程能否满足实际需要，如何保证学员学习质量，如何提升教学水平，是项目管理方需要深入思考的问题。因此，研究构建一套科学合理的培训效果评估模型，对优化完善兽医流行病学人才培训项目具有重要意义。

1 国内外研究概况

1.1 国外评估模型

目前，国外提出的评估模型主要有2大类：分层次评估模型和分阶段评估模型。分层次评估模型侧重分析培训的效果，主要有柯式四级评估模型、五级投资回报模型和五级评估模型等。其中，柯式四级评估模型是柯克帕特里克（Kirkpatrick）于1959年首次提出的[1]，目前成为管理界研究培训评估问题的经典理论，并在各领域广泛应用。该模型分为4个层次：反应层、学习层、行为层、效果层。五级投资回报模型是1991年由菲利普斯（Phillips）提出的，在柯式四级评估模型的基础上，增加了第5层级——投资回报率[2]。五级评估模型是1994年由考夫曼（Kaufman）提出的，在柯式四级评估模型的基础上，在反应层中增加了对培训前投入资源要素的评估，并增加了第5个层级——社会效益层级[3]。分阶段评估模型侧重对培训项目的全流程评估，主要有CIPP评估模型和CIRO 四级评估模型等。CIPP 评估模型是1965年由Daniel Stufflebeam 提出的，评估流程包括背景评估、输入评估、过程评估、成果评估4个阶段[4]。CIRO 四级评估模型是1970年由Warr、Bird 和Rackham 提出的，评估流程包括背景评估、输入评估、反应评估和输出评估4个阶段[5]。2012年，全球流行病学培训与公共卫生干预网络（Training Programs in Epidemiology and Public Health Interventions Network，以下简称TEPHINET）对其57个成员国的FETPs 项目通过问卷调查的方式对课程设置、组织机构、学员录用与培养、项目活动与成果等方面进行了评估[6]。印度NIE FETP 团队对项目7年来从投入、发展、成效、产出四个方面以问卷调查的方式对培训前后培训能力、学习活动、田间调查、项目管理、课程管理、与工作相关性、项目优劣势等内容进行了内部评估[7]。

1.2 国内评估模型

行业培训效果评估方面，贺龙[8]基于柯式四级评估模型建立企业安全生产培训的效果评估模型，将万人违章率、20万工时停工再培训的损工日比、培训不合格事件比、万人死亡率、20万工时事件率、20万工时可记录伤害事件率作为结果层的评估指标。2010年饶艳华和曹梅娟[9]以柯式四级评估模型和CIPP 模型为基础，对我国社区护士岗位培训评估模型的构建和应用进行了初步探讨，提出社区护士培训评估可以分为培训前评估、培训过程评估和培训后评估3个层次，并在2011年采用专家函询法构建了社区护士岗位培训工作评估指标体系[10]。FETP 培训效果评估方面，刘慧慧等[11]通过访谈和问卷调查的形式，开展了地方现场流行病学培训项目实施效果定性调查。王安娜等[12]和姚兰等[13]从反应层和学习层开展了北京市顺义区和贵州省现场流行病学培训项目效果评价。李东悦等[14]通过问卷调查学员、学员单位领导及专家对项目的整体评价、培训后技术能力提升情况、结业后工作成绩和工作表现满意度及结业前后工作业绩等内容进行了广东省现场流行病学培训项目培训效果评估。CFETPV 项目培训效果评估工作尚处在探索阶段，仅通过简单的问卷调查了解学员对教学及会务管理等的反馈。项目管理方曾基于柯氏四级培训效果评估理论，构建了CFETPV 项目基础培训效果评估方法，并以第五期CFETPV 项目基础培训为例，从反应层和学习层进行短期评估[15]。

2 CFETPV 项目培训效果评估模型的构建

2.1 模型构建的原则

2.1.1 定性评估与定量评估相结合定性评估是指运用经验和专业知识，对培训活动进行主观评价，继而做出不同等级结果的评估。例如对知识技能的掌握程度进行自我评分，分为5分精通、4分熟悉、3分一般了解、2分不太了解、1分不了解5个等级。定量评估是将培训活动中各相关要素进行量化，根据实际数据测评培训项目实施的基本情况。例如对参加培训以来的流行病学相关成果：发表文章数量、开展流行病学研究/监测数量、开展流行病学培训和授课次数等指标进行量化评估。

2.1.2 即时评估与跟踪评估相结合培训效果评估具有一定的滞后性，尤其是反应层和结果层的滞后效应更加明显。因此，在进行培训效果评估时，既要重视即时评估，又要重视跟踪评估。培训项目结束后，及时对培训设计、授课老师、组织管理的满意度及知识技能的掌握情况等进行即时评估；6个月后继续对学员行为态度改变、工作业绩以及单位改进程度进行跟踪评估。

2.1.3 内部评估与外部评估相结合在培训效果评估主体中，既有执委会、项目办这样的内部评估者，又有学员、学员单位领导或同事、国际国内导师这样的外部评估者。内部评估者更了解培训项目，但属于自我评估，其客观性和真实性易被质疑。而外部评估者不太了解培训项目，但其评估的客观性和真实性较强。因此，将内部评估和外部评估、自我评估和其他主体评估互补结合，充分发挥内、外评估的优势，有助于保证培训项目评估的客观、真实、有效。

2.2 评估模型的构建

基于柯氏四级评估理论，通过分析CFETPV培训项目特点，通过查阅大量文献，在广泛吸收和借鉴国内外各领域专家、学者对培训效果评估有关研究的基础上，借鉴TEPHINET 培训项目质量评估方法，本研究从管理层、反应层、学习层、行为层、结果层五个层级构建了CFETPV 项目培训效果评估模型。该模型由5个一级指标和13个二级指标构成，经多次征求项目执委会、FAO 跨境动物疫病应急中心中国办公室、CFETPV 国内导师及有关兽医流行病学专家的意见，对二级指标进一步筛选，得到75个三级指标。不同评估层级在应用时的评估主体、评估方法、评估时间和评估指标见表1。

2.2.1 管理层评估即项目办对培训质量的评估主要包括项目管理和教学质量2个二级指标，课程管理、人力资源和物质资源等11个三级指标，见表2。通过问卷调查掌握培训项目实施情况，及时发现问题，提高培训质量。可通过达标率来评估培训项目质量，包括单项达标率（Qj）和综合达标率（QTi），分别见公式1～2。

表1 CFETPV 项目培训效果评估模型的建立

表2 CFETPV 项目管理层培训效果评估指标体系

其中：

Qj：第j项评估内容达标率，j=1，2，……11，分别代表课程管理、人力资源、物质资源等11个三级指标；

nj：第j项评估内容包含的四级指标总数量；

xj：第j项评估内容中四级指标回答“是”的数量。如，课程管理包含6个四级指标，其中5项回答“是”，则课程管理的达标率为。

其中：

QTi：第i项评估内容综合达标率，i=1，2，分别代表项目管理和教学质量；

Qj：单项达标率；

m：单项评估内容的数量，这里m=7或4。

如，项目办对课程管理、人力资源、物质资源、资金来源、学员选拔、监督评价、毕业生管理的达标率分别为96%、98%、99%、100%、98%、97%和100%，则项目管理综合达标率为。

2.2.2 反应层评估反应层评估即项目办和学员对培训项目的反应和评价。主要包括培训课程、现场实践、培训导师、组织管理的满意度及期望建议5个二级指标，培训目标明确性、课程内容完整性和课程安排恰当性等24个三级指标（表3）。满意度用于衡量学员对培训项目的主观喜好程度，包括单项满意度（Sj）和综合满意度（ST），分别见公式3～4。期望建议是指学员结合个人体验对项目后期发展提出的意见建议。

表3 CFETPV 项目反应层培训效果评估指标体系

其中：

Sj：第j项评估内容满意度，j=1，2，……24，分别代表培训目标明确性、课程内容完整性和课程安排恰当性等24个三级指标；

n：参与调查的学员数量；

xi：第i位学员对第j项评估内容的满意度评分；

Ss：满意度评分满分值。

如，满意度评分设置为1～5分，满分为5分，4位学员对培训目标明确性的满意度评分分别为4、4、5、5分，则课程内容的满意度为

其中：

STi：第i项评估内容综合满意度，i=1，2，……4，分别代表培训课程、现场实践、培训导师、组织管理；

Sj：单项满意度；

m：单项评估内容的数量，这里m=2或4或5或8。如，学员对培训组织、培训场地、培训辅助设备及资料、项目管理的满意度分别为90%、92%、95%、和91%，则对组织管理的综合满意度为

2.2.3 学习层评估学习层评估即学员参加培训后知识技能的掌握情况，是反映学习效果最直接的层级。主要包括项目办评估和学员自我评估2个二级指标和毕业答辩、流行病学研究和紧急流行病学调查等17个三级指标，见表4。项目办评估可通过毕业评分（Gs）来考察学员学习期间的态度、出勤、互动等综合表现情况，见公式5。学员自评估指学员对流行病学基础理论、紧急流行病学调查、监测等“八项能力”的掌握度，包括单项掌握度（Mj）评估和综合掌握度（MT）评估，分别详见公式6和公式7。

表4 CFETPV 项目学习层培训效果评估指标体系

xi：第i项指标得分情况，i=1，2，……9，分别代表毕业答辩（总分60分）、流行病学研究（总分10分）、紧急流行病学调查（总分10分）、开展培训（总分5分）、发表文章（总分5分）、文献批判性阅读（总分4分）、出勤（6分），共100分；另有附加分：其他实践（总分3分）和担任班委（总分2分），总分105分。

Mj：第j项知识技能掌握度，j=1，2……8，分别代表流行病学基础理论、紧急流行病学调查、监测、风险分析、空间流行病学分析、流行病学研究设计及现场调查、疫情数据整理及分析、英语沟通及报告；

n：参与调查的学员数量；

xij：第i位学员对第j项知识技能的掌握度自评分；

Sm：掌握度评分满分值。

如，掌握度自我评分设置为1～5分，满分为5分，3位学员对紧急流行病学调查的自我评分分别为3、4、5分，则掌握度为

其中：

MT：综合掌握度；

Mj：单项知识技能的掌握度；

m：单项知识技能的数量，这里m=8。

例如，学员对流行病学基础理论、紧急流行病学调查、监测、风险分析、空间流行病学分析、流行病学研究设计及现场调查、疫情数据整理及分析、英语沟通及报告的掌握度分别为91%、86%、88%、90%、92%、87%、90%和93%，则综合掌握度为

2.2.4 行为层评估行为层评估即学员将学习内容转化为工作实际的情况。主要包括行为变化和。知识技能的应用2个二级指标，工作态度、工作积极性、和沟通交流能力等11个三级指标。对学员、学员单位领导或同事、执委会、国际国内导师进行问卷调查或实地调研，了解学员培训前后工作行为的变化，及其在工作中运用学习的知识技能情况，可通过行为变化率来评估，包括单项变化率（Aj）和综合变化率（ATi），分别见公式8～9。行为的改变一般需要3～12个月的转化时间，因此多在培训后半年进行评估。

表5 CFETPV 项目行为层培训效果评估指标体系

其中：

Aj：第j项行为变化率，j=1，2……11，分别代表工作态度、工作积极性、和沟通交流能力等11个三级指标；

xj：第j项评估内容中选择“是”的数量；

n：参与调查的学员数量。

如，6位学员对“工作态度是否有变化”中有5位选择“是”，则工作态度的变化率为

其中：

ATi：第i项评估内容综合变化率，i=1，2，分别代表行为变化和知识技能的应用；

Sj：单项变化率；

m：单项评估内容的数量，这里m=6或5。

如，对培训是否达到预期、是否运用所学知识及技能、工作能力是否有所提高、外语水平是否有所提高、单位是否支持培训所学的达标率分别为96%、98%、99%、100%和98%，则知识技能的应用的综合变化率为

2.2.5 结果层评估结果层评估即培训对个人和单位带来的可预见的积极作用。主要包括个人业绩和单位效益2个二级指标，流行病学研究/监测、紧急流行病学调查和风险分析等12个三级指标。个人业绩主要从工作质量方面考虑，如实施科研项目、发表文章、成果奖励、学术研讨等工作成果。单位效益可通过对学员所在部门的领导及其上级领导进行调查，评估学员培训后对本单位兽医流行病学工作的贡献。成果的产出需要一定的累计时间，因此也在培训结束后定期开展结果层评估，一般要在半年以后开展。

表6 CFETPV 项目结果层培训效果评估指标体系

3 CFETPV 项目培训效果评估模型实施建议

3.1 注意评估层级的整合

Kirkpatrick 培训效果评估理论最大的特点是具备较强的系统性、整体性和持续性[13]。在此评估模型中，五个评估层级逐层递进、相辅相成。管理层是对培训质量的评估，便于掌握培训实施情况，及时发现问题，提高培训质量。反应层是对培训的满意度和期望建议，是学员根据自己的培训需求和活动状况进行的直观反馈。管理层和反应层的评估结果和学习层紧密相连，由于学员对培训的直观感受不同，会出现不同的学习表现，从而导致对知识技能的掌握程度不同。行为层是学员培训后日常工作的表现，虽经过培训，并不一定所有的收获都能够转化为实践能力，但总体上，学习层对行为层有巨大影响。此外，学习层和行为层会共同作用于单位和个人总体利益的产出，影响结果层。而根据单位和学员是否受益及受益程度，会导致学员单位产生新的培训需求，从而影响对下一次培训的反应。使用本模型时可以从以下几方面入手：首先，引入系统思维，关注不同层级对总体产出的影响，将培训效果放在首要位置。其次，加强项目办和学员单位的交流，综合考虑不同评估主体的评估结果，进行汇总分析。再次，注重结果反馈，及时将评估结果上报至管理层，从而为项目未来发展提供决策依据。

3.2 重视数据的长期追踪

本评估模型注重评估结果对项目未来发展的指导作用，以及学员所在单位通过培训获得的长期收益。因此，项目办在用该评估模型进行效果评估时，应当注意数据的收集和长期追踪。可以建立数据库，详细记录所有学员培训前的个人基本信息、学术水平，及培训期间的实践、日常表现、答辩等考核数据。其次，定期进行数据对比。将学员某段时间前后的有关数据进行对比分析，了解学员在该时间段的能力变化情况。

3.3 加强评估指标的量化分析

在实施评估过程中，很有可能出现有的指标不能量化的情况。因此，对评估指标的描述应当尽可能规范、清楚，避免模棱两可。例如，在反应层中，应当对培训教师的授课表现进行清晰的界定，并且赋予分值。此外，还可对教师团队的整体表现和每位教师的授课表现分别打分，从而可以更加全面地评价教师的授课情况。

4 小结

定期开展CFETPV 项目培训对提升我国兽医流行病学队伍建设能力，提升动物疫病防治科学化水平具有重要意义，但如果缺乏对培训效果的评估，将难以发现培训过程中存在的问题。因此，本研究基于Kirkpatrick 培训效果评估理论和全球流行病学培训与公共卫生干预网络培训项目质量评估方法，构建了CFETPV 项目培训效果评估模型。从管理层、反应层、学习层、行为层、结果层五个层级建立培训效果评估指标体系，包含5个一级指标、13个二级指标和75个三级指标。通过管理层了解项目的培训质量，反应层掌握项目办和学员对培训项目的反应和评价，学习层测定学员对知识技能的掌握程度，行为层考察学员行为变化及知识运用程度，结果层计算培训带来的效益，科学评估CFETPV 项目取得的成效和存在的不足，完善项目培训框架，合理优化项目管理流程，推进项目科学化、规范化、持续化发展。