中国兽医现场流行病学培训项目评估
2021-02-05
(中国动物卫生与流行病学中心,山东青岛 266032)
2010 年底,农业部和联合国粮农组织(FAO)签订协议框架,启动中国兽医现场流行病学培训项目(CFETPV)。经过近10 年的探索和发展,CFETPV 现已形成“基础培训+2 年期培训”为主体,区域培训、“同一健康”联合培训、导师培训和高级管理人员培训等4 个班次为补充的培训模式[1]。目前,2 年期核心培训班已结业5 期,累计培训了来自29 个省区市的101 名流行病学技术骨干;培训基础培训班学员达161 人次,覆盖全国31 个省区市及5 家部属兽医事业单位;区域培训举办5 期,涵盖全国6 大片区;高级管理人员培训共举办7 期,培训省级兽医主管部门及动物疫病预防控制中心负责人员373 人次;“同一健康”联合培训举办3 届,实现了动物卫生与公共卫生的联合研讨及教学;项目累计聘任国内导师21 名,开展导师培训6 期。
国际上,培训效果评估的主流方法是Krikpatrick 四层次培训评估模型,包含反应层、学习层、行为层和效果层[2]。该模型自1959 年提出以来,在教育界和企业界得到广泛应用[3-4]。2012年Subramanian 等[5]用问卷调查方法,对全球流行病学培训与公共卫生干预网络(TEPHINET)57 个现场流行病培训项目(FETPs)成效进行了评估。2013 年Donnal 等[6]构建了现场流行病学培训项目5 d内快速评估的记分卡方法,包括培训、现场实践、领导力培养、管理和可持续发展等5 个方面4 个等级。国内部分学者关于流行病学培训项目效果定量评估[7-12]的内容相似,都包括满意度、学员8 种能力提高程度以及入学前和结业后工作业绩或能力提升的差异程度等,但方法并不完全统一。满意度和知识掌握度评分为离散数据或等级数据,通常用5级评分,有的也用3 级或2 级评分,通常计算“满意”和“较满意”(或“熟练”和“精通”)的占比,但不适合用连续变量的分析方法换算平均分;培训前后知识掌握度评分的差异,统计检验通常用秩和检验,但不适合用t 检验。为进一步完善项目培训框架,优化项目管理流程,推进项目的科学化、规范化、可持续发展,CFETPV 项目办于2018 年开展了项目自评估,并建立了适合兽医现场流行病学培训项目效果评估的方法和指标体系。
1 方法
本次评估联合相关省份兽医主管部门、动物疫病预防控制机构和动物卫生监督机构共同开展。参照TEPHINET 培训项目质量评估方法[1]和Krikpatrick 四层次培训评估模型,建立评估指标体系[13],通过座谈和问卷调查等方式,了解毕业学员对项目管理和教学实践的满意度,对管理、教学实践、产出、效果、效益等5 个方面进行定性和定量评估,评价毕业学员参训效果和项目预期目标实现程度(图1)。
图1 CFETPV 项目效果评估技术路线
对执委会、国际国内导师、学员单位领导、FAO 各级官员、CFETPV 相关人员等进行访谈,评估项目产出、效果、效益等,评价项目影响力。参照TEPHINET 培训项目质量评估方法,对项目办进行问卷调查,评价项目管理与教学质量。对2年期CFETPV 核心班(含基础班)学员进行问卷调查、电话访谈、座谈等,评估项目管理、教学实践、产出与效果等指标;同时,选择与受训者学历、职务、本领域工作时间(至少2 项以上)等背景相当,但没有参与CFETPV 培训的人员作为对照组,评估培训效果。对高级管理人员培训、区域培训、“同一健康”联合培训和导师培训的学员进行问卷调查,了解学员对项目管理的满意度、培训内容掌握情况及相关建议。对北京、湖南、安徽、宁夏、陕西等省区市进行实地调研,了解学员参训效果和各地对项目的意见和建议。
上述7 方面调查回收问卷298 份,有效问卷285 份(表1),问卷有效率96%。采用Excel 和SPSS 20 软件对数据进行描述性统计分析和假设检验。兽医现场流行病学项目培训效果评估模型[14]数据分析的有关方法与本文有冲突的,以本文为准。达标率,根据评价项目管理和教学质量问卷收集的数据计算,即回答“是”的数量占问题总数的比例。学员对培训满意度评分的满分为5 分,其中1 分不好、2 分不太好、3 分一般、4 分较好、5 分很好。满意度,是评4 分和5 分的人数占该项满意度问题应答人数的比例。学员对培训内容或知识技能掌握度评分满分为5 分,其中1 分不了解、2 分不太了解、3 分一般了解、4 分熟悉、5 分精通。掌握度,是评4 分和5 分的人数占该项知识掌握程度问题应答人数的比例。对照分析方法:学员与非学员8 项知识技能掌握程度评分是离散变量,两者差异的统计检验方法用配对样本秩和检验;学员与非学员流行病学成果是连续变量,两者差异的统计检验方法用配对样本t 检验,检验水准为P=0.05。
2 结果
2.1 项目质量达到国际标准
项目课程管理、人力资源、物质资源、资金来源、学员选拔、监督评价、毕业生管理等管理方面,以及培训课程、现场实践、技术评估、学员评估等教学方面的达标率均在99%以上。项目管理方面,培训课程有课程介绍、能力培养、培训活动、培训日程、目标和教学方法等管理文件。人力资源方面,有项目办公室和监督指导人员,其中学员和指导人员比例为2:1,并有详细的职责说明,有10家国际合作伙伴。物质资源方面,培训材料、网络资源和教学设施完备,有特定的培训经费,学员招生和选拔机制,学员、项目管理人员和项目评价监督方案,为毕业学员提供继续培训和参与调查工作的机会。经费支持方面,多数学员单位对学员差旅和现场实践方面给予全面支持。2 年期核心班学员单位支持费用约人均4 万元(最大值为40 万元),其中人均差旅费用约为1 万元(最大值为10 万元),现场实践费用约2.8 万元(最大值为35.5 万元)。1个月的基础班学员单位支持费用约人均0.7万元,主要为差旅费用。教学方面,集中培训时间占2 年期项目的30%,约20 周,其中50%为专题讲座,其余为互动练习,培训内容全面系统。学员在本单位开展现场实践,90%以上的学员可以完成所有任务,包括流行病学研究、暴发调查、文献批判性阅读、培训授课和海报展示等。项目每半年对技术指导人员进行评估,每季度对学员实践进展进行评估。
表1 调查问卷回收情况
2.2 2 年期核心培训班成效显著
2.2.1 学员满意度较高 培训课程方面,综合满意度为89%,其中培训目标明确性满意度为99%,课程作业量满意度为75%,部分学员反馈有些课程作业偏多;现场实践方面,综合满意度为94%,其中实践任务安排合适度为99%,对实践能力提升帮助的满意度为90%,学员普遍建议适度增加现场实践次数;培训导师方面,综合满意度为97%,其中对导师专业素质和教学态度的满意度均为100%;组织管理方面,综合满意度为97%,其中培训组织满意度为99%,培训场地满意度为92%(图2)。
图2 核心培训学员对项目管理的满意度
2.2.2 核心培训有效促进了学员成长 对学员个人期望、知识应用、工作能力、外语能力等方面进行了定量评估。110 名被调查学员中,97%的学员认为流行病学工作能力得到提升,94%的学员认为在工作中运用到所学的流行病学知识和技能,88%的学员认为外语能力得到提升、培训达到了个人期望(图3)。从不同班别看,核心班学员对培训效果的认可度高于基础班。91%的核心班学员和83%的基础班学员认为培训达到了个人期望,97%的核心班学员和88%的基础班学员认为在工作中实现了学以致用,99%的核心班学员和95%的基础班学员认为流行病学工作能力得到了提升,93%的核心班学员和80%的基础班学员认为外语能力得到了提升。从不同期数看,个人期望达成率较高的为三期(100%)和二期(94%),而且这2 期学员在学以致用方面的认可度均达到100%;流行病学工作能力提升方面,一、二、四期认可度均为100%;外语能力提升认可度最高的为三期(100%)。
图3 核心培训学员参训效果自我评价
2.2.3 职业生涯方面 33%的核心班学员和15%的基础班学员认为培训对个人晋升有帮助,21%的核心班学员和8%的基础班学员职务有变化,其中2 人晋升正高职称,9 人职务晋升;46%的核心班学员和10%的基础班学员在培训后工作职能和角色发生变化,其中24 人调整到流调岗位或参与流调工作。
2.2.4 知识掌握方面 对学员关于流行病学基础理论、紧急流行病学调查、监测等8 个方面的知识技能掌握程度进行自我评分式的定量评估。学员对8 个方面知识的综合掌握度约为61%。其中,流行病学基础理论(84%)、紧急流行病学调查(82%)和监测(78%)等知识掌握度最高,其他依次为流行病学研究设计(64%)、疫情数据整理分析(54%)、英语沟通及报告(45%)、风险分析(42%)、空间流行病学分析(36%)。班别上,核心班学员对各项知识的掌握度普遍高于基础班学员。独立样本秩和检验显示,核心班与基础班学员各项知识掌握程度差异具有统计学意义(P<0.05)。知识掌握度差别最大的是流行病学研究设计和现场调查技术,核心班学员掌握度为84%,而基础班学员仅为28%,相差56 个百分点;其次为数据整理和分析技能,核心班学员为71%,基础班为23%(图4)。
图4 学员知识技能掌握度比较分析
2.2.5 流行病学技术应用与推广成果方面 核心班学员各项成果数量均高于基础班,差异较大(P<0.01)的是开展流行病学培训授课、参加学术研讨会、科研课题、标准制修订等方面(图5)。在开展流行病学递延培训方面,基础班学员人均培训41 人次,核心班学员人均培训305 人次,其中二期核心班和三期核心班学员均在440人次以上(图6)。
图5 学员流行病学成果统计
图6 学员开展流行病学递延培训情况
2.2.6 实践贡献方面 访谈结果显示,学员单位领导普遍认为毕业学员在疫情防控中有了新担当,发挥了生力军和技术骨干作用,特别是在国家、省区市重大动物疫病防控中表现突出。大多数毕业学员将所学知识与流行病学思维理念应用于工作,在本单位流行病学调查计划制定、紧急流行病学现场调查和报告撰写、动物疫病风险评估和监测工作中担任重要角色,在省地级流行病学人才骨干培训、防控技术实践应用、防控体系整合优化和项目引进申请中做出贡献。如宁夏回族自治区结合项目培训模式,将集中监测和流调工作结合,现已在县级形成培训体系和平台;陕西省学员成功申报省级布鲁氏菌病项目,并荣获市级科技进步一等奖和二等奖。
2.2.7 对照分析 31 学员与31 名非学员的匹配对照结果显示,学员对各项知识技能的掌握度均显著高于非学员。配对样本秩和检验显示,学员与非学员各项知识掌握程度差异具有统计学意义(P<0.01)。差异最大的是紧急流行病学调查技术,学员掌握度为94%,非学员仅为19%,相差74 个百分点;流行病学基础理论、流行病学研究设计和现场调查技术、疫情数据整理分析等方面,学员掌握度分别为90%、74%、68%,而非学员分别为26%、13%、19%,相差48~65 个百分点(图7)。在流行病学成果方面,31 名学员和31 名非学员相比,在学术研讨、培训授课、项目课题和紧急流行病学调查方面差异较大(图8)。
图7 知识技能掌握度对照分析
图8 流行病学成果对照分析
2.3 延伸培训推广了流行病学理念应用
2.3.1 高级管理人员培训班 学员以省级兽医局长、处长以及省级疫控中心主任、卫生监督所所长为主。大家对培训课程、培训导师和组织管理方面的满意度分别为98%、100%和98%,且100%的被调查学员意愿继续举办该类培训。学员认为通过培训,个人对兽医流行病学工作理念认知(100%)、动物疫病防治国际先进理念和经验认知(100%)、我国动物疫病防控形势认知(96%)、动物疫病防控技术应用能力(91%)等方面均有所提高。
2.3.2 区域培训班 学员以省、市两级技术人员为主。大家对培训课程、培训导师和组织管理方面的综合满意度分别为97%、97%和94%,而且100%的被调查学员意愿继续举办该类培训。学员对紧急流行病学调查步骤、诊断试验评价和抽样方法等知识掌握度均为86%,对疫病频率测量、调查方案设计、风险分析步骤等知识掌握度分别为84%、76%、73%。
2.3.3 “同一健康”联合培训班 半数学员来自卫生部门,半数学员来自兽医部门。100%的被调查学员认为培训效果很好并希望继续开展此类培训,多数人(15/18)建议1年举办1次,少数人(3/18)建议半年举办1 次。联合调查方面,67%(12/18)的被调查学员在培训后参加过兽医部门与公共卫生部门联合开展的人兽共患病调查,主要包括H7N9流感调查、布鲁氏菌病调查、炭疽病调查、家禽流感病原分布和从业人员认知度调查等。跨部门合作方面,78%(14/18)的被调查学员在培训后开展或参与过跨部门合作,主要包括高致病性禽流感应急演练、人兽共患传染病防控应急工作、布鲁氏菌病联合调研、狂犬病防控技术研究和宣传活动、现场流行病学联合培训、疫情信息和禽类接触史等信息沟通交流、省级动物疫情风险评估会、某地早市流动活羊现场挤鲜羊奶卫生状况调查、世界银行高致病性禽流感防控能力建设项目、中国援助非洲高级农业专家组技术合作项目等方面。效果评价方面,100%的被调查学员认为培训效果很好。一是联合培训提供了良好的沟通交流平台,增进了两部门的互相了解和信息交流,建立了信任;二是联合培训有助于两部门人员相互学习借鉴,分享防控中的问题,有助于业务互学、技术互帮,达成“同一健康”共识,实现良性共赢。
2.3.4 导师培训班 培训对象以项目导师为主。有13 位导师参加了问卷调查,对培训课程、培训导师和组织管理方面的综合满意度以及继续举办该类培训的意愿均为100%(图2)。自2015 年第1次举办导师培训以来,约1/3 的被调查导师参加了3 次以上培训。培训效果方面,90%以上的被调查导师认为自身对专业知识的理解、实践能力和沟通交流能力得到了提升,85%的被调查导师认为自身教学技能得到了提升。
2.4 项目影响力和社会效益逐渐显现
项目在重大动物疫情防控中发挥了重要作用。学员不仅通过开展递延培训在本省区市传播流行病学理念,还在全国动物疫病监测、流行病学调查计划制定及实施、H7N9 流感、小反刍兽疫(PPR)和非洲猪瘟(ASF)等突发紧急动物疫情处置等活动中发挥了骨干作用。在2013 年H7N9 流感防控中,二期学员运用市场链分析技术和空间分析技术绘制了H7N9 流感传播路径图,为寻找风险因素提供强有力的数据支持;提出关闭活禽交易市场、禁止长距离调运是控制H7N9 流感传播的有效措施,为国家制定H7N9 流感防控政策提供了科学的技术支撑。在2014 年PPR 防控中,三期学员在疫情初始阶段,迅速锁定活畜交易市场是传播疫情的重要途径,通过市场价值链分析,追踪到181 批次活羊去向,判断疫情可能向23 个省区市扩散,随向部兽医局提出追踪排查疫情建议,得到局里高度重视。三是在当前ASF 防控中,几乎所有毕业学员都参与了省部联合工作组和流调队调查和各省区市的自查排查工作。2018 年11 月中旬,FAO 总部首席兽医官胡安(Luan Lubroth)在访问中国期间,对CFETPV 学员参与ASF 防控取得的突出成绩表示赞赏,指出学员在ASF 流行病学调查中发挥了重要作用。
3 讨论
评估结果显示,CFETPV 项目基本实现了培养一批高级兽医流行病学人才,打造一支现场流行病学工作队伍的基本目标。各有关方面一致认为,项目国际影响力明显提升,培训范围从兽医领域扩展到水生动物和公共卫生领域,培训学员从国内学员扩展到东南亚地区国际学员。FAO 称,CFETPV是亚太区最为成功的流行病学培训项目。第九届TEHPINET 全球科学会议称,CFETPV 项目为亚太区成功项目的典范。农业农村部称,CFETPV 项目是兽医局深化国际合作的成功典范,是兽医系统的“黄埔军校”。在第六期高级流行病学培训班开幕式上,兽医局陈光华副局长提出,CFETPV 有力推动了我国动物防疫工作理念和方法的创新,在区域乃至全球已经实现了从跟跑、并跑向领跑的跨越式发展。但另一方面,项目的运作机制和资源整合还有待进一步完善。
3.1 完善运作机制,进一步推进项目的本土化发展
首先要进一步完善学员和导师选拔机制,规范考核程序和评估指标体系,做到高质量与多样化并重。建立导师管理激励机制以确保国内导师的投入,将各省区市支持导师工作情况纳入流行病学调查工作绩效考核,培养稳定的师资团队。其次,系统开发本土化教材和案例,增加国内重大动物疫病防控案例解析和经验分享,形成培训标准化中文教材。再次,加强实践基地建设。选取有条件的市县疫病控制机构作为学员实践基地,建立相关的流行病学研究项目或工作平台,加强实践和推广,让学员有更多的机会参与调查监测活动,提升学员“实践中学”的力度。最后,增加对毕业生的跟踪服务与支持。如,组织定期的进阶培训,发生突发疫情时,紧急召回学员参与疫情调查等实践。
3.2 强化资源整合,进一步推进项目的可持续发展
从评估结果看,与其他培训项目比较,CFETPV 采用国际化的培训模式,整合了国内罕见的优秀教师资源,具有先进的培训理念和方法,优势明显。然而,受国际大环境影响,国际组织资金资助越来越少,如何推进项目的可持续发展将是项目面临的重大难题。可以借鉴泰国FETPV 发展经验,整合国际和国内资源,借力发展。一方面,整合国内有关培训项目的资源与经费,将CFETPV培训作为重点支持对象;另一方面,借助CFETPV培训模式的优越性和国际影响力,整合国际资源,进一步推进国际合作,拓展资金来源渠道,广开源、促发展。
3.3 推进跨区域跨平台合作,进一步提升项目效益
一是“请进来”与“走出去”并重,进一步资助国内导师和学员参加国际学术交流或培训,增加国内外实际案例解读和研讨,拓展导师和学员视野的同时,提升项目和我国兽医流行病学在国际的影响力。二是进一步参与OIE、FAO、WHO 等国际组织举办的国际活动,派员参与其他国家的跨界动物疫病防控活动;加强与其他国家FETPV 的联系交流,通过联合开展案例开发、联合培训等模式,推广中国模式和中国经验,履行大国义务。三是践行“同一健康”理念,以CFETPV 为平台,探讨建立跨区域、跨部门的交流合作机制,通过联合申报项目,互邀教师授课,在国家、区域层面开展FETP 和FETPV 学员联合现场调查,建立日常联络平台,共享信息,定期交流疫情形势动态、防控工作和科研进展成果,协同应对当前复杂的人兽共患病形势。