基于柯氏模型的全科医生规范化培训效果评估指标体系的构建研究

张伟，孙瑞玲

我国基层医疗卫生机构设施薄弱，医疗卫生人才数量不足且质量有待提升。全科医生是基层医疗卫生机构最主要的医疗卫生人才，是居民健康的“守门人”，以全科医生规范化培训形式为主，建立一支以全科医生为主体的全科医疗队伍，是目前有效缓解我国基层卫生人才短缺、提升基层卫生服务水平的重要举措。全科医生规范化培训以“5+3”为主体，即5年的全科医学本科教育，3年的全科医生规范化培训，通过3年的理论培训、临床轮转和社区实践培训，取得培训合格证书作为其从事全科医疗工作的准入条件之一。“5+3”模式是将全科医学临床专业学位教育与住院医师规范化培训有机结合，5年的院校教育加上3年的住院医师规范化培训或全科医生规范化培训，成为全科医学人才培养的主流模式，学员通过培训并考试合格后，持有省级卫生行政部门颁发的合格证书，才能注册为全科医生[1]。目前，发达国家在全科医生培训方面已经形成了比较成熟的体系，国内学者也从全科医生培训现状、模式、激励机制、效果评估等角度进行了大量研究，但是研究内容比较局限，对南京市全科医生规范化培训不具有针对性。柯氏模型是由美国Kirkpatrick提出，是世界上应用广泛、操作性强的培训评估模型，原理是依据培训效果的深度和难度将培训效果分为4个层级，由浅及深、由易到难分别是反应层、学习层、行为层与结果层。本研究以南京市参加全科医生规范化培训的医生为研究对象，对南京市全科医生配置与工作情况进行调查，并结合柯氏模型，采用德尔菲法和层次分析法构建了全科医生规范化培训评估指标体系，为全科医生规范化培训效果评估提供了一套评估工具。

1 对象与方法

1.1 研究对象 咨询专家遴选标准：从事临床医学、全科医学、公共卫生及卫生管理领域的专家；具有副高级及以上职称；本科及以上学历；具有全科医学、公共卫生等临床工作经验10年及以上；具有全科医生规范化培训教学及培训经验且有时间保障完成两轮专家咨询。咨询专家人数的多少关系到咨询结果的准确性和权威性，咨询专家的人数要在较少工作量的基础上保证咨询结果具有较高的准确性和权威性，通过查阅相关评价指标研究的文献，一般选取的专家在15～50人[2-5]。本研究选取了广东、广西、四川、湖南、上海、南京、山东、北京等省（市）从事临床医学、全科医学、公共卫生及卫生管理的专家25名作为本研究咨询对象。

1.2 研究方法

1.2.1 文献研究法 本研究开展于2017年7月—2018年7月，通过搜索“全科医生规范化培训”“指标体系”“柯式模型”关键词在中国知网检索2001—2018年的相关文献，通过搜索“standardized training for general practitioners”“evaluation index system”“Kirkpatrick model”关键词在PubMed外文数据库检索2001—2018年的相关文献，阅读国内外相关文献书籍收集有关全科医生规范化培训效果评估的资料，通过仔细分析研究，确定了本研究的思路和写作框架，通过文献检索形成了初步评估指标体系，包括4个一级指标、10个二级指标、21个三级指标及37个四级指标。

1.2.2 德尔菲法 本研究通过电子邮件的方式进行两轮专家咨询。第一轮专家咨询邀请专家按照五级重要性等级对指标的“重要性”进行打分，分为很不重要1分、不重要3分、一般5分、重要7分和很重要9分，并根据指标重要程度提出修改意见。同时，请专家填写指标熟悉程度评级表和影响程度量化表[6]。第二轮专家咨询是在分析第一轮专家咨询结果及专家提出的意见基础上进行的，第二轮专家咨询表附有第一轮专家咨询的结果及详细的填表说明，邀请专家根据第一次专家咨询结果再次对指标重要性进行评价。最后，分析整理第二次专家咨询结果，以此形成全科医生规范化培训效果评估指标体系。

1.2.3 层次分析法 层次分析法（analytic hierarchy process，AHP）是由美国科学家Saaty于20世纪70年代提出的一种定性分析与定量分析相结合的系统分析方法，是目前应用广泛的一种综合评价方法，适用于多目标层次结构复杂的决策问题[6]。AHP的基本思路是将复杂的多目标的项目排列成一个有序的递阶层次结构的整体，然后对各个评价指标进行两两比较，从而计算出各个指标的相对重要性程度，即权重。主要通过界值法对评估指标体系进行筛选。首先基于德尔菲法确定的指标体系在Yaahp软件中构建层次结构模型，通过德尔菲法征询专家意见，对指标的相对重要性做出评价，根据评价结果构造判断矩阵，并运用Yaahp软件进行层次一致性检验，从而确定各指标的权重。本研究采用层次分析法来确定全科医生规范化培训效果评估指标体系各指标权重。

1.2.3.1 建立层次结构模型 模型主要由目标层、准则层和指标层组成。将全科医生规范化培训效果评估指标体系作为总目标，对全科医生规范化培训效果评估指标体系进行层层分解，构造层次结构模型。

1.2.3.2 建立两两比较判断矩阵 邀请19位专家依据Satty相对重要性等级表（见表1）对每一层次中的各指标相对重要性给出判断，对同一层次指标的重要性进行赋值，建立两两比较判断矩阵，运用Yaahp软件进行数据录入和分析。

2 结果

2.1 专家基本情况 本研究共进行了两轮专家咨询，第一轮初步遴选了25位专家参与咨询，主要从事临床医学、全科医学、公共卫生和卫生管理等相关领域，均具有副高级及以上职称，10年以上相关工作经历，第一轮咨询共有20名专家参与，第二轮咨询共有19名专家参与，两轮咨询专家的基本情况见表2。

2.2 专家积极系数 E=m/M×100%，E是专家的积极系数，m是参加此次培训指标评价的专家人数，M是参加培训指标评估的全部专家数，E的大小代表专家对问题的关心程度[8]。本研究第一轮发出咨询表25份，收回20份，回收率为80%；第二轮发出咨询表20份，收回19份，回收率为95%。

2.3 专家权威系数 专家的权威系数（Cr）是由专家做出判断的判断系数（Ca）和专家对研究方案的熟悉系数（Cs）来决定的，即Cr=（Ca+Cs）/2。Cr的值在0～1，值越大，说明专家的权威程度越高，可靠性越高[9]。本研究两轮专家权威系数均>0.8（见表3）。

2.4 专家协调系数 专家意见Kendall's W说明全部咨询专家对全部评估指标的协调程度，越大说明专家意见协调程度越高，是衡量咨询结果可信程度的重要指标[8]。Kendall's W一般取值在0～1，最后一轮的专家协调系数一般在0.5左右[10]。协调系数 的计算公式[11]为：公式中n表示指数总数，m表示专家总数，dj表示j指标等级和与全部指标等级和的算术平均值之差，Ti表示修正系数。协调系数的显著性检验：自由度df=n-1。协调系数的显著性检验，如果P<0.05，说明专家评估的协调性好，结果可取；反之，则不可取。专家意见协调系数第二轮比第一轮高，协调系数逐渐增大，第二轮专家意见协调系数接近于0.5，且两轮专家意见协调系数的χ2检验P<0.05（见表4）。

表1 Saaty相对重要性等级表Table 1 Saaty relative importance rating scale

表2 两轮咨询专家的基本情况Table 2 Basic information of experts in two rounds of consultation

表3 专家对一级指标的权威程度Table 3 The authority degree of first-level indicators by experts

表4 两轮专家意见的Kendall's W及假设检验Table 4 Kendall's W and hypothesis testing of two rounds of expert consultation

2.5 专家咨询结果

2.5.1 第一轮专家咨询结果 本研究将根据以下原则进行指标筛选：（1）满分比≥20.0%；（2）指标重要性赋值均数≥3.5分；（3）变异系数≤0.25[12]。对于同时不符合2个及以上指标筛选原则的指标才被删除。第一轮专家咨询各指标的满分比为0～55%，均值为4.2～8.0分，变异系数为0.146～0.409。根据指标筛选原则并结合专家积极系数、权威系数与协调系数，对评价指标进行以下修改：

删除的指标：共9个，包括三级指标“3.1.1工作数量”“3.3.2科研能力”和“3.3.4服务项目拓展”；四级指标“1.1.1.2课程内容新颖性”“1.1.1.5课程安排丰富程度”“1.1.2.7对进度和现场气氛把握”“1.2.2.2科研水平和能力”“1.2.2.6带教经验”“1.2.4.2提供专业期刊和书籍情况”。

修改的指标：根据专家意见，将二级指标“职业道德”改为“职业道德与团队协作”。

2.5.2 第二轮专家咨询结果 依据第一轮指标筛选原则对第二轮专家咨询结果进行分析，对指标进行以下修改：

删除的指标：根据专家意见和课题组讨论，将指标“1.1.4.2生活条件和食宿安排”“1.2.4.2生活条件和食宿安排”和“1.1.2.2教师课前准备情况”删除。

2.6 层次分析结果 将19位专家的指标权重赋值进行分析，对各个专家对指标权重的判断矩阵进行一致性检验，结果显示CR均<0.1，说明单层指标排序具有良好的一致性，结果可取。以前10位专家对一级指标的权重及一致性检验为例，见表5。

表5 前10位专家对一级指标的权重及一致性检验Table 5 Weight and consistency test of first-level indicators by first ten experts

2.7 全科医生规范化培训效果评估指标体系及权重

2.7.1 指标体系 本研究通过两轮专家咨询，最终确定了全科医生规范化培训效果评估指标体系，共有4个一级指标、10个二级指标、18个三级指标、28个四级指标。构建的全科医生规范化培训效果评估指标体系各指标权重见表6。

2.7.2 权重结果 一级指标反应层、学习层、行为层、结果层的权重分别为0.209 0、0.180 5、0.352 2、0.258 3。二级指标中，权重排在前3位的分别是实践培训（0.164 3）、实践技能（0.140 0）、发展能力（0.133 9）；排在后3位的为理论知识（0.040 5）、理论培训（0.044 7）、工作计划完成情况（0.066 6）。三级指标中，权重排在前3位的是终身学习能力（0.075 2）、培训师资（0.061 9）、创新能力（0.058 8）；排在后3位的为培训保障（0.009 1）、培训实施（0.011 5）、培训师资（0.011 6）。四级指标中，权重排在前3位的为（实践培训）教学场所和设施（0.023 1）、专业知识和技能水平（0.021 3）、技能操作（0.015 1）；排在后3位的为语言表达能力（0.001 3）、教师与学员的互动（0.001 9）、教师的责任心（0.002 0）（见表6）。

3 讨论

德尔菲法是一种定性的预测方法，其预测主要是凭借人的经验及分析能力，因此，该方法具有很大的主观性，要想使预测结果可信性和权威性高，专家的选择是德尔菲法的关键[13]。应用德尔菲法来预测某一领域主题对专家该领域的知识广度和权威性要求较高，而且德尔菲法对专家的数量有要求，一般在10～50为宜[14]。本文以柯氏评估模型为基础，通过文献研究，初步构建全科医生规范化培训效果评估指标体系，并根据原卫生部印发的《全科医生规范化培养标准（试行）》[15]及江苏省人民政府办公厅下发的《关于改革完善全科医生培养与使用激励机制的实施意见》[16]等政策文件确定专家咨询内容。两轮专家的积极系数均>0.8，说明专家对本研究的积极性较高[8]。两轮专家的权威程度与协调程度均较高，说明本研究构建的全科医生规范化培训效果评估指标体系较科学，可信度较高。

表6 全科医生规范化培训效果评估指标体系及权重Table 6 Evaluation index system and weight table of standardized training efficiency of general practitioners

由层次分析的结果显示，各层级指标的权重程度不同，为实际培训中各指标的重要性程度比较分析提供了参考。一级指标中“行为层”与“结果层”的权重较高，说明在培训中要注重培训效果的转化，一级指标测量的权重结果同时也验证了培训转化理论中行为层对绩效提升的效果最为明显。二级指标中，“实践培训”“实践技能”“发展能力”的权重较高，此三个二级指标分别是“反应层”“学习层”“行为层”的二级指标，说明了实践培训对于整体培训效果的重要性，要为医生提供更多的临床实践机会，提升全科医生的实践技能，为其制定工作发展的目标，培养其发展能力。三级指标中，将“发展能力”细分为“终身学习能力”与“创新能力”两个三级指标，三级指标权重结果显示，“终身学习能力”“培训师资”“创新能力”指标权重排在前3位，说明培训中应该着重发展学员终身学习能力与创新能力，同时加强师资队伍建设，邀请专业的老师进行临床实践操作示范。该指标体系将一级指标“反应层”细分到四级指标，其中“教学场所和设施”“专业知识和技能水平”“技能操作”指标权重排在前3位。说明在培训中要提供必要的资金、设备支持，改善医生的培训环境，注重专业知识与实践技能提升。

综上所述，本研究是严格按照德尔菲法与层次分析法构建的全科医生规范化培训效果评估指标体系，该指标体系涵盖培训的整个过程，具有一定的科学性与可行性。但是，本研究也存在不足，初步构建的全科医生规范化培训效果评估指标体系并未得到实际应用，目前无法评估规范化培训后医生的岗位胜任力，指标体系未将重点放在培训效果上，这与本研究选取的专家有关。全科医生规范化培训效果的评估也是一项长期的、连续的、动态的过程[17]，因此，在后续研究中将不断完善和修订指标体系，进一步通过信效度分析来验证该指标体系的可操作性，并进行全科医生规范化培训效果评估的实证分析，使该指标体系真正应用到全科医生规范化培训评估中。

作者贡献：张伟负责检索、整理文献，确定论文选题及设计论文框架，撰写初稿和修改文章；孙瑞玲对论文内容提出观点和修改意见。

本文无利益冲突。