柯氏评估模型在临床药师培训考核中的应用效果

侯幸赟 葛卫青 陈燕红 王志鹏 余年喜 冯瑾 伊佳 徐德铎 温燕 陶霞

（海军军医大学第二附属医院 1. 药剂科；2. 信息科 上海 200003）

培训效果评估有很多方法，目前国内外运用最为广泛的培训效果评估方法是美国唐纳德·L·柯克帕特里克（Kirkpatrick）提出的培训效果评估模型，也称“柯氏评估模型”。很多企业、公务员及在职教育培训等单位常采用柯氏评估模型来指导教学实施和评估培训效果[1-4]。Kirkpatrick 把培训评估分为4 个递进层次，分别是“反应层”“学习层”“行为层”“结果层”[5]。医疗机构尤其在护理和住院医师规范化培训方面，也常应用柯氏评估模型来评估培训质量和效果，通过理论与实践相结合，不断提升护士和住院医师的岗位胜任能力[6-9]。临床药师培训效果评估目前还处于探索的过程中[10]，传统的考核方法以理论考核和案例汇报考核2 种方式为主，较为单一化和固定化，无法全面考核每个学员在培训过程中的进步和成长程度，而且临床药师培训带来的后期效益也较少有评估指标来衡量。此外，临床药师培训效果评估涉及许多方面，单独一两个评估指标不能完整地描述其具体情况。因此，笔者所在的临床药师培训基地基于柯氏模型理论及结合实际临床药学培训情况，制定了精细化的临床药师培训考核和评估体系，并设计培训效果各个层次的专属性评估表，具体流程见图1；各层评估目的、评估内容、评估方法、时机及主要评估指标则如表1 所示。本研究是将构建的临床药师培训效果评估体系运用于上海某三甲医院临床药师培训基地的学员，以期不断提高培训质量及药师的岗位胜任能力。

表1 基于柯氏评估模型构建的临床药师考核评估指标

图1 临床药师培训效果评估流程图

1 资料与方法

1.1 一般资料

选取在上海某三甲医院临床药师培训基地完成培训的98 名学员参与此次的教学结果评估，具体的学员资料如下：女生74 名，男生24 名；职称是副主任药师3 名，主管药师42 名，初级药师53 名；博士2 名，硕士36 名，本科60 名；工龄＞20年6 名，＞10 且≤20年24 名，＞5 且≤10年31 名，≤5年37 名。

1.2 方法

1.2.1 实施方法

根据图1、表1 及结合临床药师培训基地实际情况，①针对反应层评估，研究团队制定了《临床药师培训满意度问卷调查表》，主要是培训学员对带教老师、教学安排、教学环境、培训内容、教学模式、考核方式及总体感觉进行满意度调查，分为很满意，基本满意、一般、不满意等4 个等级，基本满意和满意表示培训“满意”，一般或者不满意即对此培训“不满意”。②学习层评估是考察学员整个培训期间的学习成效，临床药师培训涉及的主要学习内容包括药学相关知识的学习及药学服务技能的培养，考核的方式比如阶段专业知识考核、结业考核、药学问诊、用药监护、情景模拟应答等，满分为100 分，各项考核结果制表登记成绩；对于不能定量评估的考核项，比如药学相关知识自主学习态度、与医、护、患沟通等能力培养的考核，研究团队制定了《临床药师培训自我点评及带教老师评调查表》，平均分≥85 分为优秀，60 ～84 分为一般，＜60 分较差。③行为层评估是考察临床药师培训学员的药学知识运用程度，是理论与实践相结合的过程，一般考核时机是培训结束后6 ～12 个月内，主要是对培训前后是否有差别进行自评及他人（上级、同事等）对其培训前后药学服务能力的点评，考核项比如合理用药意识、药品熟悉情况、药学问诊技能、用药宣教质量、医嘱点评、审核、干预、优化及药学科研能力等是否显著提升、一般或者未提升，由此，研究团队制定了《临床药师培训前后行为能力调查表》。④结果层的评估因上升到了组织高度，是评估临床药师核心能力培训效果的重点，可以通过一系列指标来衡量，如工作效率、患者满意度、平均住院日、药占比等，但这些都需要一定时间才能体现，考核评估时间定于临床培训结束一年后，主要是包括患者对药学服务满意度、开展合理用药工作后相关指标改善情况、与医护人员团队合作能力、收获科研成果、促进个人发展情况等是否提高，由此研究团队制定了《临床药师培训成果评估调查表》。

1.2.2 辅助点评软件

为了更加智能化和便捷地收集临床药师培训学员对临床药师培训效果评估，研究团队构建了临床药师规范化培训管理系统，将构建的4 个层次相关评估指标嵌入到该系统里，培训学员、带教老师及其他评估人员可以直接线上评估，最终进行汇总统计。

1.3 统计学分析

对4 个评估层的调查数据进行收集和整理，采用SPSS 23.0 软件对数据进行统计分析，计数资料以n（%）表示，采用χ2检验。P＜0.05 提示差异有统计学意义。

2 结果

2.1 反应层的评估情况

反应层中，不同职称、学历、工龄的培训学员对带教老师、培训内容、教学模式、考核方式、总体满意率大部分在85%以上；而对教学安排及教学环境满意度相对较差，尤其是教学环境，满意度仅35%左右，各组比较差异均无统计学意义（表2，P＞0.05）。

表2 临床药师培训满意率比较[n（%）]

2.2 学习层的评估情况

经过培训后，无论是培训学员的自评还是带教老师的点评，培训学员的药学专业知识和药学服务技能评分均高于培训前（表3，P＜0.05），提示大部分培训学员经过培训后有所获益。

表3 临床药师培训自我评价及带教老师评价比较[n（%）]

2.3 行为层的评估情况

行为层评估中，培训学员的自我评价及同事或上级评价均高于培训前（表4，P＜0.05），提示培训学员通过培训后，工作能力较培训前有提升。

表4 临床药师培训前后行为能力调查表[n（%）]

2.4 结果层的评估情况

由于结果层评估时机大概在培训后一年时间时较适宜，培训结束未满一年的学员未参与该项点评，因此，此层评估共有72 人。本研究中，通过临床药师培训后，学员的患者满意度、合理用药指标、与医护人员合作能力、个人发展（科研、职称）等评分高于培训前（表5，P＜0.05）。

表5 临床药师培训成果评估调查表[n（%）]

3 讨论

临床药师培训的核心能力主要是药学专业知识、药学服务技能与行为的综合能力，优质的临床药师培训不仅能提升药师的知识体系与核心能力，还能为患者提供高质量的药学服务，保障患者的合理、安全、有效用药。传统的临床药师培训属于单向性传播方式，缺乏相应的反馈机制，部分参与培训的药师缺乏明确的培训目的和方向，对临床药师岗位胜任能力培训的重要性不够了解，参与度也不够高；另外，目前临床药师培训效果评价体系不够完善，缺乏及时性、可持续性改进措施，使得临床药师的培训效果并不尽如人意。柯氏评估模型是目前培训教育领域使用较为广泛且实用的评估模型[11-13]。在柯氏评估模型的指导下及多年的临床药师培训经验，所构建的4 个递进的临床药师培训效果评估层，能更全面、有效地评估培训效果，弥补了传统培训模式仅以考核成绩和自主学习行为作为评价标准的不足。本研究主要是将构建好的临床药师培训体系应用于参与培训的药师培训效果中，通过评估反馈，了解临床药师培训中存在的问题，及时改进，以利于临床药师培训的可持续发展，提高临床药师的岗位胜任能力。

1）反应层评估，可以为改进培训提供重要参考，这一层次评估主要是了解参与培训的药师对临床药师培训基地整体的满意度调查。本研究中，培训学员对培训基地的带教老师、培训内容、教学模式和考核方式比较满意，而对教学安排及教学环境满意度相对较差，尤其是教学环境，满意度仅35%左右。大部分学员认为本研究临床药师培训基地的学习室条件较为简陋，活动空间非常有限，培训期间的绝大部分时间是待在学习室里，但培训基地未能提供一个较为舒适的学习环境。基于此问题，本研究的临床药师培训基地负责人也正积极地改善学员们的学习环境，争取于未来1 ～2年内完成学员们的学习环境改造。对于教学安排满意度一般的问题，特别是在主管药师及工作10年左右的药师满意度较低，可能是由于这类药师希望培训能更加个体化教学安排，可自主选择感兴趣或者未来将从事的专业方向去轮转学习，考虑到这个问题，本研究团队在学员入学时为其提供不同专业选择，满足不同学员的教学轮转需求。另外，问卷调查虽然简单易行，但是数据较为主观，因此，为进一步完善反应层调查表，应增加一定的需要学员用文字简述的调查项目，比如“自己希望的临床药师培训是什么样的？”“希望此次临床药师培训自己能收获哪方面能力？”等。

2）学习层评估，一般需要定性和定量评价相结合来评估学员的学习效果，主要通过入学考试、中期考试、结业考试来定量评价学员的药学专业知识学习情况，对于学员的药学服务技能评价难度较大，单一的定性评价难以保证评价结果的客观性和全面性，所以除了学员自我点评外，带教的老师也参与对学员学习能力方面的评估。本研究中，经过培训后，学员的药学专业知识和药学服务技能评分均高于培训前（P＜0.05），说明临床药师培训对绝大部分培训药师有获益。药学技能的优秀发挥需要有深厚的药学专业知识为支撑，所以两者的培养在临床药师培训过程中都是至关重要的。

3）行为层评估，是学习层评估的递进，将培训所学的知识运用于工作中。同样，除了学员自己的评价外，还涉及领导、同事的评估。本研究中，学员在培训结束后的日常工作中，药品熟悉程度、药学问诊、药学服务及其他能力评分均高于培训前（P＜0.05），表明通过临床药师培训后，通过不断临床实践，提高了药师的岗位胜任能力，能为医生、护士、患者提供高质量的药学服务。

4）结果层评估，是培训评估中最重要的部分，需要一定时间后才能体现，具有滞后性，不确定因素很多，比如人员的流动性、所培训知识的更新、人的记忆遗忘曲线等，而且药师行为变化、工作绩效提高方面的作用难以评估，所以这也是最难评估的一个层级。本研究团队初步确立了这个层次的几个重要评估指标，比如药学服务患者的满意度、所在医院开展合理用药工作是否有改善、与医护的临床协作能力、个人发展情况。但正如前面所考虑的，该层评估的反馈信息较难获取，其结果的真实性和科学性均有待后期的进一步验证，故评估指标也需要进一步具体完善。

综上所述，基于柯氏评估模型构建的临床药师培训效果评估体系为临床药师培训考核提供了一个全新的思路，同时也是一次有益的尝试和探索，总的来说已取得了较好的效果。但本研究还存在一些问题，比如未设置对照组，而是培训学员之间及培训前后的比较，评估的结果可能存在一定的偏颇；各评估层的项目和评分等级还应进一步细化等。另外，构建的临床药师培训效果评估指标并不是一成不变的，随着时间的推移以及临床药师培训模式的逐步健全发展，培训效果评估体系也应相应地调整，使其贯穿培训前、中、后全过程并形成良性循环，以实现临床药师培训工作的可持续改进和提高临床药师的岗位胜任能力。