360度评估在超声临床博士后胜任力评价中的应用
2021-05-08王亚红董一凡李建初
王亚红 吕 珂 董一凡 王 欣 张 青 李建初 杨 萌
2018年9月,中国首个住院医师核心胜任力框架共识在北京发布,该共识是由中国住院医师培训精英教学医院联盟在中国医学教育现状的基础上,通力协作、精心讨论编撰的纲领性框架文件,鲜明阐述了现阶段住院医师培训的核心要求[1]。在框架共识的基础上,北京协和医院牵头开展了核心胜任力的评价体系研究探索,实化了评价内容,并形成了以内科为代表的规范的评估反馈体系[2]。
360度评估系统在20世纪90年代逐步引入美国住院医师培训项目,该评估系统是由上级医师、同级住院医师以及护士和患者对住院医师进行评价组成,能够较好地实现对培训对象临床胜任力的全面评估,已经得到美国医学教育领域的广泛认可,近年来也逐渐受到中国医学教育界的重视[3~5]。
北京协和医院住院医师规范化培训超声专业基地以此为契机,运用360度评估方法进行超声住院医师核心胜任力评估的探索和研究,制定出适用于超声专业的核心胜任力评价内容,并在笔者医院第1批超声临床博士后中开展临床实践。
材料与方法
1.对象:北京协和医院2017年招收的第1批超声临床博士后,于2018年进入临床工作,共3人,均为女性,其中1位为毕业于清华大学医学院的八年制博士,两位为毕业于北京协和医学院的八年制博士。她们同时进入了2017级北京超声专业住院医师规范化培训项目。
2.超声专业临床胜任力360度评估体系:根据框架共识,住院医师的6大核心胜任力包括职业素养、知识技能、患者照护、沟通合作、教学能力、终生学习6个方面。本研究基于超声专业特点,从超声临床实际工作出发来设计评价内容,例如知识技能方面设计了针对超声检查熟练程度、报告书写规范性和诊断合理性的评估,患者照护方面设计了针对检查过程中患者隐私和安全保护、专业性建议等方面的评估,从而将超声住院医师应具备的6大核心胜任力进行具体化和专业化,进一步设计出适用于超声专业的完整的临床胜任力360度评估体系。此胜任力评估体系共设计32项评价内容,其中医师系列21项、医辅系列6项、患者系列5项,分别对应6方面的核心胜任力。每项评价内容分5个等级,总分5分。1分为非常差;2分为差;3分为一般;4分为好;5分为非常好。
3.方法:2017级3名博士后均于2018年11月、2019年11月和2020年7月毕业时进行胜任力360度评估,分别记为第1年、第2年和第3年的评估成绩。评价人员及评分权重为:导师组成员(分值权重为30%)、门诊督导(分值权重为25%)、科室其他医师(分值权重为20%)、同年资住院医师规范化培训医师(分值权重为10%)、医辅人员(分值权重为10%)、患者(分值权重为5%)。由于各个评价角色所适用的评价内容不同,笔者设置了不同的评价表,主要包括“医师系列评价表”、“医辅人员评价表”和“患者评价表”。医师系列评价表从职业素养、知识技能、患者照护、沟通合作、教学能力和终生能力6个方面进行评价。医辅人员评价表从职业素养、知识技能、患者照护和沟通合作4个方面进行评价。患者评价表仅针对患者照护方面进行评价,单独设置了评价问题。
6个核心胜任力分别根据对应的评价内容和分值权重进行分数统计。当某一核心胜任力的评价人员构成不全时,则按照实际评价人员的分值权重计算分数后再进行五分制的标化。例如,缺少患者评分时,标化后的分数=(平均分导师组成员×30%+平均分门诊督导×25%+平均分科室其他医师×20%+平均分同年资医师×10%+平均分医辅人员×10%)/95%×100%。6个核心胜任力成绩的平均分记为总成绩。采用SPSS 13.0统计学软件对数据进行统计分析,以P<0.05为差异有统计学意义。
所有评价表采用电子问卷形式进行评分,结合北京协和医院超声医学科综合管理平台进行电子化统计,以提高数据收集和统计的准确性和效率。具体操作办法为将胜任力360度评估问卷设计到综合管理平台的相应模块,将评价人员进行角色区分,并根据分数计算方法编程进行自动化分数统计,这样评价人员登录填写问卷后,就可自动统计出每位博后的成绩。患者则采用二维码形式进行电子问卷填写,并关联管理平台将分数纳入统计。
结 果
2018年共收集问卷228份,2019年339份,2020年342份,合计909份,具体的问卷数量构成详见表1。
3位超声临床博士后的3年动态评估成绩详见表2和图1。超声临床博士后的总体胜任力评分比较高,每年的平均分均在4分以上(满分5分),且从博士后的成长过程来看,在3年的培养过程中,胜任力评估成绩呈上升趋势,3年平均成绩分别为4.49、4.91和4.95分,差异均有统计学意义(P<0.05),尤其在培训的第2年有明显的上升,平均分上升了9.4%。从各方面的胜任力来看,第1年临床博士后相对最薄弱的为教学能力,第2年提升幅度最高的也是教学能力;相对较好的胜任力为职业素养和知识技能;此外,经过第2年和第3年的培养,3位博士后的胜任力也表现出个性化特点,第3年评估最出色的胜任力各有不同。雷达图可以更直观地显示出3位博士后各自的胜任力特征和提升的动态过程,雷达图显示,3位博士后各方面胜任力评分向各角顶点逐年趋近,同时各核心胜任力呈现逐渐平衡的趋势,提示经过3年培训,6大核心胜任力逐渐完善并全面发展。
表2 超声临床博士后3年胜任力动态评估成绩 (分)
图1 3位超声临床博士后的胜任力360度动态评估雷达图A.1号超声临床博士后;B.2号超声临床博士后;C.3号超声临床博士后
讨 论
6大核心胜任力的培养是我国住院医师培训的核心要求,也是临床博士后培养的重要内容。近年来,越来越多的医学教育机构和专科专业意识到住院医师临床胜任力培养的重要性,并开展了多种多样的教学内容改革和创新实践[6~9]。然而,如何客观、有效地检验临床胜任力的培训效果,成为随之而来的重要问题。
北京协和医院超声医学科教学管理小组借鉴其他医学专业的实践经验,并结合超声医学专业特点,通过意见征询和讨论修订,设计出适用于超声专业的住院医师胜任力360度评估体系[2,4,10~12]。同时,为了提高评价结果的客观准确性,根据超声住院医师临床工作特点和不同评价人员对住院医师的熟悉了解程度,笔者对不同的评价角色设置了不同的评价内容和分值权重。例如,门诊督导是专职进行门急诊巡会诊的带教老师,不仅直接参与住院医师的日常医疗工作,还负责岗前练习的带教、住院医师读片会的主持、住院医师的医疗质控等工作,对住院医师各方面的表现均有深入了解,因此其分值权重相对较高;而医辅人员负责超声医师检查工作中的报告记录等辅助工作,在与住院医师的搭班过程中,能够充分了解各住院医师的出勤情况、工作态度和熟练度、医患交流情况等,因此针对医辅人员专门制定了不同内容的评价表。
本研究对超声临床博士后的小范围动态实践应用结果显示,胜任力360度评估能够反映出超声临床博士后的6大核心胜任力整体水平和优缺方面,这有助于在培训过程中进行更有针对性的教学方案改进和实时调整。例如,第1年临床博士后相对薄弱的是教学能力,主要是第1年为超声专业能力学习阶段,其中岗前培训带教和理论课程的学习为主要教学内容。而经过1年的培训之后,有了一定的超声基础,第2年会增加住院医师读片会主讲、远程会诊主讲、漏误诊病例分析主讲等多种培训手段来提高他们的教学能力,这也是第2年教学能力有显著提升的原因。另外,雷达图中第3位临床博士后在第2年担任了教学助理工作,任期1年,负责一些教学活动的组织实施、科会的主持、集体备课等教学工作,因此,其教学能力提升最为明显,这在评估结果中也有所体现。
综上所述,基于本研究中的初步应用探索,胜任力360度评估体系可以作为临床专业能力考核的补充,从而更加全面地评估住院医师的胜任力,是临床博士后评价反馈体系的有效组成部分,也值得在超声住院医师规范化培训中进行尝试和推广。根据评估结果可以更加及时、有针对性地完善培养方案,也有助于对学员提出个性化的改进建议。
本研究为保证成绩的客观性,并未将博士后的自我评估纳入统计分析,在临床实践过程中可以将客观评分和主观评分进行对比分析和进一步研究。另外,360度评估体系的统计数据量往往比较大,本研究利用了信息化评估手段,以提高工作效率并保证数据的准确性,这也是360度评估过程中便捷、有效的实施方法。