综合培训法在迷你临床演练评估同质化评分培训中的应用
2022-08-29张文艳于明峰
张文艳,刘 于,于明峰
迷你临床演练评估法(mini-clinical evaluation exercise,Mini-CEX)由传统复杂的CEX精简发展而来,是1995年由美国内科医学会推荐使用的一种用于评价住院医师临床能力和教学能力测评工具[1]。近年来已广泛用于住院医师的培训中[2],也开始应用于护士[3]或医学生[4]的培训中。有研究表明,该方法是临床技能评定的可靠工具,具有良好的信效度,可广泛应用于临床技能评定[5-6]。与模拟考试相比,Mini-CEX中的临床情境和病人均为真实的,避免了模拟考试中因为模型功能限制、标准化病人表演水平以及医学伦理限制所带来的情景缺失和操作障碍,更能体现护士的实际工作能力。同时减少了模拟考试所需要的繁杂的准备工作,更加方便高效。Mini-CEX可以提高培训对象的临床技能,从而最终帮助他们为病人提供高质量的护理[7]。
在实施过程中,Mini-CEX的评分具有较大的主观性,评分者的知识、经验、性格、习惯以及心态等因素均会不同程度影响评分结果造成多个评判主体间的不一致现象,从而影响了评价的准确性、科学性与公平性[8]。因此,如何提高Mini-CEX的评分一致性,成为教学管理者共同关注的问题。为了进一步提高教学督导(注:在临床承担培养、指导、督查不同层级护士的临床护理工作,组织各项理论与技能培训的护理老师)在Mini-CEX中的同质化评价能力,我院运用误差培训法、绩效维度培训法、参照系培训法3种方法的综合培训法,对教学督导进行了培训。
1 对象与方法
1.1 研究对象 选取我院内科、外科、妇产科、儿科、急诊科、肿瘤科等12个临床科室的77名护理教学督导作为研究对象,其中女74人,男3人;工作年限5~26(11.2±4.3)年;本科66人,硕士研究生11人;护师35人,主管护师42人;N2级29人,N3级39人,N4级9人。77人均通过了我院临床护理师资培训,具备临床带教资格。
1.2 培训方法
1.2.1 理论授课法 2021年5月对研究对象进行了6个学时的Mini-CEX评分培训。培训内容包括:①Mini-CEX的概念、特点、在医学教学中的应用情况;②Mini-CEX在临床的实施步骤及注意事项;③观看经典Mini-CEX教学案例视频[9],展示该教学方法的实施过程。
1.2.2 误差培训法 向研究对象讲解评分者误差的常见类型及产生原因[10-12],如宽容误差、晕轮误差、趋中误差、第一印象误差、情感误差等,通过讲解分析,并结合案例讨论,引导研究对象发现自身评分中的优缺点,从而进行针对性的反思改进。
1.2.3 绩效维度培训法 本研究采用金艳艳[13]改良护理版Mini-CEX评价量表进行评价,该量表包括护理问诊、护理查体、护理计划、护理技能、健康教育、组织效能、人文关怀7个维度,每个维度1~9分9级评分。向研究对象详细讲解评分标准及每个维度的内涵、意义,以及评分的规范,如1~3分表示学员表现未符合要求,4~6分表示达到要求,7~9分表示优秀,并结合实例进行分析。帮助其明确标准内涵,形成统一的评判尺度。
1.2.4 参照系培训法
1.2.4.1 编写案例 在临床挑选有代表性的案例2个,并根据教学目标进行修改。案例1。病人基本情况:“赵某,女,52岁,近日受凉后出现呼吸困难、喘气,咳嗽、有黄脓痰。病人发病以来精神食欲差,咳嗽无力。既往有慢性阻塞性肺疾病病史,慢性咳嗽、咳痰伴喘息15年余。病人以“肺部感染”收入院,现到病房办理入院,请责任护士接待并妥善处理”。案例2。病人基本情况:“李某,女,68岁。病人无明显诱因出现右上腹持续性疼痛不适10余小时,放射到右肩背部,伴有恶心,无呕吐,无牵涉痛,1 h前症状加重。生命体征:体温38.6 ℃,脉搏80/min,呼吸20/min,血压130/70 mmHg(1 mmHg=0.133 kPa)。门诊以急性胆囊炎收入院”。在案例基础上,根据培训目标编写临床护理情景剧本。剧本的编写设置了护士在人文关怀、病情评估、操作能力等方面的典型表现,例如:案例1中病人表现出虚弱、焦虑的状态,考察研究对象对人文关怀的评判能力;设置情景要求护士在问诊、评估的时候,语速较快、不跟病人对视。在病人担心病情询问情况的时候,简单敷衍。将案例及剧本交由两名护理专家审核修订,最终形成终稿。
1.2.4.2 制作视频 邀请1名标准化病人和1名护士根据剧本表演,并将护理过程拍摄制作成视频,长度15 min左右。将2个视频交给专家观看审核,以确保能够准确表达剧本中的情景要求,根据专家意见进行修改,形成最终使用版。
1.2.4.3 设置评分参照标准 2名专家根据最终版视频中标准化病人和护士的表现,运用评价量表,经过商议给出每段视频的标准分,并列出主要问题和扣分原因。
1.2.4.4 开展参照系评分培训 研究对象观看视频1,观看完毕,将研究对象分为10个小组,针对视频1中护士的表现进行讨论,每组有1名组长负责讨论的组织和记录,讨论时间为15 min。讨论完毕,各组派1名代表对小组的观点进行陈述,相同的观点后面的小组不再重复。所有小组发言完毕后,研究者进行归纳、补充、点评、总结,并将专家给出的视频1标准分、主要问题和扣分原因公布。之后,各小组再次进行组内讨论15 min,对照各维度标准分进行总结、反思、对标。
1.3 评价方法 在培训前请研究对象对视频1进行评分,作为评分水平的前测。在培训后请研究对象对视频1再次评分,作为对同一护理情景的评分后测。同时对视频2进行评分,作为对不同护理情景的评分后测。将培训前后的3次评分与标准分进行比较,评分与标准分一致认为评分准确,不一致则为不准确。将培训前后评分的准确率、均数、标准差作为评分准确性的评价指标,将评分的肯德尔和谐系数作为评分一致性的评价指标[14]。
1.4 统计学方法 采用SPSS 23.0软件进行统计分析,对数据进行统计学描述,运用χ2检验对培训前后的评分准确率进行比较,运用肯德尔和谐系数对评分一致性进行检验。
2 结果
2.1 培训前后视频评分情况及准确率比较(见表1)
表1 培训前后视频评分准确率比较(n=77)
2.2 培训前后视频评分折线图 将各维度评分做成折线图,标准分与研究对象培训前后评分情况见图1、图2。
图1 培训前后视频1评分
图2 培训后视频2评分
2.3 教学督导评分一致性检验情况 对培训前后教学督导的3次评分分别进行评分一致性检验,肯德尔和谐系数由培训前的0.298提高到0.394与0.427,且均具有统计学意义,说明经过培训其评分一致性得到提高。见表2。
表2 评分一致性检验
3 讨论
3.1 开展Mini-CEX评分同质化培训的意义 主观评分是指具有一定专业知识和经验背景的评分者按照一定的评分标准对被测对象的作答内容或行为表现做出有效和客观评判的思维过程[8]。Mini-CEX的实施,主要依靠富有临床经验的教学老师通过对学员临床行为的观察,给予有针对性的反馈及评价,从而提高学员临床能力。在这一过程中,老师的评价具有很大的主观性。而主观评分结果往往受到评分者的知识、性格、责任心、情绪稳定性、自信心、评分经验和执裁能力等多种因素影响[8,15],从而造成多个评判主体间的结果不一致,这直接影响了培训是否标准,以及考核是否公平两个关键问题,所以如何提高评分的一致性与准确性是教学管理者需积极应对的问题。在医学领域,评分者培训的常用方法包括误差培训法、绩效维度培训法、参照系培训法[16-17]、行为观察培训法[18]等。本研究将误差培训法、绩效维度培训法、参照系培训法3种方法综合运用于Mini-CEX评分培训中,以促进其评分的准确性与一致性的提高,对于该教学方法的科学开展具有积极意义。
3.2 综合培训法可提高Mini-CEX评分的准确性 由表1可见,77名教学督导对视频1的评分,培训后较培训前各维度的均分更接近标准分,同时标准差变小,评分的准确率提高。视频2的评分标准差总体比培训后视频1评分较大,评分准确率也稍低,但与培训前的视频1评分相比,标准差变小,评分准确率提高,通过χ2检验3次评分的准确率在除护理问诊外的6个维度均具有统计学差异。图1、图2可见,教学督导评分均值曲线培训前与标准分的偏离度较大,而培训后与标准分曲线整体变得更加一致,这在其他研究中也得到了证实[19]。说明通过培训,研究对象不仅在评价同一护理情景的护士表现时评分准确性提高,而且这种评分能力在迁移到评价其他护理情境的护士表现时,评分准确率依旧得到提高。
教学督导对护理问诊维度的评分准确率比较差异不显著,这可能与我们在以往的培训中对护理问诊的关注度不够有关,从而使教学督导在对护理问诊过程进行评价时不同成员之间的差异较大,仅通过1次培训还不能够达成一致,在之后的培训中应予以强化。护理问诊能力的薄弱在其他医院的护理人员中也普遍存在。有研究显示责任护士的护理问诊查体合格率不足15%[20],而护理问诊能力是护士临床思维能力以及评判性思维能力的重要体现,是临床护理高质量发展中的重要组成部分,应引起护理管理者的重视。
3.3 综合培训法可提高Mini-CEX评分的一致性 在本研究中,综合运用误差培训法、绩效维度培训法、参照系培训法3种方法对护理教学督导进行培训,由表2可见,护理教学督导的评分一致性由培训前的0.298提高到培训后的0.394与0.427,说明经过评分培训研究对象的评分一致性水平得到进一步提高,培训有效。这主要是因为我院护理教学督导长期负责培训教学工作,经过长时间的磨合积累,对于一些常见的护理操作已经形成了较一致的评判标准,所以即使是培训前的评分,仍具有一致性。经过培训,护理教学督导对自己的评分行为进一步反思,对评分标准有了深入的理解,并通过分组讨论、对标标准分,对评分的分寸尺度有了更准确一致的把握。所以培训后的评分一致性得到进一步提高。
4 小结
有研究表明,在医学教育中对非技术方面的评估(例如人文关怀、沟通能力等)比技术方面(如静脉输液、静脉采血等技术)更需要对评分者进行培训[21]。Mini-CEX是一项包含了护理问诊、体检、人文关怀、健康教育、护理操作等多方面的评价过程,包含了非技术方面和技术方面的能力。因此,开展基于Mini-CEX的评分培训是非常必要的。除了评分培训,对于评价老师自身来说,不断提高专业素质,积累教学评价经验,在评价过程中仔细观察、公平公正,也是提高评分一致性的重要途径。