基于自助抽样法的结构方程模型在OSCE评价中的运用
2020-04-07黄晓晴姚晓旋陈如茵张裕锋郑淳锶郑少燕
黄晓晴,姚晓旋,陈如茵,张裕锋,郑淳锶,郑少燕,郭 貔
(汕头大学医学院:A.临床医学系;B.教务处;C.预防医学教研室,汕头 广东 515000)
岗位胜任力近年来被广泛应用于医学教育中,并逐渐成为我国医学教育研究的一大热点[1]。客观结构化临床考试(Objective Structured Clinical Examination,OSCE)是一种通过逼真模拟的临床情境和标准化病人,对医学生的临床技能、沟通表达等核心能力来进行全面客观评估的新型考试形式[2]。汕头大学医学院于2004年引入OSCE作为毕业考试,并在考试的完善上进行了一系列有益探索[3]。以岗位胜任力为核心,汕头大学医学院毕业OSCE旨在对考生临床思维能力,学习和工作态度,动手操作能力,人文素质,沟通技能,应急能力等临床能力进行考察,但目前对于该考试所测评的能力维度的定性描述仍然欠缺[3]。
结构方程模型的运用能对OSCE的考试效能进行简洁又准确的描述,但OSCE站点成绩往往难以满足结构方程模型所要求的多元正态分布等假设。Bootstrap自助抽样法的运用可以较为稳健地解决小样本以及非正态数据所引起的估计误差[4]。
故本研究创新性地采用探索性因子分析和基于Bootstrap自助抽样法的验证性因子分析,分析不同考站观测内容背后的潜变量,并提取出OSCE主要测评的能力维度因子,在对各能力维度因子进行定性描述的同时,精准刻画各因子间的相互联系,旨在对该考试测评效果进行分析评价,以对人才培养模式与评价体系进行反馈。
1 对象与方法
1.1 研究对象
汕头大学医学院2012级临床医学专业学生(n=169)毕业OSCE成绩。
1.2 考试简介
汕头大学医学院自2004年起将客观结构化考试作为考察形式,对医学生的临床思维,动手能力,人文关怀,应急能力等素养进行综合考察。考试时长共108分钟,设置病史采集(包括内外妇儿病例问诊),急救技术,外科技能(2站),妇产科技能,诊疗技术(2站),辅助检查,医学伦理道德沟通技能,面试,体格检查等站点(共11站),考点内容如表1所示[3]。
表1 汕头大学医学院毕业OSCE内容
1.3 研究方法
本研究采用探索性因子分析,根据结果决定模型中考核能力因子数目,结合考点内容和实际要求,提出合适的因子模型,进而构建结构方程。通过对各结构方程进行参数比较后,结合实际情况选取最佳模型并进行释义。
Bootstrap自助抽样法是一种非参数统计方法,原理是:对原始样本进行有放回的随机抽样得到容量相同的新样本,通过计算每个新样本的参数估计值对总体的分布特性进行统计推断[5]。具体操作步骤如下: ①数据多元正态性检验,;②采用Bollen-Stine的修正P值得到整体模型拟合结果;③运用Bootstrap自助抽样法得到参数估计值、标准误与参数的统计显著性。
以上操作通过SPSS 21.0与AMOS 24.0实现。
2 结果
2.1 探索性因子分析
毕业OSCE考试(Cronbach’sα=0.675)的KMO度量值为0.815,Barlett’s球形检验P<0.05,满足做因子分析的要求。以特征值大于1为标准,结果显示该考试有3个主要能力因子,累计方差贡献率提示该3个因子解释的信息过半,如表2所示。
2.2 验证性因子分析
对数据分布类型进行预判断,得多元峰度临界比率为4.353(大于1.96),表明该资料属于非多元正态数据。根据探索性因子的分析结果,以各个考站为观测变量,结合我院临床考核内容与岗位胜任力要求,比较各假想模型拟合优度,选出相对最佳模型,命名为“毕业OSCE考试考核能力因子模型”,如图1所示。
表2 解释的总方差
注:*提取方法:主成分分析法
(1)Bollen-Stine检验整体模型的拟合
设置Bootstrap抽样次数为2000,对图1模型进行拟合,结果如表3所示,Bollen-Stine Bootstrap卡方平均值为42.126,P值为0.279,表示接受该模型[6-7]。
(2)基于Bootstrap法的参数检验与拟合评价
设置Bootstrap抽样次数为250,各路径系数标准化参数值如图1所示,且各参数统计量均显著。如表3所示,在该模型中,绝对拟合指标结果为:GFI=0.951, RMSEA=0.032,其余各评价指标皆达到理想状态,可认为该模型拟合结果较佳[5-6]。
(3)模型拟合路径图结果
如图1所示,该模型由3个维度组成,分别是临床基本操作能力、临床思维能力和临床沟通能力。临床基本操作能力由诊疗操作1、诊疗操作2、外科技能1、外科技能2、妇产科基本技能、急救技能共6个站点的考核内容组成;临床思维能力由体格检查、辅助检查、内外妇儿标准化病人(standard patient,SP)问诊共3个站点的考核内容组成;而临床沟通能力由职业道德沟通技巧、面试共2个站点的考核内容组成。相关因子模型图中各路径值显示,各站点的考核内容均与各自的归属因子呈显著正相关,三个因子相互间也呈显著正相关。
表3 模型拟合指标结果及整体拟合度评价标准
图1 毕业OSCE考核能力因子模型
3 讨论
3.1 因子模型基本情况
本研究基于探索性因子分析结果,结合实际考站内容,不断调整并最终构建了一个最佳的结构方程模型,用于呈现汕头大学医学院2012级毕业OSCE对考生相关能力因子的考核程度。模型验证结果表明该模型较为可靠,说明毕业OSCE的总体考核目标可以从三大方面予以概括,分别是:“临床基础操作能力”“临床思维能力”及“临床沟通能力”。毕业OSCE的考察目标在这3个能力因子中有所体现,进一步体现了毕业OSCE对美国毕业后医学教育鉴定委员会所提出的岗位胜任力要求的检测。因此,本研究认为我院本次毕业OSCE设置基本合理,能体现对岗位胜任力的评测。
3.2 因子模型对评价体系完善与人才培养模式的启发
结合各站点与考核能力因子归属可知,站点与能力因子间的因素载荷系数(简称系数)整体较高,说明各个站点能很好地考核该能力。面试站点(考核内容为病例分析)未按预期归属于临床思维能力因子而归属于临床沟通能力因子,其原因可能是考试题目范围不够大、评分标准不够细化、致评分主观上受到考生表达能力影响较大[8]。这提示我院在这一站点考试设计上应扩大考试范围、细化评分标准。而部分站点系数较低,可能原因为单个站点融入了对考生多方面核心能力的考察,这一结果也体现了OSCE这一考察形式的特点[9]。
另外,三个能力因子互呈高度正相关,提示了在临床技能的授课过程中,培养医学生临床操作能力、锻炼医学生临床思维能力、提升医学生临床沟通能力同等重要,突出说明了三者息息相关、缺一不可。整体模型结果体现了在医学生培养过程中注重多方面能力提高的重要性,这启发各医学院校在人才培养的过程中既要有所侧重,又要注重多方面能力平衡发展。在21世纪医学教育国际化的发展背景之下[10],岗位胜任力提出了多维度能力联合培养理念。既往研究表明,临床技能与沟通技能的交互式教学对于学术的综合素质和临床工作能力的提高具有一定效果[11]。同时,曾勇等学者曾指出,临床思维能力的培养与临床技能、沟通的培养不可分割[12]。本研究所提出的模型印证了这些理论,提示了培养医学生综合能力的重要性。
3.3 思考与展望
作为我国医学教育的一大目标,岗位胜任力提出了完善人才培养与考核体系的要求[9]。这启发了各医学院进一步完善考核标准,同时注重多方面能力的培养。而OSCE因具有考核维度多和灵活性大等特点,目前常被推荐且广泛应用于医学生操作技能、医患沟通能力等评价体系的构建[13-14]。因此,科学、合理地分析OSCE考试结果对医学院校教学体系的反馈和考核标准的完善起着重要作用[2]。结构方程模型能利用观察变量模型分析,处理多个因变量复杂问题,对不可直接测量的能力进行描述估计[15],并揭示多维度能力间的关系,其在OSCE分析中的应用对教学考核体系与人才培养改革具有一定的积极意义。本研究创新性地基于站点成绩建立结构方程模型,能更好地体现各站点的因子归属,从而对考试的整体情况有更直观的描述。同时,Bootstrap自助抽样法在本研究中的运用为研究中常见的分布未知或小样本非正态数据等问题提供了有效的解决途径,使得模型的拟合程度的评价更加客观合理[13]。
本研究仍具有一定的局限性,集中表现在未对各学生得分细节进行更深入的研究。本研究直接使用考生在各个站点的总得分构建结构方程模型对考试形式进行评价,操作简单、条理清晰。但鉴于OSCE在各站点的评分细则上已融入了对考生多方面能力的评价,因此,为了更加精准、深入地探讨如何对OSCE进行评价,或可尝试基于评分细则的得分情况构建结构方程模型。结构方程模型在OSCE分析中的运用具有一定的意义,但目前国内相关研究仍然较少,如何更合理地运用结构方程模型对OSCE进行分析值得进一步的探索。