改良Angoff法在临床医学OSCE考试中的应用

金世柱，刘冰熔，刘自帅，张菲菲，张春伟，阮梦婷

改良Angoff法在临床医学OSCE考试中的应用

金世柱，刘冰熔*，刘自帅，张菲菲，张春伟，阮梦婷

（哈尔滨医科大学附属第二医院，黑龙江哈尔滨150086）

目的探讨改良Angoff法在临床医学OSCE考试中运用的可行性。方法随机抽取2011级临床医学七年制1班45名学生在2014—2015学年第一学期的OSCE考试成绩作为数据样本，选取18名经验丰富的内科学专家组成考核小组，由其设定改良Angoff法的合格线，对比运用边界法（BorderlineGroup，BG）、边界回归法（BorderlineRegressionGroup，BRG）和改良Angoff法的合格线和考试通过率。结果通过改良Angoff法得出的合格分数线要低于BG法和BRG法（P<0.01）。结论研究表明，使用改良Angoff法确定临床医学七年制OSCE考试合格分数线是可行的，运用这种方法确定的合格线较为科学、准确。

OSCE；改良Angoff法；临床医学

随着国家医疗卫生体制的不断深化改革，不仅对医学专业人员数量的需求不断增加，而且对质量的要求也更加苛刻。高等医学教育的目的在于培养基础扎实、实践技能娴熟、能独立从事实际工作的高级应用人才。临床医学七年制学生是我国医学教育培养的重点对象，他们不仅需要掌握扎实的专业理论知识，更需要掌握过硬的临床技能。根据七年制医学教育的要求和特点，哈尔滨医科大学附属第二医院自2009年以来，一直运用OSCE考核学生的临床思维能力和临床实践技能。OSCE的概念始于1975年[1]，其基本思想是“以操作为基础的测验”，它是一种以客观的方式评估临床能力的考核方法，即在模拟临床场景下，使用模型、标准病人[2]甚至病人来测试医学生的临床能力。同时它也是一种知识、技能和态度并重的综合能力评估方法，还是一种与国际医学教育基本要求相匹配的新型考核评价体系，在目前国内外的医学教育和医师资格考试中广泛应用[3]。本研究将探讨在国内外执业医师考试中常用的改良Angoff法是否适用于临床医学七年制OSCE考试合格标准的设定，现介绍如下。

1　OSCE考站介绍

因本次研究使用了哈尔滨医科大学附属第二医学院2011级临床医学七年制1班45名学生在2014—2015学年第一学期的OSCE考试成绩作为数据样本，所以本次OSCE考试模拟的考站数量、试题数量、考试题型及难易度、每个考站的通过时间等因素均参考上述考试的模型，将考试模式、题型变化等对研究的影响降到最低。OSCE考试共有6站，每一站分为若干小项并有3位评委按照操作考核评分表负责打分，总分为50分，每一位考生完成所有考核的时间约60～75分钟。

2　方法与对象

2.1改良Ango ff法

改良Angoff法是以考试内容为中心的专家判断法的典型代表，改良Angoff法要求专家根据试题判定边界考生（指具备所承担某项特定工作任务要求的最低知识水平和技能的人群）能够对某一试题回答的“对”与“错”和能够正确回答某一试题的概率。

2.1.1工作流程合格分数线的设定从组织各学科专家代表参加培训开始，选取18名具有丰富命题、教学经验的专家教授，其中消化内科3名、呼吸内科3名、心血管内科3名、肾内科2名、血液内科2名、风湿免疫科2名、传染科2名、内分泌与代谢科1名，专家的遴选兼顾了专业、性别等因素。将所有专家按照考站数量随机分成6组，投票选出1名资历最高的专家担任组长，并由1名工作人员对全体专家进行集训，内容包括：介绍OSCE考试的性质和设定合格分数线的意义、讲解判断方法的基本思路和步骤、描述边界考生的基本性质。集训完成后，各专家在组长的带领下完成下面的任务。

（1）讨论边界考生。组长组织全组讨论边界考生的基本特征，初步完成对边界考生的认识。（2）对错判断。首先，进行练习。提供6～10道样题，专家逐题练习判断“边界考生能否答对试题”，专家只需回答“能”或“否”。其次，反馈练习结果。练习结束时，组长组织全体成员逐题查看本组练习结果，对于偏离小组判断结果的专家，组长请他们解释原因并组织讨论，共同讨论和巩固对边界考生的统一认识。待小组讨论完毕后，专家按照分组独立对临床医学七年制2014—2015学年第一学期的OSCE考题进行对错判断。（3）区间（概率）判断。首先，进行练习。练习的样题与对错判断练习时相同，专家逐题练习判断边界考生答对试题的百分比区间是多少，各区间间隔10%，专家可从0%～10%、5%～15%、10%～20%……90%～100%这19种情况中任选其一。其次，反馈练习结果。练习结束时，对偏离小组判断结果的专家，组长请他们解释原因并组织讨论，共同探讨和巩固对边界考生的统一认识。待小组讨论完毕后，专家按照分组独立对临床医学七年制2014—2015学年第一学期的OSCE考题进行概率区间判断。

2.1.2合格分数线的计算合格分数线的计算分为4个步骤：（1）统计各位专家对错判断设定的合格分数线，即将专家判断边界考生能答对的试题计1分，否则计为0分[4]，统计每道试题该专家组的判断平均值，再次计算每个考站各位专家判断的所有试题的平均值之和。（2）统计各位专家区间概率判断设定的合格分数线，即将百分比转换为小数，分别统计每道试题专家判断的区间下限平均值和区间上限平均值，再分别计算专家组判断的所有试题的区间下限平均值之和以及区间上限平均值之和。（3）统计专家组区间下限和区间上限间的中值。（4）统计专家组对错判断和区间（概率）判断中值间的平均值，将专家组两轮判断的平均值求和，四舍五入取整，即专家给出的合格分数线。结果见表1。

表1　改良Angoff法专家评分结果

2.2边界法

边界法是指在考生完成每站考核后，由每站的3位专家分别根据考生在该站的表现评分，3位专家的平均分即考生在该站的成绩，最后统计每位考生的各站得分，取每站得分的中位数，即该站的及格分数线，最后合计各站的及格分数，即OSCE的总分及格分数线[5-6]。

2.3边界回归法

边界回归法是运用回归方程计算及格分数线，以各站的总分为独立变量，以各站得分为相对变量[7]，由每站的3位专家分别根据考生在该站的表现评分，3位专家的平均分即考生在该站的成绩，最后将每位考生各站的得分带入回归方程，合格分数线即回归方程和边界组的交点[8-9]。

3　结果

运用改良Angoff法、BG法、BRG法得出的合格分数线见表2。从表2我们可以看出，通过改良Angoff法得出的合格分数线与BG法和BRG法相比，改良Angoff法的合格分数线要低于BG法和BRG法（P＜0.01）。运用改良Angoff法、BG法、BRG法得到的不合格人数见表3。从表3我们可以得知，使用BG法有8.9%（4/45）的学生不合格，使用BRG法有11.1%（5/45）的学生不合格，使用改良Angoff法有11.1%（5/45）的学生不合格。

4　讨论

尽管OSCE考试有很多优点，但是它的评分体系没有完全统一，较常用的有BG法和BRG法，这两种方法都是在考试结束后根据学生的答题情况统计、计算合格分数线，是比较被动的方法。而改良Angoff法则是在考试前根据专家组对边界考生和试题的评估，合理设定合格分数线，是一种比较主动的方法。探讨和研究将在国内外执业医师考试时常用的改良Angoff法应用于临床医学OSCE考试合格标准的设定，对于提升考试的公平、权威、有效性至关重要。每一种及格线的设定方法都有各自的优缺点。Angoff法单独采用概率判断或对错判断，其流程相对简单，但每位专家界定的边界考生可能存在差异且会受趋中效应和趋端效应的影响。有研究表明，概率判断存在趋中效应，当专家在判断边界考生答对试题的百分比区间时，对于很难或很容易的试题，不太倾向于给出极端值，而倾向于中等的概率值。相反，对错判断存在趋端效应，这是由对错判断的形式决定的。而改良Angoff法将对错判断和概率判断相结合，中和了趋端效应和趋中效应的影响，设定的合格分数线更为准确，同时增加了专家代表的意见，但是也会受到专家界定边界考生的影响。2000年，Kaufman等人对比改良Angoff法和BG法，发现这两种方法在医学考试及格限定中均可以得到合理的结果。Kramer等人[7]研究表明，与改良Angoff法相比，BRG法更加可靠。通过表2我们可以看出，在本次研究过程中，改良Angoff法的合格分数线要低于BG法和BRG法（P＜0.01），而通过表3关于不合格率的对比显示，3种评分标准比较，无显著性差异（P＞0.05）。经过对3种评分方法的研究和对比分析得出，这种截然相反的结果可能是由评委专家的数量或评委专家的质量导致的，尤其是那些对改良Angoff法没有足够认识并且没有参加多种方式评分的专家。因此在实施改良Angoff法时还需注意以下几点：（1）体现专家的代表性，开展更为有效的专家培训；（2）更为清晰地界定边界考生；（3）增加信息反馈，使用合理的统计方法计算合格分数线。

表2　改良Angoff法与BG法和BRG法合格分数线的对比（分）

表3　改良Angoff法的不合格人数与BG法和BRG法比较（人）

5　结语

本研究针对Angoff法、BG法、BRG法在现行OSCE考试合格分数线设定中存在的不足提出了一种新的方法：改良Angoff法，这种方法将对错判断和概率判断相结合，消除了趋端效应和趋中效应，可以在考试前合理确定合格分数线。从实践运用来看，使用改良Angoff法确定临床医学七年制OSCE考试合格分数线是可行的、可靠的，运用这种方法确定的合格分数线较为科学、准确。

[1]Khan KZ，Ramachandran S，Gaunt K，et al.The Objective Structured Clinical Examination（OSCE）：AMEE Guide No.81.Part I：an historical and theoretical perspective[J].Med Teach，2013，35（9）：1437-1446.

[2]金世柱，刘冰熔，刘中宏，等.学生角色扮演标准化病人在消化内科临床实习教学中的应用研究[J].中国高等医学教育，2015（9）：78-79.

[3]孙保亮，张辉，李昌英.提高实习生临床实践能力的若干思考[J].中国高等医学教育，2006（3）：92-93.

[4]Schoonheim-Klein M，Muijtjens A，Habets L，et al.Who will pass the dental OSCE？Comparison of the Angoff and the borderline regression standard settingmethods[J].Eur JDent Educ，2009，13（3）：162-171.

[5]Newble D.Techniques for measuring clinical competence：objective structured clinical examinations[J].Med Educ，2004，38（2）：199-203.

[6]Wilkinson TJ，Newble DI，Frampton CM.Standard setting in an objective structured clinical examination：use of global ratings of borderline performance to determine the passing score[J].Med Educ，2001，35（11）：1043-1049.

[7]Kramer A，Muijtjens A，Jansen K，et al.Comparison of a rational and an empirical standard setting procedure for an OSCE Objective structured clinical examinations[J].Med Educ，2003，37（2）：132-139.

[8]Hejri SM，Jalili M，Muijtjens AM，et al.Assessing the reliability of the borderline regression method as a standard setting procedure for objective structured clinical examination[J].JRes Med Sci，2013，18（10）：887-891.

[9]Wood TJ，Humphrey-Murto SM，Norman GR.Standard setting in a small scale OSCE：a comparison of the Modified Borderline-Group Method and the Borderline Regression Method[J].Adv Health Sci Educ Theory Pract，2006，11（2）：115-122.

（*通讯作者：刘冰熔）

G526.5

B

1671-1246（2016）20-0111-03

黑龙江省高等医学教育“十二五”高等教育科研课题“5E循环模型联合PBL学习方法在留学生本科教学中的应用研究”（14G058）