基于客观结构化临床考试的医学影像技术职业能力评价体系研究*

2018-01-09杨德武

中国医学装备 2017年12期

杨德武杜娟邱准武力

杨德武①杜娟②邱准③武力③

目的：设计医学影像技术专业职业能力评价的客观结构化临床考试(OSCE)体系，探讨OSCE体系在进行专业知识和职业能力评估中的应用价值。方法：采取访谈的形式对北京市医院放射科专家进行调研，设计OSCE考核体系；对医学影像技术专业2015级36名学生开展标准化测试与OSCE考核，并对考核成绩的难度、区分度、重测信度和效标效度进行统计分析。结果：OSCE考核体系的考站难度系数均为0.6～0.8，区分度平均值为0.557，重测信度分析结果r=0.953，P＜0.01，效标效度分析结果r=0.978，P＜0.01。结论：基于OSCE的医学影像技术职业能力评价体系能够科学有效地进行专业能力评估，并可指导教学活动的开展，提高人才培养质量。

考站；标准化患者；信度；效度；评价体系

随着临床医学和影像设备的不断发展，影像检查、诊断与治疗技术在医疗卫生行业中发挥着越来越重要的作用，同时对医院放射技术人员提出了新的要求。在高等院校中，评价医学影像技术专业学生是否具备相应的临床能力，是人才培养质量评估的一项重要内容。传统的评价方法多以理论考试为主，职业能力考核方式多局限在单一的工作内容上，缺乏对职业能力培养效果的系统性评定。为此，本研究在客观结构化临床考试(objective structured clinical examination，OSCE)模式基础上，设计医学影像技术职业能力考站和标准化患者(图像)，在理论知识、专业技能和职业素质3个维度开展学生能力评价，探讨OSCE评价体系的应用价值[1-2]。

1 资料与方法

1.1 基本资料

选取北京卫生职业学院医学影像技术专业2015级三年制高职班36名二年级学生，其中女生16名，男生20名，已完成两年在校所有专业课程的学习，在即将进入医院实习前进行专业知识和职业能力考核。考核分别于2017年5月进行标准化测试，2017年6月进行OSCE考核；根据测试结果将36名考生的成绩排序，并将其按照排序奇数和偶数分为A组和B组，每组18名，对两组标准化测试成绩和OSCE考核成绩进行对比分析。

1.2 OSCE考站设置

为确保OSCE考站内容与职业岗位工作的一致性，在对北京市医院放射科50余位技术专家进行调研访谈的基础上，制定不同影像设备和工作岗位职业能力的标准[3-4]。结合OSCE考核模式的特点及组织实施需要，对选定的影像技术专业核心技能要素进行整理，共设计9个考站，其中包括16项能力考核，即放射科登记考站、DR影像采集考站、CT影像采集考站、MRI影像采集考站、超声影像采集考站、影像质量评价考站、影像处理考站、影像诊断考站和影像打印考站，见表1。

1.3 考核内容编写

由医院放射科专家、专业教师、实验教师和教务管理人员共同组成课题小组开展研讨交流，设计完成OSCE考站的考核内容中临床案例、工作场景、技能操作流程、理论知识考题、职业素质要求、评分标准、设备配置及考场安排等内容。考站的标准化患者(图像)均选取自北京市三甲医院放射科的真实病例，为保障临床案例的可操作性和典型性，对20例标准化患者的临床病历进一步整理充实，并且对20套标准化图像设计处理优化方案。OSCE考站配置包括登记工作站、DR检查室、CT检查室、MRI检查室、超声检查室、PACS工作站、打印工作站、录播系统和思维训练系统，根据考站的内容和形式分别设计技能操作项目和理论考试题库，通过录播系统实时采集考生的操作以及思维训练系统进行在线测试，并参照制定的考站评分系统进行系统评价、教师评价和标准化患者评价。

1.4 标准化患者及图像处理培训

依据OSCE考核内容及实施要求，考站1～5标准化患者培训的主要对象是教师和学生两类人群，主要涉及患者信息描述、临床病症演示及医患沟通等内容，经过理论学习、集中培训、病症演示和考核评分等流程，选取2位教师和18位学生作为OSCE考站的标准化患者。同时对考站6～9的标准化图像进行处理，针对不同考核内容设置图像窗宽窗位值、增减序列图像、核对容积数据量、添加病史信息、关联患者及标注信息等，处理后的图像经课题小组审核后分类导入影像归档及传输系统(picture archiving and communication systems，PACS)并标记注明。标准化患者培训和标准图像处理严格按照临床岗位标准的要求进行设计，以此保障OSCE考站运行的科学性和规范性[3-4]。

1.5 标准化测试与OSCE考核

(1)两组标准化测试。在测试内容选取上严格按照全国卫生专业技术资格放射医学技术考试大纲要求，课题组专家节选历年考试真题及试题库中的技能操作部分编写标准化试卷，根据测试结果将36名考生的成绩排序，奇数位18位同学设定为A组，偶数位18位同学设定为B组。

(2)两组OSCE考核。在实验楼医学影像实训中心进行OSCE考核，各站根据考核需要配置设备及考核系统：在PACS中主要进行登记、影像质量评价、影像处理及影像诊断等操作内容考核；医学影像设备进行检查技术操作内容考核；打印机完成检查结果的打印操作内容考核；录播系统进行操作过程的录制、保存及查阅；思维训练系统进行各站理论内容的考核及评阅[5]。OSCE考核对A组和B组依次开展考核，考站随机选定1名教师和行业专家组成考站评分者，9名志愿者分别完成考站的组织及引导工作，课题负责人根据考站的分值权重进行成绩汇总和分析[6]。

表1 医学影像技术专业OSCE考站设置

1.6 统计学方法

考生成绩分标准化测试成绩和OSCE考核成绩两部分，应用SPSS19.0统计软件对A组和B组进行对比统计分析，即OSCE考核结果的难度、区分度、信度和效度指标的分析，用于评估OSCE考核体系对学生放射检查技术能力评价的实用性和科学性。以P＜0.01为差异有统计学意义。

2 结果

2.1 OSCE考核成绩分析

(1)OSCE考核的两组考生平均成绩为73.22，最低分48，最高分93，正态分布检验结果显示，偏度系数Skewness=-0.252，峰度系数Kurtosis=0.078，两个系数均＜1，可认为近似于正态分布，如图1所示。

图1 OSCE成绩分布示图

(2)试题难度采用难度系数(P)表示。难度系数与试题实际难易程度正好相反，难度系数P值越大表明试题越容易。多数试题P值应分布在0.3～0.7之间，选拔性考试为0.5左右为宜，通常在校考试为目标参照性考试，可适当偏高，平均难度以0.7左右为宜。本次各考站难度系数均为0.6～0.8，在教育评估和测量领域属于标准考试参照范围，因此，本次考试的难度是适宜的。区分度(D)指试题对被试者情况的分辨能力的大小，区分度D值应在为-1～+1之间，D值＞0.4表明区分度很好。OSCE考核体系区分度指标D值基本＞0.4，表明对考生的临床技能评定具有较好的区分能力；各考站的成绩统计结果见表2。

2.2 OSCE信度分析

为检测OSCE考核体系的一致性和稳定性，通过采用Pearson法对A组和B组考试成绩进行相关性分析，其重测信度经统计分析，相关系数r=0.953，P＜0.01，表明这两次测验的重测信度很高。同时，对各考站的评分者进行了信度分析，如果为两个评分者，则采用积差相关分析，认为结果训练的成对评分者之间的一致性达到0.90以上，评分为客观。在评分者进行独立评分的基础上，各考站评分者信度均在0.92～0.97之间，评分者之间的一致性较高。

2.3 OSCE效度分析

在OSCE考核体系的效度分析方面，首先计算考试的效标效度，即考试结果与效标之间的一致程度[7]。使用学生标准化考试成绩作为效标，利用Pearson法，即积差相关法求效标效度，相关系数r=0.978，P＜0.01，为高度相关，表明OSCE考核的有效性。为进一步论证系统的有效性，组织20余位北京市各级各类医院放射科专家进行论证分析，通过OSCE系统讨论、考核数据检测及考生抽样检查等形式，对考核内容、知识技能比例、考核方式和评价标准进行科学性论证，专家一致通过OSCE考核体系在测试医学影像技术专业能力方面的科学性和适用性。

3 讨论

通过应用OSCE考核体系的实践及统计分析，该系统在学生考核的实施中科学、系统且形式多元，适用于人才培养质量评估；在考核内容和临床案例方面，基于工作过程紧贴医院放射科岗位，能够真实反映考生专业能力水平，在组织形式上创建真实情境解决实际工作问题，激发学生考前的学习动力，构建了“有用、有效、有趣”的OSCE考核体系。

3.1 突出能力考核

应用技能操作、理论测试、口试等形式，在移动考站、PACS工作站、医学影像设备、录播系统和思维训练系统组成的数字化环境中，进行医学影像技术专业学生的16项核心工作能力的考核评估，可行性高并体现“有用”。通过OSCE考核结果的统计分析，A组和B组的对照显示一致性好，考核体系的难度适中，区分度高，信度好，均可反映本系统能很好地用于医学影像技术专业能力水平的评估活动[8-9]。

3.2 突出职业岗位

依据医学影像技术专业人才培养方案和职业标准，设计OSCE系统的考站，涵盖医院放射科重要的职业岗位和工作内容，其应用效果好，并体现“有效”。通过效度分析，OSCE考核体系与全国卫生职业资格放射医学技术考核结果相关系数高，并经行业专家论证，考站内容、组织形式和评价标准等均能真实评估考生的专业知识和职业技能[10]。

3.3 突出教育特色

根据学生的基础水平和培养目标，在教学过程中为培养对象提供真实的职业环境和工作内容，学生主动性高体现“有趣”。通过OSCE考核体系的组织和引导，学生在考前能积极参与知识学习和技能训练，具有较高的学习兴趣，并有助于教师开展教学活动，提高人才培养质量[11-12]。

4 结语

本研究成果在医学影像技术职业能力评价方面具有较高的应用价值，通过问卷调研分析，行业专家、专任教师及考生的认可度高，是一种客观有效的教学质量评价工具，为同类院校开展相关工作提供了较好的实践经验，同时考核结果可以有效地指导教学工作的改革，教学人员将不断完善教学内容，优化教学过程，提高教学效果[13-14]。

[1]Jelly P，Sharma R.OSCE vs.TEM：Different approaches to assess clinical skills of nursing students[J].Iran J Nurs Midwifery Res，2017，22(1)：78-80.

[2]Ledford CJ，Seehusen DA，Canzona MR，et al.Using a teaching OSCE to prompt learners to engage with patients Who talk about religion and/or spirituality[J].Acad Med，2014，89(1)：60-65.

[3]仝霞.OSCE模式在护理综合性实验训练中的应用[J].卫生职业教育，2014，32(11)：97-98.

[4]马肖容，刘原，徐孝军，等.创新型SP/OSCE临床技能考核体系的改革和探索[J].中国高等医学教育，2013(11)：5-6.

[5]Pugh D，Hamstra SJ，Wood TJ，et al.A procedural skills OSCE：assessing technical and non-technical skills of internal medicine residents[J].Adv Health Sci Educ Theory Pract，2015，20(1)：85-100.

[6]Vest BM，Lynch A，McGuigan D，et al.Using standardized patient encounters to teach longitudinal continuity of care in a family medicine clerkship[J].BMC med educ，2016，16(1)：208.

[7]赵红兰，孙存杰，赵英红，等.新医疗环境下医学影像技术学的教学探索与思考[J].现代医用影像学，2014(4)：458-460.

[8]Schleicher I，Leitner K，Juenger J，et al.Does quantity ensure quality? Standardized OSCE-stations for outcome-oriented evaluation of practical skills at different medical faculties[J].Ann Anat，2017，212：55-60.

[9]刘万里，贺连香.PICC专科护士临床相关能力评估量表的编制及信效度分析[J].护理学报，2016(1)：1-6.

[10]王妍，郭红燕，赵扬玉，等.妇产科硕士研究生临床能力评估体系构建的初步探讨[J].中国高等医学教育，2013(10)：13-14.

[11]宋俊岩，朱秀丽，苗秀欣，等.360名医学院校本科生临床思维能力及影响因素分析[J].护理学报，2014(17)：1-4.

[12]李习平，余林岚.职业资格培训融入专业教学的探讨—以中药调剂员培训为例[J].当代教育理论与实践，2014(4)：33-34.

[13]徐筱婷，田蓉蓉，马雯.基于职业教育特色的教学方法初探[J].教育教学论坛，2013(32)：193-194.

[14]Chengchen ZHU，Dequan ZHU.The Balanced Development of Vocational Education： Case Study on Four Municipalities in China[J].Cross-Cultural Communication，2015，11(4)：46-53.

The research about the evaluation system of vocational ability of medical imaging technique based on the OSCE

/YANG De-wu, DU Juan, QIU Zhun, et al

Objective:To design the objective structured clinical examination (OSCE) system for the vocational ability evaluation of medical image technique, and discuss the application value of the OSCE system in the evaluation of professional knowledge and vocational ability.Methods:Experts of the radiology department of various hospitals in Beijing were interviewed. The OSCE assessment system was designed according to the interview results.The standardized test and the OSCE assessment were applied to examine 36 students of medical imaging technology of class of 2015. And then the difficulty coefficient, discrimination, retest reliability and criterion validity of the assessment were researched and analyzed.Results:Each difficulty coefficient of the OSCE test stations was between 0.6 and 0.8. And the mean of discrimination was 0.557. The result of retest reliability analysis showed that r was 0.953 and P was significantly less than 0.01.The result of the criterion validity was that r was 0.978 and P was significantly less than 0.01.Conclusions:The evaluation system of medical imaging technique vocational ability based on the OSCE can scientifically and effectively evaluate the professional ability, and it can guide the development of teaching activities and enhance the quality of talent cultivation.

Test station; Standardized patient; Reliability; Validity; Evaluation system

School of Medical Technique, Beijing Health Vocational College, Beijing 100053, China.