OSCE评价与反馈系统的建立与应用

郑競力，罗隽宇，杨光耀，舒 涛，厉 岩

(1.华中科技大学网络与计算中心;2.华中科技大学同济医学院;3.华中科技大学教务处，湖北 武汉 430030)

OSCE评价与反馈系统的建立与应用

郑競力1，罗隽宇2，杨光耀2，舒 涛2，厉 岩3*

(1.华中科技大学网络与计算中心;2.华中科技大学同济医学院;3.华中科技大学教务处，湖北 武汉 430030)

现有的客观结构化临床考试(Objective Structured Clinical Examination，OSCE)的评价方式以终结性评价为主，无法进行复杂的数据分析，考核效率不高。因此，可将计算机信息技术应用于传统OSCE中，形成一种新的评价与反馈系统，进而实现整个OSCE流程的无纸化，将终结性评价与形成性评价结合，并建立标准化的临床技能资源库，最终促进临床技能的教学和实践。

客观结构化临床考试;OSCE;信息技术;无纸化

一、系统简介

医学模拟技术极大地提高了医学专业教育水平和教学效果，对教学方法产生了革命性变革。科学有效的教学评估可以为教学方法的规划、实施和决策提供重要依据。客观结构化临床考核(Objective Structured Clinical Examination，OSCE)自1975年由Harden与Gleson首次采用以来［1］，已有超过50个国家开始利用OSCE测量医学生的临床能力。OSCE提供了一种标准化的方法，从认知、精神运动和情感三个方面对医学生进行评估［2］。通过这种方法，可以客观地评估学生的实际临床能力与不足，并可以及时给予详细反馈，以便指导学生在今后的临床实践中有针对性地加以改进。

OSCE通过采用多站式考核的方式，让医学生应用标准化病人(Simulate Patients，SP)、医学模拟人、计算机等进行实际操作，以考核其采集临床资料、临床实际操作、临床分析和临床思维等方面的能力［3］。本案例中通过将计算机信息技术与传统考核相结合的方式，建立了信息化的OSCE评价与反馈系统，构建了一个医学生网上学习与临床技能中心实际操作相结合的互动平台:(1)方便学校教学与学生自主学习和评价;(2)实现了OSCE的无纸化考试，极大提高了工作效率;(3)将终结性评价与形成性评价完美结合起来，起到以评估促进学习的作用;(4)利用机器学习技术构建新型教学系统，根据系统记录的历史资料，针对不同学生进行个性化学习评价与反馈;(5)利用强大的数据获取与分析能力，排除考试过程中的影响因素，得出更为准确客观的成绩评价与反馈;(6)利用大数据分析，辅助完善OSCE考核项目的设定、教师及SP的规范化培训，建立庞大的标准化医学生技能项目资源库。

二、改革背景

(一)医学教育改革需要。

OSCE最初仅被作为传统笔试的补充，但随着对其认识的深入以及不断改革完善，被广泛地应用于临床能力考试。国际医学教育学会(IIME)于2002年4月公开发布了一个“全球医学教育最基本要求”(Global Minimum Essential Requirements in Medical Education，GMER)的纲领性文件，IIME将“最基本要求”归纳为7个领域和具体的60条标准，对任何国家培养的医生在医学知识、技能、职业态度、行为和价值观等方面提出了最基本要求［4］。而传统的对医学生的考核方式重理论、轻实践，重结果、轻过程，更无法达到考核临床思维检验临床能力评价综合素质的要求。OSCE避免了传统考试的偶然性和变异性，减少了评价的主观性，由于其较为全面的考试内容，使评价遍及教育目标分类学所包括的认知、情感和精神运动3个领域，既考查了学生的基础知识、技能，又突出了对学生创新思维、批判性思维以及提出问题、分析问题和解决问题能力的考查，充分发挥了考试的功能。此外，随着我国医师资格实践技能考试的科学化标准化的不断加强，推行OSCE势在必行。

(二)传统OSCE的不足。

OSCE的制定符合临床实际，便于操作，能够客观、可信、全面、公平地评价学生的临床操作能力，促进了学生提高临床实践能力的意识和主动性。

但与国内外先进的临床实践技能考核方式相比，该考核仍有不足:(1)SP的培训和管理有一定难度;(2)考核项目题库质量和数量有待提高，没有完全联系临床实际;(3)评分标准需要更加科学公正，考核工作将更准确公正;(4)考核结果难以进行数据分析，无法形成对学校教学和学生技能提高有帮助的评价反馈［5］。因此，借助强大的计算机信息技术，利用人工智能、大数据分析、机器学习等新兴技术，建立信息化的OSCE评价与反馈系统，来弥补传统OSCE的不足之处，是十分有必要的。

三、OSCE的内容与实施

(一)OSCE评价与反馈系统的建立。

系统采用数字化评价体系，定制流程采用B/S架构，利用有线或无线网络，通过Windows操作系统下通用的ASP.NET技术，SQL SERVER 2008数据库保存完整的数据信息等方式建立和实现。主要包括:

1.技能考试项目库。128个项目标准及操作流程，搭建合理框架。

2.SP评价系统。建立计算机上的标准化实时评价系统。

3.操作项目评价系统。建立标准化的计算机评分卷。

4.计算机考试系统。建立庞大的理论考试系统，可模拟病史搜集分析等考核。

5.分析反馈系统。综合分析所搜集的数据，形成各种关于学生技能及SP评价水平的信息反馈。

6.硬件系统。建立标准化的OSCE考场，为信息化评价与反馈系统提供基础。

系统的将传统OSCE的纸质评分表和人工统计分析等全部信息化，不仅节省了人力和物力的资源、提高了评价的标准化程度，还能将项目完成操作情况即时反馈，对学生每个考站考核项目的掌握率、错误多发率等及时进行分析，分析每个评分表的每个细项的掌握程度，所得出的结论科学的反馈到教学和培训过程中。

(二)OSCE的使用及评价反馈。

系统建立完成后，在使用过程中完成一系列数据的统计和分析，排除一些主观因素影响，实时给出客观、公正、标准的反馈结果。教学单位和学生本人可以在第一时间得到整个考试的通过率、错误率以及考生的成绩评价等信息，了解临床技能水平。

在后期数据分析中，系统能对数据细分并结合评分表数据化，针对每个学生给出详细的临床技能掌握报告，每个项目和每个操作流程的具体情况都能得到反馈。方便了学生的自学自查，促进学生之后的学习;指导后期的临床技能教学;同时，可以结合评价过程的数据记录，对SP的评价标准化程度做出反馈，指导后期标准化病人的培训。

通过长期机器学习并结合成绩分析，对项目及其评分表的客观性等做出反馈，排除人为影响因素，让考核项目的设置更加合理，同时发现评估量表设置的不合理之处，提升评估量表的效度和信度。

(三)系统使用的效果。

无纸化OSCE考试系统经过不断的建设和完善，已经取得较为成熟的经验，不仅能在学生考核后及时反馈考核结果，还能够及时反馈学生优势和不足，达到了形成性评价的目的。

在此基础上建设的临床技能竞赛现场评分系统，首次在2011年第二届全国高等医学院校大学生临床技能竞赛华中赛区的比赛中使用，每一轮竞赛结束后，即时同步显示各参赛队得分，该系统的使用既活跃了赛站式竞赛现场的竞赛气氛，同时也为竞赛的公平性提供了坚实的保障。得到了教育部领导和兄弟院校的充分肯定和高度评价，并使用于2012年4月在中南大学承办第三届全国高等医学院校大学生临床技能竞赛华中赛区的比赛。

OSCE考试系统在我校的研究生临床技能考试和住院医生规范化培训的考核中多次使用，同时应用于我校的三届医学生临床技能竞赛。

随着OSCE无纸化考试工作的发展，丰富和完善了我校评价体系中的评价手段，很好地解决了OSCE考试不能及时将评价信息反馈给被评价者的问题，为OSCE考试作为有效的形成性评价手段奠定了基础。

四、创新与特色

(一)OSCE的无纸化。

传统的OSCE中使用纸质评分表和人工统计分析数据，耗费了大量的人力和物力，且评价结果往往不能及时反馈，影响到整个评价系统的效率。本系统通过计算机信息化技术，将项目评分量表数据化，评价人直接通过计算机对学生进行评价，实时记录所有信息，并通过计算机系统直接给出数据统计结果，大大节省了人力和物力，极大提高了OSCE的效率。同时实时记录的各种信息，为之后的各种分析提供了各种可能。

(二)强大的个性化评价与反馈。

无纸化的应用使得评价过程中各种数据都可以被记录下来，为之后的评价反馈打下了坚实基础。针对教学单位可以给出考生总体通过率、每个项目通过率等信息，将结论性评价和形成性评价完美结合，应用于之后的教学实践。针对学生个人可给出个性化的评价反馈，让学生了解自己对每个项目每项操作的掌握程度，促进自学自查，指导日后的临床实践。针对SP的培训，通过对评价环节的数据分析，可以得出SP的不足之处，形成评价反馈，支持日后的SP培训工作。

(三)建立起标准化的临床技能资源库。

在获取一定量的数据后进行大数据分析，对每个考核项目每一个评价量表进行统计分析，结合临床实际，对评价量表进行评估，改进量表的设计，根据考试目的，严格划定通过标准并缜密权衡考试成绩的影响因素，在准确把握考试信度与效度的同时带动学生学习［1］。采用SP使得每位学生面对相同问题，病人的病史、症状和体征均经过标准化，使评价更为公平;庞大的项目资源库足够支撑设立多个考站，测试考生的多种临床能力，避免传统考试的偶然性和变异性，使临床能力的评价更加准确、客观和标准。以此来完善建立标准化的临床技能资源库，使得OSCE真正公平、客观、有效。

［1］Harden，R M，Gleeson，F A.Assessment of clinical competence using an objective structured clinical examination(OSCE)［J］.Medical Education，1979，13(1):41.

［2］Jacobs J C G，Denessen E，Postma C T.The structure of medical competence and results of an OSCE［J］.Netherlands Journal of Medicine，2004(62):397-403. ［3］杨玉萍，韦 嘉，王晓云，等.客观结构化考试在医学生综合临床技能考试中的应用［J］.中国高等医学教育，2008(6):104-105.

［4］Core Committee;Institute for International Medical Education.Global minimum essential requirements in medical education［J］.Medical Teacher，2002，24(2):130-135.

［5］赵永亮，颜 伟，孙梯业，等.客观结构化临床考试在医学生临床技能考试中的实践研究［J］.中华医学教育杂志，2008，28(5): 117-119.

Establishing and using a novel computer-based OSCE evaluation and feedback system

Zheng Jingli1，Luo Junyu2，Li Yan3，et al
(1.Network and Computation Center，Huazhong University of Science and Technology，Wuhan 430030，Hubei，China; 2.Tongji Medical College，Huazhong University of Science and Technology，Wuhan 430030，Hubei，China; 3.Academic Affairs office Huazhong University of Science and Technology，Wuhan 430030，Hubei，China)

The conventional Objective Structured Clinical Examination(OSCE)is often criticized for being resources consuming in its implementation，for its low assessment efficacy，for its emphasis on the outcome over the process of learning，and for its objectivity deficiency induced by the less standardized rating scale and item bank unfavorable for further analysis of the OSCE results.This paper introduces a computerized examination and feedback system that aims to be both summative and formative.The combination of modern information and communication technology and the conventional OSCE transforms the paper-based exam into a computerized one.In addition，this system comes with a standardized database for clinical skill assessment.This system will hopefully improve the efficacy of the OSCE，making its results fairer，more objective，and more efficient，which eventually benefits the teaching and practice of clinical skills.

Objective structured clinical examination;OSCE;Information technology;Paperless

G424.74

A

1002-1701(2015)09-0051-03

2014-12

郑競力，男，硕士，工程师，研究方向:医学信息化。

*通讯作者

10.3969/j.issn.1002-1701.2015.09.027