医学教育改革创新成效评价的国际新方法：贡献分析及其应用

孙宝志

为加快我国高等医学教育创新发展，2020年国务院办公厅下发34号文件《关于加快医学教育创新发展的指导意见》，文件中提出“以大国计、大民生、大学科、大专业的新定位推进医学教育改革创新发展”[1]。我国高等医学教育系统实施了很多改革创新发展的研究方案、教育改革计划和相关项目，如何评价这些项目的实施效果，本文借鉴世界各国医学教育领域的经验，以及医学教育理论相关研究成果，探讨医学教育改革创新成效评价的新途径——贡献分析，并结合具体案例分析其如何应用。

1 医学教育改革创新实施是一项复杂干预

1.1 问题的提出

21世纪以来，世界范围的疾病风险变化，医学系统的变化，科学技术的变化，教育系统的变化，对医学人才培养改革提出新的要求，世界各国都在进行第三代医学教育改革探索，兴起以岗位胜任力为导向的医学教育(competency-based medical education，CBME)改革。2015年中国医科大学借鉴世界各国的经验，牵头完成教育部和国家医学考试中心的项目，建立了中国临床医师8大岗位胜任力模型。很多医学院校都开展了以CBME改革计划和实施医学课程整合等大项目[2]。但是如何评价这些医学教育改革创新活动的效果，成为一个棘手的问题。实践中，人们常常面临这样一个问题，有什么证据能证明新的医学教育改革方案优于传统的医学教育？有些杂志发表的医学教育改革文章，常常采用的也是用对照试验的研究方法证明其效果。例如，有文章介绍实施翻转课堂教学试验项目与传统讲座的效果比较，采用随机对照试验方法。试验组教学活动包括课前的作业、预习、讨论、网上活动等，课中由学生汇报，教师点评，课后再布置相关实践活动、留课后作业等。而对照组(不随机抽取，有的还用跨年级对象)，仅仅占用课中学时进行讲授。实施结束后，两组统一由期末考试笔试成绩进行比较分析。这种比较显然不合理，两组的教学目标不是单一的知识掌握，况且试验组，教师在课前、课中、课后花费很多时间和精力实施各种活动学习，各种因素交互作用，教学效果优于单纯课堂讲授也是必然的。这时再使用对照试验的方法是不合理的。

1.2 干预的分类

英国医学研究委员会(Medical Research Council)国际合作小组于2013年9月举行了为期两天的峰会，回顾、讨论相关文献，会后发表了《开发和评价复杂的干预：新指南》(以下简称《新指南》)，指出“复杂的干预，需要以各种方式结合多种活动来达成目的，因此，随机对照试验方法不适应于评价复杂的干预”[3]。事实上，从管理和评价的角度来看，为社会利益而设计的干预措施正变得越来越复杂。加拿大学者Dauphinee[4]提出：干预分成简单的(simple)、复杂的(complex)和更复杂的(complicated)三种干预。笔者认为，简单干预如运用多媒体技术讲座与传统方法讲座的比较、运用整合教材与传统教材、运用课堂讨论式教学与传统教学方法比较等；复杂干预如运用基于问题的教学(problem-based learning,PBL)、运用翻转课堂教学、以病例为中心(case-based learning,CBL)的教学、线上线下混合式教学方法等；更复杂干预如以胜任力为导向的医学教育改革综合方案实施、创新医学人才培养模式综合改革、临床医学考试改革计划实施、新医科计划实施等。所以我们要对一项教学改革创新项目进行评价之前，首先需要做的是确认此项干预属于何种类型的干预。

简单干预比较容易确认，复杂干预和更复杂干预界限比较模糊，因此以下讨论将二者都归类于复杂干预。

1.3 什么是复杂干预

英国医学研究委员会的《新指南》中指出：复杂干预(complex interventions)通常被定义为具有几个相互作用的组成部分的干预措施，它们为评估者提出了许多特殊和额外的问题，如相关标准化方案设计，干预措施的执行，以及将干预与结果联系起来的因果链的长度的确定，这些都与复杂性有关。是什么造成干预的复杂性？《新指南》提出5点因素：在试验和控制干预措施的组成部分之间的数量和相互作用；提供或接受干预者所需行为的数量和难度；干预目标群体或组织水平的数量；结果的数量和可变性；允许干预的灵活性或定制程度。

1.4 医学教育改革创新活动是一种复杂干预

如实施以胜任力导向的医学人才培养方案改革，对照复杂干预的5点因素，这些改革方案的实施首先都是多维度、多元素交互作用，如教师队伍、教学经验、课程内容、教学方法、评价系统等，这些以一种复杂性的累积促进学习的方式作用于医学生成长。干预目标群体或组织水平的数量大，允许干预的灵活性或定制程度大。教学改革环境也是复杂服务干预的一个方面，临床见习和实习的场所背景条件不同，带教医师队伍的专业水平、教学经验、评估系统以及医疗资源不同，都影响医师和医学生的互动，产生效果不同，改革创新实施的成果分为近期效果和远期效果，这些都构成更复杂干预[5]。综上所述，医学教育改革创新活动实施是一种复杂干预。因此，复杂干预成果的评价就不能以传统的因果关系评价(cause-and-effect)，不能假设活动与结果有直接的因果关系，应当考虑采用非传统的途径。加拿大学者Dauhpinee 指出，简单的线性评估模型(simple linear models of evaluation)不能解决当今创新和广泛项目中涉及的更广泛的利益群体和利益相关者[4]。

2 复杂干预的评价途径从归因分析转向贡献分析

“评估胜任力导向的医学教育需要改变思维模式。我们需要改变传统的方法，在传统方法中，目标很容易达成一致，可以精确地衡量，因果关系也可以很好地描述”[4]，要认识到医学教育改革是多种可能的途径促进教学改革目标和效果的实现，因此，复杂的干预评价途径从归因分析(attribution analysis)转向贡献分析(attribution analysis)[5]。

2.1 归因分析

传统上，归因分析被用于项目评估，这种方法对于具有明确目标的可重复性干预措施非常有效，可以相对较快地实现。当满足这些条件时，就可以推断出项目活动和结果之间的直接因果关系。实证试验方法(positivist experimental methods )最常用于归因分析;这些方法依赖于比较组(comparison groups)和随机化(randomization)以关注特定的结果变量，并将不需要的变量均匀地分配到组中[5]。然而，在复杂干预情况下，通往成功的道路是多途径的，以致于它无法事先被阐明。控制变量是极具挑战性的，很多的干预措施，如教师队伍水平、学生的学习经验、课程体系、评价方法等都处于变化之中。依赖于控制和可预见性的传统还原论方法往往是不够的。在使用复杂干预的情况下，需要一种办法来审查所进行的活动与所观察到的结果之间的联系，以及彼此间的完整统一。贡献分析提供了这样一种方法[5]。

2.2 贡献分析

贡献分析创始人约翰·梅恩(John Mayne)[6]于2001 首先发表文章《通过贡献分析解决归因问题:使用绩效衡量》。约翰·梅恩指出“发展贡献分析的主要动机是找到一种系统的方法来收集和使用监测信息，以反映政策干预的相关性和有效性，即使不可能明确地将社会结果归因于这些政策干预。”[7]贡献分析是一种理论驱动的评估形式，旨在验证和构建干预的贡献事情，即为干预如何促进发展来寻找证据。复杂干预项目评估中提出的关键问题是该项目的过程因素对观察到的结果有多大的影响或贡献。分析时思路：关键的任务是打开项目实施过程的“黑盒子”，以确保充分的理解项目计划是如何实施的,理解如何和为什么描述影响路径。也就是说，从理论中得出的路径，阐明了项目规划活动和预期结果之间联系的基础假设。贡献分析提供了一种思考归因问题的方法，即通过事实反推论来证明因果关系的方法。通过发展一种变革理论(theory of change)，展示活动、结果和政策背景之间的联系，并从各种来源收集证据来检验该理论，目的是建立一个可信的绩效描述。作为一个参与性的过程，贡献分析加强了对结果的规划/管理、实施和变革理论的概念与实践理解，从而帮助建立伙伴组织内部和跨伙伴组织的协作能力。对于公共管理人员来说，当面对一项任务，即展示单一组织对解决复杂社会问题的贡献，同时与面临多种责任的其他公共机构合作时，贡献分析过程具有强烈的吸引力和实际价值[8]。

2.3 归因分析和贡献分析比较

通过比较，可以看出贡献分析提供了一种系统的方法，它们在关注的关键问题、因果关系、项目特性、评价重点是存在差异的，在复杂条件下做出可信的因果声明，见表1。加拿大学者Van Melle等[5]发文指出：在过去的15年里，贡献分析已经被应用于不同的环境中，并且正在发展成为一种越来越复杂的项目评估方法。

表1 归因分析和贡献分析差异比较

3 贡献分析六步法评价医学教育改革实例

贡献分析通过研究问题的组合检查干预逻辑上的多个因果联系。监测和评估系统需要建立一个令人信服的案例和证据。贡献分析创始人约翰·梅恩提出贡献分析分为六个步骤，以加强贡献描述事情的证据基础[7]。笔者运用六步法来对以往医学教育改革创新实施效果进行评价。

中国医科大学于2000年～2004年实施教育部《宽口径医学本科教育人才培养模式的研究与实践》项目(以下简称“该项目”)，并取得2005年高等教育国家级教学成果一等奖[9]。以该项目为例介绍贡献分析六步法评价。

3.1 第一步:列出需解决的因果问题

医学教育改革创新过程是一种复杂干预，为解决问题，实现项目目标和结果，采用一系列多方面、多层次的活动对结果产生贡献。评估的第一步是列出需解决的因果问题。

该项目作为教育部“新世纪高等教育教学改革工程”重点项目，是国家教育部关注的大问题，代表了国家对医学教育改革的政策诉求。该项目通过大量调查研究，确认目前我国的医学教育普遍实施传统的本科医学人才培养模式，培养目标口径过窄；培养规格重技术、轻素质；教学理念落后，以知识传授为中心；教学模式以教师为中心；课程体系以学科为中心；毕业生不适应新世纪对医学人才的要求等问题[9]。

为解决关键问题，确立该项目的总体目标是：重新制定面向21世纪的国家级本科医学人才培养目标和培养规格，国内示范建立高水平的整合医学课程体系，采用世界先进的教学方法与教育技术，全面改革医学考核评价体系，培养适应21世纪需要的医学人才[9]，并成为全国的样板。

3.2 第二步:开发假设的变革理论

医学教育改革创新项目属于复杂干预，适于采用变革理论(theory of change)[10]设计项目实施方案。为了实现总目标与结果，阐明如何带来变化，明确预期的长期、中期和近期的目标与结果。先定义长期目标结果，然后倒推过程规划确认其必要配置所需要的所有构件与途径[10]。

该项目长期目标是确保医科毕业生全面适应新世纪对医学人才的要求。中期目标结果是毕业生各个阶段综合考核达标。近期目标与结果是重新修订面向21世纪的国家级本科医学人才培养目标和培养规格，示范建立高水平的整合医学课程体系，采用世界先进的教学方法与技术，全面改革考核评价体系；配套教学资源与奖励政策，充分调动教师教改的积极性，师生充分互动，学生自主学习能力提高，学生对教学的满意度提高等。

该项目为达到近期目标采取的路径是“三全”质量管理路径，即“全员-全过程-全方位”管理。全员：建立校、院、教研室三级组织委员会，确立三级实施方案，学校的全体人员参与。全过程：涉及到公共基础、医学基础、临床教学、实习阶段全过程培养和考核。全方位：树立以学生为中心的理念，全面改革人才培养目标、课程体系和评价体系。

变革理论设计其近端和远端结果以时间的方式排列，匹配利益相关者参与，各个阶段实施具体的干预措施，确立各个阶段里程碑指标以测量改革效果及建设奖惩措施，形成了变革理论的支柱。项目实施过程运用行动理论(theories of actions)，将结果与规划活动相联系作为结果链评价的关键元素。对结果和产出的预期假设与风险加以描述，详见项目的总结报告[9]。

3.3 第三步：收集现有的证据

本步骤重点是根据逻辑和多种来源可用的证据来验证该项目的变革理论。利用利益相关方的访谈、调查问卷、查阅文件资料等途径。

观察到的结果：该项目为实现近期目标关键措施，收集到日本最新的医学课程改革指南，作为制定“临床医学专业教学基本要求”的参考；2000年后课题组3次访问美国哈佛大学医学院，学习与借鉴他们“新途径”(new pathway)十年课程改革经验，首次建立整合医学课程体系；借鉴加拿大医学教育PBL经验，在全校全面开展了PBL[9]。收集的关键证据包括：(1)当学生的自主学习积极性提高，他们的路径是怎样的? 该项目路径是在全校开展了60个PBL教学活动，2千余名学生参与小组讨论互动。之后对学生的调查显示教学满意度达95%。(2)项目实施的系列活动：如借鉴哈佛经验国内首创医学整合课程体系，补充最新的教学内容，基础与临床紧密结合，充分调动广大师生的学习积极性。(3)临床技能训练中心设施扩大，培训队伍与范围更广泛，有益于保证医学生进入临床实习的胜任能力。(4)学生在基础阶段和临床阶段的考核合格率高于以往，基本实现项目中期目标。

3.4 第四步：组装贡献的描述

综上所述，使用步骤1到步骤3可用的证据，可以组装一个该项目的贡献描述。一个可信赖的贡献描述包含以下元素：对背景进行了详尽的描述;采用的变革理论等是可信的;活动、结果输出和观察到的结果都得到了很好地描述;提出了变革理论中关键环节背后的证据，包括对优势和劣势的讨论;对分析结果进行了说明;并对其他影响因素进行了讨论。

创造这样的描述有助于确定链条中的哪些链接是有强有力的证据支持，哪些可能是薄弱的，详见项目的总结报告[9]。

3.5 第五步：寻找额外的证据

为了提高对该项目的贡献描述的可信性，在汇集贡献描述时，需要更多的数据来提高理解或加强变化理论的某些联系。可以通过多种方法收集额外数据，对发现进行三角测量法分析[5]。

该项目制定的《临床医学专业本科教学基本要求》[11]，教育部高教司历时两年，征询两千名专家的意见，并经全国医学教育学会批准，于2013年12月228号文件下发到全国所有的医学院校参照实施，并为全国医学教育质量监控提供了参照与衡量标准[9]。这是完成项目第二阶段的有力证据。

远期效果评价，2016年项目组通过比较2006年～2013年整合班毕业生和非整合班毕业生共计3 372名的国家医师执业资格考试成绩，结果显示试验组的通过率显著高于对照组[12]。文章发表在《中国高等医学教育》杂志。这也是项目对医学人才培养质量的贡献的远期证据。该项目总计出版《临床医学导论》《临床医学专业本科基本要求》等专著8部，发表论文58篇。

3.6 第六步:修改和加强贡献描述

利用新证据，可以增强对项目的贡献描述。该项目事实上证明变革理论设计的医学教育改革项目从目标要求，课程整合到PBL方法运用都是成功的，为下一周期的改革提供了理论指导与经验。同时该项目也存在缺陷，如整合课程的深度融合不足，临床教师参与度不足，阶段性里程碑的评价不及时等，这些成为下一周期的改革范围动态调整的主要依据。

贡献分析是改革创新整个过程作为一个迭代方法,使用贡献分析进行项目评估的方法并不是一次性的活动，相反，它旨在指出此活动是一个随着时间推移而展开的事件[5]。这样的评估，推动变革理论对医学教育改革设计不断更新，持续开展而螺旋式上升。

4 结语

医学教育改革创新项目作为一种复杂干预，其中多个干预活动以各种方式结合在一起以促进结果的实现。贡献分析提供的评估方法是将项目活动、结果和理论联系起来的六步方法，以该项目为例，这个方法打开项目实施的“黑盒子”，提供一个强有力的理解理论如何促进实践的评价[5]。对其而言，整合复杂信息的能力正成为一项关键技能。进行贡献分析不是太容易的，需要专业知识、实践经验，仔细说明在特定的环境下医学教育改革创新是什么样子的，它是如何产生影响的，以及为什么会产生影响，贡献分析法成为提供证据的有利途径。贡献分析法不仅仅在项目结束后进行，也可以为在项目开始设计时提供重要参考，以保证项目最终的效果。

2021年3月31日教育部、财政部、国家发展和改革委员会联合印发《“双一流”建设成效评价办法(试行)》指出：“双一流”建设成效评价是对高校及其学科建设实现大学功能、内涵发展及特色发展成效的多元多维评价[13]；文中多次提到“需求导向，聚焦服务贡献”；“社会服务评价，突出贡献和引领”“成效评价实行定量评价与定性评议相结合”[13]等，这是创造性运用贡献分析的方法来评价“双一流”建设成效，国家三部委采用先进评价理念和现代技术，为“双一流”建设的目的服务，非常值得我们学习。