基于德尔菲法和层次分析法的应用型临床本科基础医学PBL课程教学质量评价体系研究*

林志萍，郑建盛，谢群，林丽彬，陈秀娇，王守安

(莆田学院基础医学部, 福建 莆田 351100)

PBL是上个世纪60年代末从加拿大麦克玛斯特大学发展起来的一种教育理念和自主学习模式，它基于建构主义理论，将小组协作学习与个人自主学习巧妙结合，使面临真实而复杂问题情境的学生，能在导师的指导下通过讨论合作解决问题，学习隐含于问题背后的知识、技能和能力[1-2]。与传统的教学方式相比，将PBL引入本科基础医学教育，更能体现医学教育的整合思想, 培养学生发现、分析和解决问题的能力，并提高他们的健康人文理念[3]。但是目前基础医学教育PBL教学法实施过程中仍存在不少的问题，如传统教学理念的根深蒂固、评价体系的不完善、教学资源的缺乏等[4]，这使得各校开展PBL的教学质量良莠不齐。此时，建立合适的PBL教学质量评价体系就显得至关重要，它能为PBL在基础医学教育的深入且良好的发展提供依据和方向。

我校在三年级临床医学专业学生中开设基础医学综合PBL课程，迄今已有四轮的实践，学生反响良好。但是因为应用型本科的校情及可参考的资料较少，对于PBL课程教学质量的客观分析一直处于缺乏状态，严重影响了综合课程的进一步改革和发展。为此，我们采用科学的方法对PBL教学质量评价体系进行了探索和研究。

1 研究方法

1.1成立课题小组 课题小组由2名副教授、1名助教和2名本科生组成，主要负责确定专家成员，构建评价体系，编制函询问卷，对函询结果进行整理分析等。

1.2确定专家

1.2.1专家入选标准 (1)从事医学教育或教学管理工作20年及以上；(2)从事PBL带教两轮以上；(3)本科及以上学历；(4)中级及以上技术职称；(5)知情同意，愿意参加本课题研究。

1.2.2专家人数确定 一般选取15～50名专家进行函询比较合适[5]。本次研究选取全国19名专家进行 2轮函询。

1.3使用德尔菲法构建PBL教学质量评价体系

1.3.1初步构建评价体系 通过查阅文献、专家访谈和前期实践检验初步构建PBL教学质量评价体系，体系由三级指标构成，一级指标4个，分别为教学方案、教学策略、教学效果和教学评价；二级指标10个，三级指标31个。

1.3.2编制专家函询问卷 根据初步拟定的PBL教学质量评价体系编制专家函询问卷，分成3个部分。(1)致专家信：简要说明研究目的、内容及函询的方法。(2)专家基本情况表：包括专家一般资料、判断依据和对调查内容的熟悉程度。一般资料为专家的性别、年龄、职称、学历、从事医学教育或医学管理年限等。判断依据分实践经验、理论分析、参考文献、直觉判断4个条目，按照大、中、小3个层次评分，分别赋值为实践经验(0.5，0.4，0.3)，理论分析(0.3，0.2，0.1)，参考文献(0.1，0.1，0.1)，直觉判断(0.1，0.1，0.1)。熟悉程度分为非常熟悉、较熟悉、一般、不太熟悉、不熟悉，分别赋值为1.0、0.8、0.6、0.4、0.2[5]。(3)专家评分表：专家依据自己的理论与实践经验，对各指标的重要性进行评判：最重要( 5 分)、很重要(4分)、一般重要( 3分)、不重要( 2 分)、最不重要(1分)。并设置“指标修改、删除和新增”栏，请专家对条目进行修改和补充。

1.3.3函询质量评价 (1)专家的积极程度：通过函询回收率和专家提出建议的比例来反映专家的积极程度，越高说明专家的积极程度越高。(2)专家权威程度：采用专家对问题的判断依据(Ca)、专家对问题的熟悉程度(Cs)和专家权威系(Cr)数进行判断。判断依据系数(Ca)为判断依据4个条目的均值，熟悉系数(Cs)为熟悉程度均值，Cr=(Ca+Cs)/2。Cr≥0.7说明专家的权威程度高[6]。(3)专家的协调程度：计算变异系数(Cv)和Kendall's W来反映专家的协调程度。Cv<0.3，0< Kendall's W <1且有统计学意义，说明专家的协调程度较高[5-6]。(4)专家意见的集中程度：计算每一条目重要性评分的均值和满分比来反映专家意见的集中程度。并将指标均分>3.5，满分比>0.20和变异系数(Cv)<0.25作为保留项目的标准[7]。不符合标准者予以删除，或提请专家或课题小组讨论。

1.4使用层次分析法计算权重系数和进行一致性检验 将经过两轮函询后确定的教学质量评价体系分为目标层、准则层(一级指标)、要素层(二级指标)和因子层(三级指标)，每一层次根据均数之间两两比较的数值建立判断矩阵[6, 8]，计算初始权重系数ω’和归一化权重系数ω，并对权重系数进行一致性检验。准则层和方案层指标根据上一层的权重系数计算组合权重系数。

1.5统计分析 使用SPSS 25.0建立数据库，计算均数、标准差、变异系数和满分比，并对Kendall’s W系数进行统计分析。使用Excel 2016编制程序完成层次分析法的计算和一致性检验。

2 结果

2.1一般资料 19名专家分别来自广东、上海、贵州、福建4省市4所高等院校和2所三级甲等医院，平均年龄49.1±4.3(42～57)岁；平均工作年限26.3±5.7(19～40)年；专业教师 19 名，其中5名兼任教学管理或医院管理。见表1。

表1 专家基本情况分布表

2.2专家的积极程度 第一轮发出函询19份，回收19份，有效回收率100 %，10名专家提出建议(占52.6 %)。第二轮发出函询19 份，回收19份，有效回收率100 %，3名专家提出建议(占13.7 %)。两轮专家的积极性均较高。

2.3专家权威程度 第1轮函询的Ca为0.921，Cs为0.821，Cr为0.871。第2轮函询的Ca为0.937，Cs为0.800，Cr为0.868。两轮的专家权威程度均较高。

2.4专家的协调程度 第一轮各指标的Cv为0.06-0.26，Kendall's W为0.143(P<0.05),第二轮各指标的Cv为0.05-0.23，Kendall's W为0.294(P<0.05)。随着函询轮数的增加，专家意见的协调程度也逐渐增高，函询结果可靠。

2.5专家意见的集中程度 第一轮函询中PBL教学质量评价体系三级指标知识的前沿性、新知识积累满分比均小于0.2，经讨论予以删除。第二轮函询各指标均符合标准。

2.6专家函询结果分析 经过第1轮专家函询后，PBL教学质量评价体系的教学方案、教学策略、教学效果和教学评价四个一级指标如下修改。(1)“教学方案”改成“PBL案例”：增加二级指标“教学目标”，下设两个三级指标“必要教学目标”和“次要教学目标”；二级指标“知识结构”改成“内容构建”，其下三级指标删除“知识的前沿性”，把“知识学科交叉性”更改为“交叉整合性”；二级指标“研讨问题设计”改成“问题情境”，删除三级指标“课程标准”，增加“逻辑性”、“合理性”两个三级指标。(2)“教学策略”改成“带教技巧”：二级指标“教学思想”改成“教学理念”；二级指标“教学能力”改成“带教能力”，下设的三级指标“授课技巧”改成“引导技巧”。(3)教学效果：二级指标“知识掌握”修改成“知识储备”，下设的三级指标“知识体系构建”修改为“知识架构”，“新知识积累”修改为“知识运用”；二级指标“能力提高”因为专家的建议比较多，所以进行比较大幅度的修改，其下新的三级指标为“自主学习能力”、“评判性思维”、“信息收集分析能力”、“连结创新能力”、“解决问题能力”、“回馈决策能力”和“协作沟通能力”。(4)“教学评价”：三级指标，“教师评价”改为“教师评价及反馈”，“学生互评”改为“学生互评及反馈”，“个人案例报告”改为“个人反馈报告”。

第2轮函询结果指标的意见趋于一致。最终形成包括4个准则层(一级)指标、11个要素层(二级)指标和32个因子层(三级)指标的PBL教学质量评价体系。见表2。

2.7层次分析法 对建立的评价体系进行权重计算。准则层指标A1 PBL案例权重系数为0.463，A2带教技巧权重系数为0.085，A3教学效果权重系数为0.276，A4教学评价权重系数为0.176，PBL案例的占比最大。要素层指标中，案例内容构建的组合权重系数最大为0.244，其次为案例的教学目标和教学效果的能力提高，均为0.154。因子层指标中，案例内容的交叉整合性、教师的评价反馈和案例的必要教学目标组合权重系数较高，三者分别为0.154、0.146和0.128。见表2。

对各权重系数进行一致性检验，结果见准则层指标的λmax=4.087，CI=0.029，CR=0.026；要素层指标λmax1-λmax4为2-3.054，CI1 -CI4为0-0.027，CR1-CR4为0-0.046；因子层指标λmax1-λmax11为2-7.275，CI1-CI11为0-0.046，CR1-CR11为0-0.046。CI和CR均<0.10，说明结果的一致性良好，不存在逻辑混乱。

表2 PBL教学质量评价体系各级指标权重系数

3 讨论

PBL教学法作为一种跨学科的教与学的方式，在医学教育中的广泛应用证明了它的有效性和价值[9]。我国引入PBL三十多年来，各高校结合校情探索适用于医学教育实际情况的 PBL 教学模式，取得了不少成效[10]。中国本科医学教育标准中明确提出，临床医学专业课程的教学方法中必须包括基于问题的学习方法[11]，这更是极大地促进了PBL在我国的发展。但是，目前对于PBL教学质量的评价还没有统一的标准，PBL的实施缺乏正确的导向和质量监控作用[12]，不利于PBL地有效发展。本次研究结合四年的实践经验，并采用德尔菲法和层次分析法，建立了一套适合评估应用型本科PBL课程教学质量的评价体系。

教学质量评价体系含4个准则层(一级)指标，11个要素层(二级) 指标和32个因子层(三级) 指标。一级指标中，PBL案例占比最高，其次是教学效果和教学评价，教师的带教技巧占比最低。PBL案例是问题情境的载体和学生进行PBL学习的平台，它作为整合课程的学习焦点和讨论框架,关系到学生对整合内容的掌握及自主学习兴趣的培养[13]。一个完美的PBL案例，描述的情境应不仅能引发出学习议题, 其体现的知识点也应尽可能涵盖整合课程的目标和内容[13]。本质量体系恰好能体现对案例的良好评价，其评价维度和重要性通过在准则层、要素层和因子层的权重系数得到体现，特别是在可操作的因子层，案例知识的交叉整合及其必要教学目标，在所有三级指标中占比最高。

教学效果是教学质量评价体系中第二个重要部分。与传统的教学模式不同[14]，对PBL的认可，更大程度是在它对学生能力的培养及促进素质提高上；即使是知识储备方面，也更注重知识的构建和运用。研究发现[15]，PBL能促进学生形成自主学习客观行为，包括理解、归纳、分析等自我监测与调节能力、信息处理能力和交流合作能力等。因此，PBL对学生能力的提高，被专家们认为是体现其教学质量比较重要的因素，给与了较高权重的评分。

教学评价是教学活动的重要内容之一，用以检测教学过程及结果，为教学决策服务，起诊断、导向作用[2]。PBL的教学评价应是多元化的评价[2, 16]，其评价主体既有学习者的自我评价反馈和同伴的相互评价，也有教师的评价反馈；评价的形式是形成性评价与终结性评价的结合；评价的内容则包括笔试/实践考核、调查法、作业法等。本研究结果可见，形成性评价的作用更为专家们所重视，尤其是教师评价及反馈，其权重系数在教学评价中最高。与传统的角色不同，教师在PBL中既充当学生学习的协助者，也是成绩的评定者，他们的评价作为一个很强的指示剂，对学生的行为具有强大的影响力[17]，良好的评价既能提高学生的积极性，也能促进学习的效果[18]。

教师的带教技巧是教学质量评价的又一重要组成部分。PBL课程中，教师不再以内容专家的身份传达知识和教学，他们更多是作为引导者，鼓励学生之间的互动，协助学生开展自主学习；教师的素质会影响PBL的顺利开展。有研究发现，我国PBL模式的短板之一是教师的传统教学理念仍根深蒂固[10]。因此，教师的教学理念和思路，被认为是带教技巧中最重要的因素，被专家们赋予高分。但是，不少研究发现，带教教师有无专业背景或者有无PBL 教学经验对学生的整体学习效果没有影响[19, 20]，这个在我们的专家评价中也得到了认可，因此在四个一级指标中，带教技巧的占比最低。

在应用型本科院校，建立具有专业差异和突出办学特色的教学质量评价体系至关重要[21]。本次研究以四轮实践为基础，结合校情，采用能体现专家智慧和量化测量科学性[22]的综合方法来构建PBL教学质量体系，其指标选择和权重系数评定均符合统计学标准。说明所建立的教学质量评价体系是可靠、科学、实用的。接下来将对PBL课程进行评价应用，为促进我校PBL质量的提高及为他校所借鉴，起良好的引导作用。