基于Delphi法构建教材评价指标体系的研究及实践

李民华，吴 萍，武 艳，叶 萌，朱 淼

(首都医科大学教务处，北京 100069；△通信作者)

为了加强和规范教材建设与管理，全面提高人才培养质量，近年来国家相继出台了《关于加强和改进新形势下高校思想政治工作的意见》《关于加强和改进新形势下大中小学教材建设的意见》《普通高等学校教材管理办法》等重要文件，健全了高校教材管理、规划、编写、审核、选用制度。在教材选用方面，高校要坚持凡选必审、质量第一、适宜教学、公平公正的原则[1]。当前处于“四新”建设发展时期，医学类教材种类、数量较多，教学中是否选用与专业人才培养目标、课程目标、学生的学习需求适切性更高的教材，是高校教学管理部门需要准确把控的环节。构建科学、有效、可操作的选用教材评价指标，用于学生对使用教材进行回顾性评价，形成教材选用-使用-评价-反馈闭环管理，对于帮助教学管理部门及时发现选用教材中存在的问题，保证教材选用质量具有重要意义。

本研究在文献研究以及专家访谈基础上，初步确定教材评价指标体系，进而运用Delphi法对指标进行修订。当专家意见基本一致后，指标体系构建完成。评价指标体系将作为教材使用者的评价工具，应用于教材管理中研究与评价的环节。

1 资料与方法

1.1 文献研究与指标框架的初步构建

教材评价是教育学研究的重要领域，实施教材评价已有丰富的理论基础和实践操作经验。教材评价工作应结合教育学、社会学、文化学、质量管理学、心理学等理论开展，进一步推进教材评价的实践发展[2]。教材的评价应该有六个基本的维度:知识、思想文化内涵、心理发展规律、编写制作水平、可行性、特色与导向性[3]。但是不同的学科应根据学科特点及具体情况将上述维度和问题学科化、具体化,形成评价的相关指标。有的研究认为，除了思想性、科学性等指标外，要关注教材的适切性[2]，要求教材适合学生的学习基础和发展需求，并有利于教师使用，适教适学[4]。不同指标之间存在着内在的逻辑关系：思想性是统领，是底线，是教材的“政治关”；科学性通常涉及教材内容的正确性、准确性、逻辑性，形式的正确性、清晰度、美观性，结构的合理性等；适切性则从匹配的角度考察教材是否满足相应的对象群体，如学生、教师、学校、地区等的要求，科学性是适切性的基本前提，适切性是科学性的更高要求[5，6]。

通过对照医学类相关专业的教学质量国家标准(2018年版)以及临床医学专业认证相关指标要求，本研究以学生为中心，以促进自主学习，培养发展潜能为目标构建教材评价指标体系[7]。在文献研究基础上，我们初步拟定了思政维度、知识维度、应用维度、适切维度作为教材评价指标体系的核心要素，进一步通过与校内有教材编写经验和教学经验的教授、专家进行半结构式访谈，根据访谈结果整理形成了初步指标框架，包括4个一级指标，12个二级指标(见图1)。

1.2 Delphi法进行教材评价指标体系的确定

在完成初步指标体系框架搭建后，我们选用Delphi法进行教材评价指标体系的确定，按照选择咨询专家、编制专家咨询表、发放回收咨询问卷、收集统计数据等环节开展了研究工作[8]。

1.2.1 咨询专家的选择与咨询问卷的编制 本研究选取了20名专家作为咨询对象。咨询专家的入选标准为：从事医学高等教育的一线教师，具有副高级及以上职称，有教材编写经验且关心教材建设，对本项目感兴趣。我们依据初步指标框架编制Delphi专家咨询表。咨询表包括研究背景介绍、填表说明、评价指标、专家个人信息、专家判断依据等5部分内容。评价指标部分包括1个客观数据和2个主观数据，客观数据是对指标重要性进行1-5级评分，主观数据是对指标的修改意见和建议、需要新增的指标等[9，10]。

1.2.2 专家咨询与数据回收 我们通过电子邮件方式发送专家咨询表，并说明咨询表的回收时间。专家意见的权威程度采用权威系数(Cr)表示，Cr由两个因素决定，即指标重要性的判断依据(Ca)和对指标的熟悉程度(Cs)。判断依据包括实践经验、理论分析、国内外同行了解、直觉4个方面,分别赋值0.8，0.6，0.4，0.2。指标熟悉程度量分为非常熟悉、很熟悉、熟悉、一般、不太熟悉、不熟悉,分别赋值1.0，0.8，0.6，0.4，0.2，0。在第一轮专家函询时，我们根据专家填写的个人情况资料,对指标熟悉程度、判断依据进行评分后,计算专家权威系数:权威系数(Cr)=[熟悉程度系数(Ca)+判断依据系数(Cs)]/2，权威系数≥0.7为可接受的系数[9]。

1.2.3 评价指标体系的确定 第一轮专家函询结束后，我们结合专家意见对相应的指标进行增加、删减和调整，形成第二轮专家函询问卷并再次发送。经统计分析,当专家意见趋于一致时函询终止，确定形成评价指标体系。专家意见一致性的程度主要通过变异系数(CV)和Kendall协调系数(W)来反映。CV反映专家组对各条目权重赋值的波动程度，CV越小，说明专家预测或评估意见协调性越好，CV要求在0.30以下；W表示全部专家对全部指标的协调程度，取值范围0-1,系数越大表明专家意见一致性越高[10]。

1.2.4 统计分析方法 我们应用Excel软件对专家咨询数据进行录入，计算专家积极系数及权威系数；采用SPSS软件进行统计分析，计算评分均值、标准差、满分率、变异系数、专家协调系数等指标。专家协调系数采用χ2检验进行显著性检验，以P<0.05表示差异有统计学意义。

2 结果与分析

2.1 咨询专家基本情况

本研究邀请首都医科大学具有丰富的教学经验和教材编写经验的20名教师参与专家咨询。有18名教师按要求回复了专家咨询表，部分教师还兼有教学管理经验(见表1)。

表1 参与咨询专家基本情况

2.2 专家积极系数及权威系数

在两轮Delphi法专家咨询中，第一轮发出20份专家咨询表，收回18份；第二轮发出18份专家咨询表，收回16份。两轮回收率分别为90%和89%，说明函询专家对本研究的关心、合作程度较好。专家权威系数分别为0.834和0.856,专家对本研究具有较高的权威性。

2.3 一级指标的确定

第一轮专家咨询结果显示，一级指标的评分均值分别是4.62,5.00,4.31和4.69，变异系数0.00-0.16之间，均小于0.300；经Kendall协调系数检验，W=0.32，统计量χ2值=15.361，P<0.002。数据显示，专家对一级指标的评分均值较高，一致性检验W=0.32，说明专家意见趋于一致，有统计学意义。但有两位专家分别建议把指标3的应用维度改为感官维度，指标4的适切维度改为读者维度。经与两位专家沟通：感官维度不能包含教材的编辑出版质量和配套资源情况，教材的适切性代表教材与实际教学需求是否匹配，是对教材内容、形式、质量的更高要求，读者维度不能充分表表述这一含义。沟通后两位专家同意原指标设定。经第一轮专家咨询，我们确定一级指标为思政维度、知识维度、应用维度和适切维度四个指标。

2.4 二级指标的确定

第一轮咨询数据显示，专家对12个二级指标的评价分数在4.77-4.92之间，变异系数0.06-0.27，经Kendall协调系数检验，W=0.261，同时收到关于二级指标的修改信息23条。专家认为：12个二级指标过多，应给予必要合并以减少评价者负担；医学类教材的文化育人主要来自于人类先进文化、中华传统文化、医学人文关怀三个方面，因此文化传承和职业素养可合并为文化育人；内容先进性应包含于内容选择，无需单独列为一个指标；内容质量与内容组织合并为逻辑结构，逻辑结构既包括教材本身逻辑自洽，也包括与其他学科的逻辑合理，便于学生自主学习；版式设计与印刷装订合并为编辑质量。根据专家意见，二级指标由原来的12个调整为9个，并就9个二级指标形成第二轮专家咨询问卷，再次发送给第一轮返回数据的18名专家，并在问卷中详细说明指标的修订及原因。第二轮咨询数据显示，专家对9个指标的评价分数在4.36-5.00之间，变异系数0.00-0.17，Kendall协调系数(W)检验结果由第一轮的0.261升高到0.36，P<0.05，有统计学意义。专家意见一致性提高，完成二级指标构建。

2.5 教材评价指标体系的确定

经两轮Delphi法专家咨询后，本研究共构建一级指标4个，二级指标9个，并利用层析分析法对指标权重赋值(表2)。

表2 教材评价指标体系及指标权重

3 评价指标体系的实证研究

我们将本研究构建完成的指标按评价量表的句式进行转换，由评价者依据指标说明进行满意度评价，满意度分为非常满意、比较满意、一般、比较不满意和非常不满意5个等级，分别代表满分系数的1.0,0.8,0.6,0.4和0.2；另外增加主观测量题，形成医学类教材评价量表；将量表通过数字校园与使用中的206部医学类教材进行关联，采用方便抽样的方法邀请使用该教材的学生进行评价。其中2部教材得分低于75分，且学生集中反馈教材与课程大纲相关性差、版本陈旧、利用率低。为了验证评价指标在教材诊断中的科学性和敏感性，我们进一步对这两部教材使用者随机抽样电话访谈，证实该教材存在的问题与量表反映一致，不适合继续在教学中使用，建议“退出使用”；2部教材得分在80-84.9之间，建议深入了解教材可能存在的问题，根据问题的性质决定是否继续使用，为继续“关注教材”；202部教材得分≥85分，属于“合格教材”，占比99%，可以继续在教学中使用。教学管理部门对个别学生提出的意见和建议按照问题分类反馈给教师或者回复学生本人。

4 讨论

4.1 基于Delphi法构建教材评价指标体系的科学性及质量控制

首先,为保证指标体系的科学性，本研究选择有丰富教学经验又兼具教材编写经验的一线教师作为咨询专家，专家在指标修改、完善中发挥了重要作用,这是构建指标体系质量控制的第一步。4个一级指标中知识维度所占权重最高，又通过3个二级指标对知识维度提出了具体要求：内容要把握学科重点，要有先进性，要表述合理、清晰等；思政维度是教材的灵魂，是决定能否选入高校教材的第一道门槛；应用维度是对教材出版质量和教材配套资源的诊断，适切维度的设定是确保在同质教材中选择和学校人才培养目标匹配度最高的教材。各个指标环环相扣，科学合理，具有概括性和可操作性，并与国家对高校教材选用工作政策要求高度契合。其次，本研究构建的是一个可量化的评价指标体系，但在实践中没有简单地以量化评价结果作为评价教材的唯一依据，而是定量评价与定性评价相结合，使评价结果更具可信度和说服力。最后，评价指标体系构建完成后，通过每学期开展一次的教材评价工作，我们建立评价结果数据库记录每本教材的使用档案，动态观察学生对教材的评价和反馈，能够使评价数据更加真实、客观地反映教学中的应用情况。

4.2 实证研究结果对医学高等教育教材选用的指导作用

实证研究表明，教材评价指标体系的建立和使用，特别是与信息化手段配合，高效落实了教育部教材选用质量监控和评价机制的工作要求，建立起学生-教师-教学管理部门之间信息沟通渠道，及时发现教材选用中存在的问题，为学生选择一本经典、优质、与人才培养目标和课程标准适切性高的教材。研究结果显示，教材评价指标的构建和应用对医学高等教育教材选用具有一定的指导作用。

4.3 教材评价指标体系的局限性

本研究中指标体系是基于文献研究、专家评价等方法构建而成的，可能会由于文献研究的局限、专家评价资料整合的疏漏等导致指标构建或指标权重赋值的失当，有待在今后的工作中做进一步的实证检验和修正。此外，指标体系的应用是以教师为学生选定的某一部教材为前提，也就是狭义的教材。随着学校教育教学改革推进，部分教师主张使用广义的教材，广义的教材包括公开出版教材、自编教材、专著、电子图书、文献等其他教学资料。如何做好广义教材的评价工作，是我们需要进一步研究的命题。