基于德尔菲法的线上教学质量评价指标体系构建及实践应用

赵银双，张红萍，杜秦媛，何文，秦青，吴婧

（武汉轻工大学医学与健康学院，湖北 武汉 430023）

0 引言

新冠疫情期间，教育部提出利用网络平台进行线上教学,保证教学进度和教学质量[1]。各大高校积极响应教育部的号召，贯彻“停课不停教，停课不停学”精神，教师们开始采取网络授课的方式，学生们网络上课已成常态化，形成了庞大的在线学习规模，教学质量就成了首当其冲需要关注的问题[2]。线上教学是教师运用网络组织，学生在终端接收后的在线和线下等多方式实现的泛在学习[3]，是一种以网络为介质的学习方式，不受时间地域限制，资源较为丰富[4]。当前，我国在线课程已走过近20年的发展历程[5]，线上教学的方式和内容也在不断的丰富与多样化，来满足教学与学习的需求[6]。

尽管如此，发展的同时也会有问题的出现，随着国家大力推进在线开放课程建设，倡导在线课程学分认定等政策以及新的课程理念、技术的涌现，以往制定的线上教学评价指标体系可能会显得陈旧，难以满足在线开放课程的质量认定需求,而新的权威性的质量认定标准尚未出台[5]。尤其疫情期间，虽然线上教学为教育者和受教育者带来了极大的方便，但是在这个过程中却很难贯彻执行 “以评促建、以评促改”“以学评教，过程评教”[7]的导向，线上教学的质量、学生的学习效果也很难去严格评价与衡量。因此如何确保线上教学质量仍是近年来重点研究的热点问题之一，更是疫情期间所有学校共同面临的重要课题[8,9]。所以本研究主要围绕护理学专业线上教学质量评价展开探讨，尝试建立起线上教学质量评价体系，并以在校护理专业学生为例进行实践应用研究，以期为护理学专业线上教学质量的提高提供借鉴意义。

2 线上教学质量评价体系的构建

2.1 研究方法

①结合文献分析法、质性访谈法：与本校护理专业学生、少量教师访谈,及问卷调查法来总结出影响线上教学质量的影响因素，综合起来确定初步的线上教学质量评价指标体系和权重的确定；②采用德尔菲法，通过匿名方式进行多轮专家函询，并对每轮意见进行整理分析，再反馈给专家供其分析判断，提出新的意见，经过2 轮函询意见趋于一致，形成最终的线上教学评价指标体系及相应的权重指标；③权重的算法：采用主观赋权法中的专家咨询法，专家根据实际情况，结合自身的知识和经验对各条目的权重进行排序，进行打分：对4个一级指标和20个二级指标初始权重进行归一化处理，使同一层次的指标归一化权重之和等于1。其次，计算二级指标的组合权重采用“乘积法”[10]。

2.2 研究过程研究步骤

2.2.1 成立课题研究小组

该小组主要包括2 名副教授，2 名讲师，均从事高校教学的一线教师，具有丰富的线上教学经验，并能熟悉应用德尔菲法。

2.2.2 质性访谈

首先研究者查阅资料及相关研究，确定访谈目的拟定访谈提纲，抽取护理学专业5 名学生1 名教师进行预访谈，根据预访谈结果对访谈提纲进行修改，形成访谈提纲成稿。于2021年4 月至5 月，研究者采用目的性抽样方法，选取本校医学院在校学生10名和2 名在校教师并确定好访谈的时间地点，告知访谈目的并围绕线上教学质量进行谈。访谈过程中和访谈结束后，研究者整理好相关内容和数据，并作为初步线上教学质量评价指标体系建立的参考资料。

2.2.3 确定函询专家

此次函询专家主要为从事高校护理专业教学工作的一线教师和教学管理人员：①硕士及以上学历；②从事高校教学或教学管理工作1年及以上；③熟悉线上教学工作。然后通过电话、邮件等方式与之联系，明确研究目的与内容，征得专家本人同意，确保每位专家能自始至终参与本次研究。

2.2.4 编制专家咨询表

编制依据：课题研究小组主要参考2002年教育部信息化标准技术委员会发布的《网络课程评价规范》，并在此参考文献的基础上结合对本在校学生关于线上课程的一些访谈与调查，以及本项目组成员线上教学实践经验的基础上设计完成专家函询表。

第一轮专家咨询指标体系：包括“授课工具及技术支持”“课程内容”“教学设计”“评价与考核”4个一级指标，每个一级指标又包含若干子项目，初步构建20 项目二级指标，并对每项指标的含义进行了解释，具体见表1。

表1 初步构建线上教学评价指标体系

2.2.5 第一轮专家咨询结果

本研究小组将以上二级指标后面再加上具体的指标解释，设计成专家《线上教学课程教学质量评价指标体系建立》咨询表，咨询表包括导语、一级指标、二级指标、关于每个指标的具体解释、每个指标的重要性选择、每个指标的权重分配意见、专家基本情况、专家对各指标的熟悉程度等。第一轮共发放纸质版和电子版问卷共计21 份，回收21 份，专家积极系数为100%（21/21），说明专家对于本次函询比较重视，其中剔除3 份无效问卷（3 份均为数据不完整问卷），因此共18 份有效问卷，具体情况见表2。

表2 德尔菲专家基本情况（例）

专家权威程度：按照专家权威性判断指标系数的评分方法计算咨询专家权威系数，计算公式为计算公式为Cr 专家权威系数=(Ca 专家对内容的熟悉程度+Cs 专家对内容判断依据)／2，经计算：Ca 为0.81，Cs 为0.84，Cr 为0.83，均＞0.8，说明专家具有较高的权威性。

专家意见协调程度：第一轮专家咨询的肯德尔系数为0.528，P＜0.05，说明一致性较好，结果可靠。

通过第一轮专家函询结果可以看出，虽然专家对现有指标的认可度较高，但是有2 位专家提出“屏幕布局”与“课件制作”“课程说明”与“重难点突出”均有交叉重复的方面，有4 位专家提出“多元评价”应该具体体现站在教师和学生的不同角度的多元评价，还有1 位专家提出学生端学生的网络条件如网速等也大大影响教师的线上教学质量。根据专家函询意见，经研究小组讨论后再次对评价指标进行了合并、删减、增加、修改与完善。

2.2.6 第二轮专家函询及结果分析

在第一轮评价指标体系的基础上，本研究小组将“1.屏幕布局”合并到了“3.4 课件制作：简洁美观清楚，图像、音频、视频、动画等运用适当，内容充分全面、更新及时与时俱进”。将“2.课程说明”合并到了“2.1 重难点突出：课程内容重难点突出，课程目标明确，主次详略得当”同时也增加了“1.3 学生网络支持：学生能够接触的网络条件包括网络学习的工具和网络质量等能够支持本次线上教学”和“4.2 学生多元评价：学生对于线上教学的效果、学习状态等满意度的评价”，并对每个指标的具体说明进行了进一步的修改和完善。

第二轮专家函询中共发放15 份问卷，回收15份，全部有效，专家积极系数为100%，专家权威系数为0.89，专家咨询的肯德尔系数为0.63。

2.2.7 权重的确定

综上所述，初步构建了线上教学质量评价指标体系，接下来需要确定指标的权重，权重即权数即对各项指标在此指标体系中的重要程度的判断[7]，本研究采用德尔菲法确定指标权重，即请所邀请的专家背对背反复填写权重分配的意见并求平均值确定最终权重。本研究中一级指标的权重为专家评分的均值，二级指标的权重属于组合权重，采用乘积法计算[10]，即二级指标不仅要考虑同一层次指标的权重，还应当考虑上一层次指标的权重。二级指标的组合权重是二级指标的归一化权重与相应上一层一级指标的归一化权重的乘积。如1.1 操作帮助的最终权重=1.授课工具及技术支持归一化权重×操作帮助的归一化权重，具体见表3。

表3 线上教学质量评价指标体系

3 线上教学质量评价体系的实践应用

3.1 数据收集

采取方便抽样法，选取本校医学院在校学生进行疫情期间线上教学质量评价的调查，发放问卷共计88 份，收回88 份问卷，回收率为100%，学生积极系数为100%（88/88）表明学生对于本次调查较为重视，剔除5 份无效问卷（3 份数据缺失不完整问卷，2 份完全重复问卷），共计83 份有效问卷。主要包括67 名在读本科生与16 名在读硕士生。调查问卷主要包括两部分：①年级、年龄、性别等一般资料。②本研究中的线上教学质量的评价指标。

3.2 结果

使用SPSS 23.0 对调查结果进行整理分析后发现，该线上课程质量评价指标体系的Cronbach’s α 为0.942，整个评价指标体系和各评价指标的Cronbach’s α 系数均大于0.930，Cronbach’s α 系数大于0.7，可认为条目之间的一致性较好[11]。说明本研究中的线上教学质量评价指标体系间的内在一致性、评价指标间的稳定性较好。能够全面地评价疫情期间线上教学质量的等级，方便教师根据调查的评价结果去进行线上教学的改进与完善，更好地保障线上教学的教学质量。

4 小结

线上教学不受地域、时间等条件的限制，为学生学习带来了很大的便利，今后线上与线下相结合的教育模式也是发展的主要趋势。当前国家也开放了仿真模拟教学平台来满足实践性强的专业课程的实践需求，但是线上教学过程中不能真实地关注到学生的学习状态，不能真实反映学生实践练习情况[12]，尤其是疫情期间这种现象更为突出。

所以本研究考虑到各个专业的实践性，在文献查阅、访谈、专家函询、实践应用的基础上，围绕授课工具、课程内容、教学设计、评价与考核四大方面建立线上教学质量评价体系来确保学生的学习效果，满足学生专业知识、专业技能的学习需求。但是仍然存在一些不足，也会继续不断完善优化，为今后线上教学的质量评价提供参考。