基于德尔菲法的微课程评价指标的设计*

童小素，贾小军，宣军英

（嘉兴学院 数理与信息工程学院，浙江嘉兴314001）

基于德尔菲法的微课程评价指标的设计*

童小素，贾小军，宣军英

（嘉兴学院 数理与信息工程学院，浙江嘉兴314001）

微课程作为微时代学习媒体技术高度发展的产物，已融入了新的网络应用元素，现有网络课程评价的部分标准已显得陈旧，无法充分反映大数据时代微课程学习的特点。作者在借鉴已有网络课程和网络资源评价规范的基础上,构建了微课程评价指标的初稿，并通过两轮德尔菲法,对两个级别的指标项进行意见征询，对评估指标的科学合理性进行验证，继而在反馈意见统计分析的基础上进行指标增删和修改，最终构建了包含3个一级指标（课程内容、教学设计、技术支持）和25个二级指标的微课程评价指标体系，在一定程度上丰富了微课程评价的理论体系，对微课程的规范建设和可持续发展提供了有益的指导。

微课程；评价指标；德尔菲法

面对琳琅满目的微课程，如何评估其好坏，如何规范微课程的建设？这些问题促使微课程的评价成为了一项十分有实践意义的研究。尽管国内外在网络课程、在线课程、E-Learning课件、资源库评价等方面已取得了一定的研究成果，但在网络信息技术迅速发展的今天，部分标准已显得陈旧无法适应新技术的应用，缺乏体现微时代微课程“微”特点的指标，以及缺乏反映当下大数据时代学习分析技术在教育领域应用的指标。本研究期望在已有网络课程、网络资源和课件等评价规范的基础上，结合大数据时代微课程学习的特点，构建一套面向微课程评价的指标体系，以进一步促进网络课程评价研究与实践的发展。

一、微课程概念界定

要制定出合理有效的微课程评价指标体系，首先要明晰微课程的概念。目前，关于微课、微课程有着“微课、微课程、微型课程”等不同的提法，学术界对其也是百家争鸣，有着不同的解读。

胡铁生针对当时基于教育信息资源利用率低的现状率先给出了微课的概念，他认为[1]“微课”是指按照新课程标准及教学实践要求，以教学视频为主要载体，反映教师在课堂教学过程中针对某个知识点或教学环节而开展教与学活动中所需各种教学资源的有机组合。他强调微课是微视频与相关资源有机结合起来的一种新型资源类型。

焦建利认为[2]“微课”是以阐释某一知识点为目标 ，以短小精悍的在线视频为表现形式，以学习或教学应用为目的的在线教学视频。他强调的是微课的表现形式和应用目的。

张一春认为[3]“微课”是指为使学习者自主学习获得最佳效果，经过精心的信息化教学设计，以流媒体形式展示的围绕某个知识点或教学环节开展的简短、完整的教学活动。他强调了教学设计在微课中的重要性，并说明微课是一个简短、完整的教学活动。

郑小军认为[4]“微课”是为支持翻转学习、混合学习、移动学习、碎片化学习等多种学习方式，以短小精悍的微型教学视频为主要载体，针对某个学科知识点或教学环节而精心设计开发的一种情景化、趣味性、可视化的数字化学习资源包。他强调微课是服务于各种方式，并可嵌入课程的以短小视频为主要载体的学习资源包。

关于与“微课”有一字之差的“微课程”，国内外也有很多的定义。“微课程”（Micro Lecture）的概念最早是由美国新墨西哥州圣胡安学院的高级教学设计师戴维·彭罗斯于2008年提出的，并运用于在线课程。他认为[5]，普通课堂中的几十分钟甚至几个小时的内容可以压缩成60秒的“知识脉冲”作用于学习者，核心知识概念将构成微课程的主题，伴随着微课程的是结构化的任务活动，通过对这些核心概念的深入探索进而完成课程材料的学习。

上海师范大学黎加厚认为[6]：“微课程”是指时间在10分钟以内，有明确的教学目标，内容短小，集中说明一个小问题的小课程。

而国内学者金凌认为[7]微课需要与学习单、学生的学习活动流程等结合起来，才是一个完整的微课程，微课其实质是一段视频记录的课堂教学实录，是微课程系统的一段学习材料，微课是微课程系统的有机组成部分。

综上所述，本研究认为微课是围绕课程某一知识点，以单一视频为主要载体，为达到一个特定教学目标而将教学思想、教学设计和教学内容等完整的教学活动在简短的时间内展现出来的数字化学习资源包。

微课程是指将原有课程内容，按照学生的学习规律，分解成一系列具有目标、任务、方法、资源、作业、互动与反思等教学内容和教学活动在内的微课体系。

微课是组成微课程的单一资源，微课程是由一系列单一的微课所组成，它是一种情景化、支持多种学习方式（移动学习、自主学习和协作学习等）的新型的网络课程。

微课程与微课之间的关系结构如图1所示：

图1 微课程与微课关系结构图

二、大数据时代微课程学习的特点

1.学习的随时随地性

学习者的学习不受时间、地点等条件的限制，学习方法、学习内容和学习计划等自主决定，学习更加开放。这一特点决定了学习者的学习环境不固定，较易受外界诸多因素的干扰，学习也不能在集中的时间内发生。因此，微课程开发时，学习内容应尽量分割成微型知识点，如一小段文字、一张图片、一段5至10分钟左右的视频等。

2.学习的个性化

学习者学习的需求极其多样，既有对各种学习主题的需求，也有对学习活动的个性化需求，还有对不同媒体呈现形式的需求等。

这一特点决定了微课程开发时，需要基于教育大数据的学习分析技术的应用，通过对学生学习过程的追踪记录以及对数据记录的分析，量化学习者的学习，从而定制出不同于别人的学习策略和学习方法，为学习者推送其感兴趣的课程与内容，促使学习更加有效。学习内容也可根据学习者各种动态、个性化的学习需求而进行自身内容和结构的完善与调整，实现内容的再生。

3.学习的合作性

学习者可以根据自身的学习情况和特点选择学习伙伴。在学习过程中进行相互交流、帮助，汲取他人之长，弥补自身之短。这一特点决定了微课程开发时，需要课程提供充分的交互机会，引发学习者对学习内容的积极投入和思考。

三、研究现状

目前学界关于网络课程、网络资源、E-Learning课件等的研究已深入开展多年，有颇深的理论和实践基础，而其在网络课程、在线课程、E-Learning课件、资源库等评价方面也形成了一些权威的规范标准。微课程如前所述，它既有课程的属性，又有资源的属性。因此，现有的网络课程和网络资源的评价规范标准都可以作为微课程评价的重要参考。

网络课程、在线课程、E-Learning课件、资源库等方面形成的一些权威的评价规范标准如表1所示。

纵观目前国内外网络课程、在线课程、E-Learning课件、资源库等的评价标准，我们对几种典型的评价标准进行了对比分析，有如下发现：

1.在评价指标体系中一般都有反映传统课程基本要求的评价指标

比如：清晰的教学目标、完整的知识体系、课程内容学术质量和组织结构等。EFQUEL E-Learning课程认证标准OpenECBCheck Quality Criteria-2012共有7个一级指标，其中有3个指标（方案组织和相关信息、目标群体定位、内容质量）都指向了反映传统课程基本要求的评价指标。

台湾在线学习质量认证系统的在线学习课件认证规范中包含了一级指标“内容”，并对“内容”指标“细分为 “内容的正确性和组织的完整性”两个二级指标。CELTS-22网络课程研究规范中包含“课程内容”指标，并细分了7个二级指标（课程说明、内容目标一致性、科学性、内容分块、内容编排、内容链接、内容扩展）。

其他的认证标准有的虽然没有明确指出反映传统课程基本要求的评价指标，但在其教学性、课程结构、内容质量等指标中有所反应。

2.课程/教学设计在评价指标体系中出现的频率最高

课程/教学设计是一个系统设计并实现学习目标的过程，遵循学习效果最优的原则，是课程开发质量高低的关键所在。

例 如 ：EFQUEL E-Learning课 程 认 证 标 准OpenECBCheck Quality Criteria-2012的课程设计指标包含了7个二级指标、23个三级指标，对课程设计制定了详细的评价标准；ASTD E-Learning课件认证标准的教学设计指标包含了8个二级指标，对课件中体现的教学策略制定了详细的规范标准；CELTS-22网络课程研究规范和台湾在线学习质量认证系统都包含了教学设计维度，并细分出多个二级指标；其他的认证标准有的虽然没有明确指出教学设计维度，但在其他教学性指标中有体现激发学习动机的机制，支持不同学习策略的教学活动设计指标项。

3.在线支持与帮助在评价指标体系中出现的频率也非常高

由于网络学习对教师和学生都有计算机技能的要求，他们不可避免地会产生操作上的困难，所以及时的在线帮助是必要的。当然，学习与教学的支持系统不只是在线帮助这么简单，它会从学习、事务、技术等方面都提供必要的支持。

在“在线学习质量”评价指标体系中列出了7个方面的标准，其中有关支持系统的评价指标有3个，分别是系统结构 （技术支持）、学生支持系统和教师支持系统；台湾在线学习质量认证系统的在线学习服务认证标准体系8个维度中也包含了3个支持系统维度：组织支持、学习者支持和教育者支持；其他认证指标体系中也提到了诸如操作帮助、技术支持等指标项。

表1 国内外网络课程（资源）评价标准

4.资源的可用易用性在评价指标体系中都有所反映

资源的可用易用性反映了资源是否以学习者为中心进行设计的，是否合乎学习者的生理、心理需要，是否能使学习者正确、迅速、舒适和有效地使用。在上述的评价体系中，资源的可用易用性反映在了目标群体定位、界面、媒体、技术、导航等指标里。

尽管国内外在网络课程、在线课程、E-Learning课件、资源库评价等方面已取得了一定的研究成果，但在网络技术迅速发展的今天，部分标准已显得陈旧无法适应新技术的应用，缺乏体现微时代微课程“微”特点的指标，以及缺乏反映当下大数据时代学习分析技术在教育领域应用的指标。

如果套用以往的标准进行评价，就不能充分反映新技术环境下网络学习的特点，特别是当今泛在学习时代，人人、处处、时时进行无缝学习，强调的是个性化的学习、自适应的学习，这就对我们的学习平台、学习资源提出了更高的要求。因此，必须在分析现有的评价标准体系基础上，舍弃部分过时的指标，增加反映大数据时代个性化自适应学习特点的评价指标。

四、微课程评价指标体系的构建

1.构建微课程评价体系的框架

通过对国内外网络课程、在线课程、E-Learning课件、资源库等评价标准进行详细分析后，笔者将微课程评价分为“课程内容”、“教学设计”和“支持环境”三个维度。

（1）课程内容

课程内容是指各门学科中特定的事实、观点、原理、问题及其处理方式，它是学习的对象，它源于社会文化，并随着社会文化的发展而不断发展变化。内容是学习应用中的精髓，不仅要保证信息的教育性，也要保证信息来源正确可靠，符合科学规律，课程内容结构编排合理等。

（2）教学设计

教学设计主要是指[15]运用系统方法，将学习理论与教学理论的原理转换成对教学目标、教学内容、教学方法和教学策略、教学评价等环节进行具体计划、创设教与学的系统“过程”和“程序”，而创设教与学系统的根本目的是促进学习者的学习。教学设计是决定微课程质量的关键因素，也是学习者爱用微课程资源的关键因素。

（3）支持环境

支持环境主要是指微课程学习环境对学习者学习的支持服务，是基于微课程学习平台、以学习者为中心、支持学习活动的各种因素的总和，主要包括界面可视性、导航、控制度、记录追踪、学习分析、个性化推送、语义聚合、出错率等。

2.设置评价体系的二级指标

本次研究纳入时间为2017年8月至2018年1月,内分泌科开放床位31张,医生8名,护士11名,其中主管护士1名,护师6名,护士4名;护理人员的工作年资:大于10年者2名,5~10年7名,3~5年者1名,3年以下者1名;学历:大专生6名,本科生5名。

在微课程评价体系框架确定后，本研究综合国内外前期的研究成果，并充分结合大数据时代个性化自适应学习的特点，尝试构建微课程评价体系的具体指标。

指标的设计具有一定的主观性，是基于研究者的认识，目的是为施测提供具体依据和观察点。

（1）课程内容

借鉴CELTS-22网络课程研究规范的“课程内容”指标，评价微课程内容是否合理主要从六个方面来实施，包括课程说明与教学目标、内容准确性和完整性、结构合理性、资源粒度、内容拓展性、内容的再生性等方面（见表2）。

表2 课程内容评价指标

表3 教学设计评价指标

（2）教学设计

教学设计作为国内外在线学习资源评价指标体系中出现频率最高的指标，笔者在设计教学设计指标时充分借鉴了现有的评价指标，并结合微课程的特点，将教学设计指标划分为9个二级指标，主要包括知识引入的设计、媒体选用、动机与兴趣的设计、内容交互性设计、交流与协作活动设计、练习与反馈设计和学习评价设计（追踪评价和结果评价）等方面（见表3）。

（3）支持环境

支持环境主要是指微课程学习环境对学习者学习的支持服务。随着信息技术的发展，应用于教育领域的大数据分析已经成为了当今教学的发展趋势。学习分析技术，作为一种新兴技术，改变了传统教学的经验式模式，既能为学生提供高质量、个性化的学习体验，又能改进教育工作者的教学方式，通过信息数据分析完善教学过程。因此，在设置支持环境指标时除了借鉴现有的评价指标外，还新增了多个与大数据分析相关的评价指标（见表4）。

表4 支持环境评价指标

五、应用德尔菲法修正指标体系

专家的选择是影响德尔菲法研究结果的关键因素之一。本研究选取了11名专家成员，主要包括本项目开发组的6名成员（其中3名教师利用微课程进行翻转课堂的教学，2名教师在全国微课比赛中获奖）和5名不同学校的教育学专家，对微课程的建设有较为全面、系统且独到的见解。

1.调查问卷的设计

问卷的第一部分首先对制定指标体系的背景做了简要说明。第二部分是对微课程评价指标咨询表中各级维度、评价参照标准做详细说明，给专家以明确的使用指导。

专家可在表中自行添加、删除或修改指标。添加的指标填写在相应的空格内，与原有的指标统一归类、排序；添加、修改或删除指标时，需说明原因。各指标评分采用5分制，5表示非常重要，4表示重要，3表示中等，2表示不太重要，1表示不重要。

一级指标咨询的问卷设计如表5所示（二级指标咨询的问卷设计与一级指标咨询表类似）。

表5 微课程评价一级指标咨询表

2.修订过程与结果

第一次调查共向11位专家发放了问卷，并全部有效回收，专家对各指标的相对重要性打分情况统计如表6和表7所示。

表格左半部分是根据专家打分情况计数统计后的结果，右半部分是根据左半部分的统计结果计算得出的平均数、中位数、众数和标准差，目的是分析专家评分的均值、集中趋势、一致性及离散分布情况。

从表6的统计结果可以看出，专家对3个一级指标的重要程度都持肯定态度，打分集中在3、4、5三档，平均数均在4以上；中位数、众数都为4或5；标准差在1.0以下，“支持环境”这一指标略高，表明专家对此指标认识存在一定分歧，但在可接受范围。

从表7的统计结果可以看出，23个二级指标平均数低于4的有两项（内容的拓展性和知识的引入）；中位数和众数都为4；二级指标中5（非常重要）和4（重要）的比例合计在80%以下的只有一项（内容的拓展性）；各项指标的标准差均在1.0以下，其中“内容的准确性和完整性”和“练习与反馈”两指标最低为0，反映了专家的一致认可性。

此调查问卷专家除打分外，还提出了以下4条修改意见：

（1）将第三个一级指标“支持环境”改成“技术支持”。

表6 指标体系一级指标问卷专家反馈结果统计表

表7 指标体系二级指标问卷专家反馈结果统计表

专家中有4名专家提出要将其改为“技术支持”，理由是这个维度下的指标项几乎都指向技术，用“技术支持”更为妥当。

（2）将“课程内容”维度下的指标“课程说明和教学目标”改成两个指标“课程说明”和“内容目标一致性”。

专家中有两名专家提出此修改意见，理由是“教学目标”的说明已经体现在“课程说明”里了，但课程内容和教学目标是否一致，未能体现出来。

（3）将“技术支持”维度下的指标“出错率”改为“兼容性”。

专家中有8名专家指出 “出错率”这个指标在评价时难以获得，改成“兼容性”更合适。

（4）在“技术支持”维度下新增“证书/学分”指标。

专家中有6名专家提到要新增“证书/学分”这个指标，理由是“证书/学分”是一种激励措施，激励自主学习的学生学完课程，提高结课率。

通常，当80%以上的专家选项相同，称为通过一致性。[16]本研究认为“非常重要”和“重要”两项所占比例之和超过80%以上，且标准差小于1，可则认为该指标项通过了一致性检验。

从上述表6和表7的统计情况可以看出，指标打分在4和5两项的比例之和在80%以下的只有一项二级指标（内容的拓展性），所以下一轮问卷就“内容的拓展性”指标是否删除和对指标项的修改意见再去征询专家意见。

第二轮专家反馈的结果比较一致，其中4条修改意见得到了专家90%以上的认可度；“内容的拓展性”指标专家一致同意保留。因此，微课程评价指标经修订后，最终包含了3个一级指标和25个二级指标项，整个指标体系结构如图2所示。

六、结论

通过查阅分析了大量的国内外学术文献和评价规范，并通过两轮的德尔斐法问卷调查反馈，我们探索性地建立了包含3个一级指标、25个二级指标的微课程评价指标体系（见图2）。

由于受研究者能力及可获取支持专家资源的限制，研究成果可能还不尽成熟，存在一些疏漏和偏颇，但我们通过大量的调查与实践，力图反映微课程这一新型网络课程的特色，并对现有网络课程的评价指标做了修改和补充完善，具有较强的针对性和先进性，对我国微课程的评价和微课程的规范建设工作具有积极的指导意义。

G40-058.1

A

1673-8454（2016）24-0040-07

2015年度浙江省哲学社会科学规划课题 “教师教育协同下的MOOC资源构建、测评及应用研究”（编号：15NDJC052YB）；2014年度嘉兴学院重点教改项目“基于创新项目模式的计算机专业课程设计的探索与实践”（编号：85151412）；2015年度嘉兴学院重点教改项目“3+X模式公共计算机课程群一体化教学平台构建与实践”（编号：N85151502）。