混合式学习课程资源评价指标体系的构建*

韩晓玲 许娟



混合式学习课程资源评价指标体系的构建*

韩晓玲 许娟[通讯作者]

（山东师范大学 教育学部，山东济南 250014）

文章首先通过梳理文献，提炼相关的课程资源设计和评价的共同要素，结合专家咨询，初步拟定了18个混合式学习课程资源评价指标；接着，文章通过因子分析法提炼出功能性、内容性、技术性、艺术性作为一级指标，应用层次分析法计算权重后，得到混合式学习课程资源评价指标体系。最后，文章应用肯德尔和谐系数，对该评价指标体系的描述和含义进行验证后得出结论：该评价指标体系准确合理，能被用来评价混合式学习课程资源。

混合式学习；课程资源；评价指标；因子分析法；层次分析法

引言

美国新媒体联盟发布的《地平线报告：2017高等教育版》指出：混合式学习设计依然是未来1~2年内影响高等教育变革的短期关键趋势之一[1]。国内许多高校开始采用混合式学习的模式，促进大学生个性化学习，提升学生的自主学习能力和探究、创新能力。研究表明：当前对于混合式学习理论、模式和应用的研究成果比较多，而混合式教学/学习评价的研究主要集中在混合式教学/学习效果的评价方面[2][3]。李逢庆[4]等以评价标准差异化、主体多元化、方式多样化、内容全面化、过程动态化为原则，构建了由“过程性评价和终结性评价”构成的混合式教学质量评价模型；唐文秀等[5]从参与度、交互性、适应性、满意度和效果度等五个方面，构建了混合学习的五维评价模型。同时，评价研究的视角或从混合式教学的实施角度[6][7]、或从学生的满意度角度展开[8][9][10]，表明混合式教学的实施效果受到学习动机、同伴交互、课程结构、教师反馈等因素[11]的影响，而学生的满意度解释了学习者参与学习活动的动机和结果[12]。

虽然当前混合式学习正如火如荼地开展，但在如何判断混合式学习课程资源的优劣及其系统性建设方面，国内外研究却缺乏明确的界定和清晰的标准。针对混合式学习建设一套完整、科学、客观的课程资源评价指标体系，合理评价混合式学习课程资源的质量，成为当前迫切需要解决的问题。

一 研究综述

1 混合式学习课程资源

课程资源亦称教学资源，是课程设计、编制、实施和评价等整个课程发展过程中可资利用的一切人力、物力以及自然资源的总和[13]，是一切课程活动的前提。课程资源的分类方法有很多种，如吴刚平[14]根据课程资源的功能特点，将其分为素材性课程资源与条件性课程资源；邵华[15]认为在教学实践过程中还产生一种课堂生成性资源，即教学活动中师生以及生生之间的互动所产生的学生的观念、问题和困惑等。本研究主要针对混合式学习课程资源建设时的非人力资源来构建评价指标体系，根据混合式学习流程（课前、课中、课后），将其定义为：在混合式学习的过程中，所提供的所有可辅助学生学习过程的，促进学生有效思考并引发深度学习的线上、线下资源，主要包括自主学习任务单、课件、微视频、案例集、试题库、辅助性学习材料等。由于生成性资源的随机性太强，因此在建构评价指标体系时未作考虑。

2 混合式学习课程资源的评价研究

本研究在梳理相关文献时发现，目前尚没有独立的、比较系统的混合式学习课程资源评价成果，但是在混合式学习设计与实施方面的研究中，丁蕾[16]提到课程资源建设的丰富性对于混合式学习的效果非常重要；李宝[17]等认为“资源特征”——更新性、及时性、满足个性化学习以及“资源呈现方式”是影响混合学习过程中学习者满意度的重要因素。此外，此类研究中还包括了课程资源的“目标明确、有效支持、内容丰富、科学规范、结构合理、界面美观”等，特别是在课程资源的功能支持、内容设计、技术性方面有着较高关注。

有关“线上”学习资源和网络课程评价标准的研究也有启示作用。如黄勇[18]认为设计扩展学习资源需参考“学习内容的符合度、资源内容的时效性、课件运行环境的关系”3项指标；王佑镁[19]认为应该强调“网络资源对教学和学习过程的支持”，提高资源建设的“标准化和结构性”，促进优质教育资源的共享；王宁等[20]指出网络课程资源“内容明确”、“重点突出”以及“包含有扩大知识面的补充材料”（可以理解为“丰富性”和“扩展性”）对学习满意度的影响显著。可以看出，研究者就学习资源的“支持性、丰富性、规范性、科学性”等达成了一致意见。

在针对某一类课程资源评价指标的研究方面，目前主要集中在“微课”资源，如王岚[21]等建立了6个一级指标，包括教学目标、教学内容、教学设计、教学效果、网络评价、作品规范，体现了微课资源的目标性、内容性等；孙聘[22]构建了选题设计、内容选择、活动设计、易于学习、使用高效等指标，体现了学生满意度的需求。

借鉴已有的研究成果，本研究初步选定课程目标、有效支持、科学系统、准确丰富、编排合理、制作规范、界面美观等内容，作为混合式学习课程资源的测评指标。

3 国内外相关资源评价标准分析

目前，在国外有影响的网络教育方面的评价标准中，《在线学习的认证标准》从“可用性、技术性和教学性”对在线学习课程进行了评价；《在线学习质量》提出了体系结构、课程开发、教学/学习、课程结构、学生支持系统等7个测评系统；而在线课程评价量规系列标准分别从“内容性、支持性、设计性、丰富性、技术性”对在线课程的质量进行了考量。

我国对精品课程资源建设工作也相当重视，教育部教育信息化技术标准委员会通过跟踪和引进国际相关标准，依据我国教育实际情况，形成了现代远程教育技术标准体系。其中，《教育资源建设技术规范（CELTS-31）》中的通用标准主要考察资源的“科学性、教学性、技术性、规范性”；《网络课程评价规范（CELTS-22）》定义了“课程内容、教学设计、界面设计、技术”四个基本维度，并以最小的重叠描述了网络课程的质量特性；《精品资源共享建设工作实施办法》则要求资源内容具有“可靠性、准确性、客观性、教育性”的特点，实现网络教育资源呈现的“科学性、教学性、技术性和规范性”。

综观目前国内外的课程资源评价标准，均强调课程须有清晰的教学目标、完整的知识体系和有效的作业、练习，即突出课程资源的丰富性和支持性。因此，本研究初步选定“支持性、科学性、丰富性、规范性”等内容，作为混合式学习课程资源测评指标的有效补充。

二 研究设计与实施

1 专家教师咨询，建立初步评价指标

本研究进行了两轮专家教师咨询：第一轮为访谈，选择在高校担任一线教学工作的12位专家教师（包括清华大学2名、山东大学3名、山东师范大学5名、青岛大学2名）为访谈对象，他们有开展混合式学习的丰富经验，来自不同学科（如教育技术、生物、心理、美术、外语、物理等）。专家教师认为课程资源的内容设计应作为最先考虑要素，涉及课程内容的“科学性、丰富性、针对性和时效性”等；其次应目标明确、能有效支持教学；再次，在技术呈现上要符合“规范制作、媒体兼容、结构灵活”等要求。还有专家教师提出，在感官上要达到“整体美观、搭配得当”，能够增强学习者学习兴趣。本研究充分分析了专家教师的访谈结果，最终采纳专家教师提及的“目标明确、有效支持、科学准确、内容丰富、制作规范、结构灵活”等内容。

第二轮咨询为问卷调查。本研究将初步整理所得的18个测试指标，利用网络问卷发给12位专家教师。专家教师对这些测试指标的认可度达到94.91%。因此，初步选定的18个测试指标是合理的，能够推进下一步研究。

2 混合式学习课程资源评价指标的确立

（1）信度和效度分析

本研究将初步确定的评价指标编制成问卷，收集数据验证其信度和效度。由于测评属于态度类评价，故本研究选用李克特四点式量表（非常重要、比较重要、一般重要、不太重要）计分法，调查对象为对混合式学习比较了解的教师、研究生和本科生。本研究共发放纸质问卷95份，回收95份，其中有效问卷95份，问卷回收率和有效率均为100%。

为判断收集的统计数据是否适合选用因子分析法，本研究利用SPSS 20.0软件对样本数据进行KMO（Kaiser-Meyer-Olkin）和Bartlett检验，结果为：KMO值=0.740>0.6，Bartlett检验得出的相伴概率Sig=0.000，小于显著水平0.001，适合进行因子分析。

在信度分析方面，本研究采用Cronbach’s α信度系数法。通常认为，Cronbach’s α≥0.7时为高信度。经检验得到Cronbach’sα=0.838>0.7，表明问卷具有高信度；进一步分析确定每个指标项是否都达到信度要求，“项总计统计量”数据结果显示：各指标的“项已删除的Cronbach’s α值”均小于0.838，说明各指标内部一致性信度良好。在效度分析方面，本研究是在分析相关文献并提炼共同要素、由专家教师评测后拟定的，专家教师均执教过混合式学习课程，有丰富的混合式教学经验，确保了课程资源评价指标具有良好的内容效度和结构效度。

（2）利用因子分析法提取一级指标

正式问卷施测选取的对象包括具有混合式教学经验的专家教师、参与过混合式学习的本科生和研究生，尽量覆盖不同层次的院校。发放网络问卷302份，回收302份，去除无效问卷2份，有效率为99.3%。参与此次调查的教师有45人，研究生有95人，本科生有162人。

将问卷数据量化后，本研究利用SPSS 20.0得到因子分析结果KMO=0.922>0.7，说明各变量间信息的重叠程度较高，Bartlett检验得出的相伴概率Sig=0.000<0.001，表示各变量间具有很强的相关性，适合进行因子分析；采用主成分分析法抽取因子后，各变量的共同度、所有变量再生共同度都在50%以上，可以接受抽取的几个公共因子对原变量的解释程度；通过“累计方差贡献率”（因子解释原始变量值总变异数贡献率），提取出的4个共同因子共解释了原始变量之总变异的63.194%。整体而言，原始变量的信息遗失量相对不多，此次因子分析效果尚可。

通过具有Kaiser标准化的正交旋转法进行因子旋转后得到的因子负荷矩阵，能够明确各变量的因子归属。表1显示有4个公因子且所含题项数均大于3个，各因素的概括程度均在可接受范围，每个变量仅在一个公共因子上具有较大载荷，说明每个变量只与一个公共因子关系紧密，能更好地解释公共因子。

表1 旋转成份矩阵

根据前期文献研究、国内外标准分析以及专家访谈评测的结果，“目标性、支持性、有效性、激励性、启发性”综合考察的是运用课程资源后能达到的教学效果和实现的教育功能，提炼其一级指标为“功能性”；“系统性、丰富性、科学性、针对性、时效性”考量的是课程资源内容本身服务于混合式学习应达到的要求，命名其一级指标为“内容性”；“技术准确、编排合理、结构灵活、制作规范”描述的是课程资源建设过程中应达到的技术要求，命名其一级指标为“技术性”；“媒体兼容、搭配得当、排版协调、整体美观”旨在考察各类课程资源的艺术表现，以及在应用过程中为学习者带来的感官体验是否舒适，命名其一级指标为“艺术性”。

（3）利用层次分析法确定指标权重

本研究采用层次分析法（Anelgtic Hierarchy Process，AHP）确定该评价指标的权重，最终确定的混合式学习课程资源评价指标体系如表2所示。

（4）选择混合式学习课程样本

本研究选择涉及不同学校和学科、评价较好、且选课人数在几万甚至几十万的混合式学习课程，以确保课程样本的多样性和代表性。具体选评课程包括“现代教育技术”①、“基因与生活”②、“20世纪西方音乐”③、“走进天文学”④以及“中国古代政治与文化”⑤。

表2 混合式学习课程资源评价指标体系

三 研究结论与讨论

1 混合式学习课程资源评价指标的验证

为了保证混合式学习课程资源评价指标体系的科学性和合理性，本研究运用肯德尔和谐系数法，来验证各评价指标描述是否清晰、含义是否明确。

（1）选择与培训决策者

本研究选择并培训10名熟悉混合式学习的教师和高校学生作为决策者，使其明白混合式学习课程资源评价指标的含义；决策者完成网上浏览学习所选课程，并对课程资源进行1~5的排序。考虑到评价指标共有18项，要求决策者开展多轮学习和排序来保证结果的真实可靠。

（2）评价结果一致性检验

本研究将收集后的排序数据列表整理，利用肯德尔和谐系数（W）的计算公式进行分步骤计算，最终得到18个肯德尔和谐系数，如表3所示。

表3 各评价指标和谐系数结果统计表

本研究将表3中18个评价指标的肯德尔和谐系数值取平均值，得到所有指标的和谐系数平均值=0.807，看出各评价指标的和谐系数值在平均值上下浮动不大，说明决策者的评定结果具有高度一致性，由此可以得出结论：本研究构建的混合式学习课程资源评价指标体系描述清晰、含义明确、易于理解，具有科学性和合理性，可被用来评价混合式学习课程资源。

四 小结

混合式学习课程资源的评价对课程建设和学习效果有直接影响，然而目前相关评价指标的研究较为匮乏，且针对性不足。本研究构建的混合式学习课程资源评价体系从课程资源的功能性、内容性入手，意在凸显有效支持学生的自主学习，从而达到深度学习的目标，同时考量了课程资源开发的技术性和艺术性要求。经过肯德尔和谐系数验证，表明该评价指标体系描述清晰、含义明确，可以作为评价混合式学习课程资源的标准使用。

作为混合式学习课程资源评价方面的阶段性成果，本研究构建的混合式学习课程资源评价体系仍然存在很大的完善空间，有待在今后的应用实践中予以继续修正和完善。

[1]Adams B S, Cummins M, et al. The NMC horizon report: 2017 higher education edition[R]. Austin, Texas: New Media Consortium, 2017:18.

[2]柯清超.混合学习的评价方法——以中小学教师教育技术能力培训课程为例[J].中国电化教育,2008,(8):16-19.

[3]韩立华,常樱,王玉梅.基于Blended Learning的课程设计、实施与评价研究[J].中国电化教育,2010,(6):17-21.

[4]李逢庆,韩晓玲.混合式教学质量评价体系的构建与实践[J].中国电化教育,2017,(11):108-113.

[5]唐文秀,石晋阳,陈刚.混合学习五维评价模型的构建与应用——以“现代教育技术”公共课程为例[J].现代教育技术,2016,(8):89-95.

[6][11]Small F, Dowell D, Simmons P. Teacher communication preferred over peer interaction: Student satisfaction with different tools in a virtual learning environment[J]. Journal of International Education in Business, 2012,(2):114-128.

[7][16]丁蕾.基于“互联网+”的中职物理混合式教学[J].中国电化教育,2016,(3):141-145.

[8][12]赵国栋,原帅.混合式学习的学生满意度及影响因素研究——以北京大学教学网为例[J].中国远程教育,2010,(6):32-38、79.

[9]Ali A, Ahmad I. Key factors for determining students’ satisfaction in distance learning courses: A study of Allama Iqbal Open University[J]. Contemporary Educational Technology, 2011,(2):118-134.

[10][17]李宝,张文兰,张思琦,等.混合式学习中学习满意度影响因素的模型研究[J].远程教育杂志,2016,(1):69-75.

[13]徐继存,段兆兵,陈琼.论课程资源及其开发与利用[J].教育科学,2003,(2):1.

[14]吴刚平.课程资源的理论构想[J].教育研究,2001,(9):59-63、71.

[15]邵华.捕捉生成中的美丽——浅谈课堂生成性资源开发[J].全球教育展望,2008,(3):94-96.

[18]黄勇.面向自主学习的网络课件的教学设计[J].现代教育技术,2008,(10):80-84.

[19]王佑镁.高校精品课程网络资源教学有效性的缺失与对策[J].中国电化教育,2010,(8):80-84.

[20]王宁,琚向红,葛正鹏.开放教育网络课程学习满意度影响因素[J].开放教育研究,2014,(6):116.

[21]王岚,张一春.微课评价指标体系研究[J].教育现代化,2015,(5):85-88.

[22]孙聘.基于用户体验的微课评价指标体系设计[J].现代教育技术,2015,(3):63-68.

[23]金志农,李端妹,金莹,等.地方科研机构绩效考核指标及其权重计算——基于专家分析法和层次分析法的对比研究[J].科技管理研究,2009,(12):103-106.

[24]李逢庆.混合式教学的理论基础与教学设计[J].现代教育技术,2016,(9):18-24.

① https://mooc1-1.chaoxing.com/course/96965994.html

②https://mooc1-2.chaoxing.com/course/90106178.html

③http://www.xuetangx.com/courses/course-v1:PekingX+04332960X+sp/about

④http://www.icourse163.org/course/NJU-1002245009

⑤http://open.163.com/special/cuvocw/gudaizhengzhiwenhua.html

Construction of Resources Evaluative Indicators System of Blended Learning Curriculum

HAN Xiao-ling XU Juan[Corresponding Author]

The common elements of the design and evaluation of curricular resources were firstly summarized through literature review, and 18 evaluative indicators of blended learning curricular resources were preliminarily proposed in combination with expert consultation,. Then, through factor analysis, four first-level indicators: functionality, content, technical nature, and artistry were extracted as the primary indictors. The weights of the primary and secondary indicators were calculated using the Analytic Hierarchy Process (AHP), and then the evaluative index system of the curricular resources for blend learning was constructed. Finally, the study employed Kendall's harmony coefficient to verify the description and meaning of the evaluative indicators and concluded that this evaluative index system was well-accepted, and can be applied to the evaluation of curricular resources for college’ blended learning.

blended learning; curricular resources; evaluative indicators; factoranalysis; AHP

G40-057

A

1009—8097（2018）12—0034—07

10.3969/j.issn.1009-8097.2018.12.005

基金项目：本文为全国教育科学规划项目“计算机自适应测验中认知风格对试题应答时间的影响机制”（项目编号：BBA170069）、山东师范大学2016年教改项目“混合式课程建设与实践的评价指标体系研究”（项目编号：2016JG24）的阶段性研究成果。

韩晓玲，副教授，研究方向为学习科学与资源设计，邮箱为hanxiaoling@sdnu.edu.cn。

2018年3月17日

编辑：小西