MOOCs课程质量影响因素的实证研究

黄璐　裴新宁　朱莹希

摘要：建设高质量MOOCs成为促进我国互联网时代高等教育生态体系形成的重要途径，也是保障我国在线教育健康发展的有效方法。通过梳理MOOCs课程质量评价相关研究发现，MOOCs课程质量评价框架可由教学内容质量、主讲教师素质、教学资源质量、技术支持质量4个维度及20个指标构成。使用问卷调查及探索性因素分析得出20个指标可减至18个。对18个指标进行第二次因素分析后抽取出课程学习支持与服务（F1）、课程设计与学习进度（F2）和课程学习目标与教师素养（F3）3个主因子，从而构建出MOOCs课程质量影响因素模型。进一步通过验证性因素分析和信度检验发现，该模型具有较好的结构效度和信度。将模型中3个主因子（F1、F2、F3）与影响学习效果的自我效能、学习兴趣、学习方法、操作技能及理论知识5个变量进行线形回归分析发现，MOOCs课程质量影响模型中“课程学习支持与服务”和“课程学习目标与教师素养”是影响学习效果最重要的两个方面。因此，MOOCs建设应回到检视课程质量的原点，精选优秀主讲教师，设计以学习者为中心的课程，不断融入新技术，从而提升MOOCs课程质量及学习者学习效果。

关键词：MOOCs；课程质量；因子分析；影响因素

中图分类号：G434 文献标识码：A 文章编号：1009-5195（2017）05-0078-09 doi10.3969/j.issn.1009-5195.2017.05.010

*基金项目：教育部人文社会科学研究青年基金项目“MOOCs质量评价体系及保障模型研究”（16YJC880019）。

作者简介：黄璐，博士研究生，华东师范大学教师教育学院（上海 200062），讲师，浙江树人大学（浙江杭州 310015）；裴新宁，教授，博士生导师，华东师范大学教师教育学院（上海 200062）；朱莹希，上海交通大学慕课研究院课程设计（上海 200240）。

2012年被称为“MOOCs元年”，MOOCs因既能增加学习人数又能降低成本，被学者们誉为教育的一大创新。随着MOOCs应用实践的深入，其受众庞大、开发代价大、交互性差、完成率低、参加者仅仅是一些受过较好教育的人等质疑声相继出现（Fischer，2014；Pappano，2015；Selingo，2015）。纵观国内外MOOCs的发展，无论是国外的Coursera、edX、Udacity三大慕课领导者，还是国内高校开发的大型MOOCs，其“质量”始终是教育界乃至社会关注的焦点（McAuley et al.，2010；Downes，2016；Timothy，2016）。2015年4月，教育部《关于加强高等学校在线开放课程建设应用与管理的意见》明确指出“建设一批应用与服务相融通的优质在线开放课程”。建设高质量MOOCs不仅是促进我国互联网时代高等教育生态体系形成的重要途径，也是我国在线教育健康发展的有力保障（中华人民共和国教育部，2016）。

一、MOOCs课程质量评价相关研究

“MOOCs评价”是MOOCs研究的重要领域和关键主题之一，一般认为MOOCs评价主要包含管理、课程内容和媒体技术三个方面（李青等，2015），其中课程内容是核心部分，也是决定MOOCs质量的关键要素。本研究所指“课程”（Course）可从“课程即学习内容，课程即目标，课程即预期的学习结果”几个方面来理解，它是由学习材料、教师、教学环境构成的一个生态系统（裴新宁，2003；约翰·D·麦克尼尔，2008）。本研究将MOOCs课程质量评价（Evaluation of MOOCs Course Quality）界定为“对MOOCs的课程内容、主讲教师、教学资源、教学环境等课程构件质量的评价”，与相关研究中提到的“MOOCs教学质量评价”（Evaluation of MOOCs Instructional Quality）、“MOOCs教学设计质量”（Evaluation of MOOCs Instructional Design Quality）有着内在关联性，但从概念范畴来说，“MOOCs课程质量评价”是它们的上位概念。

从MOOCs课程质量评价研究的相关文献中可梳理出两条研究脉络：第一条继承了“在线教育评价”的研究范式和成果，第二条则是创新的“互联网+课程评价”的研究范式。在第一条研究范式的轨迹中，MOOCs课程质量评价是以已有的开放教育资源、远程教育资源为基础而发展形成的理论和实践，以Wright的在线课程质量评价标准为代表，其评价标准包括课程的一般信息、语言、布局、目标和目的、课程内容、学习资源、学习评价等几个方面（Wright，2003）。随着研究的深入，在线课程质量评价标准框架下的MOOCs课程质量评价研究范式逐渐清晰。研究者在评价的维度和层级方面做了大量研究。欧洲11个国家的MOOCs 教育质量评价基准包括机构层面与课程层面的一级指标，其中课程层面有11个二级指标（刘路等，2015）。Yousef等提出的评价标准包括教学与技术两个维度，教学维度有教学设计与考核2个二级指标和29个三级指标，技术维度有使用者界面、视频内容、学习与社交工具及学习分析4个二级指标和44个三级指标（Yousef et al.，2014）。邱均平等从MOOCs教学队伍、教学内容、教学资源、教学效果和教学技术5个一级评价、14个二级评价及观测点建构了MOOCs质量评价体系（邱均平等，2015）。马瑞等从资源、课程团队、学习用户和环境4个一级维度、8个二级维度、32个指标项构建了MOOC传播效果评价指标体系（马瑞等，2015）。除了在维度、指标等研究中不断细化，研究者也在评价内容及效果方面进行深入的研究。Morrison从教学方法、课程材料的广度和深度、提供交互的程度、提供的教学活动和评估、课程网站的界面等5个方面评价MOOCs教学质量（Morrison，2013）。白滨等借助质性研究工具Nvivo对访谈内容进行分析，揭示英国开放大学课程开发、学习支持服务、教学管理和专业教师4个维度的质量保证关键要素（白滨等，2014）。范逸洲等分析北京大学7门首批MOOCs课程，提出了在课程管理、教学内容设计、教学视频设计、教学配套资源、作业和考核、课程互动和技术因素等方面的改进建议（范逸州等，2014）。李青等通过对国内外8门在线课程的分析，归纳了在线课程的质量因子，构建了MOOCs质量模型，包含媒体技术、课程内容和课程管理三个方面（李青等，2015）。第二条研究范式是相对“传统在线课程评价”而言的，MOOCs所拥有的“大规模性”和“开放性”特征意味着它自诞生起就携带着“互联网”基因，这在MOOC课程评价中体现无疑（Cross，2013）。Conole从开放性、大规模性、多媒体的使用、交流、合作、学习途径、质量保障、反馈量、评估、正式学习、自主性和多样性等12个维度制定了MOOCs质量评价量表（Conole，2013）。Ehlers从选择的理念、提供的预备课程信息、课程的教学方法、课程安排、技术要求、教学团队的作用、可用性和交互性，以及認证的有效性等方面提出评价MOOCs的质量（Ehlers et al.，2016）。

通过文献梳理发现，MOOCs课程是在线学习课程的一种新形式（Margaryan，2015），其质量评价具有网络课程等在线课程评价的基本特征，它聚焦课程讲授结果，关注师生交互、技术支持、学习环境的完整性等方面，这一取向的评价具有凸显的目标性（郭富平，2012）。更重要的是，MOOCs是互联网大背景下孕育的新产物，不仅有“互联网+”思维的创新、开放、共享、和谐、包容等内在逻辑，也代表了当下学习科学视野下促进学习者高阶思维发展和师生协作、生生协作的教育价值追求，这使MOOCs课程质量评价具有传统在线课程所不具备的“新特征”。

由此，本研究中的MOOCs课程质量评价的研究取向为：在互联网思维下追求创新、开放、共享、包容的课程评价，该评价不仅包含一般课程评价的基本要素，还赋予其新的内涵；除了聚焦教学设计质量、媒体资源质量等要素外，还兼顾考虑课程的开放性、重复性，以及课程服务和管理等要素，从而促使MOOCs成为真正的“大规模、开放、在线”课程。评价课程的质量通常采用的方法是基于课程参与者和其他关键利益相关者对课程质量的意见。基于MOOCs课程质量评价的综合分析和研究取向，本研究的基本理论假设是：MOOCs课程质量对学习者的学习效果存在影响，MOOCs课程质量的评价由MOOCs教学内容质量、主讲教师素质、教学资源质量和课程支持技术质量4个维度构成，其框架如图1所示。在该框架中“教学内容质量”维度指标主要体现在视频、任务和测试等设计上，可以通过精心的课程教学设计进行开发和提升。“主讲教师素质”维度指标主要展现的是教师教学能力和师德，可以通过挑选优秀主讲教师以保证MOOCs课程质量。“教学资源质量”和“技术支持质量”维度指标体现了技术性差异和服务性差异，是影响学习者学习效果的重要因素。该评价框架主要维度设计是否科学合理还需从学习者角度通过调查研究考证。本研究将依据该评价维度进行探索性因素分析和验证性因素分析，构建MOOCs课程质量影响因素模型，并挖掘MOOCs课程质量影响模型对学习效果的影响关系。

二、研究過程

1.研究工具设计

本研究设计出“MOOCs课程质量影响因素”调查问卷。问卷包括三个部分：第一部分基本情况，包括学号、性别、年龄、专业类别、使用计算机的年限。第二部分MOOCs课程质量，包括教学内容质量、主讲教师素质、教学资源质量和课程技术支持质量4个二级指标、20个三级指标，各维度对应的变量及题项如表1所示。第三部分学习效果，包括自我效能感、学习兴趣、学习方法、操作技能和理论知识5个指标。MOOCs课程质量和学习效果的题项都反映了被调查学生的主观判断，调查采用李克特量表5点计分法。

2.研究对象

本研究选取笔者所在高校学习“玩课网”《大学计算机文化基础》MOOCs课程的2015级学生为调查对象，发放问卷562份，回收有效问卷562份，有效回收率为100%。样本的基本情况如表2所示。

3.数据分析

本研究数据运用SPSS 22.0进行探索性因素分析，再使用AMOS 21.0软件对探索性因素进行验证性因素分析，最后使用SPSS 22.0进行线性回归分析。

三、实证分析

1.探索性因素分析

利用方差最大法对问卷中MOOCs课程质量部分进行探索性因素分析发现：A12和A20这两个项目主因子负载量小于0.4，表明它们对MOOCs课程质量解释很小，因此删除了这2个项目。

对其余18个变量进行第二次因素分析，结果显示KMO值为0.899，Bartlett球形检验统计量为5394.028，Sig值为0.000，P<0.05，这表明量表中的变量适合作进一步因素分析。通过因素分析并进行最大变异正交旋转，得到解释的总方差，如表3所示。从表3中共抽取三个特征值大于1的主因子，进一步分析得到其因子载荷矩阵，如表4所示。表4中每个项目的最大因子载荷均大于0.5，MOOCs课程质量因素分析抽取出来的第一主因子F1包括7个项目（A13、A14、A15、A16、A17、A18、A19）、第二主因子F2包括6个项目（A3、A4、A5、A6、A8、A9），第三个主因子F3包括5个项目（A1、A2、A7、A10、A11），这三个主因子的方差累积贡献率为60.795%。

2.验证性因素分析

为了进一步考察MOOCs课程质量影响因素的结构效度，研究采用AMOS 21.0软件进行验证性因素分析，得到MOOCs课程质量影响因素模型，如图2所示。

图2 MOOCs课程质量影响因素模型

选取χ2/df、NFI、GFI、IFI、CFI、RMSEA作为评价模型拟合程度标准，数据如表5所示。结果显示，IFI>0.9、CFI>0.9，NFI、GFI未达到0.9，但已比较接近0.9，可认为其基本达到了经验值，可见MOOCs课程质量影响因素模型具有较好的结构效度。

3.信度检验

采用Cronbachs α系数对问卷的内部一致性进行检验。结果显示，总问卷的α系数为0.866，主因子F1的α系数为0.899，主因子F2的α系数为0.794，主因子F3的α系数为0.851。这说明主因子构造具有较好的一致性。

4.MOOCs课程质量主因子分析

（1）主因子F1：课程学习支持与服务

主因子F1包括7个项目，旋转后的因子载荷大小排序依次是MOOCs视频中字幕等信息表述、网站的配色效果等设计、MOOCs中积分等规则设计、MOOCs提供的资料等教学资源设计、MOOCs视频中视频和动画制作效果、客户端易操作性、MOOCs学习中学生自主控制等。这7个项目反映了MOOCs课程质量中学习资源质量、学习支持质量与学习服务质量等特征，故将之命名为“课程学习支持与服务维”。这一主因子的贡献率达到了37.370%，说明学习支持与学习服务等设计对MOOCs课程质量影响很大。

（2）主因子F2：课程设计与学习进度

主因子F2包括6个项目，旋转后的因子载荷大小排序依次是MOOCs视频的数量、视频内容的时长设置、每章MOOCs闯关题的数量、每周的MOOCs学习任务组织与安排、闯关题难度、每个视频内的知识点数量设置。这6个项目反映了MOOCs课程内容设计、视频设计、难度设计、测验设计、学习任务安排等质量，故将其命名为“课程设计与学习进度维”。这一主因子的贡献率达到了16.730%，说明MOOCs课程中视频设计质量和学习任务的安排等对MOOCs课程质量影响较大。

（3）主因子F3：课程学习目标与教师素养

主因子F3包括MOOCs视频中的学习目标表述、学习内容与目标一致性、主讲教师的内容表述能力、主讲教师的教学水平和组织管理水平、闯关题与视频学习内容相关程度等5个项目。这5个项目反映了MOOCs学习目标表述、学习目标与内容一致性、主讲教师素养等质量，故称之为“学习目标与教师素养维”。这一主因子的贡献率达到6.695%，说明该因子对MOOCs课程质量影响也很重要。

5.MOOCs课程质量主因子与学习效果的线性回归分析

为了探明MOOCs课程质量影响模型的主因子与学习效果之间是否存在影响关系，研究将主因子F1、F2和F3作为自变量，将自我效能感、学习兴趣、学习方法、操作技能和理论知识5个变量作为因变量，分别进行线性回归分析。各主因子与因变量之间的回归系数如表6、表7、表8、表9和表10所示。

从表6、表7、表8、表9和表10的分析结果来看，MOOCs课程质量影响模型中的3个主因子（F1、F2、F3）与自我效能感、学习兴趣、学习方法、操作技能和理论知识的回归系数都非常显著（p<0.05）。从分析得出的β值来看，影响自我效能感（β=0.401）最主要的主因子是F3；影响学习兴趣（β=0.468）、学习方法（β=0.501）、操作技能（β=0.509）、理论知识（β=0.473）最主要的主因子均为F1。综合分析可见，MOOCs课程质量影响模型中“课程学习支持与服务”和“课程学习目标与教师素养”是影响学习者学习效果最重要的两个方面。

四、研究结论及建议

通过文献分析与实证研究发现，完善MOOCs建設和评价应重视以下四个方面。

1.MOOCs建设应回到检视课程质量的原点

事物“质量”议题并不新鲜，MOOCs作为还在不断演化和更迭中的新事物，其质量是关乎学习效果和效率的关键性问题。只有重新检视MOOCs质量，从根本上设计、建设和评估MOOCs，MOOCs学习效果才能得以提升。从线性回归分析来看，MOOCs课程质量对学习效果的确存在相关性，MOOCs课程质量影响模型中的3个主因子对学习效果5个指标都存在非常大的影响。因此，在大力建设MOOCs的当下，优质的学习支持和服务、精致的课程设计和安排、明确精巧的学习目标、精深的教师专业素养是建设高质量MOOCs的基石。高质量的MOOCs课程不仅有利于开发人员建设和改进在线开放课程，也有利于高校和企业管理、评价在线开放课程，还有利于学习者与教师遴选优质在线开放课程。

2.精选优秀主讲教师以提高课程内容传递和服务效果

有调查显示，MOOCs视频中主讲教师是否出现并不是很重要，主讲教师只出现声音，或主讲教师头像长时间出现在视频里各有50%的学生支持（姚笛，2016），但这不代表学生不在乎主讲教师的参与程度、教学水平和组织管理水平等。在本调查问卷最后的开放性问题“对本MOOCs课程的建议或意见”中，较多意见是针对主讲教师，如“希望主讲教师普通话更标准”“讲课的声音能生动幽默一点”“讲话没有重点”“教师教学方式特别好”等。另外，从表4中的因子载荷可以看出，“主讲教师的内容表述能力”和“主讲教师的教学水平、组织管理水平”不仅能解释“课程学习目标与教师素养维因子”，也能很大程度解释“课程学习支持与服务维因子”。可见主讲教师的能力和素养不仅直接影响教学内容的传递，也关系到学习服务效果。MOOCs视频中主讲教师有较好的语言表达能力、归纳能力、内容组织能力、广博的专业知识对提升MOOCs课程质量起着积极影响。另外，MOOCs视频开始时的内容概述或目标介绍也是衡量MOOCs课程质量一个非常重要的指标。明确而适切的教学目标不仅能吸引学习者，还能高度概括视频内容，帮助学习者理解内容和结构，促进学习者思考计算机理论知识。

3.课程内容设计和教学设计要以学习者为中心

从调查研究来看，由视频内容的时长、闯关题的数量设置、闯关题的难度设置等6个因素构成的“课程设计与学习进度”维度是影响MOOCs质量的重要因素。“以学习者为中心”的设计和MOOCs课程设计是二位一体的。《大学计算机文化基础》的教学对象是大一学生，从多年的教学经验可知学生的计算机基础差距较大，在教学中很难实施同一教学。因此，内容设计和教学设计都须关照学习者的学习背景、学习时间、学习风格、学习能力等特征，提供具有较大包容度的教学内容和生动形象的视频，安排难度适中、数量合适的测验，让学习者自主选择学习进度。总之，MOOCs课程质量的提升首先在于对学习者的了解，基于此，为学习者提供“可选择、可重复、可变化、可分享、可深可浅”的MOOCs课程。

4.提供技术支持和个性化服务以促进深度学习

在应用实践中，MOOCs应不断融入新的技术以提升其质量。先进的技术使教学资源丰富，教学互动多样且有效，学习分析与评价深入且具体，学习终端易操作且多通道。实证研究显示，“学习支持与服务质量维”是MOOCs课程质量影响因素中贡献率最大的因素，同时也是影响学习效果最重要的方面之一。通过技术优化视频中字幕等信息表述、网站设计、教学资源设计、视频制作、动画制作效果、界面易操作等，可在一定程度提升课程质量及学习效果。此外，学习科学强调课程应带来学习者的深度学习，促进意义丰富的建构和对概念的深层理解（王美，2013）。于是技术承担了由“浅层学习”到“深层学习”的媒介和支撑作用。如何表征计算机理论中的抽象知识？如何可视化地描述计算机课程学习是如何发生和进展的？如何实现分享和协作计算机理论知识和操作技能？如何用技术促进对计算机思维的理解、修正知识进展并进行反思？促进学习者“深度学习”是技术的使命吗？这些也是今后本课程以至所有MOOCs课程建设需要考虑的技术发展方向。在未来的MOOCs课程建设中，可通过数据挖掘技术推送和定制个性化学习内容，改变机械、被动地知识接受状态；通过技术增强设计，促进思维可视化，使学习过程外显；通过视频、图片处理技术加强视频与学习者的互动，促进学习者思考，保持注意力，从而使计算机课程学习不仅是简单的模仿操作，而能“知其所以然”。

参考文献：

[1][美]约翰·D·麦克尼尔（2008）.课程： 教师的创新[M]. 徐斌艳，陈家刚. 北京：教育科学出版社：12-24.

[2]白滨，陈丽，斯蒂芬（2014）. 英国开放大学质量保证关键要素研究[J]. 开放教育研究，（1）：29-34.

[3]范逸洲，王宇，冯菲等（2014）. MOOCs课程学习与评价调查[J]. 开放教育研究，（3）：27-35.

[4]郭富平（2012）. 美国在线课程的评价原则及启示[J]. 华北科技学院学报，（10）：97.

[5]李青，刘娜（2015）. MOOC质量保证体系研究[J]. 开放教育研究，（10）：66-72.

[6]刘路，刘志民，罗英姿（2015）. 欧洲MOOC教育质量评价方法及启示[J]. 开放教育研究， （5）：57-65.

[7]马瑞，吴晓璇，孙倩君等（2015）. MOOC传播效果评价指标体系构建研究[J]. 现代教育技术，（6）：71-72.

[8]裴新宁（2003）. 化学课程与教学论[M]. 杭州：浙江教育出版社：27-28.

[9]邱均平，欧玉芳（2015）. MOOCs质量评价指标体系构建及应用研究[J]. 高教发展与评估，（9）：74-75.

[10]王美（2013）. 学习科学、技术设计与科学教育的整合——用技术增进一致性的科学理解[J]. 全球教育望，（1）：70-71.

[11]姚笛（2016）. 三年了，MOOC到底有没有颠覆教育[EB/OL].[2016-01-03]. http：//36kr.com/p/5041068.html .

[12]中华人民共和国教育部（2016）.教育部关于加强高等学校在线开放课程建设应用与管理的意见[EB/OL]. [2016-01-08]. http：//www.gov.cn/xinwen/2015-04/28/content_2854089.htm.

[13]Conole， G.（2013）. MOOCs as Disruptive Technologies： Strategies for Enhancing the Learner Experience and Quality of MOOCs[J]. Red Revista De Educación A Distancia， 39（50）：1-17.

[14]Cross， S.（2013）. Evaluation of the OLDS MOOC Curriculum Design Course： Participant Perspectives， Expectations and Experiences[J]. Olds Mooc Project.

[15]Downes， S.（2016）. The Quality of Massive Open OnlineCourses[EB/OL].[2016-01-08]. http：//mooc.efquel.org/week-2-

the-quality-of-massive-open-online-courses-by-stephen-downes.

[16]Ehlers， U. D.， & Ossiannilsson， E. et al.（2016）. The MOOC Quality Project[EB/OL]. [2016-01-08].http：//mooc.efquel.org/the-mooc-quality-project.

[17]Fischer， G. （2014）.Beyond Hype and Underestimation： Identifying Research Challenges for the Future of MOOCs[J]. Distance Education， 35（2）：149-158.

[18]Margaryan， A.， Bianco， M.， & Littlejohn， A.（2015）. Instructional Quality of Massive Open Online Courses （MOOCs）[J]. Computers & Education， 80：77-83.

[19]McAuley， A.， Stewart， B.， & Siemens， G. et al.（2015）.The MOOC Model for Digital Practice.TechnicalReport[EB/OL].[2015-12-08]. http：//www.elearnspace.org/Articles/MOOC_Final.pdf.

[20]Morrison， D. （2016）. A MOOC Quality Scorecard Applied to CourseraCourse[EB/OL].[2016-01-08]. http：//onlinelearninginsights.wordpress.com/2013/06/15/a-mooc-quality-scorecard-applied-to-coursera-course.

[21]Pappano， L.（2015）. The Year of the MOOC[EB/OL]. [2015-11-08]. http：//www.nytimes.com/.

[22]Selingo， J.（2015）. Demystifying the MOOC[EB/OL].[2015-12-08]. http：//www.nytimes.com/.

[23]Timothy， R.（2016）. Toward a Quality Model for UNED MOOCs[EB/OL].[2016-01-08]. http：//www.openeducationeuropa.eu/en/article/Toward-a-Quality-Model-for-UNED-MOOCs.

[24]Wright， C. R.（2003）. Criteria for Evaluating the Quality of Online Courses[EB/OL]. [2016-01-08]. http：//tlc.zmml.uni-bremen.de/get-attachment.cgi？ID=311&master=resources&file=Criteria_for_Evaluatingthe_Quality_of_Online_Courses.pdf&download=1.

[25]Yousef， A. M. F.， Chatti， M. A.， & Schroeder， U. et al.（2014）. What Drives a Successful MOOC？ An Empirical Examination of Criteria to Assure Design Quality of MOOCs[A]. Proceedings of the IEEE 14th International Conference on Advanced Learning Technologies （ICALT） [C]： 44-48.

收稿日期 2017-04-14 責任编辑 曾艳