xMOOCs教学效果的评价指标体系构建研究

摘要：随着教育全球化和信息化的不断发展，MOOCs逐渐成为全球教育发展中的重要角色。xMOOCs是基于行为主义学习理论的一种新型发展的MOOCs模式。要提升xMOOCs的教学效果，亟须建立有效的xMOOCs的教学效果评价指标体系。本文构建了详细的MOOCs教学效果评价指标体系，并指出评价指标体系应包括内容、课程团队、学习用户、环境四个维度，在每个维度下又细分了有针对性的具体指标，以期能够为国内外的xMOOCs研究学者提供一个框架，促进xMOOCs教学效果的提升，助推xMOOCs的革新和发展。

关键词：xMOOCs;教学效果;评价指标体系;

中图分类号：G434 文献标识码：A 论文编号：1674-2117（2018）08-0060-07

研究概述

高退课率是MOOCs发展需要突破的一个瓶颈，而当前的研究主要停留在MOOCs的设计与开发上，对于如何更好地促进MOOCs的教学，帮助学习者使用这种新型学习方式取得更好的学习效果的研究较少。因此，明确MOOCs教学过程中哪一个环节至关重要，哪一个环节亟待完善，如何提出更科学有力的教学效果改善措施，是至关重要的。所以，建立一个科学严谨有效的MOOCs教学效果的评价指标体系十分必要。通过文献搜索，笔者发现，国内外对MOOCs开放资源评价指标体系的研究并不完善。

xMOOCs是基于行为主义学习理论的一种新型MOOCs模式，同时也是目前国内外MOOCs平台的主要形式，具有专业平台支撑、知名高校合作、课程模式成熟、学习者自由度大等特征。本文着眼于xMOOCs教学效果的评价指标构建，有效分析了MOOCs各教学要素存在的问题，并提供了科学的评价标准。

研究过程

1.研究方法

本研究采用了文献分析、个案分析、专家访谈、问卷调查等研究方法。

2.研究步骤

（1）文献分析

分别收集和分析近几年有关MOOCs的教学效果评价指标体系的中英文文献，其中包括MOOCs同类型及其自身评价指标体系的文献以及以关联主义为基础的cMOOCs和以行为主义为基础的xMOOCs的研究现状。

（2）同类指标项借鉴

选择网络课程评价体系探究中具有代表性的评价指标案例进行分析比较，分析这些网络课程与xMOOCs的异同，并对它们进行特征归纳。

（3）个案分析

分别选取Coursera、Udacity、edX三大平台的课程进行学习及观察，并通过其他学习者的亲身经验进行个案分析，归纳总结出以行为主义为基础的xMOOCs的特点及优缺点。

（4）专家访谈和问卷调查

在文献研究、同类指标项借鉴及个案分析的基础上，初步归纳出基于行为主义的xMOOCs评价指标体系的四个维度，并通过问卷的方式，对来自不同国家和地区的专家、学者进行访谈及维度评核。

（5）建构模型及指标

在以上研究的基础上，建构xMOOCs教学效果的评价指标体系。

研究结果

1.文献分析结果

（1）与MOOCs同类型开放资源教学效果评价体系的研究

①各种开放资源教学效果评价体系的研究现状。

与MOOCs相似的开放资源评价指标体系的研究成果颇丰，研究对象主要集中于网络课程、在线课程、远程教育等传统的开放资源，其中大部分文献都从“如何构建评价指标体系”的角度出发。其中，梁成柱（2013）提出了建构评价指标的评价方法设计，包括评价方法选择评价模型建立的总体思路等模型。[1]陈信等（2010）主要针对上海电大系统内部的教育教学质量进行了评价指标体系的构建。[2] Casanova， D.等（2011）具体提出了要以期待与认知、教师与学生的能力、学习环境与资源、评估阶段与练习、后方支持这五个评价维度来构建评价指标体系。[3]

部分文献专门分析且指出了网络课程评价体系的现状及不足，并提出了相应的改进措施。周伯华等（2008）指出大部分网络课程的评价指标体系存在评价目的不明确、指标空泛等问题，提出网络课程的评价体系应体现网络的特点、注重反馈信息等方面的策略。[4]杨素娟（2011）通过对德国《远程教育课程评估》指标体系的解读得出了德国远程教育课程评估的特色并总结出我国构建远程教育课程评价指标体系的启示。[5]

②各种开放资源教学效果评价体系对xMOOCs教学效果评价指标体系构建的启示。

在文献的整理中，笔者发现当前与MOOCs同类型开放资源评价指标体系的构建十分系统而详尽。任儆等（2002）认为网络远程教育的评价体系应主要包括管理、教师、学生三方面的内容，且每一要素下各自包含更加具体的指标要素。[6]唐泽（2013）针对微课课程作品的考核从内容、艺术、技术三个方面构建了教师微课程作品的评价指标体系。[7]

评价体系构建运用科学测量方法。在评价体系的构建过程中，与MOOC同类型的开放资源评价体系都能运用不同的科学方法进行反复测试和研究，以确保指标的科学性和完整性。邢红宇（2006）采用AHP法和Delphi法最后形成了网络课程评价指标体系设计研究。[8]Karal，H.等（2012）通过对院校（Karadeniz Technical University）里的91名有远程教育经验的教授的问卷调查，确保了指标的专业性与可信度。[9]梁成柱等（2008）运用调查、分析、研究法建立了网络远程教育质量评价指标体系，阐释了指标体系的权重设置方法和博士专家评价方法。

评价体系构建以理论基础为前提。与MOOCs同类型的其他开放资源评价体系构建，绝大部分都能以某个较为成熟的理论基础为前提而构建，大大提高了评价体系的科学性。田华（2012）基于网络协作学习理论基础，提出并建立了针对网络写作学习的评价指标体系。[10]Bangert，A.W.（2004）在建构主义理论基础上，参照前人所总结的教学互动的七大原则，设计出针对教学实践质量的评估问卷。[11]李葆萍等（2004）根据各種学习与教学理论，推导出课程、资源、活动设计、课程管理、系统开放、安全稳定、界面、文化氛围九个网络课程的一级评价维度。[12]

（2）cMOOCs与xMOOCs的研究现状

对于有相关理论基础的MOOCs研究文献主要集中于对基于关联主义的cMOOC或基于行为主义的xMOOC的阐释。樊文强（2012）从关联主义学习理论的角度分析了MOOCs的特点。[13]黄小强等主要针对cMOOCs进行研究，认为cMOOCs背后的理念及其运用技术变革课程的思维方式将会继续得到广大学者的认同。刘静静等（2014）主要通过文献研究及对六门xMOOCs课程的调查与分析，总结出了xMOOCs的课程模式。[14]而进行cMOOCs与xMOOCs课程的对比分析及比较的研究有：王萍（2013）通过cMOOCs与xMOOCs的分析对比，总结出了xMOOCs的主要特点及应用，为xMOOCs模式的进一步完善提供了有效的指导思路。

在文献的搜集和分析过程中，以行为主义为基础的xMOOCs作为MOOCs的一种较新的模式，并未涉及深層面的分析及应用。而对于相关教学效果评价体系的构建研究比较缺乏。

（3）研究现状总结

综上所述，与MOOCs同类型开放资源评价指标体系为本研究的开展提供了有效的借鉴和启示，如在评价指标体系构建时要系统详尽、构建验证方法要科学、需要以一定的理论基础作支撑等。此外，MOOCs自身研究的成果主要集中在对以关联主义为基础的cMOOCs的探讨，关于对整个开放资源评价指标体系的系统研究还比较少，且针对开放资源教学过程评价指标体系的研究也暂未发现，同时，深入研究及剖析以行为主义学习理论为基础的xMOOCs的研究成果并不显著。因此，本研究基于行为主义的xMOOCs教学效果的评价指标体系的构建和研究具有广泛的现实意义，它既能促进xMOOCs教学，也对其他同类型的开放资源的教学具有一定的指导意义。

2.同类指标项借鉴结果

MOOCs是大规模在线开放课程，具有网络课程及教育的双重特性，在以行为主义为理论基础的xMOOCs教学效果评价指标体系的建构过程中，本研究还比照参考了网络课程与教育的指标维度。陈新在分析了2007年网络精品课程评审指标体系和一套操作性较强、较为成熟的在线课程评价指标体系后，整理出了2007年网络精品课程评价指标体系，其中设置的六个一级指标包括：教师队伍、教学内容与教学资源、远程导学与学习活动、学习支持服务、教学效果和特色及政策支持。[15]李葆萍和李秀兰根据各种学习与教学理论推导出理想的网络课程应具备的九个维度，并进一步整理为网络课程的评价指标体系，该评价指标体系的一级指标包括课程、资源、活动设计、工具支持、课程管理、系统开放、安全稳定、界面、文化氛围九个维度。[16]MetinIskenderoglu在对网络课程评价体系探究的过程中提出了教师、学习者、环境的维度，并指出教师、服务以及环境对学习者学习的重要性。[17]

通过同类指标项的对比分析，笔者发现网络课程的评价指标体系大多涵盖了课程团队、学习用户、资源以及环境这四个指标或被这四个一级指标包含。与此同时，这些维度一定程度上符合以行为主义为基础的xMOOCs的新型特征，为本研究传者和受者的一级指标设置提供了重要的指导意见，从而建构出评价指标体系模型。

3.专家访谈和问卷调查结果

根据建构的评价指标体系模型，细化指标项，形成了“xMOOCs教学效果的评价指标体系各因素意见征询调查问卷”。笔者对来自加拿大、日本、韩国以及国内北京大学、清华大学、北京师范大学、华东师范大学、华中师范大学、陕西师范大学、华南师范大学等的34位专家学者进行了专家访谈和问卷调查，发放了“xMOOCs教学效果的评价指标体系各因素意见征询调查问卷”，建立和修改了以行为主义为基础的xMOOCs教学效果评价指标项。

整理专家问卷，笔者对指标项进行了调整和删改。4项一级指标较为全面地体现了xMOOC当前的分析维度，但在具体指标项上，一级指标“内容”中细化为二级指标“课程内容”和“服务内容”，指标项增至8项，增加“MOOCs课程评价推荐功能齐全”“MOOCs社区提供多种学习交流方式”等;一级指标“课程团队”中整合并删除二级指标“教学理念”，指标项调整至6项，整合并删减“体现学习反馈”“体现知识共享”等;一级指标“学习用户”指标项增加至7项，增加“线上MOOCs学习者之间能实现知识共享”“MOOCs学习者积极参与课程讨论”“MOOCs课程中学生的作业完成率高”等;一级指标“环境”的指标项增至8项，增加“MOOCs平台能有效收集学生学习特征”“MOOCs课程数据开放，能被平台大量挖掘并分析”等。

专家访谈中，北京师范大学黄荣怀教授指出，“对MOOCs的研究一定要按照其类别和特征分类研究，不能够笼统地一概论之”，这为本文xMOOCs选题提供了指导。清华大学韩锡斌教授从MOOCs平台架构、后台数据收集、数据分析整理等方面提供了支持和指导。西北师范大学郭绍青教授提出，MOOCs的一个重要特色体现在其学习共同体的建立，学习者通过形成自主学习小组提升学习效果，最大的特色在于学习者之间的互评。加拿大多伦多大学赵纳新教授提出MOOCs的互评体系是其一大特点，学习者之间的互评是其关键要素，为本研究传者和受者的一级指标设置提供了重要的指导意见。华南师范大学赵建华教授针对指标体系的设置，对“反馈”“评价”“资源”的指标项进行了对比分析和调整。

4.MOOCs教学效果评价指标体系的建立

（1）评价指标体系的设计

构建出的xMOOCs教学效果的评价指标体系包括内容、课程团队、学习用户、环境4个一级维度。每个一级维度下分2～3个二级维度，每个二级维度下又细分为2～4项指标，共29项具体指标，如下页表所示。

（2）评价指标体系的确立

维度1：内容。

基于行为主义理论的xMOOC区别于其他MOOCs形式的最明显的特征是，xMOOC是以内容传递为中心的。[21]目前，MOOCs发展的三大巨头Coursera、Udacity和edX都是此类的MOOCs。这些MOOCs拥有巨大的注册量，以名校教师基于视频和文本的教学和网络化的测试为主。[22]由于xMOOC的课程模式更接近于传统的教学过程，更侧重于知识的传播和复制[23]，因此，它具有更高质量并容易引起及保持学习者兴趣的课程视频、更贴近学习者需要的文本资源、更生动高效的课程设置等。与上述相关的教学内容也都成了xMOOC获得更好发展的必要保证，大量被吸引参与的高校与商业机构都致力于课程视频、教学文本等相关教学内容的开发。由此基于理论与相关文献的分析得出，“内容”应是xMOOC教学效果评价体系的一个重要一级指标。

与此同时，笔者认为，参考现有的针对xMOOC学习支持服务的研究可知，目前国内外已出现一些为MOOCs课程提供学习支持的网站与系统，其所包含的学习支持服务包括索引、评价推荐、社区、考试等多方面的内容。[24]这说明一门MOOCs课程能否提供良好的学习服务资源已逐渐被学习者所重视，完善的学习服务资源也能更好地推动MOOCs的发展。xMOOC的应用已开始从内容建设走向内容筛选与学习支持服务，这是推动xMOOC发展的一种有效路径。[25]综合以上分析，“课程内容”“服务资源内容”应成为此指标下的二级指标。

维度2：课程团队。

在基于行为主义的xMOOC中，一个优秀的课程团队的重要性同样不可以忽略。课程团队的组成可包括xMOOC平台提供商、相关产业公司及参与课程设计录制的教师等人员。在学术领域内具有高知名度的教師可以在很大程度上保证课程的吸引力，而xMOOC平台提供商及相关产业公司对知识需求分析的环节也发挥着重要的作用。知识需求分析是指由高校等进行市场调研与需求分析，并在此基础上制订人才培养方案和教学计划与大纲[26]，这样的形式可以在一定程度上缓解xMOOC中存在的“高退出率”的难题。同时，专业的课程制作团队的重要性同样不可小觑，课程视频摄录剪辑水平高就能有效调动学习参与者的学习热情，增强在学习过程中的现场感，如何对相关影像进行包装是一项融合大众传播学、影视学、网络传播学等多门学科的任务。

在传统的教育中，由于受技术的限制和相对封闭的教学环境，教学一直以教师为中心，教授内容和方法大部分由教师决定，从而限制了知识的传递方向。MOOCs的出现和发展使得教师的角色发生了转变，教师形成课程团队，成为“辅助者”“发起人”“协调者”，这更加能够体现教育的本质，促进知识的双向传递。

维度3：学习用户。

经过相关的论证，在“学习用户”这一级指标下设立了“学习用户的主动性”与“学习用户的协助性”两个二级指标。xMOOCs的教学过程与传统教学相似，但学习者的学习方式却发生了极大改变。MOOCs平台更强调学习者的学习主动性，它需要学习者具备高度的自主学习能力。另外，MOOCs的学习用户来自世界各地，参与者众多，学习用户在社会文化等客观条件和主观经验水平等方面都存在差异，学习用户之间只有相互协助、交流探讨才能更好地保证学习的质量，提升自我。xMOOC具有完整的课程结构、应用交互行为、评价多样化等特征，便于学习用户开展多样化的学习活动，符合“大班授课-小班实施-大班评价”教学模式改革，充分实现师生互动、生生互动和师师互动。

MOOCs学习在很大程度上摒弃了“被动”“单向”“独立”的知识流动，更多地采用激发学生求知意识的方式来促进学习用户的交互性、自主性及共享性。而且，与学生互动性更强，具有自我测评性的教育课程设计，促进知识共享，更好地激发学习用户的学习兴趣。

维度4：环境。

MOOCs中的学习环境离不开技术支持、教学环境和社会环境。MOOCs的大规模、开放性特质决定了MOOCs需要一个强大的技术平台来支持课程、测试等学习功能的正常运转。如何依靠技术来推动学习平台的发展，是发展MOOCs的关键问题之一。xMOOC较接近传统教学模式，更强调视频内容、作业和测试等教学环节，教学环境的营造尤为突出。目前，MOOCs仍在面对社会认可这一问题，即克服线上学习的缺点，如低完成率，创建基于单一学习目标并基于混合学习的MOOCs学习模块，构建共享环境，开展基于项目的学习。同时，MOOCs还应注重“大数据”，构建环境，为学习者提供及时有效的反馈，实现“因材施教”式的个性化教学与学习。

讨论与后续研究

笔者希望建构的评价指标体系能够为日益发展的MOOCs平台提供一个评定教学效果优劣的有用工具，使MOOCs课程的开发者能够更加直观清楚地了解MOOCs平台与课程在改进发展的过程当中存在的优势与不足，从而可以有针对性地提高MOOCs的教学效果。同时，笔者也希望此评价指标体系能够为与此研究相关的科研课题提供一定的参考。但是，本研究还需不断地改进和更新，各项指标也需不断地论证改善，以最大程度地适用于在不同条件下的xMOOC教学效果的评价与测定。

参考文献：

[1]梁成柱，刘维庆.网络远程教育质量综合评价模型研究[J].科技信息：学术研究，2008（16）：29-32.

[2]陈信，翁朱华，孙耀庭.开放远程教育办学系统质量评价指标体系的构建[J].开放教育研究，2010（4）：29-34.

[3] Casanova， D.， Moreira， A.， & Costa， N. （2011）. Technology Enhanced Learning in Higher Education： results from the design of a quality evaluation framework. Procedia-Social and Behavioral Sciences， 29，893-902.

[4]周伯华，许坦.网络课程评价存在的问题及相应对策[J].现代远距离教育，2008（6）：58-60.

[5]杨素娟.德国《远程教育课程评估》指标体系解读[J].电化教育研究，2011（9）：116-120.

[6]任儆，张秀梅.对网络远程教育评价体系的探讨[J].中国电化教育，2002（8）：67-68.

[7]唐泽.教师微课程作品评价指标体系的建构研究[D].上海：上海师范大学，2013.

[8]邢红宇.基于AHP法和Delphi法的网络课程评价指标体系设计研究[J].中国电化教育，2006（9）：78-81.

[9]Karal，H.，&Cebi，A. Views on Modular Assessment and Evaluation Process in Distance Education[J].Procedia-Social and Behavioral Sciences，2012（46）：2073-2077.

[10]田华，魏登峰，孟琦.网络协作学习评价指标体系的开发与实践[J].电化教育研究，2010（7）：73-76+81.

[11]Bangert， A. W. （2004）.The seven principles of good practice： A framework for evaluating on-line teaching. The Internet and Higher Education，7（3），217-232.

[12][16]李葆萍，李秀蘭.网络课程的评价指标体系研究[J].中国电化教育，2004（11）：65-68.

[13][18][19]樊文强.基于关联主义的大规模网络开放课程（MOOC）及其学习支持[J].远程教育杂志，2012（3）：31-36.

[14]刘静静，张立国.xMOOCs：一种基于行为主义的巨型开放课程模式[J].中国医学教育技术，2014（1）：24-28.

[15]李新，陈庚.网络课程评价指标体系的比较分析[J].河北工程大学学报：社会科学版，2008（1）：82-84+101.

[17]Iskenderoglu， M.， Iskenderoglu， T. A.， & Palanci， M. （2012）. Opinion of teaching staff in distance education systems， regarding the assessment and evaluation process.Procedia-Social and Behavioral Sciences，46，4661-4665.

[20][23][24][25]王萍.大规模在线开放课程的新发展与应用：从cMOOC到xMOOC[J].现代远程教育研究，2013（3）：13-19.

[21][22]王志军，陈丽，郑勤华.MOOCs的发展脉络及其三种实践形式[J].中国电化教育，2014（7）：25-33.

[26]韩锡斌，翟文峰，程建钢.cMOOC与xMOOC的辨证分析及高等教育生态链整合[J].现代远程教育研究，2013（6）：3-10.

作者简介：马瑞，男，理学硕士，深圳市盐田区教育科学研究中心信息技术教研员，主要研究方向为信息技术与课程整合、创客教育、混合学习等。