MOOC教学评价的实证研究

朱宗乾 尚晏莹 齐德伟 胡海青

摘 要：本研究针对MOOC教学评价手段和方法单一、不能满足对学生的整体评价以及成绩评定忽略过程评价和团体评价等问题，应用探索性因子分析法，验证关键因素为：教学目标因素、教学策略因素、教学活动因素、教学效果因素和教学特色因素，并以此建立MOOC教学评价体系。应用结果表明，与传统教学评价方法相比，新教学评价体系对提升学生的主动性、师生互动性及成绩均有较明显的效果。研究结论对其他MOOC教学评价具有一定的参考价值。

关键词：MOOC；教学评价；实证分析

中图分类号：G434 文献标志码：A 文章编号：1673-8454（2018）23-0067-04

一、引言

随着经济的进步和社会的发展，复合型管理人才越来越能适应社会的需要。推进高等院校教学模式改革、整合教学内容、提高教学的实效性，是对中国教育发展模式转型的整体要求。随着计算机及互联网技术的迅猛发展，以MOOC为代表的在线教育弥补了传统理论教学的不足。[1]“十三五”期间，政府提出了要培养大批创新实践人才的发展战略，实践证明MOOC课程对培养具备一定理论知识和实践能力的复合型创新应用人才具有重要作用。[2]而传统MOOC教学评价的方法与方式过于单一，学生积极性不高，不能满足对学生的整体评价，并且忽略过程评价和团体评价。因此，当前MOOC教学的关键就是加强教学评价，改革评价方法。

Downes等人最早提出MOOC概念，指大规模开放在线课程及相应的在线学习模式。因MOOC具有开放性、共享性，由网络平台提供给全体网民，有效推动了教育的发展，并且知识可通过网络传递给人们，实现了知识共享[3]。慕课教学是基于现代网络信息技术发展而产生的新教学模式，它具有开放、互动、资源丰富等特点，能有效地把教育资源整合为在线开放课程，优化教学过程、评估体系和学习体验。在MOOC教学平台下由教师进行讲述理论教学、实验教学，并指导实践环节的层次教学，学生通过平台进行自主学习，在资源共享的MOOC环境下师生进行交互，通过教学评價的有效实施增强教学效果，MOOC教学实践体系如图1所示。

有关MOOC教学评价的研究，已有一些学者做出了初步的探讨。如：宣旸等人（2017）提出MOOC教学中采取小测试成绩、期末成绩与教师成绩的综合评价，教师评价包括学生上课表现、论坛提问的积极性、提出问题的质量等[4]。董永刚等（2018）在学堂在线MOOC平台的新型教学模式探索中指出，教学评价应采取单元作业实现在线自测和期末在线测试结合的方式[5]。赵语等（2017）在基于MOOC的软件工程课程双语教学中从教学条件、教学过程和教学效果三方面进行评价[6]。蒋翀等（2015）在设计基于MOOC的混合教学模式时，通过随堂测试、预习测试与小节测试来测评学生成绩，从教学效果、可行性、自主性三方面进行教学评价[7]。王建刚等（2017）对学生的学习参与度、学生作品、过程性资料进行评价，从内容掌握程度、教学目标、学习效率、资源丰富程度和多元化进行教学评价。[8]

综上所述，前期的研究成果为MOOC教学评价体系建立提供了有价值的思路，但通过分析发现以下几点问题：①前期研究主要侧重于课程内容的设计，缺少对教学评价的定量研究[9]；②学生在面对单一的教学评价、约束力较弱的网络学习环境时，往往表现出自主性较差、兴趣度不高等问题，缺乏鼓励与评价机制，导致学生参与度不高，教学组织显得松散；③教学评价手段和方法单一，不能满足对学生的整体评价，忽视过程评价以及成绩评定。

因此，本文拟采用实证研究方法，针对MOOC教学评价辨识关键影响因素，结合MOOC教学的特点，在遵循一定原则的基础上，创新性地设计教学评价体系，增强MOOC课程的教学效果，从而达到优化教学目标的目的。

二、实证研究设计

1.影响因素集建立

结合对在线教育企业、MOOC教师、高校专家的深度访谈以及文献查阅，引导专家们重点分析影响MOOC教学评价的因素以及特殊性等，进一步对MOOC教学评价影响因素进行识别和细分，所得因素如表1所示。

2.问卷设计与数据收集

本文主要采用问卷调查的方式进行数据收集。设计了MOOC教学评价调查问卷，调查问卷由三部分构成：第一部分是调查对象基本信息和对MOOC了解的问题，以单项选择题提问；第二部分是调查MOOC教学过程中存在的问题，以单项选择题和填空题相结合的方式提问；第三部分是MOOC教学评价影响因素的问题，运用五级Likert态度量表法，以单项选择题和开放式回答为主。本文问卷设计包括预调查和正式调查两个部分，预调查对象包括熟悉MOOC教学的研究学者（如陕西师范大学、西安理工大学等）和MOOC教学负责人。可在预调查阶段完善调查问卷，通过正式调查阶段，获得实证研究数据。

为尽可能地分析MOOC教学评价的主要影响因素，选取的被调查者来自于高校MOOC教学研究学者，如西安交通大学、北京师范大学、陕西师范大学、西安理工大学等。对来自高校的MOOC教学研究学者主要采用问答式的方式，对从事MOOC教学的教师采用发放问卷，现场作答的方式，及时回收进行整理。历时两个月，共发放问卷120份，回收105份，有效问卷97份，样本基本信息统计如表2所示。

三、MOOC教学评价的实证分析

1.信效度分析

在Likert 态度量表法中常用的信度检验方法为“Cronbachα”系数检验。α系数值介于0至1之间，基本上0.7-0.8之间是可以接受的范围。本研究中采用Cronbachα系数来分析信度，其系数值为0.815，认为问卷的可靠性较高，如表3所示。问卷的因子分析表明，公因子累积贡献率达到73.286%，如表4所示，显示问卷有较高的构思效度。

通过KMO样本测度和巴特莱特球体检验来考察数据是否适合做因子分析，结果表明KMO测度值为0.750，如表5所示，这说明问卷设计合理，所收集的数据适合做因子分析。

同时，看到巴特莱特球体检验中统计值的显著性概率是0.000，说明数据相关系数矩阵不是单位阵，具有相关性，也说明统计数据是适宜做因子分析的。

2.因子分析与命名

用最大变异法进行正交旋转处理，经过5次迭代后数据收敛，得到旋转后的因子载荷矩阵，如表6所示。

据此，本文一共提取MOOC教学评价影响因素的五个公因子，为了进一步明确这5个公因子的内涵，对其进行命名，具体分析如下：

“因子一”命名为教学目标因素，它在目标明确具体、符合课程标准要求、符合学生实际情况、可操作性4个因子上有较大载荷，反映了MOOC教学需要目标导向，在课程要求下满足学生的实际情况，并具有一定的可操作性。

“因子二”命名为教学策略因素，它在信息化教学程度、问题反馈性、突出重难点与兴趣点、评价时效性4个因子上有较大载荷，反映了MOOC教学中应注重教学策略，问题反馈性与评价时效性保障了MOOC教学的有序执行，信息化程度能够保证教学以及评价的时效性，突出重难点与兴趣点有利于调动学生积极性。

“因子三”命名为教学活动因素，它在师生互动性、参与方式多样化程度、问题导向性、教学环境和谐程度4个因子上有较大载荷，反映了师生互动性、参与方式等对教学活动有影响，MOOC教学应注重问题导向性、教学环境和谐程度。

“因子四”命名为教学效果因素，它在理论知识应用到实践、职业技能性、个性化程度3个因子上有较大载荷，反映了学生个性化程度有利于学生个人的发展，将理论知识应用到实践中，从而提高学生的职业技能。

“因子五”命名为教学特色因素，它在学生参与程度、学生主体性、综合能力的培养度3个因子上有较大载荷，反映了MOOC教学中应注重学生的主体作用，评价学生参与程度有利于学生综合素质的培养。

四、MOOC教学评价体系建立与实例分析

在竞争性原则、过程性原则、创造性原则、分类性原则、合作性原则、动态性原则、综合性原则、正激励原则和相对性原则下，从教学目标、教学策略、教学活动、教学效果和教学特色五方面建立MOOC教学评价体系。

为检验本文建立的MOOC教学评价体系的适用性，我们在西安理工大学进行了初步实施，将本评价体系引入到MOOC教学中，经过设计涵盖课程教学目标、教学策略、教学活动、教学效果和教学特色等方面的问卷，选择基于MOOC的企业管理情景教学中的51名信息管理与信息系统、会计学和工业工程等专业本科生为实例对象，在MOOC教学后对教学过程打分评价并填写满意度调查问卷，共计发放问卷51份，收回50份，有效回收率为98.04%，Cronbachα系数值为0.913，表明问卷有较高的信度，基于MOOC的一体化教学模式评分表如表7所示，其中n为样本数量，x为样本均值，s为样本方差。

（1）问卷反馈对第四题关于“您是否认为MOOC教学评价体系改善了师生互动性？”的回答中，有84%的学生选择非常同意，10%的学生选择较同意，而仅有6%的学生选择了一般，且对“您是否认为MOOC教学评价有助于提高主动性与积极性？”的选择，全部偏向于选择非常同意和较同意。由此可见该MOOC教学评价模式在一定程度上改善了师生互动性，提高了学生的主动性与积极性。

（2）MOOC教学评价评分表显示，在教学目标、教学策略、教学活动、教学效果和教学特色方面均有不同程度的提高，该模式在“综合能力的培养度”、“理论知识应用到实践”和“职业技能性”上评分均有提升，显示提升了学生的职业技能，使教学效果更加明显，提升了学生的综合能力。结果表明该评价体系能有效评价MOOC教学，显示出教学中提升的内容与不足之处。

五、结束语

本文针对MOOC教学评价手段和方法单一、不能满足对学生的整体评价以及成绩评定忽略过程评价和团体评价等问题，应用实证研究方法识别MOOC教学评价的关键影响因素，并构建MOOC教学评价体系，从教学目标、教学策略、教学活动、教学效果和教学特色方面进行评价，并在基于MOOC的企业管理情景教学评价中进行了实施。结果显示该评价模式有效提高了学生与教师的互动性，提升了学生的主动性与积极性，注重MOOC教学的过程性，使得MOOC教学达到了“教、学、做、评”统一的目标，提升了教学质量与效果，新评价体系达到了注重过程和结果的双重评价效果，有一定的推广应用价值，创新结果也可辐射到同类MOOC教学评价的建设与改革之中。

参考文献：

[1]彭湃.高等教育教学评价研究的进展与热点追踪——对AEHE期刊2011-2015年发文的分析[J].高等教育研究，2016（8）：60-65.

[2]Passig D， Tzuriel D， Eshel-Kedmi G. Improving childrens cognitive modifiability by dynamic assessment in 3D Immersive Virtual Reality environments[J].Computers & Education， 2016（95）： 296-308.

[3]Chaocheng He， Panhao Ma， Lusha Zhou， Jiang Wu Is. Participating in MOOC Forums Important for Students？ A Data-driven Study from the Perspective of the Supernetwork[J].Journal of Data and Information Science， 2016（2）：62-77.

[4]宣旸，辛红，王晓华.高校MOOC教学质量提升方法探究[J].中国教育信息化，2017（8）：52-54.

[5]董永刚，宋剑锋，李兴东，杨新月.基于OBE理念和学堂在线MOOC平台的新型教学模式探索——以高校制图类在线开放课程为例[J].中国教育信息化，2018（10）：51-54.

[6]赵语，贾银江，李晓明，赵峻颖，郑文斌.基MOOC的软件工程课程双语教学的研究与实践[J].中国教育信息化，2017（23）：77-79.

[7]蒋翀，费洪晓.基于MOOC的混合教学模式设计与应用研究[J].高等理科教育，2015，121（3）：120-125.

[8]王建刚，廖开明，魏君.基于MOOC的高校《现代教育技术》教师教育课程改革实践研究[J].中国教育信息化，2017（18）：31-35.

[9]Ballou R， Bowers D， Boyatzis R E， et al. Fellowship in Lifelong Learning： An Executive Development Program for Advanced Professionals.[J].Journal of Management Education， 1999， 23（4）：338-354.

（編辑：王晓明）