基于多元智能理论的MOOC教学绩效评价研究

刘 伟 毛才盛 王山慧

（1. 浙江大学宁波理工学院， 浙江 宁波 315100； 2. 浙江大学宁波质量发展研究院， 浙江 宁波 315100）

1 问题的提出

开展课程教学绩效评价是保障和提升教学体系质量的主要方式和重要抓手， 通过开展教学绩效评价，可以精准识别课程教学的优势和短板、持续优化课程教学的流程和方法、 充分挖掘学生学习的兴趣点和关注点，进而实现学生各层次、多类型的智能和技能水平全面提升的根本目标。 近年来，大规模网络开放课程（Massive Open Online Course，简称MOOC）依托其所具备的大规模、在线、开放和共享等创新特色， 逐渐成为一种热门的新型课程教学模式；MOOC注重个性化和情景化的自主学习，注重学生知识技能及态度情感的培养， 教学主要通过先导阅读、微视频、问题讨论和实时测试等多种形式呈现，提供个性化、共享式的教学服务。

目前MOOC 教学绩效评价也存在着诸多问题，如绩效评价缺乏有效理论支撑、 评价标准不清晰、指标偏重技术和定性、权重配置不合理等，这些都在一定程度上影响或阻碍了MOOC 的发展。多元智能理论认为，智能是人在特定情景中解决问题并有所创造的能力，每种类型的智能都具有独特的丰富内涵、鲜明的理论特色及实用性，推动了多元智能理论与教学应用领域的全面融合，主要包括基于多元智能模型的教学理念、模式、手段、环境和内容等的全方位创新并最终形成共生发展的生态系统。 本文基于多元智能理论内涵和应用特征进行分析，运用网络分析法ANP 开展MOOC 教学绩效评价体系创新研究， 系统设计MOOC 教学绩效评价指标体系，合理选择指标权重设置方法，科学构建绩效评价模型，进一步推动创新成果的实践应用。

2 研究基础

2.1 多元智能理论与教学的应用融合

传统智力理论认为语言能力和数理逻辑能力是智力的核心，多元智能理论则认为智能是人在特定情景中解决问题并有所创造的能力，每个人都拥有九种主要智能，分别为语言智能、逻辑数学智能、空间智能、肢体运作智能、音乐智能、人际智能、内省智能、自然探索智能和存在智能。 多元智能理论的内涵和观点立足于学生智能的多样性和差异性特征， 以发掘和提升学生多元智能为根本目标，为各种类型的教学应用实践提供了理论支撑。

它有助于形成正确的评价观。 基于多元智能理论的教学应用实践更加关注学生智力发展的广泛性和多样性， 并着力培养和发展学生各方面的能力，进一步形成科学有效的智力评价观点。 还有助于形成正确的教学观。 因为它坚持每个学生都不同程度地拥有相对独立的智能，而每种智能都有其独特的认知发展过程，教学方法和手段应该根据教学对象和教学内容而灵活多样。 也有助于形成正确的发展观。 它认为每个学生都有闪光点和可取之处，教师应从多方面去了解学生的特长，并相应地采取有效方法，使其特长得到充分的发挥和发展。

2.2 MOOC 评价体系存在的问题分析

一是评价体系普遍缺乏理论支撑。 目前大部分的MOOC 教学绩效评价体系构建缺乏科学有效的理论支撑，评价目标仍然停留在强化教师教学责任心、提升学生教学满意度、改进课程教学方法等宏观层面，目标分散且难以形成合力。

二是指标及权重设计普遍缺乏合理性。 目前的指标设计普遍存在内容聚合度不够、过程性和定性指标偏多、定量指标测度很难把握等问题。 另外在权重设计上， 主要采用平均权重或比例权重方式，无法从根本上解决指标指向重叠性问题，造成评价结果不够准确。

三是评价应用普遍缺乏导向性。 从评价机制来看，仍然存在规范性不够、可操作性不强等问题，评价数据采集随意性较为明显， 数据审核流程不严谨，导致评价结果的公信力较低，而在评价结果应用上目前只注重激励和惩戒，普遍缺乏导向性。

2.3 MOOC 评价的创新应用成果

2.3.1 MOOC 教学评价的特征分析及指标研究。 近年来，在MOOC 教学绩效评价或质量评价领域已经产生了一系列研究成果。在MOOC 教学评价特征分析层面，葛岩等（2015）构建了一个学习动机保持质量分析结构模型，以EDX、学堂在线和中国大学MOOC 等三个“慕课”平台的同名课程为比较研究对象， 开展学习动机保持质量的综合评价，并从知识体系、运行环境、学习路径与结业管理等方面提出培养和激发“慕课”学习动机的方法和路径[1]；曹阳等（2017）在深入分析混合式教学模式实施效能基础上，通过问卷调查与案例分析，全面分析了混合式教学模式在MOOC 教学平台中的实施效能，为MOOC 教学评价系统的设计构建提供了新思路[2]；刘萍等（2018）结合深圳大学继续教育学院建设MOOC 体系的实践经验，探索性构建了针对成人学历教育的MOOC 教学评价机制，并对机制的合理性和有效性提出了具有针对性的验证措施[3]。 在MOOC 教学评价指标研究方面，邱均平等（2015）根据在线教育质量评价的目标方向，设计构建了以教学队伍、 教学内容和教学资源为评价内容指向的MOOC 教学质量评价指标体系[4]；李五洲等（2016）从适切性分析视角入手， 探讨了MOOC 教学在容量、交互以及评价等方面对学生的适切程度，并在此基础上，引入模糊综合评价方法设计MOOC 教学评价指标[5]；童小素等（2017）则遵循《网络课程评价规范（CELTS-22.1）》标准，全面结合MOOC 平台的运营特征，通过对课程内容、模式设计、支撑体系等平台要素的分析和挖掘， 构建包含26 个二级指标的MOOC 教学评价指标体系[6]；曾宇等（2018）将用户体验因素纳入MOOC 平台运营绩效评价标准，并通过用户打分统计的方式确定指标的权重[7]。

2.3.2 基于多元智能的MOOC 评价体系创新研究。在基于多元智能理论的MOOC 评价体系创新领域， 很多学者已经展开了探索性工作， 李加军等（2016）以多元智能模型分析为基础，以多元化、情境化、互动化和多样化为评价标准，引入课堂观察、问卷、访谈、作业分析以及成长记录等要素对MOOC评价方法进行创新[8]。 随着研究深入，目前一系列创新观点和成果不断涌现，毛娟翠（2019）以思想政治类MOOC 课程为例，提出基于多元智能的评价设计应该围绕知识目标、 能力目标和价值观目标等三个维度，实现评价内容的科学性和全面性[9]；王东（2019）则针对目前大学英语课程的发展现状， 从多元智能理论分析角度， 提出将形成性评价和终结性评价两种方法结合应用的观点，其中形成性评价主要关注学生的学习过程和学习效果，终结性评价主要对学生的语言技能和交际能力进行测评[10]。

3 MOOC 教学绩效评价逻辑架构

3.1 评价系统的运行机理

基于多元智能的MOOC 教学绩效评价系统由推进和反馈两个环节组合形成一个闭环系统，如图1 所示， 评价推进路径以MOOC 课程为起点，从MOOC 课程教学系统的组成要素构成分析出发，挖掘其对教学绩效产生影响或作用的因素， 结合MOOC 教学绩效评价的基本要求和标准，以提升受众的多元智能为评价的根本目标，确定评价指标体系设计的原则和逻辑架构；而评价反馈路径从课程受众出发，基于对多元智能内核、呈现、激发三个发展层次特征分析， 结合指标设计的原则和逻辑，选择、提炼和优化评价指标，以指标的测算和数据统计为驱动，推进教学绩效评价体系的运行，最后对教学绩效评价的过程和结果中产生的问题进行总结和反馈，根据反馈信息进一步优化MOOC 平台的教学流程和教学方法。

图1 基于多元智能的MOOC 教学绩效评价运行机理

3.2 评价指标的设计准则

MOOC 教学绩效评价以推进课程受众多元智能提升为目标，从智能的内涵、呈现和激发三个层面界定和规范指标选择方向，并以内容设计、交互方式、流程组织、平台功能等作为设计准则的逻辑构成要素，如图2 所示。

图2 评价指标设计准则的逻辑构成要素

3.2.1 技术屏蔽性。 指标设计要尽量屏蔽MOOC 平台技术水平的影响，指标体系是基于某一特定网络环境和运营能力的MOOC 平台，对平台上各种类别的课程教学绩效水平评价体系，基于不同平台的课程样本的整体均值的差异在本研究中不应该影响对课程教学绩效的评价，因此指标的选择和设计应该具有技术屏蔽性，如“视频流畅程度”、“课程搜索的反馈速度” 等指标不适合被设计和选择。 同时在平台功能的评价上尽量选择或设计能够避免或淡化此类由于平台技术而导致差异的指标，如“自动评分功能”、“界面自动操作功能”等，以使评价指标体系具备推广应用的普适价值。

3.2.2 学科普适性。 指标设计要准确判断各学科课程教学的共性和基础规律，从中提炼出能普遍适用于各学科课程教学标准、效率分析和评价的定向因素，并在此基础上，按照指标设计规范将这些因素转化为评价指标。

3.2.3 评测适度性。 基于对MOOC 教学绩效评价的内在机理和运营特征的分析，教学绩效评价指标的选择和设计方向侧重于评测的适度性，因此适度性指标应该占主要位置，从而满足教学绩效推动智能的均衡、和谐、适度发展的内在根本要求。

3.3 评价方法的选择

本文采用网络层次分析法 （Analytic Network Process，简称ANP）来确定指标权重，ANP 将系统内各指标元素的关系用类似网络结构表示，网络层中的元素可能相互影响、相互支配，能更准确地描述出客观事物之间的联系，结合对MOOC 教学评价指标的特征分析，引入ANP 方法可以有效解决指标内容重叠和交叉等问题。

4 MOOC 教学绩效评价模型构建

4.1 指标体系设计

根据MOOC 平台的运营特征和教学绩效评价指标的设计准则，同时兼顾评价的创新性和普适性，本文主要基于五种智能类型指向设计评价指标。

4.1.1 表达能力（Presentation Ability，简称PA），是指一个人把自己的思想、情感、想法和意图等，用语言、文字、图形、表情和动作等清晰明确地表达出来的能力，是语言智能的核心体现。 表达能力主要采用观点类习题占比PA1 和响应请求平均时长PA2等2 个二级指标进行评价，初步判断PA1 和PA2 之间不存在相互依赖和影响关系。

4.1.2 逻辑能力（Logical Ability，简称LA），是指采用科学的逻辑方法，准确而有条理地表达自己思维过程的能力，是逻辑数学智能的核心体现。 逻辑能力主要采用作业提交及时率LA1、重点难点提炼能力LA2 和学习平均进度LA3 等3 个二级指标进行评价，根据LA1、LA2、LA3 的指标内容定位，初步判断LA1、LA2 和LA3 之间存在着相互依赖和影响关系。

4.1.3 关系能力（Relationship Ability，简称RA），是指具备善于与他人交往、处理各类复杂的人际关系能力，是人际关系智能的核心体现。 关系能力主要采用需求响应覆盖率RA1 和论坛交互密度RA2等2 个二级指标进行评价， 根据RA1 和RA2 的指标内容定位，初步判断两者之间存在着较弱的相互依赖和影响关系。

4.1.4 内省能力（Introspective Ability，简称IA），是指在对于自己主观经验及其变化的观察， 对自己内心经验的活动与反思等方面具备的能力， 是内省智能的核心体现[11]。主要采用推荐扩散度IA1 和主动提问频次IA2 等2 个二级指标进行评价， 初步判断IA1 和IA2 之间不存在相互依赖和影响关系。

4.1.5 探索能力（Explore Ability， 简称EA），是指对周围的事物产生好奇心， 并想要去探寻未知或者已知事物的能力， 是自然探索智能的核心体现[12]。探索能力主要采用资源浏览深度EA1、资源浏览广度EA2、 学习持续度EA3 等3 个二级指标进行评价，根据EA1、EA2、EA3 的指标内容定位， 初步判断EA1、EA2 和EA3 之间存在着相互依赖和影响关系。

基于以上设计思路和规范，本文构建的MOOC教学绩效评价指标体系包括5 个一级指标，12 个二级指标，指标的内容定位及测评规则如表4.1 所示：

表1 MOOC 教学绩效评价指标体系

4.2 评价模型构建

4.2.1 指标关联关系分析。 依据指标内容定位，在对指标之间的反馈和依赖关系进行初步分析的基础上， 设计评价指标关联关系调查问卷，对MOOC 教学绩效评价指标之间的相互影响关系进行分析和确定。 本研究面向教师、学生和专家开展问卷调查，有效样本数约200 个，调查表及调查结果如表2 所示。

表2 MOOC 教学绩效评价指标关联关系调查表

4.2.2 ANP 结构关系确立。 MOOC 教学绩效评价指标关联关系调查表的汇总数据分析结果显示：表达能力、逻辑能力、关系能力、内省能力、探索能力指标因素组之间均存在相互影响或依赖关系，而逻辑能力和探索能力指标因素组内部各因素之间也存在了相互反馈和依存关系； 根据调查结果，可确立MOOC 教学绩效评价ANP 结构关系， 如图3所示。

图3 MOOC 教学绩效评价ANP 结构关系图

4.2.3 判断矩阵分析

（1）一级指标判断矩阵构建。 一级指标判断矩阵表示相对于MOOC 教学绩效，五类能力因素之间的相对重要性的比较，是进行一级指标优势度判断的依据。基于MOOC 教学绩效评价指标关联关系调查表2 的结果，将作为影响因素的所有一级指标对应的二级指标中标有“√”的进行计数，统计被影响因素中每个一级指标被影响的总计数，得到一级指标关联程度表；然后根据一级指标关联程度表的计数结果，遵循相应计数大于0 的建立判断矩阵的标准，构建一级指标的判断矩阵。

（2）二级指标判断矩阵构建。 基于MOOC 教学绩效评价指标关联关系调查表2 的结果，将作为影响因素的所有二级指标对应的二级指标中标有“√”的进行计数，统计被影响因素中每个二级指标被影响的总计数，得到二级指标关联程度表；然后根据二级指标关联程度表中的计数结果，遵循相应计数大于1 的建立判断矩阵的标准，构建二级指标的判断矩阵，以PA 为例，如表3 所示。

表3 二级指标判断矩阵（以PA 为例）

4.2.4 指标权重确定

（1）一级指标重要度调查。 根据一级指标判断矩阵， 设计用于获取一级指标重要度的专家调查表，本项目征集了约30 名专家开展调查，最终的重要度判断结果经过加权平均后，将最终结果统一输入SuperDecision 软件中进行权重测算。

（2）二级指标重要度调查。 根据二级指标判断矩阵， 设计用于获取二级指标重要度的专家调查表， 然后通过约30 名专家对二级指标重要度开展调查，最终的二级指标重要度判断结果经过加权平均后，将最终结果统一输入SuperDecision 软件中进行权重测算。

（3）指标权重测算。 在SuperDecision 软件中构建指标关联关系结构图，如图4 所示。

在此基础上，继续计算未加权超级矩阵和加权超级矩阵并最终得到评价指标的全局权重， 如图5所示。

图4 指标关联关系结构图

图5 指标的全局权重测算

5 结论

MOOC 教学绩效评价指标中大部分属于适度性指标，后期的研究和实践应进一步创新适度性指标的原始数据处理方法，确定适度性指标的评价标准，提升教学绩效评价结果的准确度和稳定性。 而结合对慕课平台（如宁波慕课平台NBOOC）的实际运营状况分析，采集慕课平台实践运营数据开展教学绩效评价的实证分析，根据评价结果进一步修订和优化评价指标及其权重分配方案。 另外，可以依托项目研究成果，形成评价逻辑框架、评价操作流程和调查问卷标准范本，并进一步完善教学绩效评价工作机制，制定评价工作推动计划，加快研究成果的推广和应用。