基于AHP模糊综合评价法的高职MOOC建设评价研究

李志长+姚亚琳

[摘 要]尽管国内外研究MOOC的数量呈递增的趋势，但是其主要集中在介绍、应对、开发等研究或讨论上，较少的关注其实施效果，评价其开发效用。由于高职和本科的立足点和培养重点不同，因此，本文在借鉴本科院校MOOC开发经验的同时，突出建立一个面向高职的系统、科学的评价指标体系。

[关键词]MOOC；评价；高职

doi：10.3969/j.issn.1673 - 0194.2017.06.161

[中图分类号]G642.3 [文献标识码]A [文章编号]1673-0194（2017）06-0-02

1 MOOC建设的研究背景

大规模在线开放课程（Massive Open Online Course，M00C）为学习者提供了丰富的教学资源。在线开放课程的受众学生不仅多、且范围广，所有人都可以在线进行学习。但在这种特殊的环境下，伴随着MOOC的快速发展，许多开发建设的MOOC出现了不少问题，引起关注的包括但不限于教学质量、学员流失、考核评价等诸多问题，制约着MOOC的进一步发展。在此背景下，如何控制和保证MOOC的建设质量已成为MOOC研究者关注的一项重要课题。

2 高职MOOC需求特征分析

高职的课程体系中最重要的组成部分是职业技能课，这些课程是针对职业不同级别所需技能和知识而设计的，注重知识的针对性和实用性，强调职业能力的适用性和复合性，着重职业发展的层次性和递进性。另外，高职的入学门槛相对较低，学生素质参差不齐，在网络学习中学习能力、自我管理、诚信等方面的表现较差。因此，高职的MOOC建设在项目设计、内容组织、教学服务、用户体验等方面有其独特的需求。首先，技能碎片化，即将依赖性强、联系紧密、环节较多的技能项目划分成一个个短小的技能点；其次，目标多样化、层次化，国家对职业技能（资格）本就划分了几个等级，体现了不同层次的要求，加上学生素质的参差不齐，在MOOC的建设中，须考虑到这些非均衡性的因素，以满足不同层次的需求；最后，MOOC平台的用户体验以及教学团队在学生学习过程中需提供自我管理、学习黏度、技术接受与认可等方面足够的、有针对性的帮助或协调。

3 MOOC建设评价指标的构建

借鉴国内外网络课程的评价指标体系和MOOC开发实践，构建出开发团队、教学内容、拓展资源和使用平台4个一级指标，教学服务、学习分析、教学设计、考核设计、课程组织等13个二级指标和16个三级指标。

3.1 开发团队

开发团队包括成员数量与分工、教学服务、学习分析3个指标。成员数量与分工：团队成员结构合理性、分工合作情况，每门课程应不少于3人。教学服务：又包括线下活动、课程讨论和关怀性，分别是指通过户外课堂、学习交流、举办沙龙等活动进行线下有效交流和共同分享的频率或次数，线上线下关键时刻提供引导与指导，教师响应速度、个性化服务、关爱性、辅助服务等。学习分析：对课程的学习者需提供其表现报告、提供课程活动数据、能对学习数据进行分析并将其可视化、提供建议与反馈，帮助其改进表现。

3.2 教学内容

教学内容包括教学设计、考核设计、课程组织3个指标。教学设计：主要有多样化目标设计、教学方法和风格设计，即考虑受众的多样性，设计多层次的教学目标，让学生根据自身情况调整学习目标和课堂参与程度，符合高职生学生特点，能精准有效的表达教学内容，详略得当，语言感染力、仪态等表现出面对面授课体验，有肢体语言表达等。考核设计：主要涉及考核形式、评分标准及申诉反馈机制，考核形式要符合学科、课程特点，在合乎逻辑且连贯下灵活开展，评分标准应详细、清晰，能公平、有效的评价学生，申诉机制提供考核结果的申诉、解释等沟通機制。

3.3 拓展资源

拓展资源包括索引组织、可访问性、有用性。索引组织是否易用、分类、关联性和指示标志是否明确且清晰；可访问性指资源链接是否可无障碍访问且完整有效；有用性指提供的参考教学视频真相与信息是否方便学生自主扩充知识面。

3.4 使用平台

使用平台从用户体验的角度设计，包括学习特征收集反馈、进度跟踪、界面设计、响应性。学习特征收集反馈：平台能否有效收集学生的学习特征，以便提供学习数据和假冒筛查。进度跟踪：平台是否具有学习进度的跟踪记录、断点标注、进度提醒等体制或机制。界面设计：用户界面是否友好、易接受和操作方便，帮助信息是否清晰且易用、有用，是否有使用指南。响应性：网站链接服务请求的响应速度。

4 MOOC建设模糊综合评价

4.1 评价集合

关于评价赋值方法有多种，针对文中指标体系中大多指标不容易量化，或者量化时缺少对照参数而不能给出精确数值，导致不同层次甚至同层次的评价指标不易判断其重要程度而很难给出相对权重，因此结合三角模糊数和FAHP的优势，本文采用了基于三角模糊数的FAHP方法，设计了符合日常一般化表达的评价语言变量，从而简化指标权重的判断。如图1所示的评价语言变量与其对应的三角模糊数。

4.2 模糊综合评价步骤

步骤1对指标Xi的下级指标Xim分别进行单因素判断，得到Xi评价结果三角模糊数。

假设指标Xi的下级指标集合为{Xi1 ， Xi2，…，Xim}，因为有n个专家参与判断，同一问题不同答案采用多数原则，相近则取平均值。专家k对这m个指标评价结果其实是达成共识后的专家团队判断结果，表示为：

Pik={Pi1k， Pi2k，…， Pimk}， k=1，2，…，n。

其中，Pimk相应的语言含义与对应的三角模糊数如表1中评价语言变量与对应的三角模糊数。

步骤2利用FAHP确定二级指标Xim对被评价对象的重要程度，即Xi的一级指标权重。

（1）将指标两两进行重要程度比较，构造Xim的模糊互补优先关系矩阵F=（fij）m×m。

（2）进行一致性判断。若满足一致性，转到（3），若不满足，则需要将其改造为模糊一致矩阵。在改造过程中，应尽量保留原始判断矩阵信息，调整幅度不宜过大。

（3）将矩阵F归一化处理，得到特征向量Wik，即Xim的层次单排序权重。

Wik={Wi1k，Wi2k，…，Wimk}，k=1，2，…，n。其中，Wik为用户k对Xi所有二级指标进行模糊评价后的权重。

步骤3计算指标Xi的评价结果三角模糊数。

对Xi评价结果矩阵和权重矩阵进行模糊运算得到结果为：

其中，符号“⊕”和“x”分别表示模糊数运算的加法和乘法。

步骤4分别计算所有一级指标的评价结果三角模糊数。

重复步骤1到步骤3，分别计算{X1，X2，…，Xi}的评价结果的三角模糊数，结果为Ak={A1k，A2k，…，Aik} 。其中，Aik为用户k对指标Xi的评价结果三角模糊数。

步骤5利用步骤2的方法确定一级指标Xi权重。

步骤6将一级指标评价结果组成新的矩阵和一级指标权重矩阵进行模糊运算，得出综合评价结果。综合评价结果三角模糊：

经过以上6个步骤，得到的对某一评价对象的综合评价结果B也是一个三角模糊数。

4.3 实证研究

首先选择了10名校内外专家组成评价专家小组，采用德尔菲法对同级别下评价指标的重要性进行两两比较，经过3轮背靠背的对比排序分析，对照表1的评价变量构建模糊判断矩阵，并利用模糊判断矩阵一致性检验和改进方法对一致性检验和改造。然后，选择40名教师及学生组成的评价小组，以问卷调查的形式对湖南信息职业技术学院一期开发的MOOC课程“市场营销”进行二级和三级指标单因素评价，被调查者只回答问卷中与体验相关或相近的问题，同一问题不同答案的采用多数原则，相近则取平均值，得到评价结果如表2所示。

为了评价直观，最后对这些评价结果三角模糊数去模糊值后进行排序，不考虑专家偏好，直接用取平均值，结果为0.384 3，化成百分制为38.4分。评价结果表明：该门课程的MOOC建设总体评价为“较差”或“中等偏下”，未来还有较大的提升空间。从表2的计算情况来看，四个一级指标拓展资源和使用平台得分较低，开发团队和教学内容一般，说明MOOC建设实施过程中团队在技术支持和服务意识方面还好，组织基本到位，教学内容基本满足高职生够用的原则，拓展資源是薄弱环节，缺少这一方面的资源组织与运用，最后是使用平台，因为是租用他人平台，缺少个性化和针对性设计导致用户体验较差。

5 结 语

针对高职建立MOOC建设评价指标体系，运用模糊综合评价法进行量化评价，便于专家和被调查者对指标性能、权重和问卷答案进行判断，评价过程可操作性强，评价结果相对客观、准确。可作为高职院校在进行MOOC课程建设、验收等方面的参考依据，也是提高MOOC建设以及后续教学质量的重要手段之一。但由于MOOC的学习平台、学习资源存在差异，因此本文构建的指标体系是否具有普遍性有待进一步探究，同时模糊评价便于判断，但也造成一定的信息损失，指标体系需要结合实际应用继续进行完善。

主要参考文献

[1]姜蔺，韩锡斌，程建钢.MOOCs学习者特征及学习效果分析研究[J].中国电化教育，2013（11）.

[2]赵英，杨阁，罗萱.大学生对MOOC接受与使用行为的调查研究[J].中国远程教育，2015（8）.

[3]李志长.制造企业信息系统评价指标体系研究[D].长沙：湖南大学，2011.

[4]李青，刘娜.MOOC质量保证体系研究[J].开放教育研究，2015（5）.

[5]李加军，张楚珊，陈春丽.基于模糊综合评价法的MOOC教学质量评价研究[J].当代继续教育，2016（2）.