基于AHP慕课质量评价模型及应用

方申荣，韩建华，韦 伟

（安庆师范大学 教师教育学院，安徽 安庆246133）

一、引 言

自2012年，慕课在斯坦福大学、哈佛大学等国外名校掀起热潮。面对慕课浪潮来袭，国内专家呼吁：“中国大学应以在线教育发展为契机，重新思考自身的使命与责任。”近年来，国内高校在慕课建设方面取得了很大成就，主要表现：第一，出现了一批优秀的课程平台，如“中国大学MOOC”“学堂在线”“华文慕课”等。第二，建设了一大批慕课，当前在国内主要平台上线的慕课课程超过24 000门，根据高校个性化需求定制的SPOC有5 600多门。第三，学习者人数众多，特别是受2020年初新冠疫情影响，为实现“停课不停教、停课不停学”，有2.65亿在校生转向线上课程，用户需求得到充分释放[1]。面对巨大的在线学习需求，慕课建设呈现爆发式增长态势，但慕课课程同质化现象严重，水平参差不齐，如何帮助学习者选择慕课资源？如何进一步规范慕课建设？这都需要对慕课质量进行评价模型构建研究。

随着慕课的建设和发展，专家学者也积极关注慕课评价问题，形成了不同角度的评价体系，大体可归纳为五个主题：（1）基于慕课平台的评价研究，如①韩锡斌等[2]基于Edutools编制的网络教学平台评价标准，将MOOC平台和国内外典型网络教学平台进行对比分析；②吴锦辉[3]以国内三个平台为例，从平台基本情况、教学资源设计、课堂组织与互动、成绩评定和结业认证方式等方面进行了详细对比，并提出建议。（2）基于慕课教学改革的评价研究，如①赵馨蕊等[4]通过对三门MOOC在课程内容设计、在线讨论、课程概述、教学目标达成度、教学内容适切性、评价与反馈贴切度等方面进行问卷调查，将调查数据代入模糊综合评价模型进行MOOC教学质量评价；②张岩等[5]采用层次分析方法AHP，探讨在新的教学模式下教学资源、教学效果和社会效益、学习活动、系统技术和设计等方面对教学质量的重要影响。（3）基于学习者角度的慕课评价研究，如①吴守蓉等[6]基于学习者的视角从选课动机、学习行为、满意度等方面，对MOOC教学效果进行评价并提出改进策略；②高建等[7]从评价主体、评价依据、考核方式、评价结果、成果认证等方面以学习者身份对五大平台学习者学习评价体系进行比较分析。（4）基于在线课程评价规范标准的慕课研究，如①王刚等[8]通过调研以及使用层次分析法建立在线课程资源评价指标体系，利用.NET技术在软件工程方法的指导下建立基于Web在线课程资源评价系统；②黄璐等[9]从课程、互联网、开发三个维度理论，遴选出在线课程内容质量评价的关键指标，构建出包括专业度、稀缺度和规范度3个一级指标，适切性、一致性、科学性等18个二级指标在内的在线课程内容质量评价体系。（5）基于MOOC质量评价的研究，如①邱均平等[10]通过构建包含慕课教学队伍、教学内容、教学效果、教学资源以及教学技术5个一级指标和14个二级指标的体系，并使用层次分析法软件计算指标体系的权重，创建慕课质量模糊评价模型；②童小素等[11]以《网络课程评价规范（CELTS-22）》为蓝本，建立了课程内容、教学设计、学习支持等三个一级指标和26个二级指标的MOOC质量评价指标体系；③姚凯等[12]以“MOOC学院”社区论坛为数据源，使用文本挖掘技术获取部分课程评价指标，同时结合已有课程评价标准，建立了包括课程内容、教学设计、界面设计、媒体技术、课程管理等5个一类指标和25个二类指标的MOOC评价指标体系，并运用基于Vague集的相似度量法建立了MOOC评价模型。从上述文献分析中可以看出，已有不少学者对慕课进行了评价研究，但研究关注的重点和角度各不相同，评价框架也很不一致，且截止目前尚未形成比较权威且系统的慕课质量评价模型。本文以已有慕课评价文献研究为基础，结合大数据时代慕课的基本特征，邀请12位教育技术学专家对指标进行确定和评判，并采用层次分析法（AHP）构建慕课质量评价模型，以期对慕课高质量的建设提供指导与参考。

二、慕课质量评价模型构建

（一）评价模型设计

本研究依据慕课的大规模、开放性、网络在线等特征，采用文献研究和参考《网络课程评价规范（CELTS-22）》[13]，并邀请江苏师范大学、安徽师范大学、安庆师范大学的12位教育技术学专家对指标进行评判。专家的权威程度[14]通过参与专家自评的方式进行调查，统计结果显示，权威程度系数（CR）有5位专家0.8≤

表1 慕课质量评价指标模型

续表1

（二）指标权重计算

层次分析法（Analytic Hierarchy Process，AHP）是将与决策总是有关的元素分解成目标、准则、方案等层次，再进行定性和定量分析的决策方法。Yaahp是一款层次分析法（AHP）软件，为使用层次分析法的决策过程提供模型构造、录入判断矩阵、计算和分析等方面的帮助。

1.建立层次结构模型。在Yaahp软件中绘制如图1所示层次结构模型。

图1 慕课质量评价模型层次结构模型

2.构造两两比较判断矩阵。依据12位专家对一级指标和二级指标相对重要性的综合排名，在Yaahp软件的判断矩阵中输入数据标度，具体赋值如下：

3.计算权重。在Yaahp软件中完成判断矩阵创建后，点击“计算结果”标签，得到所有指标的权重和一致性检测结果，再点击“显示详细数据”标签，就可以得出各级指标权重的数据，具体见表2所示。当一致性检测结果<0.1时，表明构建的指标矩阵有效。

表2 各级指标判断矩阵的计算结果

4.慕课质量评价模型的确立。将Yaahp软件分析的二级指标权重乘以其上一级指标的权重，即可得到各个指标在整个指标体系中的实际权重。

三、评价模型应用

本研究在国内不同MOOC平台中选取“Python语言程序设计”“心理学概论”和“图像处理与平面设计”三门课程作为慕课质量评价的对象，邀请了30名教育技术学专业同学运用本评价模型开展实践，按5、4、3、2、1五级制进行评判。统计结果见表3。

表3 三门课程各项指标平均分

从表3中数据分析可以发现，这三门课程在思想性科学性先进性、资源拓展、讲课方式方法、内容交互性、交流与协作、课程管理团队、学习提醒服务、服务社会共享等8个二级指标上的平均分存在有小于4.00（即“良好”等级）的情况。

思想性科学性先进性指标上“图像处理与平面设计”课程得分只有2.70，原因是该课程教学内容略显陈旧，软件版本和教材还是Photoshop CS4（2008年版），而当前PS软件已历经CS5、CS6、CC、CC2014至CC2020等9个版本的更新换代，优化和新增了很多新功能和应用。

资源拓展指标上“心理学概论”课程得分最低，只有3.17分，其次是“Python语言程序设计”课程得分为3.4，原因是“心理学概论”没有提供与课程内容有关的外部资源，“Python语言程序设计”课程仅提供了补充学习网站的链接网址，而“图像处理与平面设计”课程不仅给出了课程的案例素材资源，还给出了案例演示动画资源，为学习者提供了丰富的拓展资源。

讲课方式方法指标上“图像处理与平面设计”课程得分只有3.73，原因是该课程大多以案例中讲解工具应用为主，忽略了解决实际问题时如何选择工具的说明，教学策略多以灌输式的“是什么”，而忽略启发式的“为什么”。

内容交互性指标上“Python语言程序设计”课程得分为3.87，原因是该课程主要以教师的讲授为主，引发与学习者的交互机会较少。

交流与协作指标上“心理学概论”课程得分3.4，原因是该课程没有设计需要学生讨论或协作解决的问题及相应的要求，讨论主题不够集中，缺乏必要的引导和指导。

课程管理团队指标上“心理学概论”课程得分3.07，原因是该课程团队只有一位主讲教师，没有形成合理的团队管理，在后期运行维护课程中面对众多学习者时，课程管理力量不足。

学习提醒服务指标上“图像处理与平面设计”课程得分3.57，原因是该课程平台暂仅能通过课程平台内的公告通知，不支持微信提醒服务，导致学习提醒不能及时有效传达。

服务社会共享指标上“图像处理与平面设计”课程得分3.13，原因是该课程应用推广不够，且网络同类型课程较多，加之新颖性、先进性不足，未能在社会应用激烈竞争中形成较大影响。

除上述8个二级指标外，其他各项评价指标的平均分都超过了4.00（即良好），表明三门课程其他指标项建设均较规范，满足了学习者的美好学习需求。

笔者再将每一个二级指标的平均分乘以自身的权重，得到一级指标的得分，将一级指标的得分乘以自身的权重求得课程的总分，Python语言程序设计（4.820 3）、心理学概论（4.598 7）两门课程的总分均在4.5分（即优秀）以上，图像处理与平面设计课程（4.184 6）总分在4.0分（即良好）以上，表明三门课程建设质量总体评价优良。截至2020年11月23日，网络数据显示，“Python语言程序设计”是国家级精品课，共已开课13期，学习受众累计2 846 848人，学员对课程评分为4.8；“心理学概论”是国家级精品课，共已开课4期，学习受众累计576 689人；“图像处理与平面设计”是省级精品课，共已开课5期，学习受众累计6 402人。从网络数据中可以发现，“Python语言程序设计”课程的学员评价与本模型评价结果一致，而“心理学概论”和“图像处理与平面设计”课程暂无网络评价分数，但从学习人数也基本反映出该两门慕课的建设质量，这也从侧面反映出与本模型评价结果的吻合性。

四、结 语

本研究采用文献调研和专家评判，构建了包含4个一级指标、29个二级指标的慕课质量评价模型，通过层次分析法确定了各项指标的权重，并通过国内三个慕课平台上各选取一门课程进行评价实践，从而检验该模型的实用性、可操作性和有效性。该模型的建立有助于慕课平台技术的改进，有助于教师的课程设计与开发，有助于慕课学习者的选课与学习，有助于慕课的管理与服务等。本研究获得的启发：一是内容资源建设要具有高阶性、创新性、挑战度，还要体现时代性和拓展性；二是教学方法要注重启发式、探究式、协作式；三是平台应加强学习者行为分析，通过大数据、可视化等方式呈现。本研究也存在以下局限：评价模型的信度和效度未做检验，评价指标的确立还可以进一步细化和完善。在未来，慕课质量的评价对象将更加多元，评价元素将更加多维，评价结果将更加精准。