基于区间层次分析法和专家群决策的MOOC适切性评价

岳进 郭辉

[摘 要] 针对目前采用AHP对MOOC作适切性评价时所忽视的评价指标权重不确定性问题，通过以区间标度代替点值的方法，设计多层次的MOOC适切性评价指标体系，提出MOOC适切性评价等级和区间数等级，利用区间层次分析法确定MOOC适切性评价指标的区间数权重，结合区间数理论与群决策方法构建基于区间层次分析法和专家群决策的MOOC适切性评价模型。最后结合评价实例对某课程的适切性进行评价，并验证了该综合评价模型的合理性和有效性。

[关键词] MOOC； 区间层次分析法； 评价； 专家群决策

[中图分类号] G434 [文献标志码] A

[作者简介] 岳進（1976—），女，河南临颍人。副教授，硕士，主要从事英语教学法研究。E-mail：2368959000@qq.com。

一、问题的提出

大力发展具有我军特色的军事职业教育是新时代构建三位一体新型军事人才培养体系的关键，全面推动基于网络在线为主的多样化方式的学习是军事职业教育改革的重中之重。早在2015年5月于青岛召开的国际教育信息化大会上，便举行了以“有关包容性和适切性的终身学习”为主题的部长级圆桌会议[1]。由于MOOC可以为官兵提供优质、便捷、高效的在线教育资源，因而目前全军院校正如火如荼地开展各专业学科的MOOC建设。当下日益常态化的中外联演联训、南海战巡、东海警巡、绕岛巡航，对航空英语提出了更高的要求，迫切需要开展“军事航空英语”MOOC的开发建设，以切实提高航空兵部队飞行员的英语水平。而为保证MOOC建设的质量效果，适切性评价的问题则亟须更深入的探究。

MOOC的适切性问题实际上是关于MOOC的评价问题，目前国内学者对MOOC的评价研究主要分为三类，即MOOC自身的质量评价、MOOC学习过程及学习结果的评价和MOOC满意度的评价。部分学者对MOOC的适应性和可用性进行了研究，其中较有代表性的是刊发于2015 年4月《教育发展研究》的《MOOC本土化的适切性研究》和《教学对接MOOC的适切性策略》两篇论文，针对MOOC的适切性研究进行了有益的探索。国外学者也对MOOC的适切性开展了广泛而深入的研究，不仅对MOOC自身适切性问题进行了研究，并利用适切性的原则和结论进行教学设计开发。适切性是开展教学活动的基本原则和提高教学效果的重要前提。MOOC作为一种新型的教学形式或教学资源，同样需要遵循适切性原则、开展适切性评价研究。

国内学者对于MOOC适切性或质量评价问题的研究方面，确定评价指标权重大多采用AHP、熵权法或改进的AHP来进行判断。如邱均平等[2]采用层次分析法和模糊综合评价法对MOOC质量的评价问题进行研究，姚凯等[3]基于 Vague集的相似度量方法建立 MOOC 评价模型，童小素等[4]依据《网络课程评价规范（CELTS-22）》建立MOOC质量评价指标体系，李五洲等[5]基于模糊综合评价法对MOOC的适切性评价问题进行探索。上述学者的评价模型中，都是通过刚性的点值来对不同权重和评价等级进行定性，这样导致的结果就是无法兼顾不同评价专家知识结构、经验阅历和能力水平之间的差异，从而忽视了指标权重和指标值的不确定性因素。

基于上述学者的既有成果，本研究拟采用区间数理论和区间层次分析法（Interval-based AHP，IAHP）对MOOC的适切性评价问题进行改进，即通过区间标度来代替点值的柔性策略以充分考虑评价专家的经验和偏好，有效弥补传统的AHP在模糊决策上的缺陷，使专家群决策的机制具有更好的容错性，确保评价模型的判断更客观、普适。

二、MOOC适切性评价指标体系构建

开展MOOC适切性评价的基础和前提是构建科学、合理的MOOC适切性评价指标体系。影响MOOC适切性的因素是多方面的，既与授课内容、授课方法、教学组织、教学设计、媒体技术运用和教学资源等因素息息相关，又与评价主体、评价形式和课程管理等因素有关，需要构建多维多层次的评价指标体系。姚凯等在研究MOOC评价模型过程中，将课程内容、教学设计、界面设计、媒体技术和课程管理作为一级评价指标，下设23个二级评价指标[3]，二级指标数量偏多；童小素等构建的MOOC质量评价指标体系中，将课程内容、教学设计和学习支持作为一级评价指标，下设26个二级评价指标[4]，二级指标数量过多、计算复杂，且部分二级指标有相关性；邱均平等在研究MOOC质量评价中，将教学内容、教学资源、教学效果和教学技术作为一级评价指标，下设14个二级评价指标[2]；冯雪松等在研究MOOC评价体系中，将内容的组织、内容的呈现、讲授方法和课程的执行与推广作为一级评价指标，下设18个二级评价指标[6]。综上可知，不同的学者从不同的角度出发构建了不同的评价指标体系，但课程内容或教学内容始终是评价指标体系中的重要组成部分；通过MOOC建设实践可知，教学方式和技术手段的合理运用是提高MOOC质量的重要前提，此外，评价方式是否科学合理直接影响学习的积极性、公平性和学习效果检验的有效性，进而影响MOOC建设质量，与课程管理和教学效果具有一致性。通过对比分析现有评价指标体系的优缺点，并咨询多位MOOC开发专家和学者的意见建议，本研究拟从教学内容、教学方式、评价方式和技术手段4个维度评价MOOC的适切性，最终构建如图1所示的多层次的MOOC适切性评价指标体系。

进行MOOC适切性评价，需要确定适切性评价等级，本文将适切性优劣划分为5个等级，分别为：“好”“较好”“一般”“较差”和“差”，为了适于区间层次分析法评价MOOC适切性，需要采用区间数方法对适切性等级进行量化，“好”“较好”“一般”“较差”和“差”5个适切性等级对应的区间数分别为：[0.8，1.0]、[0.6，0.8]、 [0.4，0.6]、 [0.2，0.4]和[0，0.2]。

三、基于IAHP确定评价指标区间数权重