高职教育在线开放课程评价体系构建研究

龚雄涛 胡昌杰 王 亮

为深入推进教育信息化建设，在教育部门的引导和鼓励下，各类学校和企业加强合作，积极建设在线开放课程。截至2021年底，我国在线开放课程上线数量超过4.75万门，注册用户3.64亿人，选课人次达7.55亿，在校生获得学分2.91亿人次，在线开放课程数量和学习人数位列世界第一[1]。在职业教育领域，2019年国务院颁布的《国家职业教育改革实施方案》明确提出要遴选认定一大批职业教育在线精品课程，2020年教育部等九部门印发的《职业教育提质培优行动计划（2020—2023年）》提出面向公共基础课和量大面广的专业（技能）课分级遴选5000门左右职业教育在线精品课程，促进高职在线开放课程迅猛发展。

课程评价是衡量在线开放课程建设质量和教学效果的重要手段。尽管教育部在关于在线开放课程建设评价方面作了顶层设计，对在线开放课程建设和认定也作了详细规定，但是对于高等职业教育而言，缺乏在线开放课程评价体系和具体评价办法，导致在实践过程中直接套用国家在线开放课程建设标准。受高职教育的职业类型特点、课程属性、学习环境、学习者对象等不同因素影响，高职教育在线开放课程有别于普通本科高等教育在线开放课程的特征，因此高职教育在线开放课程评价体系的构建必须体现高职教育的特点。基于此，本文在总结高职教育在线开放课程特征的基础上，构建了高职教育在线开放课程评价指标体系，以期为未来高职教育在线开放课程的发展提供参考。

一、高职教育在线开放课程特征

我国高职教育以服务为宗旨、以就业为导向，培养社会主义现代化建设需要的高素质劳动者和技术技能人才。从创新性、复合型人才培养需求出发，高职教育在线开放课程标准应该对接岗位技能标准和行业证书标准，需要与行业企业共建知识模块化、能力阶梯式、突出职业素质的课程，基于岗位水平、技能能力和素质要求重构课程目标，并推动教学内容重构[2]；由于职业教育以就业为导向，出于岗位任务和工作过程的课程建设需求，高职教育在线开放课程建设必须遵循“工学结合”“产学交替”“任务导向”等理念；高职教育实践教学离不开真实的生产环境，课程内容和教学内容必须与实际岗位需求和生产环节需要相衔接。从以上可以看出，高职教育与其他类型教育之间存在显著差异，高职教育在线开放课程主要呈现以下几个方面的特点。

第一，在教学内容的选取层面，高职教育在线开放课程内容不仅反映知识的深度和广度，更应注重前沿技术变化和产业转型升级趋势，突出以就业为导向、以职业能力培养为重点的目标，将生产、管理、建设和服务等企业一线所需的新技术、新装备、新工艺、新材料等融入课程内容，并随着信息技术发展和产业升级动态更新，及时满足企业发展需求和岗位实际工作任务需要。

第二，在教学设计的思路层面，高职教育在线开放课程不仅要注重专业理论知识讲解，更需要根据高职学生的知识技能基础和身心发展特点，运用现代信息技术改进体现职业性、技能性、实践性的教学方式方法，并不断丰富课程内容，确保课程形式多样、具体形象、生动有趣。

第三，在教学团队的建设层面，高职教育在线开放课程更关注打造一支师德高尚、技艺精湛、专兼结合、充满活力的高素质“双师型”教师队伍，除通过健全中等和高等职业教育教师培养培训体系提升职教教师的“双师”素质，也注重吸引行业企业高技能人才、能工巧匠、技能大师、非物质文化遗产传承人担任技能导师并主要从事实践教学工作。

第四，在教学支持的选取层面，针对专业和课程的特点，高职教育在线开放课程注重学生实践能力的培养，通过企业工作环境再现、具体项目实施等帮助学生掌握相关专业知识和职业技能。从在线开放课程的统计数据来看，普通高等教育在线开放课程的英语类、计算机类及通识类课程比较受学习者欢迎，这些课程教学支持比较单一；而高职教育在线开放课程中的插花、茶艺以及数码照片处理等操作类课程，强调实践动手操作，注重操作环境支持，教学支持多样化、特色化，深受学生欢迎。

二、在线开放课程评价体系相关研究

在线开放课程评价体系相关研究始于20世纪60年代，例如美国密歇根大学研制并发布了《在线课程评价指南和量规》。但美国在线课程领域最具影响力的质量评价标准还是著名的在线教育研究机构马里兰公司（Quality Matters，简称QM）研制发布的《QM在线课程质量评价标准》（简称QM标准），该标准服务于在线课程质量评价，获得高校教师的广泛称赞和认可[3]。此外，美国教授Robert Harries提出了八条指标来评价网络信息资源[4]；Montserrat Yepes Balda和Marina Romeo等为MOOC制定了质量评估标准，采用定量、描述性和分段设计，对科学文献提出的评价指标进行了评估[5]；Anoush Margaryan和Manuela Bianco等，使用一套基于教学第一原则的关键标准评估MOOC的教学设计质量，即从关键教学设计理论和模型中提取与有效教学相关的规范标准，从以问题为中心、激活、示范、应用、整合五个首要原则分析教学的质量[6]。总体来看，国外在线开放课程评价研究起步较早，评价内容具体详细，以形成性评价居多。

随着在线开放课程的蓬勃发展，国内研究者也越来越关注在线开放课程，部分学者也对在线开放课程的评价指标体系进行了研究。例如黄璐提出MOOC课程质量评价体系由4个维度及20个指标构成[7]；童小素探索建立了包含3个一级指标和26个二级指标的MOOC质量评价指标体系，并确立了指标的权重[8]；李青构建了MOOC质量模型，并从现代教育信息技术、在线开放课程的内容、管理机制等预防性质量措施进行了论证，为建立完整的MOOC质量保证体系提供了参考[9]；赵呈领将教师研修在线开放课程的实际需求与学习体验作为研究视角，参考学习体验的有关理论，筛选出在线开放课程的评价指标，借助探索性因子和验证性因子综合分析，重构出教师研修在线开放课程的评价模型，通过权重系数得到学习者体验公式；赵呈领研究了教师研修类在线开放课程用户体验所包含的6个维度和28个核心因素，验证了改进课程教学设计与创新应用教育智能技术能够提高在线开放课程质量[10]；张建飞认为要提高在线开放课程质量，应该以课程评价为突破口，并根据实践经验从多种角色和多个维度出发，探索构建了一套包括3项一级评价指标、11项二级评价指标和34项三级评价指标的在线开放课程质量评价体系[11]；王璐等人提出了包含5个一级指标和17个二级指标的在线开放课程质量评价指标体系，并检验了在线开放课程质量指标体系的信度和效度[12]；为了更好地推进MOOC本土化可持续发展，刘和海以国际评价较好的EduTools评价体系为基础，对传统的MOOC评价指标进行了优化，构建了新的在线开放课程评价指标体系，并从多个层面为MOOC本土化提出优化建议[13]。

通过文献分析可知，国内学者对在线开放课程质量评价指标体系的研究主要集中在建立在线开放课程质量评价的理念、评价机制、评价标准等方面，在构建在线开放课程质量评价指标体系上，当前学者往往遵循自上而下的方式，忽视了在线学习者的实际需求和学习体验。由于国外在线开放课程的学习环境和参与者与国内不太相同，因此不能完全照搬国外的在线开放课程评价体系。因此，如何在借鉴已有研究成果的基础上，针对高职教育在线开放课程特征，构建能切实应用到高职教育在线开放课程评价中的指标体系，是本文研究的出发点和落脚点。

三、研究设计与过程

（一）德尔菲法选择评价指标及权重分析

1.专家选择

本研究主要选择来自湖北职业技术学院、南京工业信息职院、深圳职业技术学院、天津电子信息职业技术学院、成都职业技术学院以及陕西工程职业技术学院等10所高职院校的30位高职在线开放课程行政管理成员、专任教师、专家学者等参与问卷编制。

2.研究过程

本研究采用了德尔菲专家评价法。第一步，向30位从事高职教育在线开放课程管理与开发工作的专家和长期使用在线开放课程的教师详细说明研究的背景和意义，解释专家法工作原理和操作方法；第二步，设计专家问卷调查表，向30位专家和教师征求意见，根据意见修改评价指标；第三步，将遴选后的评价指标体系和专家评分结果发给30位专家和教师，开展充分讨论，对部分指标进行修改调整，从而初步确定高职教育在线开放课程评价指标体系。

（二）问卷调查法开展评价指标体系的实证研究

1.研究样本选择

本研究采取线上（微信、QQ、问卷之星）与线下（纸质问卷）相结合的方式对在线开放课程用户开展问卷调查，共发放问卷1400份，回收问卷1400份，删除无效的问卷，得到有效问卷1370份，对问卷进行分析、整理，得到的所有数据皆满足要求。

2.信度与效度分析

使用AMOS22软件对调查问卷进行数据分析，从拟合指数计算结果来看，所有指标均符合建议值要求，如表1所示。此外，从聚敛效度检验结果来看，如表2所示，各观测指标的因子负荷量均高于0.7，各维度的平均方差提取值均高于0.5，组合信度值均高于0.7，满足效度检验要求，表明该标准框架的指标体系具有较好的结构效度。应用SPSS21.0软件进行数据分析得知，指标体系整体的Cronbach’s α=0.969，各维度的Cronbach’s α值均在参考值0.8之上，表明其信度符合要求。

表1 课程内容验证因素模型拟合指标分析

表2 聚集效度及信度检验结果

通过对高职教育在线开放课程的5个一级指标即课程内容、教学设计、课程团队、教学支持、应用效果进行信息检验，使用SPSS软件进行分析，得到这5个一级指标的Cronbach’s alpha值，分别是0.955、0.965、0.93、0.906、0.938，说明高职教育在线开放课程的评价体系信度较好。

问卷的效度检验即检验问卷的有效性，将测量工具得到的结果反映与被考察内容进行吻合对比，吻合程度越高，说明问卷的效度越高。问卷效度分析采用探索性因子分析法，即用样本充足度KMO和Bartlett球型检验因子来实现。一般来讲，当KMO的值大于0.7时，比较适合做因子分析；当KMO的值大于0.8时，非常适合做因子分析。本研究中KMO的值为0.983，并且显著性水平为0.000，低于标准0.05，说明非常适合做因子分析，原变量之间有明显的结构性和相关关系，具有结构效度。

通过上述数据分析可知，本研究设计的高职教育在线开放课程评价问卷具有很高的信度和效度，也说明建立的高职教育在线开放课程评价指标体系具有很高的信度和效度。

四、高职教育在线开放课程评价体系的构建

构建合理的高职教育在线开放课程评价体系，要能够客观反映在线开放课程建设的效果，提升评价结果的有效性和科学性，促进高职教育在线开放课程质量的提升。因此，在设计高职教育在线开放课程评价指标体系时，要进行相关资料的充分搜集，做好实际需求调查分析，明确构建的基本思路和具体的操作路径。

（一）运用德尔菲专家评价法选择评价指标

经过第一个阶段分3次对30位从事高职教育在线开放课程管理与开发工作的专家和长期使用在线开放课程的教师进行问卷调查，获得专家对在线开放课程评价指标的总体评分和意见。为进一步研究高职教育在线开放课程评价指标体系与实际高职教育在线开放课程的符合度，将遴选后的评价指标体系和专家评分结果发放给2位高职教育在线开放课程的管理成员和4位长期从事高职教育在线开放课程的专家进行讨论，根据讨论意见对部分指标进行修改，确定高职教育在线开放课程评价指标体系，如表3所示。

表3 德尔菲专家评价法得到的高职教育在线开放课程评价指标体系

（二）运用层次分析法确定评价指标权重

多指标评价是指根据不同的评价目的，选择对应的评价方式，将多个评价指标转化为能充分反映评价对象整体特征的信息。常用的确定指标体系权重的方法有专家法、变异比重法、综合权重法等。专家法是指若干位专家根据自己的实践经验进行测评的方法；变异比重法是根据选用指标的变异情况（所代表信息量）来推出权重值，用各指标的标准差除以标准差之和；综合权重法是综合“专家法”和“变异比重法”，通过运算来确定最终权值，如层次分析法（AHP法）、模糊评价法等。其中层次分析法为研究由相互关联的众多因素构成的复杂系统提供了一种简单的、实用的决策方法，是一种解决多目标问题的定性与定量相结合的分析方法。运用层次分析法确定评价指标权重的操作过程如下。

1.建立层次结构模型

将研究对象中所有的因素分层，把问题层次化，构造层次分析的结构模型。这些层次自上而下分为目标层、准则层和方案层。目标层是层次结构模型中的最高层次，一般只有一个元素，是分析问题的预定目标。准则层是评价方案需要考虑的准则、子准则，这一层包括了为实现目标所涉及的中间层次，它可由多个层次组成。方案层是指为实现目标可供选择的各种措施、决策等。

2.构造判断矩阵

本研究选取30位从事高职教育在线开放课程管理与开发工作的专家和长期使用在线开放课程的教师对高职教育专业教学库建设效果评价指标体系的重要性进行专家打分。结合高职教育在线开放课程建设和实际应用过程中的经验，删除专家判断矩阵中的特殊信息。具体步骤为：首先，计算所有专家判断矩阵中每个元素的算术平均数和标准差；其次，删除超过算术平均数2个标准差以外的特殊判断信息；再次，计算算术平均数，以此作为本研究专家群体对这一元素的综合判断信息；最后，得出专家群体判断矩阵，如表4所示。

表4 —级指标判断矩阵

3.单层次排序

计算矩阵A中各行元素乘积Mi：

计算Mi的n次方根wi的公式：

得到向量w=[1.0511.3130.5251.0511.313]T，对之进行归一化处理，计算一级指标权重Wi：

从而得到高职在线开放课程评价指标体系一级指标的权重W=[0.2000.2500.1000.2000.250]T。

4.判断矩阵的一致性检验

查平均随机一致性指标，由表5可知，当n=5时，RI取值为1.12，从而可以计算出随机一致性比率：

表5 一致性指标

根据一致性的计算结果，本研究认为30位专家的综合判断矩阵具有可接受的一致性，而且特征向量是被认可的。

5.确定各指标的权重

根据一级指标判断矩阵，通过YAH软件得出高职教育在线开放课程建设效果评价的一级指标的权重，如表6所示。从计算出的权重分值来看，教学设计、应用效果的权重相对较大，均占25%，课程内容和教学支持权重均占20%，课程团队所占权重最小，占比10%。

表6 一级指标权重

同理，根据上面的方法计算出高职在线开放课程评价体系的规范性、思想和科学性、适当性等二级指标的判断矩阵，并计算出每个二级评价指标的权重。在确定二级指标权重后，同理计算出高职教育在线开放课程建设效果评价体系适合高职教学、内容定位、课程影响力、职业培训、学习成果认定等三级指标的判断矩阵，并计算出相应指标的权重值。

（三）构建高职教育在线开放课程评价指标体系

运用德尔菲专家评议法对高职教育在线开放课程评价指标体系中的指标进行筛选和确认，以及通过层次分析法计算出各层次的指标权重，最终构建出高职教育在线开放课程建设效果评价指标体系，如表7所示。

表7 高职教育在线开放课程评价指标体系

五、结束语

构建科学的高职教育在线开放课程评价指标体系，不仅可以为高职院校在线开放课程建设与相关课程级别评定决策提供有力支持，而且有利于实现在线开放课程开发者与使用者之间的供需匹配，从而提高课程的建设与应用效益。本研究依据前期研究得到的高职教育在线开放课程教学特性，综合教育部发布的高职教育建设和精品在线开放课程认定的相关政策要求，以及影响高职教育在线开放课程建设的各种外部制约因素等，经过确定评价维度、生成评价指标、数据检验等一系列操作，最终得到了能充分兼顾国家在线开放课程的高职教育在线开放课程评价指标体系，对规范高职院校在线开放课程的建设和充分应用等具有重要的参考价值。