土木类在线开放课程教学质量评价体系构建

陆 莹，李 霞，赵 杰

(东南大学 土木工程学院，江苏 南京 211189)

近年来，大规模在线开放课程(MOOC)和相关学习平台在我国方兴未艾。截至2020年年底，我国上线慕课数量超过3.4万门，学习人数达5.4亿人次，在校生获得慕课学分人数1.5亿人次，慕课数量与学习规模位居世界第一[1]。2015年教育部《关于加强高等学校在线开放课程建设应用与管理的意见》(教高〔2015〕3号)指出，大规模在线开放课程可以激发学习者学习的积极性和自主性，扩大优质教育资源受益面，对高等教育教学改革而言既是机遇又是挑战，要发挥我国高等教育教学传统优势，推动我国大规模在线开放课程的建设，并将建设优质在线开放课程、推广在线开放课程平台作为重点任务[2]。2018年8月，教育部发出号召，要求高校淘汰“水课”，打造“金课”。线上线下混合式“金课”作为金课体系中的一环，有助于我国高等教育质量实现质的飞跃[3]。

近年来，随着“新型城镇化、一带一路、建筑工业化”等国家重大政策的出台，传统基建行业亟需向智慧建造、智慧城市转型升级[4-6]。在建筑行业依靠数字技术发生深刻变革的背景下，如何培养适应建筑行业未来发展需要、满足产业转型升级的创新型智能建造工程科技人才，以支撑我国迈向建造强国，已经成为相关高校人才培养的重要挑战[7]。当前，随着OBE理念在教育领域逐渐得到关注与应用，“以学生为中心、以产出为导向”已经成为新时期高等教育内涵式发展的指导方针，教学设计与实施的目标也更向学生通过教育过程最后所取得的学习成果倾斜，其重点关注的问题之一便是如何判断学生已经取得应有的学习成果[8]。而这可以借由制定合理有效的教学质量评价体系来实现。由此，为充分发挥课程的“载道作用”，在“新工科”和“金课”的建设背景下，迎合行业发展趋势，满足新时期对高校人才培养的新要求，在高校线上线下混合式教学过程中对土木类在线开放课程的顶层设计和教学质量评价体系的改革势在必行。

一、相关研究

在线开放课程在国外发展起步较早，至今已有诸多相对成熟的教学质量评价方法。英联邦学习共同体(Commonwealth of Learning)于2016年6月发布《慕课质量保障与评估指南》(Guidelines for Quality Assurance and Accreditation of MOOCs)，将慕课分为普及型、实践型和学术型，针对普及型慕课，建议采用预设性评价；针对实践型慕课，建议采用过程性评价；针对学术型慕课，建议采用终结性评价[9]。在美国，在线教育质量保障机构马里兰公司(Quality Matters，简称QM)编制的《QM在线课程质量评价标准》(Quality Matters Rubric)已成为美国教育领域最具影响力的在线课程质量评价标准[10]。但是，国外评价体系由于适用对象、侧重点与国内不同而无法直接为我国所用[11]。

国内对传统线下课堂教学质量评价的研究已经相对成熟，教育部在2010年已公布国家精品课程的评审指标，包括教学队伍、教学内容、教学条件、教学方法与手段、教学效果5个一级指标和其下14个二级指标与观测点[12]。也有国内学者继续对此进行相关研究，如黄雨恒等[13]借助“以学为本”大学课程教学质量评价框架构建了涵盖高阶认知能力、问题解决能力、读写能力、主动学习、生生互动、课堂讲授、师生互动和在线教学共8个指标的本科课程教学质量评价指标体系。

由于在线开放课程脱离学校这一地域限制，其学习者既可以是在校学生也可以是社会人士，故而具体评价体系按课程面向对象的不同亦有区别。部分研究将对象明确限定为在校学生，如宋娟和肖安东[9]以武汉大学开设的慕课为研究对象，通过实证研究构建了包含课程内容、课程教学设计、应用效果及影响、课程团队、教学支持，以及教学技术 6 个一级指标和其下14 个二级指标的慕课质量评价指标体系。魏贤运和陈晨[14]于苏北高职院校发放问卷，以CIPP模型为指导，将包括自身使用需求、课程平台实力、教学能力和学习收获等在内的12个指标分为背景评价、输入评价、过程评价和结果评价四个维度，而后以其作为一级指标并设28个二级指标，建立了精品开放课程评价指标体系。王璐等[15]以8门学习主体为在校大学生的国家精品资源共享课为代表，基于扎根理论分析有关课程质量的学习者评论，构建了面向学习者感知的在线开放课程质量评价指标体系，囊括系统特性、视频质量、教师队伍、教学内容、辅助性学习资料5个一级指标和17个二级指标。

另一部分研究并未对对象作严格限制，在校学生与社会人士均可作为适用对象，如巩永华和李祎茜[16]从知识转移效率的角度切入，运用鱼骨图分析法和模糊综合评价方法构建了含有教师、学生、课程、平台4个一级指标和下属12个二级指标的 MOOC教学质量评价模型。李爽等[17]采用半结构式访谈方法，综合扎根理论和关键词分析统计三类在线课程价值主体的在线课程质量观，将课程目标、课程内容、实施效果确定为在线课程核心质量要素。

此外，层次分析法(The Analytic Hierarchy Process，AHP)作为一种层次权重决策分析方法，具有系统、灵活、简洁的优点，被广泛应用于教学质量评价体系的构建。石兆[18]利用层次分析法构造层次结构模型，并通过层次总排序建立高校在线开放课程质量评价指标体系，既使评价全面而系统，又保证了测评结果的客观准确。王勤香[11]将层次分析法与样例归纳总结、实践经验分析相结合，得到量化而具体的MOOC质量评价标准，有助于客观、准确、精细地分析评价结果。但AHP法的评价结构十分依赖决策者个人的专业知识和经验判断力，具有强烈的主观性，而群决策方法的引入可以弥补这一不足[19]。岳进等[20]将专家群决策与区间层次分析法结合用于构建MOOC适切性评价模型，提高了决策的容错性，确保了评价模型的客观性与普适性。

综上所述，国内外学者对制定线上开放课程教学质量评价体系予以重视，尤其是国内学者对于相关课题的研究，有助于填补我国在这方面的研究空白。但现有成果大多将在线开放课程与线下课堂割裂，无法很好地应用于高校线上线下混合式教学质量的评价。目前国家层面虽然已经有一流课程的评价体系，但是由于学科的差异性，不同类型学科的课程教学评价体系还可以做得更加细致。在“新工科”和“金课”建设背景下构建高校土木类在线开放课程教学质量评价体系迫在眉睫。由此，本文主要研究高校线上线下混合式教学过程中土木类在线开放课程的教学质量，将基于AHP群决策方法，兼以结合CIPP评价模型，制定金课背景下针对土木类在线开放课程的教学质量评价体系，以期为线上线下混合式教学过程中土木类在线开放课程的教学改革指引方向。

二、研究内容与数据分析

(一)研究内容

本研究以AHP群决策方法为指导。设有k名专家参与群决策，即专家组P=(P1，P2，……，Pk)；对方案进行评价时需要考虑的属性有q个，即准则层C=(C1，C2，……，Cq)；参与评价的具体方案有m个，即方案层S=(S1，S2，……，Sm)。AHP群决策层次结构模型如图1所示。

图1 群决策层次结构模型

在此基础上，需要确定专家组中各个成员的权重，并要求专家对用于决策的各属性给出各自的属性重要性判断矩阵，进而计算出各层次属性的组合权重[21]。为此，首先需要明确准则层属性的具体内容，在此，本研究引入CIPP评价模型。CIPP评价模型由背景评价、输入评价、过程评价和成果评价四项评估活动组成，具有全程性、过程性和反馈性特点，保证了被评估体系的可持续性，可以合理解决在线开放课程的评估问题[14]。基于此，本研究将组成在线开放课程的教学活动分为四部分，即课程依托、课程设置、课程实施和课程效果，分别对应CIPP评价模型的四项评估活动，作为层次结构模型的一级指标。而后通过文献分析参考国内外现有研究成果并辅以专家问卷，在一级指标基础上设二级指标12项、三级指标35项，最终确定准则层各属性内容如图2所示。

图2 专家Pi的层次结构部分图

在图2中，从左至右依次为目标层Z，专家层P，准则层C1、C2、C3和方案层S。目标层Z为评价土木类在线开放课程教学质量这一研究目标；专家组P为参与评价的各位专家，图中以Pi为例；准则层C1为基于CIPP评价模型确定的一级指标，包括背景评价“课程依托A1”、输入评价“课程设置A2”、过程评价“课程实施A3”和成果评价“课程效果A4”；准则层C2、C3依次为二级指标和三级指标，如一级指标“课程依托A1”下设三个二级指标，分别为“教学目标A11”“教学团队A12”和“教学平台A13”；方案层S则是应用该体系进行教学质量评价的具体在线开放课程。

为构造判断矩阵以便进行后续权重分析，本研究邀请了20位来自河海大学、南昌大学、西安科技大学等高校的各专业专家参与研究，向其发放问卷衡量各指标间的相对重要性关系。

表1 问卷专家组成员信息

问卷专家组成员分布情况如表1所示。从从教时间看，15年以上共10人占50.0%;11～15年共7人占35.0%;6～10年共2人占10.0%;5年以下1人占5.0%，可见专家组成员以从教经验丰富的专家为主，同时结合中青年专家思维活跃、创新性强的优势，优化了专家组成。从所在专业看，土木工程专业共7人占35.0%，工程管理专业共9人占45.0%，工程造价专业共2人占10.0%，给排水科学与工程专业共 2 人占 10.0%，充分吸收土木类各个专业的专家意见，有助于准确制定针对土木类在线开放课程的教学质量评价标准。从专家接触MOOC数量来看，15门以上共2人占10.0%，11～15门1人占5.0%，其余17人均为6～10门，占85.0%，可见专家组成员接触在线开放课程数量多，对其教学模式较为熟悉，作出可靠判断的概率更大。

在判断矩阵的构造上，本研究沿用Saaty的1～9 标度法，具体如表2所示。

表2 1～9标度法

从而专家Pi根据准则层Cj给出的k个指标两两比较的判断矩阵为：

由此，通过计算矩阵最大特征根λmax和其对应的特征向量ω，再经归一化处理得到准则层各指标的相对权重系数。

本研究利用Excel软件对问卷数据进行处理，计算得到各准则层不同指标间的相对权重系数，对其进行层次排序后形成土木类在线开放课程教学质量评价体系，分析各指标间的权重关系，为进一步推进高校土木类在线开放课程教学改革提出改进思路与建议。

(二)专家问卷结果数据处理

专家问卷发放20份，回收20份，回收问卷均为有效问卷，专家积极系数100%，表明本次问卷函询效果好，专家对课题关心程度高。

在得到专家构造的判断矩阵后，首先对其进行一致性检验。在实际研究过程中发现，部分专家给出的判断矩阵一致性不高，难以得出较为可信的权重向量结果，因此，本研究借鉴文献[22]中提出的方法对这部分矩阵进行了修正，在不大幅改变权重向量结果的条件下使其顺利通过一致性检验，具体流程如图3所示。

图3 一致性检验流程图

为计算得到各指标间相对权重系数，需要对通过一致性检验的全部专家矩阵进行集结。本研究采用判断矩阵集结的方法，对各专家判断矩阵采用加权几何平均法进行聚类，得到

表3 准则层C1综合判断矩阵表

运用方根法，将综合判断矩阵按行相乘后开四次方根，并作归一化处理，计算得到特征向量

此即为准则层C1各元素Ai对目标层的权重系数，同时计算得到该矩阵的最大特征根λmax=4.004 2，则一致性指数

为了衡量CI的大小，引入Saaty随机一致性指标RI，如表4所示。

表4 随机一致性指标RI

查表可知，当n=4时，RI=0.90，则该矩阵一致性比例

通过一致性检验。

重复以上过程，依次计算准则层C2、C3各元素的权重关系，并进行一致性检验，最终整理得到层次排序表，如表5所示。

表5 层次排序表

三、研究结果

在层次排序表中列出一级、二级和三级指标的权重系数，准则层C3下三级指标的总权重按下式确定

总权重ω=权重ω1×权重ω2×权重ω3

读表可知，从一级指标来看，课程效果在教学质量评价中所占权重最大，达到0.318；课程设置次之，权重为0.278；课程实施与课程设置接近，占0.249；而课程依托最末，仅占0.155。对于CIPP评价模型而言，成果评价是土木类在线开放课程教学质量评价中最为关键的一环，这与OBE理念的观点不谋而合。尽管如此，在该评价体系中，成果评价指标与其余三个一级指标之间并未拉开太大的权重差距，故而背景、输入与过程评价的作用同样不容忽视，与聚焦于成果评价的OBE理念相比综合性更强。在对具体课程进行评价时，一旦发现学生对课程效果的打分较低，可以直接在背景、输入与过程评价中寻找得分同样较低的指标，溯源找到导致课程效果低得分的关键因素，进而制定针对性的解决方案，为学生取得应有的学习成果提供保障。

从二级指标来看，教学目标在课程依托指标下所占权重最大，占0.495；教学设计在课程设置指标下所占权重最大，占0.434，教学内容紧随其后，占0.390；课堂组织在课程实施指标下权重占比超过五成，达0.513；学习收获在课程效果指标下作用最强，权重占比达到0.659。结合权重纵观教学全过程，可以梳理出这样一条优质土木类在线开放课程的教学脉络：以合理的教学目标为指导，确定合适的教学内容，制定恰当的教学计划，再凭借出色的课堂组织，最终让学生学有所成。

从三级指标来看，总权重排序前五位的指标依次是提升综合能力、掌握专业知识、时间分配合理、设置课后讨论和学生学习兴趣。其中，提升综合能力、掌握专业知识和学生学习兴趣等三个指标属于一级指标课程效果，而时间分配合理和设置课后讨论两个指标属于一级指标课程实施。总权重排序末五位的指标按倒序依次是操作响应速度、界面设计合理、课程推广力、市场竞争力和教师教学风格，均属于一级指标课程依托。可见三级指标总权重排序结果与一级指标大体接近，一定程度上表明层次排序表逻辑自洽。另一方面，末四位指标均属于二级指标教学平台，其总权重之和仅有0.028 56，可见教学平台的选择对土木类在线开放课程教学质量的影响微乎其微。

此外，三级指标的权重结果也对由一级指标在CIPP评价模型下代表的四项评估活动的重要性程度作了进一步的补充细化。如前所述，成果评价是土木类在线开放课程教学质量评价中最为关键的一环，但从三级指标的角度看，真正关系到教学质量好坏的评价点实则为学生是否被激发出学习兴趣，并能切实从相应在线开放课程中获得知识储备、得到能力提升或是对土木行业的前沿发展有所了解，而非单单指这门在线开放课程能够取得不错的学习成绩。事实上，关系到学习成绩的三项三级指标的权重明显落后于其他多数指标，其中课程优秀率和学习证书取得率仅在全部35项三级指标中排序第29位和30位。另一方面，虽然课程依托的权重在一级指标中居于末位，但教学目标符合行业需求这一三级指标的总权重排序达到了10位，高于其余七成指标。由此可见，单单从一级指标所代表的四项评估活动对土木类在线开放课程的教学质量进行评价是狭隘的，要得到准确的评价结果应当充分考虑更为细化的三级指标。

四、研究结论与建议

(一)研究结论

近年来在线开放课程的迅速普及对高等教育教学改革既是机遇又是挑战。为响应教育部“金课”建设号召，在“新工科”背景下培养创新型智能建造工程科技人才，土木类在线开放课程的顶层设计和教学质量评价体系亟待改革。

本文基于高校线上线下混合式教学模式，利用Excel软件辅助计算，运用AHP群决策方法通过专家问卷制定了包括课程依托、课程设置、课程实施、课程效果等4个一级指标和12个二级指标，以及35个三级指标在内的面向土木类在线开放课程的教学质量评价体系，并得出如下结论：一是课程效果在一级指标中所占权重最大，说明成果评价是土木类在线开放课程教学质量评价中最为关键的一环；二是明确了一条优质土木类在线开放课程的教学脉络，即以合理的教学目标为指导，确定合适的教学内容，制定恰当的教学计划，再凭借出色的课堂组织，最终让学生学有所成；三是虽然三级指标总权重排序结果与一级指标大体接近，但仍有部分指标与此不符，要获得准确的评价结果应当使用细化的三级指标进行具体评价。

(二)建议

(1)课程效果在土木类在线开放课程的教学质量评价中处于最为重要的地位，具体而言，相对于学习成绩的优劣，学生综合能力的提升、对专业知识的掌握和对土木行业发展前沿的了解是评价教学质量的关键所在。因此，在土木类在线开放课程的教学设计上，应当将扩展学生的学习收获放在首要位置，既要让学生切实掌握课程专业知识，又要给学生以提升综合能力的机会，还要通过设置专题模块、穿插现实案例等方式展示土木行业的发展前景，架起学习与就业之间的桥梁。

(2)除学生的学习收获之外，课堂组织对教学质量的影响最为强烈。受在线开放课程教学形式所限，在线视频时长较短，章节结构相对松散，对授课教师分配课堂时间的能力要求更高。同时，由于线上课后讨论的信息交流存在滞后性，需要教师时常登录教学平台检查和参与讨论，以便及时解答学生疑问。

(3)教学平台下四项三级指标权重居末四位，说明教学平台的选择对土木类在线开放课程教学质量的影响微乎其微。而国内现有的如中国大学MOOC、学堂在线等学习平台发展已久，技术足够成熟，均能很好地满足线上线下混合式教学需求，并给学生以优质的学习体验，故而在进行土木类在线开放课程的教学设计时，可以放宽对平台素质的要求，在平台选择上投入相对较少的经费，将更多资源倾斜给对教学质量影响更大的因素，如聘请优质师资、购入更多学习资源等。

综上所述，本研究构建的土木类在线开放课程教学质量评价体系逻辑严密，具有一定应用价值，可以在高校混合式教学过程中有效评价已有在线开放课程的教学质量，为土木类在线开放课程教学改革提供参考。