基于OBE理念的大规模在线教学课程评价指标体系设计——以《计算机程序设计基础》为例

李 璠

(南昌工程学院 信息工程学院，江西 南昌 330099)

教育评价是教育实践的有机组成部分，在教育实践活动中起到显著的导向作用[1]。2020年中央全面深化改革委员会审议通过《深化新时代教育评价改革总体方案》，指出，要推进教育评价关键领域改革取得实质性突破，坚持科学有效，改进结果评价，强化过程评价，探索增值评价，健全综合评价[2]，充分利用信息技术，提高教育评价的科学性、专业性、客观性[3]。

课程是人才培养的核心单元和要素[4]，课程评价是教育评价的重要内容和组成。课程评价是指采用科学的评价标准，运用有效的量测方法，检验课程的目标达成程度和教育的目的实现程度[5]。评价结果可以有效指导课程建设和教学改进，为课程教学持续改进提供有力支持。现有的课程评价主要从教学活动的一般过程视角展开，忽视了课程作为教学活动基本单元和重要载体对教学质量的影响[6]；此外，现有评价多为事后评价，缺乏过程性评价，缺少增值性评价，导致评价结果的有效性值得商榷，对课程的持续改进缺乏理论和数据支撑。

随着新工科建设不断深入，教育部遵循“突出学生中心、突出产出导向、突出持续改进”三大原则，制订《普通高等学校本科专业类教学质量国家标准》，其中，产出导向教育(Outcome-Based Education，OBE)成为新工科教育的核心理念[7-8]。OBE聚焦于学生的学习成果，学习成果代表一种能力结构，这种能力的培养主要通过课程教学实现[9-10]。OBE导向的教学评价既要充分了解学生是否通过渐进式学习最终达到课程教学目标对应的能力和素养，又要形成反馈指导教学目标达成途径的改革和完善，使教学过程成为一个闭环，并向好的方向收敛。新工科建设赋予了课程评价新内涵，开展基于OBE理念的课程评价研究是急迫且必要的。

“互联网+”时代，大规模在线教学迅速发展。如疫情防控期间教育部提出“停课不停学”的工作要求，南昌工程学院春季学期的687门理论课和504门实验、实践课，参与在线教学的班级3130个，学生17000余人。大规模在线教学的课程教学模式相较于传统的线下的课程教学模式，其在教学方式、交流手段、讲授方法等方面都发生了较大变化，传统的教学质量监控方式难以适应新形势。如何保证大规模在线教学课程的教学质量和评估在线学习的效果，是高校教学管理部门迫切需要解决的问题之一。

基于OBE理念的大规模在线教学已成为课程教学改革的新时尚和未来趋势之一。南昌工程学院近五年来获批江西省精品在线开放课程8门，立项建设37门校级一流在线课程，在线课程建设涵盖校内多个工科专业。学校还面向全体学生实施在线课程自主学习学分认定，鼓励学生主动学习在线课程，从“教”与“学”两个方面同时推进在线教学的发展。此外，南昌工程学院将工程教育认证作为提升专业建设质量的重要抓手，全面落实OBE教育教学理念，对教学监控体系建设提出更高要求。科学的评价指标体系是获得有效课程评价结果的重要前提，然而，传统的课程评价难以适应这种新兴教学模式。为此，本文以南昌工程学院各工科专业开设的《计算机程序设计基础》课程为研究对象，以教师、课程和学生为三类参与主体，从课程本身评价、课程实施过程、课程实施效果等多个维度，提出《计算机程序设计基础》课程评价指标。通过问卷调查，收集影响课程评价结果的问卷数据，采用统计分析工具，结合因子分析法，研究课程评价影响因素，利用熵值法确定各影响因素所占权重，据此构建基于OBE理念的大规模在线教学课程评价指标体系，为改进教师的教学过程和进行课程建设提供有价值的参考，为深化课程评价改革提供有益经验和实践参考。

一、课程评价指标设计

基于OBE理念的大规模在线教学是课程教学的新模式，如何结合OBE理念，设计出适合大规模在线教学课程的课程评价指标体系是获得有效的课程评价结果的关键。课程的教学涉及教师与学生，对其进行评价是一个包括教师、课程及学生的多主体评价系统。为此，我们从课程的参与主体出发，围绕课程本身评价、实施过程、实施效果等方面设计评价指标。

大规模在线教学的授课方式区别于传统的教室内的授课方式，为此，针对教师主体，从“教学技能和教学态度(TX)”“授课方式和教学方法(TY)”两个维度进行测评。“教学技能与教学态度(TX)”维度包括“具有良好师德师风，给予学生正确价值导向(TX-1)”“具有严谨教学态度，给予学生合理评价(TX-2)”“知识渊博，课前备课充分(TX-3)”“上课精神饱满，教学经验丰富(TX-4)”“表达能力强，具有感染力(TX-5)”“重视研讨过程，接受学生建议(TX-6)”“答疑充分耐心，作业批改认真(TX-7)”“教学用具和技术运用恰当(TX-8)”八项指标。“授课方式和教学方法(TY)”维度包括“教学目标合理，教学进度适中(TY-1)”“融入‘启发式’‘引导式’教学方法(TY-2)”“根据教学内容选用适当教学手段(TY-3)”“授课注重联系实际问题(TY-4)”“表达细致清晰，通俗易懂(TY-5)”“讲解重难点突出，逻辑严密(TY-6)”六项指标。

课程本身是课程评价的出发点和落脚点。无论是时代变化，还是教师轮换、学生更替，“内容为王”始终是课程建设的内在要求。为此，围绕课程自身的建设，从“教学内容(CX)”“教学设计(CY)”两个维度进行设计。“教学内容(CX)”维度包括“内容完整，具有一定的深度和广度(CX-1)”“知识点划分准确，支撑课程目标达成(CX-2)”“内容注重科学性和前沿性(CX-3)”“理论课与实践课关系处理得当(CX-4)”“提供相关的案例与演示(CX-5)”“提供匹配的课后练习与在线测试(CX-6)”“提供丰富的外部教学资源(CX-7)”七项指标。“教学设计(CY)”维度包括“学时分配合理(CY-1)”“项目案例覆盖面广，代表性强(CY-2)”“课程评价科学，考核方式多样(CY-3)”“教学媒体选用合适(CY-4)”“图文编排美观，风格统一(CY-5)”“视频清晰度高，播放流畅(CY-6)”“课程资源更新及时(CY-7)”七项指标。

学生是课程的接收与参与者，是课程教学的受众主体。相较于传统课程，OBE理念在课程建设与课程实施效果评测中越来越被重视，课程评价也越来越注重其实施的过程性和实施效果的产出导向。针对学生主体，考虑成果产出导向，从“学习行为(SX)”“学习效果(SY)”两个维度进行评价。学习行为主要量测课程评价的过程性，以更好地指导持续改进；学习效果主要量测产出导向。“学习行为(SX)”维度包括“认真观看课程视频(SX-1)”“积极与老师、同学交流讨论(SX-2)”“根据自身情况安排课程学习进度(SX-3)”“及时回顾已学知识并做好学习记录(SX-4)”“主动完成课后练习与在线测试(SX-5)”“愿与他人分享课程资源(SX-6)”“有意了解后续课程相关信息(SX-7)”七项指标。“学习效果”包括“理解和掌握课程基础知识(SY-1)”“综合运用所学知识解决实际问题(SY-2)”“熟练使用相关编程软件(SY-3)”“具备计算思维，对程序设计产生兴趣(SY-4)”“了解计算机学科研究前沿(SY-5)”“提高独立思考、分析问题能力(SY-6)”“学习意愿提升，学习主动性增强(SY-7)”“取得相关等级证书，参与学科竞赛获奖(SY-8)”“课程考核通过率上升(SY-9)”“希望提供更深层次学习内容(SY-0)”十项指标。

二、问卷设计及样本选择

1.问卷设计

问卷从课程本身评价、课程实施过程及课程实施效果等方面考虑，分教师、课程和学生三部分设计问卷表，调查学生对上述指标的认同度。具体来说，问卷从教师的教学技能和教学态度(TX)、授课方式和教学方法(TY)，课程的课程内容(CX)和课程设计(CY)，学生的学习行为(SX)和学习效果(SY)的六个维度设计，每个维度涵盖的指标参见“课程评价指标设计”部分的介绍，不再赘述。采用李克特五分量表[12]进行测量，每个指标对应的选项分别为“非常不同意”“不同意”“不一定”“同意”“非常同意”。

2.样本选择

为使问卷调查获取的样本具有广泛性和针对性，选择工科背景深厚的南昌工程学院作为问卷调查对象，研究样本覆盖水利与生态工程学院、土木与建筑工程学院、机械与电气工程学院及信息工程学院四个院系中六个工科专业的学生。考虑到问题的时效性，选择刚刚上完《计算机程序设计基础》课程的2020级本科生进行评测。

三、问卷数据统计及信度效度分析

1.问卷的数据统计

调查共发放问卷537份，收回497份，回收率92.55%；有效问卷497份，有效率100%。考虑到论文篇幅，我们仅列出教师“教学技能和教学态度(TX)”维度下的八个指标的频率统计，由于各指标的文字描述太长，使用它们对应的缩写来代替这些指标，得到各个指标的认同情况，如表1所示。

表1 “教学技能和教学态度(TX)”维度下各指标的频率表(%)

由表1可知，调查者对该维度下的各指标的认可度都非常高，选择“同意”和“非常同意”等级所占的比例均在90%以上。

2.问卷的信度效度检验

调查问卷的数据汇总和统计后，需对调查问卷的可靠性(信度)和有效性(效度)进行量测，其量测结果是后续对课程评价指标进行因子分析和确定指标权重的重要前提，只有信度可靠，效度有效才能继续后续工作。

本文采用Cronbach’s Alpha系数进行可靠性分析。Cronbach’s Alpha系数越大，说明问卷结果越可靠、越稳定。信度分析结果如表2所示。

表2 Cronbach’s Alpha 检测

一般认为，Cronbach’s Alpha系数大于或等于0.7时，视为高可靠；在0.350～0.7之间时，视为可接受；低于0.35时，视为低可靠，应该拒绝。从表2的结果可知，课程评价指标各维度的Cronbach’s Alpha系数均在0.97以上，问卷的Cronbach’s Alpha系数为0.991，说明该各维度及问卷具有高的可靠性。

效度分析主要判断设计的评价指标是否合理，能否达到对基于OBE理念的大规模在线教学课程评价的预期。本文采用KM0检测和Bartlett的球形检测作为问卷效度量测的技术手段。KMO值越大，说明指标偏相关性越大；若KMO值大于0.6，即认可其有效；Bartlett的球状度显著性大于0.05，则认为不适合做因子分析。表3给出了问卷的检验结果。

表3 KMO和Bartlett的球形度检验

表3显示，评价指标的KMO值大于0.6，设计合理；Bartlett的球状度检验显著性为0，小于0.05，适用于因子分析。

四、课程评价指标体系设计

1.因子分析

为量测各维度下的课程评价指标是否具有意义，需对各维度下的指标进行因子分析。用于判断设计的课程评价指标的意义，删除不合适的课程评价指标。仍以“教学技能和教学态度(TX)”维度下的八个指标为例展示因子分析，其结果如表4所示。

表4 “教学技能和教学态度(TX)”维度下各指标的探索性因子分析

公因子方差用于量测该项指标是否有意义，若某项指标对应的公因子方差小于0.4，表示该项指标需要被修改或删除；因子载荷系数用于判断课程评价维度是否有效对应该维度下的各项指标，当评价指标对应的因子载荷系数小于0.4，认为该项指标不隶属于对应的维度，应将其删除；否则说明该项指标隶属于对应的维度。

由表4可知，各课程评价指标的因子载荷系数均大于0.4，说明各项指标隶属于对应的维度。所有指标的公因子方差均大于0.4，说明每项指标均具有非常好的意义。

论文作者对另外五个维度下各课程评价指标均做了探索性因子分析。结果显示，除“学习效果(SY)”维度下的“取得相关等级证书，参与学科竞赛获奖(SY-8)”指标的公因子方差为0.376，其因子载荷系数为0.613外，剩余指标的公因子方差和因子载荷系数均大于0.4，最低的为0.776。由于“取得相关等级证书，参与学科竞赛获奖(SY-8)”指标对应的公因子方差为0.376小于0.4，所以，将该指标从课程评价指标中删除。

2.指标权重确定

通过因子分析，删除“取得相关等级证书，参与学科竞赛获奖(SY-8)”指标，将课程评价指标由原来的45个变成了44个，确定了满足要求的课程评价指标。接下来需要明确每个指标的权重。本文采用熵值法[13]计算信息熵值和指标的信息效用，最后得出各指标所占权重。具体数据如表5所示。

表5 课程评价指标权重

信息熵表征信息系统的混乱程度，当信息熵值为1，表示信息完全无序。从表5的结果可知，各项指标的信息熵值均接近1，说明各项指标间相关性低。表5的最后一列列出了各指标在课程评价指标体系中的权重，第一列统计了各维度在评价体系中的权重。从统计数据来看，六个维度的权重从高到低的排序依次为：学习效果(SY)、教学设计(CY)、教学技能与教学态度(TX)、学习行为(SX)、教学内容(CX)、授课方式和教学方法(TY)。

综合上述的数据，发现学生越来越重视课程学习后的收获及课程学习后能获得的直接效果，这一结论与OBE理念不谋而合，所以教师在课程建设与课程讲授时，需加大OBE理念的植入和相关内容的设计。课程的教学设计是学生关心的第二个维度，学生对项目案例的渴望度特别高，单个指标的权重达到了2.79%，其他的如图文编排美观、教学媒体选用合适、视频清晰且流程等指标的权重也非常高，这可能是大规模在线教学的特点所决定的。在线教学环境下，学生面对的是电脑而不是老师，网络环境、课件美观等因素对学习体验的影响较大，因此学生对此提出了更高的要求。排名第三和第四的维度分别是“教学技能与教学态度(TX)”和“学习行为(SX)”，且两维度的权重差异不大。第五个维度是“教学内容(CX)”，这与传统的“内容为王”的理念大相径庭，这可能是因为随着互联网的发展，学生需要查找课程的相关信息和知识，其来源途径和获取方式得到极大地丰富，任课教师提供的课程教学内容反而显得不那么重要了。排名最后的一个维度是“授课方式和教学方法(TY)”，这与我们之前的认知也不一致，这可能也是由于在线教学的特点所决定的，“启发式”“引导式”的教学方法很难在大规模在线教学课程中使用，师生互动的方式也因此发生了重大转变。

五、结论

课程评价是教育评价的重要内容。新工科建设的不断深入和各类网络教学平台的广泛使用，使基于OBE理念的大规模在线教学成为一种新兴教学模式。传统的课程评价方式已难以适应这种新形势和新任务。为此，以南昌工程学院各工科专业开设的《计算机程序设计基础》课程为研究对象，从六个维度设计了45项《计算机程序设计基础》课程评价指标，并通过问卷调查获取学生对设计的课程评价指标的认可程度，利用探索性因子分析确定了课程评价指标，使用熵值法确定了各评价指标的权重，在此基础上，构建了基于OBE理念的大规模在线教学课程评价指标体系，为后续课程评价机制的构建奠定了理论与实践基础。