大数据赋能应用型高校课程质量评估机制研究

[摘 要]课程是人才培养的核心要素，课程质量评估是完善高校内部教育质量保障体系的重要组成部分。本文基于以往课程评估在数据采集、管理、使用及持续改进机制等方面存在的困境，提出以0BE理念构建课程质量评估的指标体系，基于大数据实施线上线下相结合的评估方式，以信息化推动“教—学—管”课程质量共同体的建设等建议。同时指出加强数据安全性、有效性审核以及相关人才队伍建设，为应用型高校开展课程质量评估提供可借鉴的思路与方法。

[关键词]大数据赋能；课程质量评估；应用型高校

在我国高等教育进入普及化的背景下高校的内涵建设与教育质量提升得到了更广泛的关注。教育部在《关于深化本科教育教学改革全面提高人才培养质量的意见》（教高〔2019〕6号）中强调：“完善高校内部教学质量评价体系。”在《教育部关于一流本科课程建设的实施意见》（教高〔2019〕8号）中指出：“课程是人才培养的核心要素，课程质量直接决定人才培养质量。”而目前高校的课程建设与教育部的要求仍存在一定距离，各高校需要进一步淘汰“水课”，打造“金课”，通过完善课程质量评估以提高教学质量。

一、文献回顾

国内外学者对课程评估开展了多维度多视角的研究。国外对高校课程评估的研究较多聚焦在对评价维度及指标体系方面的研究，建立了课程评估模式与目标评价模式、目的游离评价模式、CIPP评价模式等。 美国高等教育大致有三种侧重不同的课程质量评估方式：侧重学生评价、侧重教师评价、侧重课程建设评价。且许多高校设置了本校评估指标体系，例如，华盛顿大学、亚利桑那大学、堪萨斯州立大学等。美国高校课程评估有课程评估量表多元化，重视学生评价的特点，英国高校的课程评估采用高校自评和外部评估相结合的方式。近年来，国外部分学者采取行动研究与校本研究的方式开展课程评估的研究与探讨。欧美课程评估部分由教师自身发起，而非自上而下的质量监控，课程质量评估中构建教与学的价值共同体，以推动教学质量提升。Coskun，Yelkin Diker（2015）对课程数字化推动促进高等教育数字化变革进行了评估，在课程评价上主张采用“教育鉴赏与批评模型”。Kerrick， Sharon等（2016）关注课程评估带来的持续改进作用，介绍了为期四年的课程评估项目对教师在线教学技能发展推动的实证案例。

国内学者从课程评估内涵、评估理念、评估维度、评估主体、评估指标等多方面开展研究与实践。汪劲松探讨地方高校质量保障体系建设途径，指出发挥评估功能的长效机制。彭济根等从时代特征、教学改革等六个方面对课程质量评估指标体系进行探讨。林如鹏等提出构建学生为评价主体，辅以教师、校内外专家、校友、相关行业人士等不同群体的五维课程评估体系。祝琴等提出了课程建设质量评估的四集成评价法。工程教育专业认证引入国内后，OBE理念逐步运用于课程改革和评估研究。蔡映辉提出“以学生学习为导向”的理念进行课程评估设计。杨现民、李新等聚焦教育数据思维的内涵、构成与培养路径，对高校数据治理能力提升开展研究。部分学者基于高校课程评估的实践案例，阐述了构建课程评估体系的对策。如，中北大学课程评估研究与实践（武勇杰等）、清华大学通识课程的评估体系建设（苏芃）、同济大学研究生教学质量评估指标体系的建立及实践方法（王芳等）、广东海洋大学分层次教学评估机制（刘靖）、聚焦地方高校课程评估组织实施、结果分析（赵卫兵）。学者基于不同学科或者不同评价要素开展课程评估体系建设研究，如课程思政、课程实施、课程目标等；在线课程、体育课程、英语课程、工科课程等。

从已有的研究文献可以看到课程评估在理论研究和实践层面上都取得了丰硕的成果，众多国内高校也建立了具体的课程评估体系和实施方案，但针对应用型高校特点的课程评估体系研究并不多，课程评估运行机制的研究结论较笼统，以评促建落实的实证研究有待深入。大数据在高校教学质量评估中的价值被逐步认可，但教育大数据融入教学质量评估的运行机制还需要进一步研究探讨。

二、当前课程质量评估存在的困境

课程质量评估作为保障课程质量的一种重要手段，已得到许多高校的重視与开展，但梳理已有研究文献可以发现，当前我国高校的课程质量评估仍然存在一些困境。

如，教学数据采集形式过于单一，缺乏对过程性数据的监控与采集。传统的课程教学质量监控模式比较封闭，数据采集维度较少且有一定的滞后性；数据采集使用效率较低，过度依赖教师整理和提供，增加了教师的工作负担，且教学过程中产生的数据呈现静态化。传统的课程质量评估实施往往是邀请一定数量的专家组成评审组，进而以专家进课堂听课，听取教师汇报、查看课程资料等方式开展评估。评估方法往往面临主观性高、信息获取难、效率低等问题。而教学大数据技术的发展为高校课程质量评估带来了新的机遇，运用大数据技术可以提高教学过程数据的采集与使用效率，体现过程性的评价。

从目的来看，课程评估主要作为教学管理手段或开展教师考评的依据，应用于教师的晋升、评优等，而非主要体现为课程教学发展和改进的方式。“各高校课程评价多注重评优性评价，忽略了过程性，未充分凸显持续改进的重心，以至于削弱了评价结果对课程进一步改进和建设的促进作用”[1]。在反馈课程评估结果后，针对评估中发现问题的整改提升工作仍欠缺后续的管理和跟踪机制，实际往往评完即止，不了了之。因此，课程评估设置初期就应该十分重视对结果使用的考量，通过教学大数据的追踪以及后续管理机制构建起教学管理部门、参评课程教师、课程学生的课程质量共同体，落实持续改进的评估理念。

三、数据赋能课程质量评估的实践探索

随着信息技术的发展，线上线下混合式教学方式在应用型高校得到更广泛的应用，也为课堂教学数据的采集提供了便利。宁波财经学院是一所地方应用型高校，学校重视教学质量的提升，着力加强“课堂—课程—专业”三级质量评估体系的建设，在课程质量评估中利用课程质量智能监测平台的大数据技术，对数据赋能课程质量评估进行了有益探索。

（一）评估要素：以0BE理念构建课程质量评估的指标体系

借鉴国内外的研究成果和课程评估经验，构建大数据视角下符合应用型高校特点的课程质量评估指标体系，围绕教学有效性和学生满意度，将“学生为中心、成果导向、持续改进”的OBE理念融入评估指标的设计中。这改变了以往以评“教”为主的课程评估模式，突出学生中心，立足学生学习成果的达成以及学生对课程学习的获得感开展课程质量分析，注重课程团队的自我评估、自我检查、自我改进。通过文献分析、半结构式访谈和小组讨论等方式的调研，初步构建课程质量评估指标体系，从立德树人、课程定位、课程理念、课程目标、课程保障、课程实施、课程成效、课程改进等8个维度开展指标体系设计；设置32个二级指标，包括教学团队、教学内容、教学条件、教学成果、学生学习体验、课程辐射，等等。之后采用德尔菲法对初选指标进行优化：确定了13位具有相关领域专业知识和经验的专家作为专家组，发放了两轮问卷，两轮问卷回收率均为100%，权威系数为0.874和0.897，判断系数为0.945和0.961，熟悉系数为0.836和0.872。最后形成的课程质量评价指标体系包括5个一级指标（课程定位、立德树人、课程目标、课程实施、程成效）和14个二级指标。

（二）评估实施：基于大数据实施线上线下相结合的评估方式

课程质量评估要求参评课程已进入课程质量智能监测系统，教师在授课初期提交评估申请，学校教学管理部门在接受申请后，开展教学督导听评课，采集线下听评课数据。同时，运用课程质量智能监测平台的大数据技术采集到更多元化、非结构化以及多层化的教学动态数据，课程动态数据如师生互动数据、课堂活动数据、课程作业数据、课程目标达成度数、学生评教数据等，这些丰富的过程性教学数据反映出教与学的具体情况以及各阶段取得的实际效果[2]。课程的各环节结束后，学校为评审专家设置权限账号，专家组在入校开展评审前，可以进入课程质量智能监测系统了解课程数据以及平台生成的课程质量报告。教师需要根据评估指标以及课程特点整理简单的佐证材料说明，专家组根据课程质量监测平台的课程数据分析考察参评课程资源的丰富性、学生参与度、教学设计的有效度、课程目标达成度等指标情况。此外，为了减轻教师应对课程评估的工作负担，取消了大量的材料整理以及现场汇报的环节，而以面对面答辩的形式与评审专家进行更深入的交流，每门课程的交流时间为20-30分钟。针对学生学习课程的学习体验与获得感，设计了《基于学生获得感的课程质量问卷》，对全体任课学生开展问卷调查，结合对部分学生进行的半结构化访谈，收集学生层面提出的课程改进意见。评估方案遵循科学性原则、发展性原则、可操作性原则，以形成性评价与总结性评价相结合、定量评价与定性评价相结合的原则得出评估结论，为每一门参评课程给出诊断意见[3]。

（三）结果使用：以信息化推动“教—学—管”课程质量共同体的建设

课程评估结果的使用是实现课程持续改进的关键环节，学校淡化以往评估结果主要作为教师职称晋升、人事考核依据的作用，聚焦持续改进追踪机制的建设，改变评完即止的局面，并以智能监测平台大数据为依托，推动教学管理部门、课程教师、课程学生的质量共同体建设。课程评估不仅给出“不达标、达标、优秀”三类结论，更加关注质量信息、改进意见的收集与反馈，就评估中发现的问题提出整改清单，教师需要针对问题提交整改计划。依托课程质量智能监测平台建立课程改进的追踪机制，实现课程数据采集的智能化、高覆盖，质量分析评价的全面性、即时性，质量反馈、改进、跟踪评价的及时性、针对性和有效性。一方面，课程评估工作重视学生的实时反馈以及获得感与满意度，将此作为课程评估的重要佐证，通过提高学生在课程评估中的参与度，培养学生教学质量共同体的意识；另一方面，通过完善质量信息反馈与持续改进长效机制，也进一步推动教师将课程纳入学校课程质量监测系统的主动性以及加强课程质量监控信息化的积极性。此外，评估工作促进学校教学管理部门为课程建设提供有效服务，推动以评促建的落实，通过课程质量评估推动应用型高校建设一批高质量的应用型课程。

四、反思

课程质量评估是高校加强课程质量建设的重要手段，通过评估工作诊断课程存在的问题，引导教师开展课程建设的自我改进。大数据技术的运用改变了以往课程数据采集效率低下、数据结构单一、数据静态化等弊端；用数据说话为课程质量建设提供了更客观更全面的画像，为课程质量评估赋能，也减轻教师团队重复整理提交评估材料的工作负担[4]。

结束语

大数据赋能课程评估是一个系统化的议题，基于实践的反思仍需要在許多方面不断总结与完善。其一，数据质量影响着数据使用的水平以及系统性，当监测系统记录和存储大量的学生学习数据，数据的合理性和有效性都需要进行审核确认，以确保能够获得高质量的有效数据；同时也需要重视对教师以及学习者数据隐私保护的问题；其二，在对不同类型课程分类评价体系建设中需要加强对数据的分类治理，进一步将教学数据采集好、管理好、使用好、监测好；其三，数据需要多层次的联通，管理与技术的结合，高校需要加强对懂教学又懂大数据应用的专门人才队伍的建设；最后，在课程评估中运用大数据也应当摒弃唯数据论，采取大数据分析、问卷、访谈、现场观摩等多种评价方式相互补充，以充分发挥课程评估的交流沟通作用。

参考文献

[1]武勇杰，赵公民，高艳阳.遵循专业认证OBE理念的课程评估研究与实践：以中北大学为例[J].教育理论与实践，2021，41（27）：53-55.

[2]杨现民，郭利明，王东丽，等.数据驱动教育治理现代化：实践框架、现实挑战与实施路径[J].现代远程教育研究，2020，32（02）：73-84.

[3]炕留一，叶海智，张瑾，等.基于多维数据的课堂教学行为评价研究[J].现代教育技术，2022，32（04）：68-77.

[4]汪劲松.专业与课程评估：地方高校教学质量保障体系的建设途径初探[J].中国大学教学，2014（02）：61-67.

作者简介：章雪颖（1985— ）女，汉族，浙江台州人，宁波财经学院，讲师，硕士。

研究方向：高等教育质量评估。

基金项目：浙江省高等教育学会2022年度高等教育研究课题“大数据视角下应用型高校课程质量评估体系研究”（编号KT2022147）；宁波财经学院“教育教学信息化改革”校级专项项目“大数据赋能应用型高校课程质量评估机制研究”（编号22xxhjg06）；宁波财经学院2020年校级教育教学改革一般项目“基于OBE理念的学生评教体系建构研究”（编号20jyyb38）。