大数据驱动的双线融合课程教学质量评价体系构建

王筱纶 许钰 滕汶松 刘梦凡 杨长荻

摘要：随着政策引导和MOOC课程兴起，双线融合课程成为高校教学实践新常态。文章基于CIPP评价模式，将定量和定性方法相结合，收集政策公告、理论文献、人工智能问答3类文本，通过高频词分析和语义网络图提取双线融合课程质量3级评价指标。接着，利用信效度检验和层次分析法计算指标权重，构建系统的教学质量评价体系。最后，运用多主体问卷和模糊综合评价法，针对线上比重不同的两门课程进行数据对比，提出相应改进策略。

关键词：双线融合课程；CIPP评价模式；教学评价指标；数据驱动

中图分类号：G64文献标志码：A

0引言

双线融合课程已成为高校教学实践新常态。国家发改委强调，要构建线上线下教育常态化融合发展机制，形成良性互动格局。线上教学打破了传统线下教学的时空限制，实现优质教学资源随时随地共享［1］，但也存在着缺乏师生互动等弊端，因而将线上线下教学有机结合、优势互补，是当下高等教育的必然趋势［2］。

目前，关于双线融合课程的研究，多集中于教学设计和实施等操作细节［3］，课程评价体系研究还未受到重视。其原因有：（1）虽然已有基于线上或线下课程单独构建的评价指标，但考虑到两类课程的差异，两套指标的关注点不同亦不能通用。（2）部分学者提出利用线上教学平台监测数据来量化教师和学生的行为数据，但仅依赖于线上数据会忽视教师教学的系统性和学生学习的主体性，导致测量结果偏差［3］。（3）过往以定性研究为主的课程评价方法趋于主观，无法将线上线下课程的相关指标有机结合，而科学的定量和统计方法能帮助学者提炼更为客观有效的课程评价体系［4］。因此，结合线上线下教学模式特点，以大数据驱动的定量数据为主，定性分析为辅，构建一套科学有效的双线融合课程教学质量评价体系已迫在眉睫。

本文将结合政策文本的专业生成内容（Professional Generated Content，PGC）、理论文献的用户生成内容（User Generated Content，UGC）以及ChatGPT问答的人工智能生成内容（Artificial Intelligence Generated Content，AIGC）进行高频词分析并构建语义网络图，通过定量定性相结合的方法甄选双线融合课程教学质量评价体系指标。由于CIPP模式的过程性、反馈性和全程性特征与线上课程的“过程”监督特征和线下课程的“效果”反馈优势十分契合。笔者借鉴该模式将3类文本中提取的指标按照背景、输入、过程及结果4个一级指标整合归纳，构建针对教学全过程的质量评价指标体系。通过信效度检验和层次分析法确定每一层次的指标权重。最后，采用多主体问卷调查和模糊综合评价法对比两门线上程度有显著差异的双线融合课程教学情况，提出改进建议，进而提升双线融合课程教学效果。

1大数据驱动的双线融合课程教学质量评价指标提取与构建

1.1政策文本（PGC）采集与挖掘

教育行政管理部门在高校教育中扮演着顶层规划的角色。本文整理近5年国务院和教育部颁布的与高校线上线下教育相关的法律法规资料，如2021年，针对线下课程，教育部发布《普通高等学校本科教育教学审核评估指标体系（2021—2025年）》；2022年，教育部五部门发布《关于加强普通高等学校在线开放课程教学管理的若干意见》。通过关键词抽取的方法进行词频分析，挖掘目前课程教学的侧重点。然而，单纯的词频无法显示词语间的关系，因此利用ROST CM 6内容分析软件进行语义网络构建。通过提取高频词（301个）、过滤无意义词、提取行特征词、得到行特征词共词矩阵和构建语义网络5个步骤，本文基于政策文本构建语义网络图（见图1）。最后，回溯到原始文本，用人工阅读方式进行分类筛选后提取出13项评价指标，划分为5个类目（见表1）。

1.2理论文献（UGC）搜索与分析

国内外学者已针对线上或线下课程的教学质量评价展开研究，但关于双线融合课程的综合评价研究较少。本文从理论文献入手，以“教学评价指标”为关键词，在中国知网搜索近5年的337篇中文核心期刊论文，通过人工筛查去除不相关论文后保留256篇论文，通过关键词抽取法进行词频分析，挖掘评价重点。利用ROST CM 6从文献文本中提取1432个高频词条，构建语义网络图（见图2）。最后，回溯到原始文献，分类筛选后提炼出27项评价指标，归并为11个类目（见表2）。

1.3人工智能问答（AIGC）运用与优化

随着人工智能技术发展，ChatGPT因具备强大的语言处理能力而引起教育领域的关注。本文从人工智能问答入手，结合从前2类文本中提炼的指标内容，与ChatGPT进行对话探讨，诸如“线上课程教学资源评价指标包括哪些”等问题。最终，对收集到的文本进行归纳梳理，进一步完善指标体系。

1.4基于CIPP模式的双线融合课程教学质量评价指标初建

CIPP评价模式由Stufflebeam［5］提出，涵盖教学背景（Context）、输入（Input）、过程（Process）与结果（Product）4部分。由于CIPP模式的过程性、反馈性和全程性特征与双线融合课程十分契合，本文选用该模式对教学质量评价指标进行归纳和重组。首先，将CIPP模式的4项内容作为一级指标；其次，基于上述多来源数据提取的高频词条所属类目构建13项二级指标；最后，根据回溯的高频词关联文本分析，提炼40项三级指标，初步构建双线融合课程教学质量指标体系（见表3）。

2双线融合课程教学质量评价指标体系优化与应用

2.1问卷分析法确定评价指标信效度

根据表3，本文设计包含40道题项的预调查问卷，要求被试对其重要程度打分。最终，回收120份有效问卷，通过信效度检验方法优化指标体系。信度分析用来检验题项设计的可靠性，当克隆巴赫Alpha系数在0.8～1.0间且修正后的相关性大于0.5时，表明信度较高。效度分析旨在检验题项与测量内容的准确程度，当KMO值大于0.7，巴特利球形度检验显著性低于0.05时，表明问卷设计结构效度好。笔者运用SPSS 25.0分析软件获得分析结果。其中，观测点D14由于修正后的相关性为0.473小于0.5，故被删除。

2.2层次分析法确定评价指标权重

层次分析法（Analytic Hierarchy Process，AHP）是一种多准则决策分析方法，它将问题分解后基于专家的经验判断，通过两两比较来确定不同要素的相对重要性。本文依据AHP，基于表3、构造判断矩阵，邀请12名具有双线教学经历的专家参与问卷调查。然后，使用Yaahp软件进行权重计算，对一致性比率CR≥0.1的矩阵进行调整，直到所有判断矩阵通过一致性检验。最终，计算出最大特征值，获得向量归一化后的评价指标权重（见表3）。

2.3模糊综合评价法进行实例应用

本文选择由同一位教师在不同学期讲授的同一门课程“管理信息系统”，采用模糊综合评价法对双线融合课程教学质量评价指标体系进行实例应用。由于疫情原因，两次课程线上授课的比重分别为80%和20%。因此，在其它条件相同的前提下，唯一区别为课程双线融合的程度差异。调研过程中，邀请上课学生、授课教师及听课教师三类群体进行教学质量打分，每位被试需对38项评价指标给予评分（1～5）。此外，“线上课程的资源共享互通程度”并非通过问卷测量，是基于线上平台中学生的资源下载量计算。最终，将权重投入模糊隶属矩阵，采用矩阵乘法得出模糊综合评价值。该课程教学质量满意度总体而言较高，如表4所示。然而，线上比重高的课程质量整体评价（4.59）显著低于线上比重低的同样课程（4.97），尤其体现在教学背景阐述不清（4.40），教学过程更加难以集中精力（4.50）。

3结语

随着双线融合课程的兴起，构建一套科学有效的课程质量评价指标体系已是大势所趋。本文将定量与定性方法相结合，通过对政策文本、理论文献和ChatGPT问答3类文本进行高频词提取和语义网构建，再结合CIPP模式甄选出三级评价指标，辅以信效度检验加以优化，最终构建一套双线融合课程教学质量评价指标体系。在实例运用中，采用多主体问卷调查和模糊综合评价法对比两门线上课程比重不同的双线融合课程教学情况，针对数据结果提出改进策略。本研究有利于优化线上线下教学资源配置，提升双线融合课程教学效果。

参考文献

［1］王月芬.线上线下融合教学：内涵、实施与建议［J］.教育发展研究，2021（6）：19-25.

［2］蒋鸿玲，王晓敏，周全.高校双线教育融合研究的热点与前沿：基于CNKI核心期刊论文的知识图谱分析［J］.教育信息技术，2023（增刊2）：95-99.

［3］吴爽，阳恋雨.基于CIPP模型的线上线下混合式教学质量评价指标体系构建［J］.科教文汇，2023（3）：11-14.

［4］姚凯，李思志，李艳红，等.MOOC评价模型研究［J］.复旦教育论坛，2017（3）：65-71.

［5］STUFFLEBEAM D S. The use and abuse of evaluation in title III［J］. Theory into Practice，1967（5）：126-133.

（编辑姚鑫）

Data-driven construction of teaching quality evaluation system for online-offline blended courses

Wang  Xiaolun， Xu  Yu， Teng  Wensong， Liu  Mengfan， Yang  Changdi

（College of Economics & Management， Nanjing University of Aeronautics and Astronautics， Nanjing 211106， China）

Abstract：  With policy guidance and rise of MOOC courses， online-offline blended courses become the new trend of teaching practices in universities. Based on CIPP evaluation model， this paper combines quantitative and qualitative methods by collecting three types of texts， policy announcement， theoretical literature and AI-enabled Q&A， and extracting three-level quality evaluation indicator of online-offline blended courses through high-frequency word analysis and semantic network graph. Then， using reliability， validity tests and analytic hierarchy process to calculate the weight of indicators， it constructs the teaching quality evaluation system. Finally， multi-subject survey and fuzzy comprehensive evaluation method were adopted to compare the data of two courses with different online proportions， and proposes improvement strategies.

Key words： online-offline blended course; CIPP evaluation model; teaching evaluation indicator; data-driven analysis

基金项目：国家自然科学基金面上项目；项目名称：技能共享平台负面跨边网络效应内在机理及治理策略研究：基于信息不确定性视角；项目编号：72372075。南京航空航天大学研究生教育教学改革研究项目；项目名称：基于CIPP模式的双线融合研究生课程教学质量评价体系研究；项目编号：2022YJXGG30。

作者简介：王筱纶（1988—），女，副教授，博士；研究方向：用户行为分析，教学评价。