数据科学视角下在线教学评价通用模型研究*

2022-11-26刘革平

现代教育技术 2022年11期

刘选刘革平廖剑

刘选1,2刘革平1廖剑1

（1．西南大学教育学部，重庆 400715；2．四川开放大学科研处，四川成都 610073）

当前在线教学评价面临研究范式有待转型、研究层次有待深化、研究方法亟待创新的挑战，而数据科学可为在线教学评价提供较好的学理支持和方法论指导。基于此，文章首先构建了数据科学视角下在线教学评价通用模型的雏形；之后结合两轮调研中专家所提的意见和建议，从体现评价的要素及过程、突出数据增值的核心、体现闭环关系、体现双向驱动特色等方面对模型的雏形进行了优化；最后，将优化后的数据科学视角下在线教学评价通用模型在S大学的“信息化管理与运作”课程中进行了初步应用。根据对课程中2357名学习者在线学习数据的统计分析，文章对学习者的整体学习行为、学习者特征、在线交互行为、在线学习成绩进行了深入分析，研究结论验证了数据科学视角下在线教学评价通用模型的有效性。此通用模型的提出，有助于为深入开展在线教学评价研究与实践提供范式支持和方法指引。

数据科学；在线教学评价；数据流；在线学习行为

随着互联网技术的快速发展，在线教学逐渐成为一种常态化的教学方式。在线教学在体现规模化、个性化等优势的同时，也面临如何科学、合理地进行评价的难题。已有的在线教学评价研究在评价体系构建、评价方法探索、评价实践应用等方面积累了宝贵经验，但对于如何更深入地利用教学数据来支持和改进在线教学评价还存在较大的探索空间。由于数据科学强调对多维数据的综合处理、分析和挖掘，以使数据不断实现价值增值，因此本研究尝试从数据科学的视角切入提出在线教学评价通用模型，以期为研究者和实践者提供一套具有切实参考或指导价值的在线教学评价范式，从而解决当前在线教学数据利用简单、缺少解释性分析等问题[1][2]。

一文献综述与研究视角

1 在线教学评价整体研究概况

为从整体上把握我国在线教学评价的研究现状与问题，本研究以中国知网的北大核心、CSSCI期刊为文献来源，以“在线教学/学习评价”和“网络教学/学习评价”为主题词进行检索，检索时间截至2022年6月30日，共检索到在线教学评价相关文献400多篇。文献分析结果显示：①从评价对象来看，在线教学评价研究主要针对课程/资源、教与学的过程、教与学的效果三个方面。②从研究内容来看，在线教学评价研究主要集中在教学评价体系构建、评价方法研究、教学评价应用三大方面。其中，在教学评价体系构建方面，赵慧[3]针对大学O2O教育，从评价对象、资源评价、效果评价、实施评价等方面构建教学评价体系；孙洪涛等[4]从学习分析的视角提出一种在线学习课程评价模型，并从媒体技术、学习资源、学习活动、学习支持、联通度五个维度构建在线学习课程评价体系。在评价方法研究方面，戴慧珺等[5]针对MOOC课程，提出一种基于历史大数据决策树分类的教学评估方法，并使用数据挖掘算法实现了基于学生学习行为的评价算法；魏顺平等[6]为解决在线教学过程中的监控和诊断问题，采用归纳和演绎的方法，提出一种数据驱动的在线教学过程评价方法。在教学评价应用方面，孙翔等[7]提出一种针对慕课与翻转课堂的混合式、立体化教学评价模式，并将其运用于特定的课程中进行评价效果检验，以达到以评促教的目的；魏顺平[8]从管理者视角提出一种在线教学绩效评估模式，并利用Moodle平台上的日志数据对该模式进行了应用和有效性检验。值得注意的是，2020年之后关于在线教学评价的研究呈现出新的特征：除了关注疫情背景下实施在线教学的效果（如针对学生的学习表现、针对师生的教学满意度等），也关注宏观层面高校在线教学质量评价（涉及评价导向、评价标准、评价机制、评价方式等）面临的挑战及其消解策略[9]。

通过上述文献分析可以看出：当前，研究者和实践者对在线教学评价给予了越来越多的关注，且在评价体系构建、评价方法和评价实践方面进行了有益探索；与此同时，在线教学评价也面临研究范式有待转型、研究层次有待深化、研究方法亟待创新等方面的挑战。即使有研究者开始尝试应用大数据和学习分析的思路与方法来解决在线教学评价中的问题，但仅限于或者引入学习分析的思路来构建评价体系或模型，或者在数据分析过程中应用特定的算法进行数据的挖掘和可视化呈现，或者提出一种新的数据分析算法等，尚未见有研究者从数据科学的视角提出一套系统且具有通用性的在线教学评价模型，而这正是近年来国际学者关注的热点问题[10]。

2 数据科学为在线教学评价带来新视角

著名计算机科学家兼图灵奖获得者Nauru[11]将“数据科学”（Data Science）定义为“一门基于数据处理的科学”。数据科学因具有跨学科性而被逐步应用于解决不同专业领域的问题，其中数据科学对教育教学的影响受到了研究者的广泛关注[12]。在线教学情境下，数据科学以在线教学过程中生成的各类数据为研究对象，围绕特定的教育研究目的，运用一种或多种数据分析方法，通过挖掘教学数据之间的关系，来更深入地解决某一教育研究问题。数据科学能为在线教学评价提供较好的学理支持和方法论指导，进而为重构在线教学评价方式提供可能。

①数据科学能为在线教学评价提供理论支撑。数据科学将数据视为一种重要资产，强调将数据科学家的创造性设计、批判性思考和好奇性提问融入数据的加工活动[13]，从而不断挖掘、提炼数据的价值。数据科学蕴含的理论价值与计算机和信息科学领域中经典的DIKW层级模型具有共通之处，体现为对数据的多维分析和创新应用。DIKW层级模型提出的由数据（Data）→信息（Information）→知识（Knowledge）→智慧（Wisdom）构成的逐层递进关系[14]，不仅有助于揭示数据的价值增值机制，还可为在线教学评价提供学理层面的分析和解释性支持，进而推动在线教学评价研究不断深入。

②数据科学能为在线教学评价提供方法论指导。数据科学注重对数据的处理与分析，其处理过程包括数据审计、数据清洗、数据变换、数据集成、数据脱敏、数据归约、数据标注等环节，其分析思路是运用智能化的算法对处理后的数据进行建模、分析和可视化呈现，以帮助组织或机构制定正确的发展决策[15]。同时，数据科学也遵循数据生命周期理论，认为数据一般都会经历生成、收集、处理、保存、管理、分析、可视化、解释八个阶段[16]，这可为在线教学评价中的数据处理与分析提供方法论指导，从而推动数据科学在在线教学评价中的落地。

二数据科学视角下在线教学评价通用模型雏形的构建

1 模型构建的整体思路

虽然数据科学能为在线教学评价带来新视角，但将其直接应用于在线教学评价存在不合理之处。这是因为数据科学强调用数据直接驱动分析，即基于对大量数据的统计性搜集、整理、比较、分类、聚类等来进行分析总结，而不是直接借鉴理论进行逻辑推理，因此数据科学还无法直接对标解决社会科学领域中的实际问题。对此，罗俊等[17]提出可采用理论与数据双向驱动的路径，来解决社会科学领域中的研究和实践难题。本研究将围绕在线教学“评价什么”和“如何评价”的问题，以在线教学评价和数据科学涉及的相关理论为指导，先构建数据科学视角下在线教学评价通用模型的雏形，然后采用德尔菲法对该模型进行修订和优化，最终形成具有一定理论和实践指导价值的在线教学评价通用模型。

2 在线教学评价通用模型的雏形

构建在线教学评价通用模型的首要任务，是确定其框架要素及其关系。框架要素的确定主要借鉴李秉德[18]提出的教学活动七要素（即学生、教学目的、教学内容、教学方法、教学环境、教学反馈、教师）理论，这七个要素同样是在线教学的必备要素。为了更好地突出在线教学评价过程的可操作性，本研究将在线教学评价通用模型的框架要素置于在线教学的课前、课中、课后三个环节，涉及“以学生为中心”的备学、学习、作业提交和“以教师为主导”的备教、教学、辅导六项教学活动，这些教学活动也能体现在线教学的七个要素；同时，在线教学的“过程流→活动流→数据流”关系可以清晰地表达框架要素之间的横向关系，为数据驱动评价奠定了基础。而如何挖掘并应用在线教学生成的数据流的价值，恰是体现数据科学的关键。为此，本研究借鉴数据科学的DIKW层级模型（用于指导在线教学数据实现“数据→信息→知识→智慧”的逐层挖掘）和数据生命周期理论（用于指导在线教学数据的分析过程与方法）提出数据流驱动机制，在此基础上构建出数据科学视角下在线教学评价通用模型的雏形，如图1所示。

图1 数据科学视角下在线教学评价通用模型的雏形

三数据科学视角下在线教学评价通用模型的优化

为进一步优化数据科学视角下在线教学评价通用模型，本研究依循德尔菲法的研究理路，邀请六名教育技术领域的专家针对该模型的雏形进行了两轮调研。在第一轮调研中，研究者向六名专家阐释了在线教学评价通用模型构建的理论基础、逻辑思路、涉及要素和模型雏形，专家提出的意见主要有两点：一是模型雏形没有体现出“评价的要素及过程”，二是模型雏形没有很好地体现出“数据科学对在线教学评价的新内涵”。结合这两点意见，研究者对模型雏形进行了以下优化：①在模型中增加了“评价目的”“评价对象”“评价过程与方法”“评价反馈”四个评价要素；②对“数据流驱动机制”所涉及的要素进行补充，并对各要素之间的关系进行细化，以更好地突出数据增值的核心要旨；③形成在线教学过程流、在线教学活动流、在线教学数据流、数据流驱动机制之间的闭环关系，以更好地体现数据科学视角下在线教学评价模型的通用性。在第二轮调研中，研究者将完善后的模型及其优化说明反馈给六名专家，获得了较为一致的肯定，但也有专家建议可将构建模型所涉及的理论思想体现出来，以突出模型“理论”与“数据”双向驱动的特色。参考此建议，研究者再次对模型进行完善，得到优化后的数据科学视角下在线教学评价通用模型（下文简称“通用模型”），如图2所示。

图2 优化后的数据科学视角下在线教学评价通用模型

1 通用模型受“理论”与“数据”双向驱动

通用模型是基于“理论”与“数据”的双向驱动而提出的：理论驱动体现为基于教学七要素理论提出在线教学活动流、基于数据生命周期理论提出数据流驱动机制；而数据驱动主要体现为通过数据处理、数据分析、数据阐释来挖掘在线教学数据背后的知识和价值，从而为优化教师教学和促进学生发展提供指导。在“理论”与“数据”双向驱动的作用下，通用模型理论与数据互补、互促的优势得以进一步凸显。

2 通用模型具有层层递进的闭环结构

纵向来看，数据科学视角下在线教学评价的过程由在线教学过程流、在线教学活动流、在线教学数据流和数据流驱动机制四大模块构成，并形成逐层递进的闭环，一定程度上体现了四个评价要素（即评价目的、评价对象、评价过程与方法、评价反馈）之间的运行关系。而横向来看，在线教学过程流和在线教学活动流是围绕评价目的，并基于教学七要素理论对在线教学课前、课中、课后活动进行的归纳和提炼；在线教学数据流即为评价对象，是依据教学活动的开展过程对教师和学生的教与学行为进行的数据表征；数据流驱动机制是基于数据生命周期理论对在线教学数据流进行的生成、收集、处理、保存、管理、分析、可视化和阐释，以实现“数据→信息→知识→智慧”的价值增值[19]。由此经过分析和阐释而生成的不同层级的知识既可为教师优化教学提供反馈，也可为促进学生学习提供支持，即为师生提供评价反馈。

3 通用模型提供了一套在线教学评价范式

通用模型在一定程度上超越了已有研究在评价体系构建、评价方法融合和评价实践应用方面的单一性探索，而将理论、方法和应用整合为一体，形成了一套较为完整的在线教学评价范式。此评价范式不仅适用于各类评价对象（如在线教学资源/内容、在线课程、教师教学行为、学生学习行为、在线交互文本等），还能根据不同的数据分析模型生成不同的可视化结果，并能结合在线教学理论和教学经验形成有价值的数据报告，从而为不同的评价主体提供基于证据的精准反馈和科学决策。由此，数据科学视角下的在线教学评价将不再是主观经验式评价，而是基于大量教与学数据分析的客观公正式评价，有助于提升教学决策制定的针对性与科学性[20]。

四在线教学评价通用模型的初步应用

为验证数据科学视角下在线教学评价通用模型的有效性，本研究在四川省S大学的“信息化管理与运作”课程中进行了通用模型的初步应用。该课程依托“国开学习网”平台（网址：http://www.ouchn.cn/）开展，是一门面向在职成人学习者的、针对计算机信息管理（专科）专业的主修课程，其在线教学活动主要包括针对学生的备学、学习、作业提交和针对教师的备教、教学、辅导六类活动。该课程教学团队需要根据教学大纲的要求和在职成人学习者的特征，提前设计、制作多种类型的课程资源并上传到平台上，同时也需要定期开展在线教学和辅导活动；学习者则需在规定的时间期限内在平台上完成相应的课程学习、活动参与和作业提交，参加最终的综合考试并努力通过。由于学习者备学的数据在平台上不易获取和教师备教的数据相对固定且更新缓慢，故本研究只选取学习、作业提交、教学、辅导四项活动生成的数据作为评价对象。这些数据在S大学的在线教学平台上可用课程行为天数、行为总数、浏览数、发帖数、回帖数、教师回帖数六个指标来表征，故本研究将重点围绕这六个指标进行分析。另外，考虑到S大学的招生规模很大，每学期选课的人数较多，因此本研究基于目的性抽样，选取参与2021年秋季学期“信息化管理与运作”课程（下文简称“秋季课程”）学习的2357名学习者的在线学习数据，采用SPSS 22.0进行相关统计分析。

1 学习者在线学习行为整体评价

秋季课程中学习者在线学习行为的基本数据统计结果如表1所示，可以看出：课程行为天数、行为总数、浏览数三个指标对应的最大值和最小值相差较大，说明学习者的在线学习行为表现具有明显的不平衡性，而“不平衡性”正是较大规模在线学习行为的典型特征。

表1 秋季课程中学习者在线学习行为的基本数据

2 学习者在线学习行为分层聚类评价

为进一步揭示学习者的在线学习行为特征，本研究对不同情形下秋季课程学习者的在线学习行为数据进行了统计分析，结果如表2所示。表2显示，2357名学习者的课程行为天数均值为每人7.76天，行为总数均值为每人268.47次（或34.58次/天），浏览总数均值为每人143.22次（或18.44次/天）。结合笔者在S大学的在线教学经验和学习者在职工作的特征来看，这些数据整体上较为合理、可信。此外，本研究通过对秋季课程学习者在线学习行为数据的分层聚类分析，得出了不同的学习者类型及其特征，据此将学习者分为“突击应对型”“持续稳定型”“积极活跃型”三类。

表2 不同情形下秋季课程学习者的在线学习行为统计数据

①“突击应对型”学习者：有766人（见表2课程行为天数=1的记录），占选课人数的近1/3，其行为总数均值为每人107.64次，浏览总数均值为每人49.67次。这些行为指标均值与针对全部学习者相应指标的均值存在较大差距，说明本类学习者对在线学习不够上心，常以突击方式应对学习要求，存在的在线学习问题较多，值得引起课程责任教师的关注并给予正确指导。

②“持续稳定型”学习者：有829人（见表2课程行为天数≥8的记录），约占选课人数的35%，其课程行为天数均值为每人17.90天，行为总数均值为每人305.40次（或17.06次/天），浏览总数均值为每人176.31次（或9.85次/天）。这些行为指标均值均超过了针对全部学习者相应指标的均值，而课程行为天数均值更是达到针对全部学习者相应指标均值的两倍之多，说明本类学习者的在线学习行为表现具有一定的持续性和稳定性，值得引起课程责任教师的关注和信赖。课程责任教师可通过多渠道了解这类学习者的学习需求，并为其提供更好的学习支持，如提供优质的课程资源和扩展型学习资源等。

③“积极活跃型”学习者：有95人（见表2行为总数≥1000的记录），约占选课人数的4%，其课程行为天数均值为每人15.53天，行为总数均值为每人1263.91次（或81.40次/天），浏览总数均值为755.08次（或48.63次/天）。虽然本类学习者的浏览总数均值与“突击应对型”学习者十分接近，但其课程行为天数均值却与“持续稳定型”学习者较为接近，说明本类学习者的学习行为较为积极活跃，据此可以认为本类学习者与“持续稳定型”学习者共同构成了在线学习的“中坚力量”。课程责任教师可通过各种途径维持这类学习者的学习热情，吸引他们持续参与在线学习活动，以推动在线学习活动走向深入。

3 学习者在线交互行为评价

发帖数和回帖数是常用来表征在线教学交互的指标。秋季课程的教学交互数据分类统计结果如表3所示，可以看出：秋季课程开展过程中仅有157人发帖（占比仅为6.7%），发帖总数仅为289条，且以发帖1次、2次为主，可见学习者通过主动发帖行为参与在线交互的意愿较弱；回帖人数和回帖量则更少，仅有6人回帖，回帖总量仅为22条，且没有1名学习者既有发帖行为也有回帖行为，可见学习者之间的交互很少。另外，从教师回帖情况来看，教师仅为17名学习者回复了帖子，教师回帖总数仅为40条，即使加上学习者的回帖总数，仍不足以回答所有发帖学习者的问题。总的来说，秋季课程的在线学习交互情况不容乐观，学习者之间、学习者与教师之间的交互较少，亟待引起课程管理者的重视。同时，课程管理者应积极制定增强师生、生生之间互动的教学策略和支持策略，使“交互”这一在线教学的关键特征得以彰显，并实现从“无交互”向“有交互”、从“弱交互”向“强交互”、从“简单交互”向“复杂交互”的螺旋递进式发展。

表3 秋季课程的教学交互数据分类统计

4 学习者在线学习成绩数据评价

成绩是反映学习者学习结果的有效指标。受限于数据的可获得性，且考虑到形成性作业成绩能够客观反映学习者的在线学习过程和学习效果，故本研究对秋季课程中学习者提交的1701份形成性作业进行了成绩数据统计分析，结果如表4所示。表4显示，有1250名学习者的形成性作业成绩≥60分，及格率为73.49%；学习者的形成性作业成绩比较密集地分布在80～89分这个分数段，平均分为85.22分，说明大多数学习者的形成性作业成绩为良好。S大学将形成性作业成绩按一定比例作为最终课程考核成绩的做法在各类教学活动中被不断强化，而且S大学允许学习者有3～5次机会选择提交形成性作业，这就为秋季课程学习者的形成性作业成绩普遍较高提供了解释空间。而通过形成性作业的作答情况，教师可以及时了解学习者对课程知识的掌握情况，并据此因地制宜地改进教学设计，调整在线教学的重点、策略和方法。

表4 秋季课程学习者的形成性作业成绩数据

五结语

本研究构建了数据科学视角下在线教学评价通用模型的雏形，之后对此模型进行了优化并在S大学的“信息化管理与运作”课程中进行了初步应用。同时，根据对2021年秋季学期“信息化管理与运作”课程中2357名学习者在线学习数据的统计分析，本研究应用课程行为天数、行为总数、浏览数、发帖数、回帖数、教师回帖数六个指标，对学习者的整体学习行为、学习者特征、在线交互行为、在线学习成绩进行了深入分析，结果发现：学习者的在线学习行为表现具有明显的不平衡性和弱交互性；根据不同的学习者特征，可将学习者划分为“突击应对型”“持续稳定型”“积极活跃型”三类；大多数学习者的形成性作业成绩为良好。上述研究结论的得出，在一定程度上验证了数据科学视角下在线教学评价通用模型的有效性。

显然，开展数据科学视角下的在线教学评价能更好地挖掘和运用数据的价值，为学习者、教师和管理者等利益相关者提供精准化的指导和服务——尽管其使用的数据评价工具和方法并不“深奥”，但数据科学的思想和方法却能为在线教学评价研究和实践提供一种研究范式上的指导，也有助于推动在线教学评价方式由“经验式为主”转向“精确性和预测性为主”，对学习者的评价由“单维和零散”转向“多模态和聚合”，从而突破常规总结性评价的瓶颈而真正实现形成性评价[21]。随着智能技术的快速发展，越来越多的数据评价工具已被开发出来并被应用于在线教学，如利用DMPTool可以搜集和创建数据，利用Data Up可以创建、管理和存储数据，利用Dataverse Network可以共享、引用、发现和分析数据，利用Taverna、Vis Trails、Knime等可以用来分析全流程数据等[22]。基于此，未来如何充分发挥在线教学评价通用模型在数据创建、搜集、存储、管理、分析、可视化等方面的优势，并利用先进的数据评价工具更好地服务于在线教学评价，是一个值得继续深入探索的重要问题。

[1]魏顺平.学习分析数据模型及数据处理方法研究[J].中国电化教育,2016,(2):8-16.

[2]胡钦太,伍文燕,冯广,等.深度学习支持下多模态学习行为可解释性分析研究[J].电化教育研究,2021,(11):77-83.

[3]赵慧.大学O2O教育教学评价研究[J].中国管理信息化,2017,(7):239-241.

[4]孙洪涛,郑勤华,陈耀华,等.基于学习分析的在线学习测评建模与应用——课程综合评价参考模型研究[J].电化教育研究,2016,(11):25-31.

[5]戴慧珺,桂小林,张成,等.基于历史大数据决策树分类的MOOC教学评估方法研究[J].计算机教育,2015,(22):52-55.

[6]魏顺平,程罡.数据驱动的教育机构在线教学过程评价指标体系构建与应用[J].开放教育研究,2017,(3):113-120.

[7]孙翔,冯庆革,黄华存,等.慕课与翻转课堂混合式立体化教学评价体系的构建及应用效果分析[J].中国教育信息化,2018,(24):69-71、76.

[8]魏顺平.在线教育管理者视角下的学习分析——在线教学绩效评估模式构建与应用[J].现代教育技术,2014,(9):79-85、93.

[9]肖云,王骥.高校在线教学质量评价体系:价值取向与建设策略[J].黑龙江高教研究,2020,(10):141-144.

[10]Aljawarneh S A, Lara J. Data science for analyzing and improving educational processes[J]. Journal of Computing in Higher Education, 2021,(3):545-550.

[11]Naur P. Concise survey of computer methods[M]. New York: Petrocelli Books, 1974:1.

[12]Daniel B. Big data and analytics in higher education: Opportunities and challenges[J]. British Journal of Educational Technology, 2015,(5):904-920.

[13]朝乐门,邢春晓,张勇.数据科学研究的现状与趋势[J].计算机科学,2018,(1):1-13.

[14]Rowley J. The wisdom hierarchy: Representations of the DIKW hierarchy[J]. Journal of Information Science, 2007,(2):163-180.

[15]杨京,王效岳,白如江,等.大数据背景下数据科学分析工具现状及发展趋势[J].情报理论与实践,2015,(3):134-137、144.

[16]Wing J M. The data life cycle[OL].

[17]罗俊,李凤翔.计算社会科学视角下的数据观[J].吉首大学学报(社会科学版),2018,(2):17-25.

[18]李秉德.教学论[M].北京:人民教育出版社,1991:12-14.

[19]Bellinger G, Castro D, Mills A. Data, information, knowledge, and wisdom[OL].

[20]胡水星.大数据及其关键技术的教育应用实证分析[J].远程教育杂志,2015,(5):46-53.

[21]喻长志.大数据时代教育的可能转向[J].江淮论坛,2013,(4):188-192.

[22]屈宝强,彭洁,刘蔚,等.科学数据共享及其发展趋势[J].情报学进展,2020,13:381-420.

Research on the General Model of Online Teaching Evaluation from the Perspective of Data Science

LIU Xuan1,2LIU Ge-ping1LIAO Jian1

At present, online teaching evaluation is faced with the challenges such as the research paradigm to be transformed, the research level to be deepened, and the research methods to be innovated. However, data science could provide better academic support and methodological guidance for online teaching evaluation. Based on this, the paper firstly constructed the prototype of the general model of online teaching evaluation from the perspective of data science. Then, combined with the opinions and suggestions put forward by experts in the two rounds of research, the prototype of the model was optimized from the aspects of reflecting the elements and processes of evaluation, highlighting the core of data appreciation, reflecting the closed-loop relationship, and reflecting the two-way drive characteristic. Finally, the optimized general model of online teaching evaluation from the perspective of data science was preliminarily applied in the course “Information Management and Operation” at S University. According to the statistical analysis of online learning data of 2357 learners in the course, this paper conducted an in-depth analysis of learners’ overall learning behaviors, learners’ characteristics, online interaction behaviors, and online learning achievements. The research conclusion verified the effectiveness of the general model of online teaching evaluation from the perspective of data science. The proposal of this general model was helpful to provide paradigm support and methodological guidance for the in-depth research and practice of online teaching evaluation.

data science; online teaching evaluation; data flow; online learning behavior