基于绩效管理导向的在线学习监测预警体系框架构建研究

张峻赫 周启柏 宋 娟

1 引 言

《中国教育现代化2035》提出“加快信息化时代教育变革”、“构建网络化、数字化、智能化、个性化、终身化的教育体系”。随着人工智能、大数据、物联网等新一代信息技术与教育的多层面、多角度交叉互融，各级各类教育的创新性变革在信息技术的快速迭代升级中萌芽和扩大，教育发展向数字化、智能化加速跃升，进入了教育数字化赋能教育现代化的高质量发展阶段。特别是在线教育的大规模兴起，夯实了教育发展的信息化基础，推动了教育数字化生态的优化重塑，促进了教育数字资产的价值提升，引领着不同类型和层次教育的全面数字化、智能化转型升级。根据中国互联网络信息中心（CNNIC）统计数据，我国在线教育用户规模到2022年6月已经达到3.77亿，与2015年相比，在线教育用户增长242%，呈现加速增长态势。

随着在线教育快速升级与发展，对在线教育质量有效评估与管理的重要性日益凸显。将绩效管理、风险管理等现代管理理论运用于在线教育管理研究与实践，构建适用于“数智时代”教育发展的在线学习监测预警体系框架，是提升在线教育质量的关键性路径，可以强化在线教育服务的准确性和个性化，有助促进实现面向学习者行为特征的数据智能驱动型现代化教育模式。在线学习环境由灵活性的学习时间、自励性的学习行为、混合性的学习活动和数字性的学习空间等生态要素构成，各种要素依托网络信息技术支撑，相互影响、相互作用，不仅促进在线学习环境的内在结构演化和外在特征形成，同时也衍生了在线学习环境中的大量复杂数据信息。数字化、智能化的在线学习平台作为在线学习活动的重要依托载体，可以记录和提供学习者在线学习活动的大量过程数据，形成在线学习大数据“蓄水池”，为在线学习监测预警提供多维数据信息支撑。同时，具有大数据智能化处理功能的定量模型在在线教育领域的创新应用，可以充分挖掘在线学习大数据的信息价值，为在线学习监测预警提供前沿性技术支撑。因此，构建以在线学习环境中大量复杂数据信息的价值挖掘与有效利用为驱动的学习效果监测预警体系框架，可以形成对学习者学习效果的立体化展示，评估和警示学习者的实际学习状态及风险，从而为制定必要的学习干预与调整策略提供支撑，促使学习者更好完成学习任务。

有效的在线学习监测预警体系框架设计构建，既需要符合在线学习理论规律，体现在线学习过程的关键决定因素及其作用机制，同时也需要具有较强的监测预警效能，可以及时向在线教育管理者和学习者发出预警信号，为学习策略制定提供数字化、智能化和精准化的决策支持。鉴于此，本文基于绩效管理理论视角，以兼顾学习过程与学习结果双重管理的学习绩效管理为导向，对构建在线学习监测预警体系框架的主要原则、理论模型、指标体系和定量模型等进行系统探讨，以期为后续相关理论和应用研究提供有益启发。

2 文献综述

作为现代管理理论的核心内容之一，绩效管理理论适用于不同层次和专业教育实践（Leaman和Lamb，2009［1］；Abedi，2015［2］）。例如，戴锡莹等（2009）［3］将企业绩效评估模式（Kirkpatrick评估模式）与教学系统设计模式结合，提出适合网络学习的绩效评估模式（ADDIEF）。从绩效管理理论角度来看，学习者在时间、空间和资源约束条件下所取得的综合性学习效果可以描述为学习绩效。学习绩效可以表现为学习的效率、质量等多个方面，是学习者内在素质与外在学习环境互动作用的结果，改善学习者的自身学习能力和外在学习激励因素是提升学习绩效必要途径（张桂敏，2001［4］；岳延兵和范敏，2006［5］）。学习绩效的合理评估是提高学习绩效的核心环节，应该以公平性、权变性、发展性、可操作性等原则为指导，以设计真实学习情景为依托，构建能够全面体现学习质量的评估体系（王冬，2008［6］；卢紫荆等，2019［7］）。

全球信息化浪潮下，基于人工智能、大数据等新一代信息技术的学习监测预警模式，成为在线学习风险评估与绩效管理的必然选择（杨世鉴，2022［8］）。对学习者学习过程数据的系统记录、全面采集和价值挖掘，可以充分揭示学习者的行为特征和素质潜力，强化学习监测预警在教育实践中应用的有效性（晋欣泉等，2021［9］）。旨在为世界各国对学习效果进行测量提供支持的“学习监测全球联盟”（GAML）项目，由联合国教科文组织统计研究所（UIS）于2016年启动。结合全球教育信息化发展趋势，该项目提出了以体现监测数据供给能力为目标的“学习评估能力指数”（LACI）。在线学习监测预警的大数据环境具有数据来源更加多源异质、数据获取更加丰富及时、数据分析处理更加复杂精确、数据应用更加全面深入等特征（徐鹏等，2013［10］；杨现民等，2020［11］）。数字化、智能化的在线学习平台可以记录和提供在线学习监测预警所需要的数据资源，通过Coursera、edX、Moodle和KNewton等代表性平台可以收集大量的实时学习过程数据（朱郑州等，2020［12］）。在线学习监测预警需要提取的大数据信息主要包括学习者信息、教师信息和课程信息等。在实践层面，Desire2Learn机构的学生成功系统（Student Success System）等在线学习监测预警系统的应用取得一些成效，但是在技术和应用层面还存在不足（王林丽等，2016［13］；肖巍等，2018［14］）。

随着人工智能、大数据等信息技术在教育领域的持续深化应用，学习监测预警领域的国内研究也逐渐丰富。例如，胡水星（2015）［15］在分析教育大数据重要价值的基础上，构建学习分析模型对教育大数据进行分析，并且提出教育大数据的实践应用思路；王林丽等（2016）［13］在总结国外典型学习系统的主要特点的基础上，提出了在线学习预警系统的共性框架和核心模型；赵慧琼等（2017）［16］在对学习过程大数据进行挖掘和分析的基础上，利用Logistic回归分析技术识别在线学习的关键性预警因素并且提出相应的干预策略；舒莹等（2019）［17］在对学习者学习过程中的外显和内隐行为数据信息进行挖掘和分析基础上，利用贝叶斯技术构建了相应的预警模型；杨丰玉等（2021）［18］结合在线学习的过程海量数据特征，甄选预警指标、设定预警阈值，进而构建了数据驱动的学习预警系统；成亚玲和谭爱平（2022）［19］提出了从学习行为等四个维度刻画在线学习者的行为特征画像的在线学习预警系统。

总体上看，国内在线学习监测预警领域的研究取得了积极进展，但是相关领域研究仍然很少，还需要进一步加强和深入，强化监测预警的实时性、精确性和智能性。一是对监测预警理论模型的研究需要深入。现有研究往往从对在线学习过程海量数据进行分析入手，通过数据特征的定量识别，从而实现监测预警（胡水星，2015［15］；杨丰玉等，2021［18］）。监测预警结果受到具体在线学习环境中数据类型、数据指标的影响相对较强，理论逻辑的共性指导作用未能充分显现，难于进行一致性标准下的比较评估。因此，需要强化在线学习监测预警与绩效管理、风险管理等管理学前沿理论的交叉融合，探索构建体现在线学习质量内涵要义的监测预警理论模型，强化监测预警的理论逻辑和策略含义。二是监测预警核心指标与变量的研究需要深入。现有研究主要从学习者的主观评估（学习满意度）和客观衡量（学习者成绩）两个方面选取学习者绩效评估指标和变量（黄天慧和郑勤华，2011［20］）。在线学习环境的时空分离特性以及不可控因素的干扰增加了学习风险的评估难度。学习者的内驱力强是学习者进行在线学习区别于其他学习方式的显著特征，需要将学习者满意度和学习者测试成绩相结合，并兼顾学习态度、知识与技能的应用、学习者自我评估等学习行为过程要素，设计指标和变量对在线学习效果进行全面衡量（龚艺等，2018［21］；董娜和昂娟，2020［22］）。因此，强化对反映在线学习过程中内在隐性要素的指标和变量的研究，是对现有研究的必要补充和深化。三是监测预警核心定量模型的研究需要深入。现有研究更多利用线性回归模型、概率选择模型等定量模型进行量化研究（赵慧琼等，2017［16］；舒莹等2019［17］）。但是，目前在线学习监测预警领域的量化研究仍然较少，对于在线学习学习数据的价值挖掘还存在提升空间，对在线学习过程中存在的非线性作用机制和传导机制研究还需深化，并且量化模型在大数据环境下的适用性和功效也还需深入探索。

因此，本文在国内外学者研究的基础上，基于绩效管理理论，应用非线性门限回归模型（threshold regression, TR），从学习过程、学习满意度和学习结果三个维度出发，设计与构建能够反映在线学习绩效形成理论逻辑、有效挖掘在线学习大数据信息价值、及时向决策者发出预警信号的在线学习监测预警体系框架，研究结果可以为在线学习监测预警研究提供新的理论路径和应用案例，为在线学习提升策略制定提供科学参考。

3 在线学习监测预警体系框架的设计构建

3.1 主要原则

注重实践需求导向。在线学习监测预警体系框架构建应该以着眼于教育数字化、智能化建设的现实需求，将学术探索与服务于教育数字化、智能化建设实践相结合，聚焦于“数智时代”在线教育发展的新趋势、新特征和新问题，提出在线学习精确化监测预警的解决方案。解决方案的设计要强调前瞻性与有效性，既应有助于强化教育科学理论与方法的探索，又应具有较强的管理决策参考价值。

注重理论逻辑引领。在线学习监测预警体系框架构建应该以“教育数字化”、“学习绩效”和“学习预警”的内在关联逻辑作为主线，以在线学习、绩效管理、风险管理等理论为基础，以构建绩效管理导向的、大数据驱动的在线学习绩效监测预警理论模型，作为研究的顶层设计模型。理论模型要注重在线学习者微观行为与整体绩效的多维度多层次协调统一，强调理论创新的导向性，强调归纳推演的严谨性，充分体现在线学习绩效形成机理与多维度监测预警的理论逻辑。

注重定量方法应用。在线学习监测预警体系框架构建中所涉及的指标体系、评价指数和定量模型等模块要素应充分体现绩效管理理论逻辑、线性和非线性定量模型以及学习大数据获取与筛选的深入融合，注重指标体系与评价指数与在线学习环境的适用匹配性，注重定量模型与大数据技术的对接可行性，充分发挥在线学习环境的数据资源优势，实现监测预警结果的“绩效管理导向”式全景展现。

注重动态更新优化。在线学习监测预警体系框架应既能够尽可能挖掘在线学习环境中的更多风险信息，又能够兼顾各模块要素彼此之间的系统协调与动态优化。需要以准确性与稳定性为导向，及时识别管理决策需求和引入前沿性技术成果，对指标权重选择、警戒值设定、定量模型选择等进行完善与优化，保障监测预警体系框架的有效性。

3.2 理论模型

正确认识大数据环境中的在线学习绩效系统动态规律与特征表现，是监测预警指标体系和定量模型有效设计的前提和基础。在线学习环境中，学习者的内驱力对学习效果具有更强影响，这也是在线学习方式与其他学习方式相比的显著特征（马祖苑，2022［23］）。根据绩效管理理论，学习绩效是学习过程与学习结果的综合体现，兼顾“过程性”与“结果性”特征。“过程性”表现为一种控制与管理活动，使学习过程凸显“优化”的目标导向；“结果性”衡量了学习系统内各要素间关系的“融洽”程度，且表现出“目标性”的整体效应或功能。根据绩效管理的理论内涵，在线学习绩效应该是在线学习环境中学习者的学习过程质量与学习结果质量的综合体现（李爽和钟瑶，2020［24］；孙建文等，2022［25］）。学习考核的具体分数、等级等可以作为学习结果质量的直接体现，而学习者的学习兴趣、努力程度、获得感受等具有更强内在隐蔽性的学习者特征，则更多体现了以学习行为和学习满意度为核心要素的学习过程质量（Huang等，2012［26］；李小娟等2017［27］）。

基于描述管理过程中“教”与“学”互动机制的“三维学习立方体”理论模型，构建大数据环境下的“在线学习绩效监测预警立方体”理论模型，分析在线学习绩效的多维度多层次监测预警内容。“在线学习绩效监测预警立方体”理论模型的三维空间由“学习行为-学习满意度-学习结果”三个维度构成。维度一：学习行为，核心要素包括课程选择、计划制定，任务完成、自我提升等，可以通过登录平台时间、信息检索与加工、资源发布与共享以及交流互动等具体内容衡量。维度二：学习满意度，核心要素包括课程满意度、平台满意度和支持服务满意度，可以通过教学设计、过平台易用性、导航明确性、响应速度及整体美观设计具体内容衡量。维度三：学习结果，主观性成绩指通过参与学习活动、与学习者进行交流沟通获得的成绩，客观性成绩即所获得客观分数。“在线学习绩效监测预警立方体”理论模型的数据支撑包括学习者的基本数据（学习风格、态度等）、行为数据（访问次数、在线时长、下载次数、最后访问等）、交互数据（互动情况、讨论内容、发帖数、互动次数等）、表现数据（学业成绩、排名、进步等）、情感数据等。

3.3 指标体系

根据“在线学习绩效监测预警立方体”理论模型，将在线学习环境作为综合性复杂系统，构建分层式结构的在线学习绩效监测预警指标体系。指标体系分为四个层次，目标层、系统层、要素层和指标层。目标层呈现在线学习绩效的综合状态。系统层呈现在线学习绩效的系统构成，也是进行监测预警的维度，依据“在线学习绩效监测预警立方体”理论模型，设置学习行为、学习满意度和学习结果三个维度。要素层是对系统层监测预警维度内涵的具体呈现，归纳总结核心内容，作为相应的监测预警要素，包括系统层三个维度下的教师行为、自我提升、课程满意度、支持服务满意度以及学习结果等要素。指标层是对各要素的具体内容的数量度量，包括学习时间、资源获取、课程内容准确性、课程内容适合性、课程资源获取的难易性、课程学习界面的美观性、课程测试成绩、课程作业成绩等具体指标。

依托大数据搜索引擎进行指标筛选与设计。主要步骤包括：在获取大量搜索指标的基础上，结合统计分析、文献研究、内容分析等方法，借鉴、筛选、吸纳已有指标，完成指标体系的科学筛选，构建“一般性”指标体系；挖掘监测预警要素深层次内涵与内容，挖掘已选取指标的还未体现的要素内容，依据动态性、操作性、共享性等原则，补充、设计、筛选并确定新增指标，从而保障评价指标体系的完整性；结合专家访谈、问卷调查等方法确定最终指标。

3.4 定量模型

数字化学习本质上是一种非线性学习，具有学习内容的非系统性，学习时间的碎片性、知识建构的主动性等特点（王继新和黄涛，2009［28］）。因此，在线学习者的学习行为、学习满意度和学习结果对学习绩效的影响可能是非线性的。与线性回归模型相比，非线性的门限回归模型中变量之间的影响关系随着门限变量取值的不同而转变，具有非线性的区制转移（regime switching）特点，能够刻画变量之间影响关系出现系统性转变的非线性特征，对数据生成过程中的信息挖掘和利用更加充分，模型的效能优势更加明显。以门限回归模型为基础，构建包含学习行为、学习满意度和学习结果三维度变量的在线学习监测预警模型。模型的基本结构为：

其中，模型的被解释变量为在线学习绩效，用yi表示；解释变量为反映学习行为、学习满意度和学习结果内容的变量，用Xi和Zi表示，并且Xi对被解释变量yi的影响系数为固定值，而Zi对被解释变量yi的影响系数则随门限区制的变化而改变。门限变量的选取和确定依据赤池信息准则（AIC）。门限回归模型的参数估计，通过最小化门限值搜索基础上的模型残差平方和实现。门限回归模型的拟合效果，通过计算模型被解释变量的预测值和实际值的绝对偏差评价指标平均绝对误差（MAE）和均方根误差（RMSE），以及相对偏差评价指标Theil不等系数（U）进行评价。

将门限回归模型估计结果与统计学“3σ原理”相结合，设计在线学习绩效的多维度监测预警方案。监测预警指标为利用门限回归模型得到的在线学习绩效拟合值及其多维度要素成分。通过计算各监测预警指标的均值及其加减1倍和2倍对应指标数据标准差数值，确定警戒值和警戒线，警戒线之间的范围即警戒区间。将不在监测预警指标均值加减2倍标准差范围内的异常值归类于最接近的警戒区间。从而，借鉴经济“信号灯”景气预警思想，通过构建“信号灯”系统，对在线学习绩效进行多维度的风险状态立体展现和监测预警。将在线学习绩效的各警戒区间的警戒程度描述为优秀、良好、一般和较差四种情况。其中，将“”作为“优秀”信号，将“”作为“良好”信号，将“”作为“一般”信号，将“”作为“较差”信号。

3.5 框架结构

根据上述分析，可以将在线学习绩效监测预警体系框架的总体结构用图1呈现。

图1 在线学习绩效监测预警体系框架结构

4 在线学习监测预警体系框架的案例应用

以某开放大学为例，进行在线学习绩效监测预警的应用研究。该开放大学建立万兆宽带城域校园网，建成了基于网络的远程多媒体教学系统，形成了基于卫星电视网络、计算机网络和教学与管理网络的“天、地、人”三网结合的数字化校园教学系统。该开放大学现有在籍学生10万余人,通过其在线平台可以获取关于学生、教师和课程的大量数据资源。

基于在线学习绩效监测预警指标体系，并且结合教学管理现实需求，设计体现学习行为、学习满意度和学习结果三维度内容的变量，进而构建在线学习监测预警的门限回归模型。学习行为维度，包括学习提升变量（xtsi）、教师行为（jxwi）变量；学习满意度维度，包括教学资源内容变量（jzni）、教学资源呈现变量（jzci）和课程支持服务变量（kzfi）；学习结果维度，包括学习互动变量（xhdi）和学习成绩变量（xcji）。通该某开放大学的在线学习平台，整理获取研究所需的相关数据。数据包括在线学习平台所记录的教学过程数据和通过平台发放调查问卷所获得的教学评价数据。数据基础包括学习行为数据（平台登录次数、在线学习时长、发帖数量等）、学习满意度数据（课程内容准确性、课程可操作性、平台易用性等）、学习结果数据（平时成绩、活动成绩等）。利用主成分分析方法对所选择的三个维度的监测预警变量进行主要信息提取，合成度量在线学习绩效的评价指数，作为监测预警模型的因变量。各主成分的贡献率计算结果表明，第一主成分的贡献率达到了71.46%，能够比较充分反映相关在线学习变量中所包含的主要信息。因此，将第一主成分作为度量在线学习绩效的评价指数。

探索性将门限回归模型的门限变量设定为学习行为、学习满意度和学习结果不同维度变量，其他解释变量按照前后选择相结合方法引入模型，发现各内容维度“门限效应”设定下的两区制门限回归模型效果相对更好。表1为各内容维度“门限效应”变量设定下的监测预警模型估计结果。

表1 各内容维度“门限效应”设定下监测预警模型估计结果

表1显示，大部分各内容维度“门限效应”设定下的监测预警模型参数估计结果显著，模型中门限变量的系数均显著，模型的Adjusted R2均达到0.98以上，不同模型的总体效果较好。结合各模型的门限变量的理论内涵和门限值估计结果，将学习行为维度变量xtsi取值小于或者大于门限值时的区制，分别描述为“学习行为低效”或者“学习行为高效”区制，将学习满意度维度变量kzfi取值小于或者大于门限值时的区制，分别描述为“学习满意度低效”和“学习满意度高效”区制，将学习结果维度变量xhdi取值小于或者大于门限值时的区制描述为“学习结果低效”和“学习结果高效”区制。

通过计算门限回归模型和线性回归模型的均方根误差（RMSE）、平均绝对误差（MAE）和Theil不等系数（U）指标值，并且比较不同指标变化百分比，可以评价各内容维度“门限效应”设定下监测预警模型的预测能力。表2为不同精度评价指标的计算结果与比较情况，其中T和L分别表示门限回归模型和线性回归模型。表2显示，与线性回归模型相比，门限回归模型可以较大幅度提升在线学习绩效的预测精度，基于门限回归模型构建在线学习绩效监测预警模型具有有效性。不同门限回归模型的RMSE提升度在27.77%至29.21%之间，MAE提升度在23.55%至28.67%之间，U系数提升度在27.85%至29.39%之间。

表2 各内容维度“门限效应”设定下监测预警模型预测能力评价

各内容维度“门限效应”设定下的模型拟合值是利用模型参数估计值与解释变量值计算得到的被解释变量预测值，可以描述为基于影响因素的“合理性”在线学习绩效目标。因此，将在线学习绩效指数的拟合值作为监测预警的核心性指标。根据“原理”，确定在线学习绩效的警戒值、警戒线、警戒区间，从而度量在线学习绩效的监测预警基准。表3为各内容维度“门限效应”设定下在线学习绩效的监测预警基准的度量结果。

表3 各内容维度“门限效应”设定下在线学习绩效监测预警基准

表4是利用“信号灯”方法对在线学习绩效的监测预警结果，其中阴影部分表示学习绩效分别处于“学习行为高效”、“学习满意度高效”或者“学习结果高效”区制，监测预警的在线课程用“+序号”表示。在线学习绩效 “信号灯”监测预警结果表明，基于门限回归模型所构建的在线学习绩效监测预警模型，能够体现在线学习绩效的“过程性”与“结果性”双重特征。因此，应用所构建的在线学习绩效监测预警体系框架可以对在线学习绩效的“质量水平”和“潜力空间”给出立体化监测预警结果呈现，为精准化学习干预策略制定提供决策支持。

表4 各内容维度“门限效应”设定下在线学习绩效“信号灯”监测预警结果

5 结论与启示

基于绩效管理理论视角，探索性构建在线学习绩效监测预警体系框架，并且进行案例应用研究。研究结果表明，在线学习绩效监测预警体系框架的设计构建应该注重实践需求导向、理论逻辑引领、定量方法应用和动态更新优化原则，以“在线学习绩效监测预警立方体”理论模型为理论逻辑依据，基于学习行为、学习满意度和学习结果三个维度内容要素进行在线学习监测预警的指标体系和定量模型构建；以非线性门限回归模型作为在线学习绩效监测预警体系框架的“信息处理中枢”，能够较为充分挖掘和利用在线学习过程中的大量复杂信息价值，刻画在线学习绩效的非线性形成机理，提高在线学习绩效监测预警的有效性；应用所构建的在线学习绩效监测预警体系框架进行多层次、多维度的“信号灯”监测预警，可以实现对在线学习绩效的“绩效管理导向”式量化度量和全景展现，为在线学习资源配置与优化提供不同角度的决策支持科学依据。

为更好促进新时代教育数字化对教育现代化的赋能作用，需要不断强化在线学习监测预警体系框架理论研究与实践应用。在理论研究层面，需要持续强化对在线学习绩效监测预警框架设计与构建的研究，以充分发挥在线学习环境的大数据资源优势，以及门限回归模型等非线性模型在大数据环境中的功效优势为双轮支撑，不断延展监测预警体系框架的构建路径。有机融合绩效管理理论、教育信息技术、定量模型与算法等知识要素，实现理论逻辑、技术手段和现实需求的有机结合。在实践应用层面，需要加快在线学习绩效监测预警体系框架在教育信息化实践中的创新应用。在教育信息化建设实践应用中，以门限回归模型等非线性模型的“信息处理中枢”功能充分发挥为牵引，驱动在线学习监测预警体系框架的数据获取、数据处理等框架要素动态更新优化和创新升级，进而提升在线学习监测预警信息系统的决策支持功效，助力加快构建数字化、智能化的现代教育模式。