在线学习空间数据驱动的学生评价指标体系构建*

缪 玲 张尚先 燕紫君

（1.广东开放大学，广东 广州 510091；2.江门开放大学，广东 江门 529000）

一、引言

人工智能、数据挖掘等现代信息技术推动了教育教学的创新发展，海量学生在在线学习空间里，通过媒体界面的操作交互、教学要素的信息交互与概念交互实现有意义的学习。这些学习过程交互行为数据、学习成效数据被记录在信息空间里，形成多元的、海量的、动态的大数据。挖掘大数据获得高价值信息，实现战略化、政策性、智慧型管理是人们的必然选择[1]，也是学校提升内部治理的必经之路。

基于学习大数据的教与学的评价已然是教育评价研究的热点。美国投入了大量人力、物力、财力发展各级各类数据系统，推进数据在教育评价与决策中的深度应用，利用大数据探寻发展教育的新途径与新思路[2]。郑勤华等人[3]基于学习分析技术构建学习者综合评价参考模型，孙洪涛等人[4]收集学习环境数据、学习行为数据、学习评价数据和内容语义数据等，从媒体技术、学习资源、学习活动、学习支持和联通度等五个维度构建了课程评价的模型。但是，已有评价模型并未在评价维度上达成统一认识。

2021年，中共中央、国务院印发《深化新时代教育评价改革总体方案》，明确提出从结果评价、过程评价、增值评价和综合评价等维度积极探索和改进与新时代相匹配的育人评价方式，推进教育过程和学习过程数据化和可量化。可见，在新时代教育评价理念的指导下，有必要基于在线学习空间数据，进一步研究构建学生评价指标体系。

二、学生评价指标的构建

数据驱动的学生评价通过在线学习空间记录的数据客观地评价学生的学习过程、学习成效和学习发展，不再局限于考试成绩结果和教师平时的主观观察印象[5]。在线学习空间数据驱动的学生评价则是根据既定的教学目标，通过分析在线学习空间里学生学习产生的数据，对学生学习过程和学习结果进行价值判断，促使学生不断自我完善。结合新时代教育评价坚持“改进结果评价、强化过程评价、探索增值评价”，本研究通过文献调研、半结构访谈、德尔菲调查问卷等方法，从表征学生在线学习过程、学习结果、学习增值等三个维度确定基于在线学习空间数据的学生评价指标。

（一）评价指标的初步拟定

1 指标因子的初步拟定

首先，从在线学习特性来说，学生突破物理空间的限制与教师、与其他学生在在线学习空间建立联结，通过与媒体界面进行操作交互、与教学要素进行信息交互和概念交互，即通过交互实现有效学习。与此同时，“社会交互性”[6]“在线协作与交流”[7]“联通度”[8]等成为在线学习学生成绩或学习有效性评价指标体系的一级指标。由此，引入交互度作为表征学生在线学习过程的评价维度。

其次，由于在线学习中学生和教师处于时空分离状态，仅仅通过交互情况较难实时掌握学生的学习过程和学习状态，较难及时作出有针对性的干预措施。而学生在线学习行为的持续情况和活跃情况等能够弥补在线学习过程评价的短板。“投入度”[9]“持续度”[10]等表示学生在线学习投入情况的维度成为表征学生学习过程的数量指标。由此，引入投入度作为表征学生在线学习过程的评价维度。

再者，为表征学生在线学习结果引入完成度和有效度两个评价维度。完成度是从在线学习活动完成的数量指标来考量，即以课程要求的指定学习任务为标准对学生实际完成情况进行评价；有效度则是从在线学习活动完成的质量指标来考量，即对学生参与课程学习活动的有效情况进行评价。

最后，引入增值度作为表征学生在线学习增值的评价维度，考量学生学习过程或学习结果的变化情况。

2 数据指标项的初步拟定

指标因子是居于上层的理论维度，是学生评价维度的表征。数据指标则是理论维度的表征，居于下层，能够通过在线学习空间原始数据直接或间接获取，是可测量的。本研究基于初步构建的交互度、投入度、完成度、有效度和增值度等五个指标因子，对在线学习空间原始可记录的数据进行分析，结合半结构访谈，归纳分析得出21项数据指标。

（二）德尔菲调查问卷的实施

德尔菲法是一种专家匿名反馈征询法，是指以问卷的形式，按照系统的程序，采用匿名发表意见的方式，对一组特别选择的专家进行征询。经过两轮或两轮以上意见的征询、归纳及修改，使意见趋于一致而得到研究结果。

首先，根据初步拟定的学生评价指标设计了征询问卷，征询内容以条目的形式呈现，请专家对条目“5表示非常适合、4表示比较适合、3表示一般适合、2表示比较不适合、1表示非常不适合”做出选择；同时在每一条目下方或后方留有空格，以备专家填写修改意见或添加其他内容。

其次，选择具有在线教学丰富经验、熟悉在线学习者特征的一线教师，其能够立足于在线学习学生和教师时空分离的特性从不同的角度对研究提供建设性意见。一般情况下，调查评估或预测的精度与调查对象数量呈函数关系，即调查对象人数越多，评估精度越高。但是，人数越多，调查越难组织，统计数据越大。本研究结合实际情况，选择了17人。

最后，通过微信或邮件向选取的17人发放征询问卷，共开展2轮。回收有效问卷后，依据调查结果及意见对指标体系内容进行讨论，并对部分条目进行增添、修改与删除。吸纳第1轮问卷调查的修改意见，形成新的基于在线学习空间数据的学生评价指标体系。请专家对新的学生评价指标体系的合适程度进行5级评分。

（三）调查结果分析

1 第一轮调查结果

第1轮调查问卷结束后，从平均数、中位数、众数、标准差对基于在线学习空间数据的学生评价指标因子、数据指标进行统计，以此判断检验指标因子的适合程度。

指标因子适合程度。五项指标因子平均数均维持在4 0以上，中位数、众数都均为4或4以上，表明指标因子是“非常适合”或者“比较适合”的。并且，5项指标因子的标准差均低于1 0，表明教师对指标因子的适合程度具有比较相似的看法。尽管对指标因子的合适程度比较认同，但是，对指标因子的主要内涵描述提出了优化建议，研究者根据反馈意见对其中3个指标因子的描述进行了修改。

数据指标适合程度。21项数据指标平均数低于4 0的有6项（其中有4项属于第五项指标因子），表明指标因子的测量项不是“非常合适”，且标准差均低于1 0，表明教师对其判断内容基本一致。研究将该6项数据指标删除，并根据修改的指标因子增加5项数据指标。此外，对2项数据指标项进行了描述修订。

2 第二轮调查结果

第二轮调查问卷仍旧从平均数、中位数、众数、标准差四个统计量来进行统计分析指标因子和数据指标，并与第一轮调查问卷的统计结果做对比。若第一轮和第二轮的平均数均达到4 00以上，且标准差维持在1 00以下，则认为一致性检测通过，此指标因子可以作为学生评价维度，数据指标可用来表征指标因子。对于在第二轮调查问卷做过修改或新增项，仅考察第二轮调查结果，以此决定是否通过。

第二轮调查问卷结果显示，各指标因子的测量项平均数均达到4 0以上，中位数、众数全部都为5，且标准差均在0 75以下，表明指标因子、数据指标一致性通过。因此，通过第二轮调查问卷，对基于在线学习空间数据的学生评价指标形成了较为一致性的意见，暂时可停止继续调查。

至此，本研究通过两轮征询调查，获得了基于在线学习空间数据的学生评价指标因子5项，分别为：交互度、投入度、完成度、有效度和增值度，数据指标20项。其中交互度和投入度是对学生在线学习过程的表征，完成度和有效度是对学生在线学习结果的表征，增值度是对学生在线学习变化状况的表征，其具体描述如表1所示。

表1 基于在线学习空间数据的学生评价指标因子描述

三、学生评价指标权重分配的调查实施

本研究基于层次分析法分配学生评价指标权重。层次分析法简称AHP，其核心是依据目标，将问题划分成有序的层次结构，通过两两比较对各个层次中各个因素的相对重要性进行确定，最后进行综合判断，从而决定决策各因素相对重要性总的顺序。其特别适用于无结构特性的、多目标、多准则、多时期等的系统评价，比如学科群评价指标体系[11]、目标达成度评价指标体系[12]等多个评价指标体系的构建均应用层次分析法确定权重。层次分析法的调查实施一般有确定层次结构模型、建立权重判断矩阵、判断思维一致性和计算评价指标权重等步骤。

（一）层次结构模型的建立

建立层次结构模型是将复杂问题涉及的因素进行分析，确定相互影响的因素和相互比较的因素，按其之间的相关关系绘制层次结构图。最高层是需要解决的问题或达到的目标，即目标层；中间层是考虑的因素，即准则层；最低层是问题的备选方案，即方案层。根据前期已构建的学生评价指标层次级别及其关系，构建出了权重分配的层级结构模型（见图1）：

图1 基于在线学习空间数据的学生评价指标层次结构模型

第一层是目标层，即基于在线学习空间数据评价学生；第二层是准则层，这一层是影响学生评价的指标维度，即交互度、投入度、完成度、有效度、增值度；第三层是方案层，即表征各指标因子的数据指标项。

（二）权重判断矩阵表的建立

首先，根据建立的层次结构模型，制定学生评价指标权重咨询问卷。征询内容以条目的形式呈现，请教师对准则层的指标因子和方案层的数据指标项的相对重要性进行两两比较。两两比较采用五级标度法，用1、3、5分别表示同等重要、比较重要、绝对重要，2、4则表示重要程度介于相邻的两个等级之间，具体如表2所示。

表2 五级标度法说明

其次，邀请五位具有在线教学丰富经验的一线教师和管理人员，通过微信或邮件向其发放征询问卷。

最后，根据每位教师问卷填写的指标因子和数据指标项两两比较的结果，转换构成多张权重判断矩阵表。如果ai因素与aj因素的比较值为正数A，则在矩阵表里aij记为A；如果ai因素与aj因素的比较值为负数A，则在矩阵表里aij记为1/A。

例如，教师1表示：“交互度”分别与“投入度”“完成度”“有效度”“增值度”比较，比较值分别为1、1、-2、-2、-2；“投入度”分别与“完成度”“有效度”“增值度”比较，比较值分别为1、-2、-2、-2；“完成度”分别与“有效度”“增值度”比较，比较值分别为 1、2、2；“有效度”与“增值度”比较，比较值为1。因此构建出如表3所示矩阵表。

表3 教师1对指标因子的判断矩阵

（三）思维一致性检验及权重的计算

将每位教师两两比较的结果构成的多张权重判断矩阵表输入数据科学分析平台SPSSAU，利用其综合评价的“APH层次分析”功能进行计算，以求出每位教师一致性检验数据指标、指标因子和数据指标项的权重分配指标。最后进行几何平均数处理，得出每项的权重。

在构建权重判断矩阵时，有可能会出现逻辑性错误，因此需要使用一致性检验是否出现问题。一致性检验使用CR值进行分析，CR值小于0 1则说明通过一致性检验，反之则说明没有通过一致性检验。如果数据没有通过一致性检验，需要检查是否存在逻辑问题或再次咨询调查对象，重新录入判断矩阵进行分析，直至通过一致性检验。本研究中，共有5项内容在计算过程中出现一致性指数大于0 1，后经重新录入矩阵后，使得所有权重判断矩阵一致性指数均在0 —— 0 1范围之内，一致性检验通过。

综上所述，本研究在权重分配的调查中，通过CR值分析发现有5项内容在计算过程中出现一致性指数大于0 1，表示在填答过程中出现了一定的逻辑性错误，后经沟通分析，一致性检验才通过。本研究采用的是自填问卷的方法获取数据信息。但是，教师在填答过程中可能受情绪、环境、逻辑等方面的干扰，或出现理解偏差，造成填答偏差，致使研究结果出现偏差。所以，在后续研究中，可以结合主观测量和客观测量方法，综合运用定量和定性研究，二者相互验证和比较，从而提高研究结果的可靠性。

四、学生评价指标权重分配调查结果的讨论

（一）指标因子权重分配结果讨论

每位教师对指标因子的权重分配结果如表4所示，采用群体决策的方法，对全部专家的权重系数求均值，得出一级指标的最终权重为：交互度21 89%，投入度14 35%，完成度20 16%，有效度 19 54%，增值度 24 07%。

表4 一级指标因子权重分配结果汇总

整体上，将5项指标因子的权重从大到小进行排序，分别是增值度、交互度、完成度、有效度、投入度。可见，增值度权重值（24 07%）排名第一，明显高于其他指标因子，表明学生综合评价非常注重其获取在线学习成果的增值情况；交互度权重值（21 89%）排名第二，比排名第三的完成度的权重值多1 73%，表明学生综合评价比较注重学生在学习过程中与学习资源、与教师、与其他学生的交互情况，即在线学习的学生评价比较注重学习过程的表现，这符合远程教育强调的教学交互理论；完成度（20 16%）、有效度（19 54%）二者的权重值相对居中，相差不大，且均属于对学生在线学习结果的评价维度，表明学生综合评价相对注重在线学习结果；投入度权重值（14 35%）排名第五，明显低于其他指标因子，表明其相对于其他四项指标因子重要性相对较低。

个体上，教师对于指标因子权重分配存在较大差异性。比如教师2和教师3分配的指标因子权重从大到小排序，依次为：交互度、投入度、完成度、有效度、增值度。可见，二者均认为表征在线学习过程评价的交互度和投入度非常重要，表征在线学习结果评价的完成度和有效度次之，而增值度所占权重分别为5 48%和5 01%，认为学生在线学习变化情况和获取的成果的重要性相对很低。但是，教师4和教师5分配的指标因子权重从大到小的排序，依次为：增值度、有效度、完成度、投入度、交互度，这与教师2和教师3的排序结果完全相反。

综上所述，一方面，根据整体结果，基于在线学习空间数据的学生评价不应只过分注重结果评价、过程评价或增值评价，而应强调三者相结合的综合评价；另一方面，由于选取的调查对象存在潜在偏差，所调查的少数样本无法代表整体的情况，从而导致研究所得结论不一定具有普遍性。所以，在后续研究和实际应用中，需要进一步扩大调查样本，使得指标体系具有更高的使用范围和更大的解释能力。

（二）数据指标项权重分配结果讨论

继续对数据指标的权重分配进行计算，最终数据汇总如表5和表6所示。

表5 基于在线学习空间数据的学生评价指标权重分配结果

表6 数据指标平均权重结果分配

基于在线学习空间数据的学生评价指标包含20项数据指标，其中指标因子交互度设有3项数据指标，平均权重为7 30%；投入度设有4项数据指标，平均权重为3 59%；完成度设有4项数据指标，平均权重为5 04%；有效度设有4项数据指标，平均权重为4 86%；增值度设有5项数据指标，平均权重为4 81%。

根据数据指标平均权重从大到小排序指标因子，分别为交互度、完成度、增值度、有效度、投入度。可见，一是数据指标平均权重差别较大，最高为交互度，值为7 3%，即交互度所属的数据指标一项平均占总权重的7 3%，最低为投入度，值为3 59%，投入度所属的数据指标一项平均占总权重的3 59%；二是因为各指标因子的数据指标项数不同，以致数据指标平均权重排序与总权重排序发生了变化，主要总权重排名第一、第二、第三的指标因子，平均权重排名分别为第三、第一、第二；三是部分指标因子的平均权重排序和总权重排序未发生变化，即排名第四的有效度和排名第五的投入度。

具体到每项数据指标的实际值，权重超过8%的数据指标共有3项，分别是C1、C2、C17， 权重值分别为 8 64%、8 93%、8 16%。C1 和 C2均属交互度指标因子，C1表示有学习行为发生的模块数占课程部署的模块数的比例，反映的是学生与学习资源交互的广度；C2表示在与教师交互网络中的点度中心度，反映的是学生与教师直接联系的多少。C17属增值度指标因子，表示获取专业相关职业技能比赛奖项数，反映的是专业成果获取情况。可见，在线学习过程中，学生应更多地完成教学交互，特别是与教学资源的交互、与教师的交互，从而获取专业相关的成果。

权重低于3%的数据指标共有2项，分别为C19、C20，权重值分别为 2 65% 和 2 03%。C19和C20均属于增值度指标因子，C19表示获取与课程相关的比赛奖项，C20表示获取其他学习成果证明。增值度是总权重最高的指标因子，但其数据指标项有两项排名最末，且明显低于平均值（4 81%）。经与部分教师访谈，认为在实际教学中较少有C19表示的课程相关的比赛奖项，或者只有部分公共基础类、通识类课程有相关比赛，该项指标重要但是各课程赛项不均衡，其权重不应占比过大。与此同时，学生所取得的其他学习成果证明也是学生学习情况的反映，但不是单一课程教学或专业学习的增值结果，故其权重也不应过大。

综上所述，一方面数据指标项权重分配结果为评价学生在线学习过程和成效给出了具体的方案策略；另一方面也注意到五项指标因子对应的数据指标项不同，导致各数据指标项的权重分配差距较大，有可能出现不科学的评价。所以，后续研究可以通过指标体系的应用增加其他指标因子或调整数据指标等扩展指标体系。研究变量的扩展能够更全面地考量学生情况，从而为教学提供更好的参考。

五、结语

本研究通过问卷调查、层次分析等过程，建立了包含5项指标因子和20项数据指标的基于在线学习空间数据的学生评价指标体系。该评价指标为直接、有效地诊断学习提供了科学工具，进而为学生学习成效的提升、教师教学水平的提高提供了有价值的参考。为进一步提升指标体系的价值，提出以下建议。

（一）完善指标，推动评价科学化

《深化新时代教育评价改革总体方案》明确指出，教育评价事关教育发展方向，有什么样的评价指挥棒，就有什么样的办学导向。同样，基于在线学习空间数据的学生评价指标体系也事关学生在学习空间的学习导向，直接影响学习的成效。根据上述研究分析结果，进一步扩展、完善基于在线学习空间数据的学生指标因子和权重分配。在完善指标的同时，可以进一步探讨各指标因素之间的关系。探索教学过程评价指标体系各个维度、各级指标与教学效果的关系[13]，并进行过程干预。不断完善指标，推动评价科学化，才能切实有效地发挥指挥棒的作用。

（二）收集数据，获得全程多维证据

学生评价最终需要通过在线学习空间的客观数据表征，即通过各类数据指标的聚合完成综合评价。这就需要在线学习空间能够支持记录和收集学生学习前期、中期、后期等不同阶段反映学生学习发展的各种过程性、结果性、增值性证据。一方面，从不同角度、不同方面构建的评价指标体系包括详细的数据指标，在线学习空间数据应该要能满足其中数据指标的需求。换句话说，数据指标所需要的证据无法通过在线学习空间数据汇聚或计算得出是不可取的；另一方面，多维度、多方面收集学生学习发展数据，从而自下而上地研究、扩展数据指标，完善评价指标体系，进而更客观、更公正地评价学生的整体表现。

（三）推广应用，提升教育教学质量

通过自上而下评价指标体系的不断完善和自下而上数据指标的不断收集，二者持续升级迭代，为学生评价提供可靠的工具。通过推广应用评价指标体系，更加真实全面地呈现学生学习的学习过程、学习质量以及存在的问题，更加有效地提升教育教学质量。推动学生评价科学、规范、有序地开展应用，至少包括三方面：一是依据指标体系直接评价学生学习成效，反映教师教学能力，实现评价指标的直接应用；二是通过评价结果反映的存在问题，推进学生自我改进、教师教学支持改进以及教学管理者的教学决策改进，进而有针对性地解决问题；三是高等学校教育信息化已经从原来的强调软件服务和平台服务转变到强调数据服务的新型模式[14]。因此，借助指标体系构建大数据分析模型，助力学校信息化教学模式的构建，助力大数据应用平台建设。