基于TOPSIS的远程教育学生学习行为测评模型

杨孟娇，高亚涛

（内蒙古开放大学，内蒙古 呼和浩特 010011）

一、引言

“互联网＋”时代的技术进步促使教育环境发生了显著变化，在线学习变得越来越普遍。截至2021年12月，我国在线教育用户规模达10.32亿，较2020年12月增加4296万人。随着技术的不断发展和在线教育的日益普及，如何促使在线测评与传统测评方式一样有效，如何对互联网技术所催生的MOOCs、Micro-Lecture、Flipped Learning等新型学习方式进行在线学习测评，这类研究受到关注。

早在1979年英国开放大学就已经对学生学习进行了监测与分析。美国2016年对学习分析技术的发展趋势做出预测。美国圣莫妮卡学院通过收集、分析在线师生学习数据，完善教师教学计划；美国普渡大学研发课程警示系统，判断学生是否处于学习懈怠并及时给予“预警”。英国开放大学开发的“数据牧人”项目，进行在线学习分析。Bienkowski认为对学习者的学习行为表现进行测评的同时，也要为其学习提供适应性的反馈支持。Rossano基于项目反应理论构建适应性测试模型。在国内，王苗[1]、彭文辉[2]等利用学习分析技术，分析学生在线行为数据及与资源之间的交互关系，将分析结果反馈到课堂。魏顺平[3]归纳学习分析的关键技术与分析模式并应用到实践教学中。张涛[4]分析总结在线学习现状，提出网络学习分析模型。王晓宇[5]构建了深度学习测评指标体系。现有研究中，测评体系的数据多为结构化数据（如在线时长、点击次数），非结构化数据（如在线提问、互动讨论）不足，导致测评结果分析深度不足，测评体系框架和分析方法的实践应用性不足。

本文基于学习投入、主动性学习、自我调整、学习认知、联通主义等学习理论，构建远程教育学生在线学习测评理论模型，基于在线学习平台学生的在线学习行为数据，分析在线学习行为特征，构建在线学习测评数据模型，为远程教育学校提供学习测评的方法，应用测评数据模型进行实践，对在线学习学生进行学习测评，从而提供最直接、最有效的学习诊断和测评，为学习者、教师、教育管理部门提出提升学习效率和效果的建议，从而实现为学生提供有针对性的教育增值服务，为提升学习效率、提高教学质量策略的制定提供参考。

二、远程教育学生学习测评模型理论研究

加涅的认知学习理论认为，不同的学习目标和过程，会产生不同的学习结果，对每种学习结果进行测评所采取的方式也会不尽相同。他将学习结果进行了分类，分别是智慧技能、言语信息、动作技能、认知策略、态度[6]。对于基于互联网学习的远程教育学生而言，动作技能的教学目标要求较低。结合其他学习结果、学习目标及远程教育学生学习行为特点，基于文献研究与专家访谈，从投入度、主动性、调控性、完成性、活跃性等五个维度，构建远程教育学生在线学习测评理论模型。

（一）投入度

最早提出工作投入的是美国印第安那大学的库恩，他将工作投入定义为“员工自我与工作中的角色的积极结合”，这也是“学习投入度”一词的来源。不少学者从心理学角度出发，认为可以从认知、行为和情感这三个维度进行学习投入分析[7]。区别于传统的线下学习，在远程教育线上学习过程中，学生与教师、学生与学生、学生与教学资源之间的交互很大程度上能体现学生的投入度。因此，本文认为学习投入度是指学生在使用在线学习平台进行学习时，其认知、行为、情感的投入。主要通过考察学生的在线学习时长和行为总数来评价学生的投入度，也是对在线学习过程的评价。

（二）主动性

学习主动性是学生学习动机、学习目的的重要体现[8]。本文学习主动性主要是指，在远程教育学习平台上，学生在自我意识的支配下，积极、主动、自觉地参与教学活动，主要包括线上资源的自学、完成教学任务的主动性、与教师进行的学习交流互动等。态度是指有倾向性的选择，因此用主动性来体现态度方面的教学目标，主要考察学生对学习资源、学习活动的浏览情况。

（三）调控性

认知策略是指控制自身学习方式的特质，引入学习调控性和活跃性对学生的认知策略进行评价。学习调控性也就是学生的自我调节，这一概念源于Bandura提出的社会认知学习理论[9]。本文学习调控性主要是指远程教育学生根据学习要求、自身的学习能力，对整个学习内容、学习过程、学习时间等的自我调控。调控性是学生学习认知、自学能力、制订学习计划和学习策略的重要表征。主要通过学生主动发帖与回帖等学习行为，来评价学生自主学习的能力。

（四）完成性

智慧技能是指与环境互动的能力，在远程教育学生在线学习测评模型构建过程中，用完成性来体现智慧技能教学目标的完成情况。这里所指的完成性，主要是指对标教学目标，学生学习的实际完成情况，可以是作业、测评或者是活动的完成情况。注重学习过程是在线学习的一个特点，将体现学习过程的形成性考核作业的完成率和及格率作为主要观测点，主要对学习质量进行评价。

（五）活跃性

学习活跃性主要是学生积极、踊跃参与在线学习的主要体现，是认知策略的另一个重要体现，一般可以用学生的在线时长以及登录频次等指标进行评价。本文主要通过学生学习平台登录次数和学习平台在线天数来评价学生的学习活跃性。

三、远程教育学生学习测评数据模型构建

（一）原始数据

本文基于国家开放大学学习网这一远程教育学习平台，对开放大学体系内学生的学习行为进行评价。基于国家开放大学学习网，学生主要的学习行为、活动对象及原始指标见表1。

表1 学生学习行为中的一些属性

（二）测评指标

从原始数据中可以获取与测评模型可能相关的变量即为潜在变量，经过统计分析后从潜在变量中就可以选取特征变量。选取的特征变量中，有些变量可以直接作为测评指标，比如学生的选课数、学习平台登录次数，有些变量需要经过一定的计算，比如形考完成率、形考及格率。本文以远程教育学生学习测评指标体系为目标层，以投入度、主动性、调控性、完成性、活跃性5个指标为二级指标，以学习时长等12个指标为三级指标（测评指标），构建远程教育学生学习测评指标体系（见图1）。

图1 远程教育学生在线学习测评指标体系

（三）指标评价标准及等级

选取国家开放大学学习网中内蒙古分部的32万多条学习者学习行为数据，对远程教育学生学习情况进行分析，借鉴杨孟娇等对开放教育学习者学习行为的聚类分析方法[10]，采用K均值聚类算法对各测评指标进行聚类，取K值为4，确定指标的评价等级，最终结果见表2。

表2 测评指标评价等级划分

（四）指标权重

本文采用层次分析法和熵权法主客观结合的方式，确定远程教育学生学习测评指标权重。

1.层次分析法赋权

应用层次分析法确定指标权重的具体流程是：首先构建层次结构模型，也就是远程教育学生学习测评指标体系，然后采用专家打分的方式，对所有测评指标的重要度进行比较，打分得到判断矩阵，再通过计算确定测评指标对二级指标和目标层的相对重要度，也就是指标权重。

2.熵权法赋权

应用熵权法确定指标权重的原理是，对于某个测评指标，可以用熵值来判断这个测评指标的离散程度。其信息熵值越小，测评指标的离散程度越大，该测评指标对远程教育学生学习综合评价的影响（也就是权重）就越大。反之，信息熵值越大，测评指标的离散程度越小，该测评指标对远程教育学生学习综合评价的影响（也就是权重）就越小。具体流程是首先构建评价矩阵，然后计算各个指标的熵值，最后计算各个指标的权重。

3.博弈论组合赋权

基于博弈论的思想，将层次分析法和熵权法确定的测评指标权重进行组合，最终得到最优组合权重。

具体计算如下：

（1）构造权重向量集wk={wk1，wk2，…，wkn}（k=1，2，…，L），式中L表示赋权方法数量，则L个不同向量的任意线性组合是：

式（1）中W为L种权重集组合赋权的综合权重向量，ak为各赋权法的权重系数。

（2）运用博弈论思想对权重系数进行优化，使得W与各个Wk的离差极小化：

按照矩阵微分性质，取式（2）的最优化一阶导数，可转化为：

求解式（3），得到（a1，…，aL），应用式（4）进行归一化处理：

（3）计算组合权重为：

（五）综合测评法

本文采用逼近理想解排序法（TOPSIS法）对学生学习行为进行测评，通过比较被测评学生与理想解的距离大小，确定学生行为的测评结果。具体而言就是被测评学生行为越是靠近正理想解，测评结果越高，反之测评结果越低。具体流程是构造初始决策矩阵，对评价对象的各指标进行无量纲化处理，构造标准化决策矩阵，然后计算收益性指标集和损耗性指标集的正理想解和负理想解，接下来计算每个评价对象到正理想点的距离和到负理想点的距离，最后计算各方案与理想解的贴进度。贴近度值越大表明该评价对象与正理想解的距离越近，评价对象越优。反之，贴近度值越小表明该评价对象与正理想解的距离越远，评价对象越差。

四、远程教育学生学习测评实践

（一）测评对象

以内蒙古分部五名学生为测评对象，对其在国家开放大学学习网上的学习行为进行测评，五名学生的测评指标值及其对应的等级见表3。从表3可以看出，学生A的在线学习调控性和活跃性较低，其他指标属于中等水平；学生B的学习完成性较高，但是在线学习活跃性和主动性较低；学生C的在线学习完成性较好，但是投入度很低，是五名学生中的最低水平；学生D在线学习投入度、完成性是五名学生中的最高水平，主动性也较好，调控性和活跃性处于中等水平；学生E的在线学习投入度也是属于最高水平，并且学习主动性和活跃性也处于较高水平，但是调控性稍显不足。

表3 测评指标值和评价等级

（二）权重确定

分别应用层次分析法、熵权法，计算远程教育学生在线学习测评指标权重，再基于博弈论将两种方法计算得到的权重进行组合，结果见表4。

表4 三种方法确定的权重

对比层次分析法和熵权法确定的权重发现，“学习时长”“行为总数”“发帖数”“回帖数”“形考完成率”和“形考及格率”等指标，由两种方法确定的测评指标权重存在较大差异，“浏览活动数”“浏览资源数”“教师回帖数”“学习平台在线天数”等四个指标，由两种方法确定的指标权重几乎相等，其余指标权重存在一定程度的差异。

（三）综合测评结果

首先计算标准化矩阵，再计算确定加权标准化决策矩阵H，如下：

根据加权标准化决策矩阵H，可以得到正、负理想解：H+=[0.093 0.087 0.040 0.050 0.089 0.020 0.020 0.044 0.019 0.024 0.050 0.056]，H-=[0.023 0.022 0.020 0.025 0.022 0.013 0.013 0.022 0.015 0.018 0.017 0.028]。

最后计算五名学生学习行为测评结果与正理想解的贴近度,Gi=（0.500 0.435 0.309 0.714 0.667），从结果可以得到五名学生学习行为测评的结果是：学生D＞学生E＞学生A＞学生B＞学生C。

五、结论

1.基于学习投入、主动性学习、自我调整、学习认知、联通主义等学习理论，结合在线教育自身的特点，从投入度、主动性、调控性、完成性、活跃性五个维度考虑，建立了远程教育学生在线学习测评理论模型，为远程教育学生在线学习测评提供理论参考。

2.采用基于博弈论组合赋权的方式，将主客观赋权法进行综合，计算得到最优测评指标的组合权重，提高了测评方法的合理性。

3.通过对五名学生的学习行为进行测评，得到的测评结果是：学生D＞学生E＞学生A＞学生B＞学生C。结果表明学生D的学习行为综合评价结果最优，学生C的评价结果相对最差。通过分析学生D的指标值不难发现，学生D在学习时长、行为总数、浏览数、浏览资源数、形考完成率、形考及格率这些学习行为方面都有很好的表现，也就是学生D的学习投入度较高、学习积极主动，并且很好地完成了相关任务、测试；而学生C学习缺乏积极主动性、活跃性也不高，尤其是学习的投入度很低。因此要提高远程教育在线学习学生的学习投入度、主动性和完成性，以提高学生学习效果。