慕课课程下的高校学生综合成绩评价研究

黄衍，赵颖, 傅玮韡

(福建农林大学 a.经济管理学院；b.计算机与信息学院，福建 福州 350002)

慕课(MOOC)是一种大规模开放的在线课程，基于互联网技术与全球学习者共享名校名师的教育资源，因其能满足自由方便且个性化的学习需求而受到广泛推广[1]。2020年抗击新冠肺炎疫情期间，慕课让“停课不停学”的号召成了可能。据统计，疫情期间共开出课程1 719万次，参加在线学习的学生达35亿人次，是一场史无前例的大规模在线教育实践，成功应对了疫情危机并改变了教育形态。现今基于慕课的学生成绩评价方式通常是将各门课程的平均分直接作为学生的最终成绩，而每门课程的分数则由平时分和期末考试成绩两部分共同组成，这两部分的分数均由教师给定。但这种成绩评价体系的合理性还有待考量：第一，平均加权课程成绩缺乏客观性。由于每门慕课在课程结构体系中的重要程度和难易程度不同，且慕课尚处于发展阶段，与传统课堂的教学方式大为不同，如何让教师与学习者适应慕课教学是一种新的挑战[2]。如果仍直接对每门慕课成绩进行平均加权，则可能出现等分不等值的情况。第二，缺乏对软性成果的评价。线上教学由于缺少面对面的接触，教师难以关注到学生各项学习任务的完成过程，而且对教师收集平时分的评分依据存在一定的困难，有较大的人为主观性，从而导致部分学生平时敷衍学习，只突击期末考试就能获得高分。因此，提出并推广一套既能满足现代慕课课程质量评价又能适当性改良学生成绩的评价体系，有助于慕课课程质量和学生水平的提升。

随着慕课课程数量的指数型增长，质量问题愈发突出，且慕课尚处在发展阶段，国内外还没有建立起一套相对权威的网络课程评价准则。在先进性、全面性等指导原则下，邱均平等[3]建立了教学队伍等五个一级指标，慕课提供组织等十四个二级指标，以期提高慕课质量和促进学习者进一步内化知识。王新军等[4]从基本需求理论的三个方面建立了评价模型，用层次分析法对指标权重进行分析，发现自主需求的权重最大，胜任需求的权重最小。在对高校绩效评估量化的方法研究进行归纳时，发现层次分析法最具代表性，但在研究现实问题时，检验判断矩阵是否一致非常困难，且难以真正反应人类评价的模糊性[5]。因此，刘亚亚等[6]针对层次分析法中专家打分的不足，融合模糊数学的原理，建立数学模型，更加客观地对教学质量进行评价。王淑芬等[7]从慕课平台、教师和学习者三个方面建立评价体系，基于AHP确定指标权重，针对判断矩阵一致性与人脑思维一致性存在的差异，引入模糊综合评估模型，为慕课质量评估提供新视角。随着模糊互补判断矩阵理论的不断完善，张智超[8]建立了课堂满意度指标，得出个人因素对指标体系的影响最高，学校因素的影响最低，为决策提供更加科学合理的参考依据。

在慕课教学中，通常是以线上教学为主要模式，师生间缺乏面对面的互动，教师难以跟踪学生的学习过程，这使得教师难以对学生给出合理的软性评价。然而，学生之间由于线上交流的机会增多，作业形式的多样化增加了有效互动，学生对彼此学习经历和学习行为有更为全面的了解，从而可以考虑从学生视角给出软性评价，即在评价体系中引入同伴互评机制，以真实地反映学生的学习水平。同伴互评最早兴起于写作教学中，采用同伴互评方式替代教师批改，提高学生写作自主性[9]，通过编制同伴互评感知量表，可以有效测量学生整体感知积极性[10]。随着以学习者为主体的理念逐渐引起人们的重视，同伴互评结合传统教学方式不断向在线教育发展[11]，其充分利用了互联网和教育的特点，在线上课程中组织同伴互评，更好地提升学习者的认知投入度，弥补了传统教学法的不足[12]。有研究表明，学生对自己的评价往往高于同龄人对自己的评价[13]，在计算最终成绩时可将自评分删除[14]，或是建立模型解决评价效率低下等问题以提高排名公正度[15]。也有学者认为通过将同伴互评引入慕课体育教学中，采用分组评价，可以打造评价的权威性[16]。

综上，本文在相关研究成果和实践经验的基础上，以福建农林大学统计学专业的5门慕课为例，先基于模糊互补判断矩阵分配课程权重，再引入同伴互评机制，建立一个具有交互性和实用性的学生成绩评价体系，其评价结果有助于提高慕课课程质量和评价的公平性，充分调动学生的学习积极性，给予学生更大弹性的发展空间。

1 理论方法

本文采用模糊互补判断矩阵重新确定了慕课权重，结合熵权法对同伴互评进行赋权，得到学生最终成绩。

1.1 模糊互补判断矩阵

在多属性决策中，决策者对因素的偏好信息通常以判断矩阵的形式给出，判断矩阵分为正互反判断矩阵和模糊互补判断矩阵，模糊互补判断矩阵更符合人类思维的模糊性，易于掌握和使用[17]。

定义1设矩阵A=(aij)n×n，若矩阵A中的元素满足0≤aij≤1，∀i,j∈{1,2,…,n}，则称矩阵A是模糊矩阵。

定义2设矩阵A=(aij)n×n，若满足以下条件则称矩阵A是模糊互补判断矩阵：

(1)aii=0.5，∀i∈{1,2,…,n}

(2)aij+aji=1且0≤aij≤1，∀i,j∈{1,2,…,n}

定义3设矩阵A=(aij)n×n为模糊互补判断矩阵，若矩阵A中元素满足aij=aik-ajk+0.5，∀i,j∈{1,2,…,n}，则称矩阵A为满足加性传递性的模糊一致判断矩阵。

定义4对于二元对比矩阵A=(aij)n×n，其元素的含义如下：

(1)aij=0.5表示Xi与Xj同样重要，记为Xi～Xj；

(2)0≤aij≤0.5表示Xj比Xi更重要，记为Xj>Xi，若aij越小，则表明Xj比Xi越重要；

(3)0.5≤aij≤1表示Xi比Xj更重要，记为Xi>Xj，若aij越大，则表明Xi比Xj越重要。

具体情况可用表1表示。

表1 九标度

本文采用表1的0.1-0.9九标度法对两个因素间的重要程度作出比较，评价的基本步骤如下：

步骤1 选取合适的指标因素，将复杂的问题分解成若干个部分，分析各指标之间的关系，建立一个多层次递阶结构模型。

步骤2 采用表1中0.1-0.9标度对体系中某层元素相对于上一层元素的相对重要程度进行描述，建立模糊互补判断矩阵，即

其中aij表示第i个因素相对于第j个因素的模糊关系，且aij+aji=1。

(1)

称得到的矩阵R=(rij)n×n为模糊一致判断矩阵。

步骤4 对矩阵R=(rij)n×n按行求和归一化法求得n个元素的相对重要排列顺序值wi如公式(2)所示。

(2)

步骤5 将各层间的权重转换为每个元素对于总目标的综合权重，如公式(3)所示。

WA=Wi×Wj

(3)

步骤6 计算总体评价值并进行排序。

1.2 熵权法

熵权法是通过客观地给指标分配权重来进行评价，基本评价步骤如下：

步骤1 假设有m个评价对象，n项评价指标，则rij表示第j项评价指标下第i个评价对象的原始评价分数，并由这些原始分数构成初始评价矩阵Rij=(rij)m×n：

步骤2 在多指标综合评价中，为了更好地观察，将原始数据变换到区间(0,1)上，用以消除量纲与数量级差异带来的影响，可以采用以下两种方法进行处理。

(1)标准化处理，公式如(4)所示。

(4)

(2)归一化处理，公式如(5)所示。

(5)

步骤3 将初始评价矩阵Rij=(rij)m×n转化为标准化矩阵Aij=(aij)m×n：

步骤4 将标准化矩阵Aij=(aij)m×n代入公式(6)，得到信息熵值Ej：

(6)

步骤5 根据公式(7)计算信息熵的差异系数Dj:

Dj=1-Ej

(7)

步骤6 计算权重Wj，公式如(8)所示。

(8)

步骤7 根据权重Wj，可以计算得到同伴互评的加权综合评分Xi，公式如(9)所示。

(9)

2 学生成绩评价体系

评价是学习过程中最重要的环节之一，对学生成绩的评价主要来源于教师评价和同伴评价。但现今的学生成绩评价机制通常是以教师为主的单向评价，难以全面、真实地反映学生在学习过程中的综合学习能力。目前已有研究表明，科学合理的评价体系可以提升教学质量，促进学生能力的发展。因此，在构建评价体系时，不仅要考虑慕课课程教学质量现状，以促进课程建设团队对教学质量因素的关注，还要注意结合学生间同伴互评机制，以促进学生明确自身优势及不足，激发潜在能力，从而超越其“最近发展区”，提高对所学知识的理解和自身能力的提升。根据以上两个维度，分别构建了慕课课程质量评价体系和同伴互评机制，结合教师视角和学生视角共同进行评价，更加科学、客观地体现学生的学习水平，具体过程如图1所示。

图1 学生成绩评价流程

2.1 慕课课程质量评价体系

慕课评价是以某一门慕课课程为研究对象，对教学目标及实现程度进行判定并作出改进的实践活动。由于慕课尚处于发展阶段，在课程体系上的设置还不够成熟，如果仅考虑课程本身，而不考虑课程质量，则会出现等分不等值的情况。本文首先构建慕课课程质量评价体系，参考专家团队的经验，按照表1的评价标准对每两个指标元素的重要性进行比较，形成模糊互补判断矩阵，通过一致性调整，得到各层次模糊一致判断矩阵，并得到组合权重，如表2所示。

表2 慕课课程质量评价体系

通过模糊层次分析法得到了慕课课程质量评价体系中各元素的权重，要进一步得到每门慕课的综合评定，首先要确定慕课课程考核的评价标准。由于指标涵盖了多方面的评价且每位评分者的评价标准存在差异，评分具有模糊性。于是借用模糊数学的隶属度原理，确定各指标的取值范围，把定性分析转化为定量分析。结合已有资料与相关专家的意见，现将慕课课程质量评价指标分为四个等级，分别是优秀、良好、中等和待提高。为了便于之后的计算和排序，故将评语集转换为数值集，如表3所示。

表3 慕课考核评语集

2.2 同伴互评机制

在维果斯基的“最近发展区”理论中，学习和发展被视为一种社会和合作活动。学习者的实际水平是由其能力决定的，而潜在的发展水平则由教师和同伴共同影响。教师的引导和同伴的反馈能够促进学习者进步，从而超越其“最近发展区”。相对于教师评价，同伴互评的内容更易于学习者接受，它的核心是组织学习者对其他学习者的学习过程和行为表现进行观察和评价，取长补短，加强学习者对知识点的理解和自身能力的提升。同伴互评的形式多样，主要侧重于形成性评价，同时也是一种人际协作的实践。

在课程中采用同伴互评的方式，有利于课堂从“教”向“学”转化，避免“搭便车”情况的出现，即一些学习者的参与程度比较低，但却获得了与其他学习者差不多的成绩。基于同伴互评机制的软性评价，其合理性体现在两个方面：一是监督机制的合理性。大家都是评价者，同时也都是被评价者。通过增加同伴互评机制，学习者可以不断观摩他人的学习方式及学习成果来反思自己的学习行为，激发学习动力，及时巩固教学内容中掌握不足的地方，提高自己各方面的能力，相互起到一个正向的促进作用。二是多元化评价的合理性。在传统的评价中，通常是以教师为主的单向评价。但在学习生活中，教师难以注意到每位学习者的情况，也难以追踪学习过程中的关键点，往往只能根据最终的成绩进行评分，相对来说并不公平。在增加了同伴互评机制后，教师可以在学习者评价的基础上再对学生的综合成绩进行评分，在一定程度上降低了信息差，更加公平和合理。

当评价者由专家老师转变为一起学习的同学，其评价标准则由考试成绩转变为学习能力评分。为了更加真实地反映被评价学生的能力，现综合以下几个方面构建评价标准：(1)表达能力。学习不能只重视输入，有效的输出才是学习的真正目的。只有将所学知识充分消化吸收，重新整理后再以自己的见解表达出来时，才能真正将知识内化。(2)团结互助。在很多时候，集体的力量都是大于个人力量的，也许有些同学可以依靠自身实力独自解决问题，但不可否认的是，如果大家相互帮助，迎难而上，问题可以更快更有效地得到解决。(3)创新能力。创新是将认识作用于实践，充分发挥人的主观能动性的表现。积极思考，开展“头脑风暴”，开辟新的解题思路，将所学知识融会贯通，学以致用，而不只是照本宣科。(4)实践能力。学习不能拘泥于课堂上的教学内容，还应将理论联系实际，化抽象为具体。(5)学习能力。学习能力不单指接受新事物的能力，还包括了各种能力的综合表现。它要求学生明确自身不足，找到自己的学习风格，不局限于课堂教学，能够结合学习过程和学习成果进行反思。(6)学习态度。态度决定一切，端正的学习态度不仅仅是课堂上的良好表现，更重要的是在课后也要有自主和正确的动机去学习，脚踏实地地走好每一步。基于同伴互评与自评的评价指标如图2所示。

图2 同伴互评标准

由于同伴互评标准综合考虑了六个方面的评价，并且每位评分者的评价标准存在不同，因此评分具有模糊性。于是借用模糊数学的隶属度原理，确定评分的取值范围，把定性分析转化为定量分析。结合已有资料与相关专家的意见，现将同伴互评的评价标准划分为五个等级。为了便于之后的计算和排序，特将评语集转换为数值集，如表4所示。

表4 同伴互评评语集

3 实证研究

依据图2的流程，以福建农林大学统计学专业的五门课程为研究对象，邀请20名慕课学习者根据表2的慕课课程质量评价体系进行评分，对评分数据进行算数平均得出每门课程的二级指标得分，并计算5门课程的总评分和相应权重，如表5所示。

表5 5门课程总评分及权重

根据教师对学生课程成绩的评分，利用所求慕课权重进行加权平均，得到每位学生的课程综合成绩，如表6所示。

在此基础上，引入同伴互评机制，邀请上述20名学习者根据图2的同伴互评评价标准和表4的同伴互评评语集，分别对自己和其他19位同学进行评价。通过收集自评和互评分数，形成初始评价矩阵。由于每位同学的评价标准不一致，同伴互评具有主观性，不能简单地直接将每位同学的得分作为评价结果。为反映评价过程中评价信息的缺失程度，本文对评价值进行归一化处理，利用熵权法对每位学生进行赋权，并根据赋权结果对同伴互评矩阵进行集结，计算得出每位同学的同伴互评成绩，最后的评价结果如表6所示。

由于本文将评价体系分为两大部分，由教师组和同伴组分别对这20位同学进行评价，按照评价体系和评分标准进行打分，分别得到课程综合成绩和同伴互评成绩，对这两部分的分数进行加权平均，其中教师组的权重为60%，同伴组的权重为40%，得到20位同学的最终成绩，如表6所示。按照传统评价方式将5门慕课成绩平均加权，计算得到20位同学的成绩，同样列入表6便于比较。

表6 学生成绩

根据表4的评分标准，可以看到在新评价体系得分中，10号和14号学生的最终成绩在90分以上，属于等级“优秀”，2号、4号等8位学生属于等级“良好”，1号、3号等10位学生属于等级“一般”。结合课程综合成绩和同伴互评成绩来看，新评价体系更能体现学生的综合水平。例如，2号学生的课程得分为86.19，按照传统评价体系计算，他的最终成绩为86.30分，虽然分数较为接近，但只能表示“结果性评价”，未能体现该学生的学习过程。在引入同伴互评后，同伴对他的评价只有75.90分，经加权后，最终成绩下降为82.07分，该分数不仅包括了教师对他期末成绩、作业测验的“结果性评价”，还包括了同伴对他学习过程中综合能力、学习行为的“过程性评价”，更能体现2号学生在学业方面的综合能力。对比表6中的分数，可以观察到这个现象普遍存在于学生中，表明只有当课程综合成绩和同伴互评成绩均取得比较良好的成绩时，才能获得较好的综合成绩。

通过对表6中两种评价体系进行描述统计，结果如表7所示。

表7 描述统计结果

在两个评价体系中，新评价体系在均值与中值方面略高于传统评价体系；从标准差来看，新评价体系的标准差为6.66，明显小于传统评价体系的7.10，说明前者中大部分数据分布较集中，波动较小，且与其均值间的差异更小，代表性也更好；从平均差来看，新评价体系的平均差为5.70，传统评价体系为6.04，表明前者的标志变动度趋势更小；相比于正态分布，二者均为左偏分布，且波形更平坦，但新评价体系更接近于正态分布；从极值来看，新评价体系的极小值高于传统评价体系，而极大值低于传统评价体系，则表明其全距比传统评价体系更小，数据分布更为集中。描述统计的结果显示，新评价体系在各方面均优于传统评价体系。

为了进一步验证本文研究的学生成绩评价体系比传统评价体系更能区分学生的能力和水平，采用层次聚类分析法检验上述两种评价体系对学习者成绩的分类情况。

从图3可以看出，新评价体系很好地将学生的成绩水平分成了四类，第一类学生有6名，占样本总数的30%；第二类学生有4名，占样本总数的20%；第三类和第四类的学生均为5名，各占样本总数的25%。结合学生的成绩来看，第一类学生的成绩处于75～80分之间，第二类学生的成绩处于70～75分之间，按表5的评分标准基本都属于等级“一般”，在学生整体中处于靠后位置；第三类学生的成绩均在90分左右，基本都属于等级“优秀”，在学生整体中处于靠前的位置；第四类学生的成绩在80～90分之间，属于等级“良好”，在学生整体中处于中间的位置。

图3 新评价体系聚类分析树状图

从图4可以看出，传统评价体系将学生的成绩水平分成了三类，第一类学生有8名，占样本总数的40%；第二类学生有5名，占样本总数的25%；第三类学生有7名，占样本总数的35%。结合学生的成绩来看，第一类学生的成绩在85分以上，在学生整体中处于靠前的位置；第二类学生的成绩均为75分以下，在学生整体中处于靠后位置；第三类学生的成绩处于75～85分之间，在学生整体中处于中间的位置。

图4 传统评价体系聚类分析树状图

根据描述统计和聚类分析的结果，可以看出新评价体系从多维度出发，拓宽考查面，综合地对学生进行评价，所以效果相较于传统评价体系来说更理想。

4 结论

本文结合国内外慕课课程评价及同伴互评的研究现状，以学习者为主体，建立了一套新的学生成绩评价体系。首先，通过模糊互补判断矩阵确定慕课课程权重，对课程质量进行综合评定，指出课程的优势及不足之处，为慕课课程的设计者和授课教师提供更加清晰明确的改进方向。其次，通过引入同伴互评机制，改变由教师以学生成绩为标准的单向评价，更加注重学习的形成性过程，真正提高学生的主体地位；同时，学生在互评过程中，不仅可以促进学习过程中的有效互动，拓宽了学生发展的弹性空间，还可以加深学习者对学习方面综合能力的认识，起到自省的作用，促进学习者共同进步。该评价体系在一定程度上消除了不同慕课在专业课程评价体系中的重要程度和难易程度的差异，减少等分不等值情况的出现，并根据模糊数学的原理，在一定程度上降低了不同评价主体不同评价标准带来的差异，使评价更具科学性和客观性。

本文提出的新评价体系不仅可以明确慕课课程教学质量现状，促进课程建设团队对教学质量因素的关注，还可以对学生的成绩进行更详细的分类，更加有效地体现学生的能力及在学习群体中的所处位置，便于因材施教的实施。根据实证分析结果，给学生成绩评价带来诸多思考：

第一，督促慕课制作团队不断进行思考和探索，优胜劣汰。慕课在促进高等教育快速发展的同时，也逐渐显现出了存在的问题。一方面，慕课的数量及学习者正以指数型递增，但课程质量良莠不齐，缺少创新和优质内容；另一方面，慕课对传统的课堂学习产生了巨大影响，教师与学生适应慕课教学模式是一种新的挑战。因此，慕课课程制作团队应充分利用互联网的优势，设计更适合网络学习的教学模式，与时俱进开发内容新颖的课程，合理安排教学内容，使教学过程更明朗，在不断进行自我革新的过程中优化教学效果。同时，注重加强教师与学生之间的联系，提高有效互动，全程跟踪学生的学习过程，进一步降低未能实现面对面教学带来的影响，从而更多地关注学生的动态，为学生的差异化需求提供合理的帮助。

第二，多元评价学生成绩，加强学生评价的能力和积极性。对学生成绩的评价不能局限于总结性评价，而应更多地关注过程性评价。而且，在学生刚接触同伴互评时，可能会出现如标准不清晰、担心人际关系等各种问题。为了减少这些状况的出现，提高同伴互评的公平性，教师应制定合理的评价准则，在全局上把握评价过程，确保学生清晰评价标准，并能针对其他学生的具体情况进行客观评价。同时，为学生提供观察和评价的条件，加强对学生的引导和培训，鼓励学生进行真实表达，提高学生评价的热情和积极性。

第三，培养学生正视自身水平，合理激发潜在能力。问题往往被隐藏在不易察觉的地方，学生间的相处经历与有效互动更多，在进行评价时，给出的评价更加全面和具有针对性，也更容易被同伴接受。通过建立评价标准，拓宽考查面，综合地对学生学习过程中的行为表现进行评价，提供学生自主学习的机会，明确学习方向，进一步构建属于自己的知识体系，提升学习的深度和广度。在评价过程中，促进学生批判性思维的发展，注重学习能力和实践技能方面的提升，引导学生不断正视自身能力，寻找差距，完善自身优势，改进不足之处，在自我提升中促进相互合作、相互进步的学习氛围，从而超越其“最近发展区”。