Moodle3.0中同伴互评模块应用述评

曾玲　卢洪俊　郭灼

摘要摘要：Moodle3.0平台中Workshop模块提供了完善的同伴互评功能，但作为开源项目，相应的应用文档则不足。社群交流中发现，由于理解的偏差， Moodle使用群体中经常出现两类问题，其一是对某些功能不知其操作目的与结果是什么；其二是使用者按照自己所理解的操作方法去操作，但系統实际运行结果与所期望的结果不一致。通过实际教学应用，不断发现并解决上述问题，保证了同伴互评工作顺利开展。

关键词关键词：Moodle；同伴互评；Workshop

DOIDOI：10.11907/rjdk.162840

中图分类号：TP301

文献标识码：A文章编号文章编号：16727800（2017）005019504

0引言

同伴互评作为一种在线学习环境下的评价形式，在促进学生参与学习过程、深入理解学习结果等方面具有积极意义[1]。Moodle系统是一个广泛使用的开源学习管理系统，同伴互评模块需求很大。最初由新西兰奥克兰大学开发的版本由于应用复杂及评级方式匮乏，成功应用案例很少。Moodle为此专门成立项目组，项目负责人David Mudrak[2]有理论研究背景与ICT教学经验，是捷克Moodle门户管理员，开发过若干Moodle模块。新开发的同伴互评版本优化了原版本中用户界面以及流程方面的问题，保留评价计算模块，但仍然存在最终分数处理、显示等问题。Moodle版本升级到Moodle3.0，其平台中Workshop模块提供了完善的同伴互评功能[3]，本文对Moodle3.0平台中的Workshop应用过程中容易出现的问题进行探讨，为后续应用者提供参考。

1同伴互评模块安装与创建

1.1同伴互评模块安装

同伴互评模块不是Moodle3.0标准安装模块，需要到Moodle官网自行下载Workshop相应的插件plugin模块，对所下载的文件进行解压，并置于正确的包目录下，具体包括：

workshopeval_credit解压后，放到目录.moodlemodworkshopevalcredit中；

workshopallocation_live解压后，放到目录.moodlemodworkshopallocationlive中；

workshopeval_weightiest解压后，放到目录.moodlemodworkshopevalweightiest中。

其后，在“网站管理”进行“通告”之后，执行增加活动或资源时，便可看到“互动评价”活动。

安装中容易出现的问题主要是所下载的压缩文件解压后没有被放在正确的包目录下，导致安装时提示位置错误。

1.2新建互动评价

新建互动评价需要设置的项目有：互动评价描述、提供作业说明、修改评价表格、准备作业范例。

评分策略分4种：累加分数、评语、错误数和量规。后续评价表格根据评分策略设置不同而不同。

作业设置提供作业说明、作业附件最大个数、作业附件大小限制以及是否允许在截止日期后提交作业。

反馈包括总体反馈模式、总体反馈最大附件数、总体反馈附件大小上限以及总结。其中总体反馈模式确定总体反馈作为必选项还是可选项，总结则是活动结束时，关闭活动前所作的总结性文本输入。

范例作业包括是否使用范例选项，如果启用该选项，则用户可以试着评价若干个作业范例，并将评价与参考评价进行比较，该成绩不计算在评价成绩中，此时还需进一步选择范例评价模式，包括：①自愿决定是否评价范例作业；②必须在提交作业前完成对范例的评价；③在提交作业后范例生效，而且必须在评价学生作业前完成对范例的评价。

有效性包括是否使用提交与评价的开始时间与截止时间，是否在提交截止后进入下一阶段。若选择且指定了提交的截止日期，则该互动评测在提交日期截止后会自动进入到评测阶段，同时需要将评价的分配方式设置为计划分配方法。否则，进入评测阶段后，用户无法进行同伴评价。

通用模块设置包括该互动评价是否可见、ID号、小组模式、大组，其中ID号可以在成绩计算公式中唯一标识一个活动。 如果这个活动与成绩计算公式无关，那么它的ID号可以为空。ID号也可以在成绩薄中设定，但只能在活动设置页面里编辑。小组模式分为3种：无小组、分割小组、可视小组：①无小组：没有小组，每个人都是大社区中的一员；②分割小组：每个组的成员都只能看到自己的组，不能看到其它的；③可视小组：每个组成员都在自己的组内完成工作，但也可以看到其它小组情况。在课程层次定义的小组模式会缺省成为该课程内所有活动的缺省模式。如果课程设定了强制小组模式，则每个活动的设定会被忽略。大组是课程中几个小组的集合。如果选择了一个大组，属于同一个大组的不同小组学生可以一起工作。

成功创建互动评价后的结果如图1所示，互动评价按时间段以此分为设置阶段（教师）、提交作业阶段（学生）、互评阶段（师生可选择是否参与）、成绩核定阶段（教师）、关闭阶段（发布成绩给学生）。

1.3互动评价创建问题

互动评价创建过程中，易出现的问题包括成绩设置、评价设置与有效性设置3方面。

首先在成绩设置时，评分策略中除评语策略外，其它3种策略均需要进一步考虑具体评价内容项、每个内容项的分值及分值权重。其次，评价说明需要最后确定评分策略，将评价内容项及分值、分值权重修改为与所设一致，否则容易导致学生评价混乱。此外，在评价设置时需要明确是否允许学生自评。最后设置评价有效性。设置提交开始时间、提交结束时间，以及提交结束后是否进入下一个阶段，以及评价开始时间和评价结束时间。提交开始时间之后，系统不会自动进入提交阶段；提交时间结束后，系统也不会自动进入评价阶段，需要手动设置才能从设置阶段进入提交阶段或从提交阶段进入评价阶段。

2设置与修改互动评价表格

评价的科学性与有效性的前提在于评价量规的合理设计[45]。互动评价创建之后，需要进一步设置评价表格，若选择提供作业范例，还需要提交作业范例。互动评价表格设置根据创建阶段“设置此互动评价”中选择的“评分策略”不同而不同。每项都存在一些易错点，下面分别予以说明。

2.1累加分数的评价表格设置及易错点

累加分数缺省提供3个采分点，还可添加2个采分点，但系统在此有一个bug，在3个采分点未填写之前，点击“再增加2个空白采分点”，系统不会增加新的采分点，当3个采分点填写完毕，再新增2个空白采分点时，仍然不会显示出新增的2个采分点，需要保存后，再进入才能看到新增的2个采分点。若填满当前页面已有的采分点，则按“保存并继续编辑”，系统会自动增加2个采分点，新增的采分点若未填写“描述”内容，则在预览时不会显示该采分点。采分点可以增加到足够多，实验显示大于55个。合理推测应至少有127个采分点。

目前版本应注意的问题是：采分点一旦增加就不能直接删除。需要将采分点对应的“描述”内容清空保存后，该采分点才会被去掉；此外，系统通过新增1-2个采分点，在新打开的编辑窗口中始终会存在2个“描述”内容为空的采分点供填写。

每个采分点提供文本描述、最高分/等级类型选择以及权重确定。其中“描述”项的清空能够去掉该采分点；权重为该采分点在计算总分时的权值，可选范围为0-16。“最高分/等级”包括3种可选类型：无、范围、点；最高分数/等级类型为“无”时，范围与最高点均不可编辑。同伴互评时，无需亦无从评分，只需要给出文字描述评价。最高分数/等级类型为“范围”时有2个可选项：“Standard”、 “独立型和情景型思维方式”，最高点不可编辑；选择“Standard”型，则同伴互评时可选分数范围固定为0-10分。选择“独立型和情景型思维方式”型分数有3个可选项：极端情况型、独立与情景型兼备、极端独立型，其中“极端情况型”改为“极端情景型”似更合适。这个版本中不能增加新的范围评价方式。最高分数/等级类型为“点”时，“范围”不可编辑。最高点可以自由设置，在同伴互评时，可选分数范围为0到最高点的值。

采分点设置需要注意的问题是，最高分数/等级类型为“点”时，每个点是独立评分的，在总分中，每个采分点的 “点”值由权重与最高点共同决定。权重比例基于采分点而不是每个采分点内部的“点”值。比如，设置作业总分为80，采分点1、2、3、4、5的最高点分别设为40、30、20、5、5，若5个采分点权重均为1，则采分点1-5中，每個点对应的分数值分别为：16/40，16/30，16/20，16/5，16/5，若同伴评价时采分点1-5的分数分别为32、25、15、1、2，则按权重比例，系统计算出来的分数为（32/40 +25/30 +15/20+1/5+2/5）×16 = 47.5，而不是设置时所期望的（32+25+15+1+2）×0.8=60。若希望系统计算出来的“点”值与所设置的点值相同，即每个采分点中“点”值等价，则每个采分点的权重要相应修改。仍以上面5个采分点为例，采分点1-5对应的权重应分别设置为8、6、4、1、1，系统计算出来的分数为 （8×32/40 +6×25/30 +4×15/20 +1×1/5 +1×2/5 ）×4= 60。若最高分数/等级类型为“范围”，且范围选择“Standard”时，则所有分数范围都在0-10之间。若直接通过权重调节每个采分点的最终分数，则采分点的实际分数对评价者变成不可见了。而用“点”加权重的方法，则可以使评价者的分数就是最后的分数。上述2种评分机制，分别适合不同的应用场合。

2.2评价表格设置

评分策略选择“评语”时，其评价表格与累加分数表格相同，缺省采分点数量以及采分点增加的原则与累加分数相同。但采分点设置时，只需进行评价内容的“描述”，无需设置范围、权重。在同伴互评时，只需根据采分点描述，撰写相关评语即可。

该项评分策略，通常用于同一项目小组内部之间的互评，用于同伴互评前每部分的优化。

因此，在设置互动评价的通用模块时，小组模式设置为“分隔小组”类型，使得互评分配限制在小组内部，互评作业分发给小组内部成员。

2.3错误数评价表格设置

评分策略为“错误数”时，其评价表格的设置缺省包含3个断言与1个成绩映射表，其中，断言类似上述的采分点，可以不断增加。其增加与删除策略与上述采分点亦相同。

每个断言提供内容“描述”、“错误”（缺省设置为“否”）、“正确”表述语言设置（缺省设置为“是“）；权重设置取值范围同样是0-16；成绩映射表在未保存任何断言时，最初只显示错误数≤0，作业成绩为100%的一条映射，当增加3条断言后，成绩映射表相应增加错误数≤1、2、3的3条成绩映射表，所映射的成绩缺省为66%、33%和0%，用户可以修改缺省值，该值可选项为0%～100%，共计101个数据项。同伴评价时，需要选择一个“是”和“否”（“是”和“否”分别为设置阶段所设置的“正确”与“错误”表述文字）radio按钮，并可进一步填写文字评语。

断言式评价通常对应简单的有或无的评阅作业。

错误数评价总分由错误数与权重共同确定，每个断言描述需要评判一项内容。评阅为“否”，则该项分数为0，评阅为“是”，则该项分数为其所设置的权重数。因此，最终的分数可能取决于所有断言项的权重数完全组合，可能只有几个离散的数据点值。

2.4量规评价表格设置

评分策略为“量规”时，其评价表格的设置缺省包含3个量规标准与一个量规配置。其中，量规标准类似上述的采分点，可以不断增加，增加与删除策略与上述采分点亦相同。量规配置提供同伴互评时呈现两种形式：“列表”或“网格”。

每个量规标准设置包含一个描述与4个“此等级的成绩和定义”项，量规标准描述项用于描述拟评价的项目内容，4个等级成绩与定义则描述一个项目内容的详细评分标准。该项填写完成保存后，系统会自动新增2个“此等级的成绩和定义”，与累积评分的采分点一样，系统始终会留有2个空白的“此等级的成绩和定义”，其成绩可设置为0-100之间的任一数值。

量规评价策略从本质上看，是累计评分策略的细化版，累积评分策略给出评分范围，由评阅者自行判断分值，由评价者判断作业与等级定义相符度，每个定义的分值则由评价表格设置时给出，因此，能够进一步降低评阅时的主观性。

在同伴互评界面，用户需要根据评价的描述与成绩定义的描述，选择判断与所提交作业相符合的单选按钮。

3提交作业与作业评价阶段

尽管在设置阶段的“有效性”里设置了作业提交开始日期，但系统并不会自动进入“提交作业阶段”，需教师或管理员点击“切换阶段”按钮，才能将任务切换到学生提交作业阶段。

在提交作业阶段，教师/管理员可以点击“提供评价标准说明”，进入后，可以修改与保存评价标准说明，但相应的评价表格修改仍需返回“设置阶段”修改，因此，这个阶段的“提供评价标准说明”最好设置为不可编辑。如确需编辑，要返回设置阶段编辑评价标准说明与评价表格，否则便可能存在评价标准说明与同伴互评时看到的得分点或量规描述不一致问题。

设置预计划分配有4种方式，分别为手动分配、live allocation、随机分配、预计划分配。其中，手动分配在提交作业阶段结束后，可由教师/管理者为学生分配评价者，也可选择被评价者给学生；live allocation，需要在设置阶段设置允许“迟交作业”，该方式才能有效应用，用于为迟交作业学生实时分配评价人；随机分配指在作业提交后，可以通过选择与设置“随机分配”，立即进行作业同伴评价的分配。若同伴评价分配出现错误，也可返回“提交作业”阶段再次进行“随机分配”，从而纠正出现的问题；预计划分配方式在提交阶段结束后自动分配作业进行评价。此阶段的结束时间在互动评價设置的“提交截止日期”中定义。本质上是使用此表单中预定义的参数来执行随机分配，这意味着预计划分配工作像是教师亲自执行随机分配。注意，如果在提交截止日期前手动转换互动评价到评价阶段，预计划分配不会执行，这种情况下就得再次分配作业。预计划分配方式在和自动阶段转换功能一起使用时特别有用。

评价阶段与“提交作业阶段”类似，评价阶段的启动同样需要教师/管理员手动点击“切换阶段”而使评价阶段生效，系统无法根据时间设置进行自动切换。这样设计的好处是，教师/管理员在切换之前可以进一步检查所有设置以及学生提交情况、互动评价的自动分配情况，然后才切换到评价阶段，避免可能存在的疏忽。评价阶段主要给出时间信息，没有需要设置的项目。

4成绩核定

学生的成绩最终由作业成绩和评价成绩两部分构成。其中，作业成绩与评价成绩占总成绩的比例在 “成绩设置”里设置，缺省为80和20。作业的最终成绩由每个评价者给出的成绩经过权重的加权平均后得到，教师/管理员有权将自己或某些学生的成绩给予较高的权重，从而使最终作业成绩中权重较高的评分对总分影响较大。该系统缺乏对评价的一致性检验[6]，后续二次开发中可增加相应模块。

评价的最终成绩根据成绩核定方法和成绩核定设置的不同而有所改变。成绩核定方法有3种可选项，分别为“与最佳评价相比较”、“Participation credit”和“Comparison with the weightiest assessment”，不同的成绩核定方法各自对应若干成绩核定设置。

“与最佳评价相比较”对应的成绩核定设置包括比较评价的宽松程度，评价越严格，与最佳评价的相近程度要求就越高。

使用“Participation credit”成绩核定时，成绩核定设置主要进行评价模式选择，All or nothing要求评价者全部进行了评价才能得分，否则，有一个遗漏都将无法得分。Propotional则根据评价的百分数量予以评分，而at leaset one则只要做了一个评价便可获得满分。

“Comparison with the weightiest assessment”则是与最高权重的评分项相比较，计算差异的容忍程度。但如何提高同伴互评的准确度和信服度[7]需要在后续二次开发中考虑。

互动评价成绩报告包括作业提交者姓名、作业及其最后提交时间信息，收到的所有分数以及作业成绩，给出每个分数以及作业提交者的评价成绩，图2所示的作业提交者，由于未给出任何评价，因此评价成绩为0分。

收到的分数中，显示评价者给出的作业成绩、评价作业成绩的权重，图3中，评价者“曾玲”给出的作业分数是56，“曾玲”得到的评价成绩是20，“曾玲”给出的作业成绩权重是16，作业提交者“陈建成”提交作业之后，未进行作业自评及评价分配的作业，因此其收到的自评分数为0，其评价成绩为“0”，其给出的成绩均为“0”。在计算收到的分数时，将排出未给出评价的成绩，对其它收到的分数进行加权平均，即作业成绩=（56*16+（64+41+9+56+53））/（16+5）=53； 评价成绩为0。

学生只有切换到“关闭”阶段之后才能看到自己的成绩，并能看到所有需要评价的学生列表，点击对应的作业，可以看到自己给出的各项评价成绩，如图3所示。

5结语

在同伴互评模块的使用过程中，需要清楚地知道采分点或量规设置目标，以及评分预期。其后，对系统给出的结果进行分析，发现可能存在的预期结果与实际不符的问题，然后进一步通过数据分析发现问题，最终解决问题。本文对应用过程中易出现的问题均给予了较详细的说明，以期在后续使用中避免产生同样的问题。

参考文献参考文献：

[1]许涛.慕课同伴互评模型设计研究[J].开放教育研究，2015，21（2）：8694.

[2]DAVID MUDRAK.Moodle Doc 3.0.[EB/OL].https：//docs.moodle.org/dev/User：David_Mudrak.

[3]DAVID_MUDRAK.Grade for assessmen.[EB/OL].https：//docs.moodle.org/dev/Workshop_2.0_specification#Grade_for_assessment.

[4]闫寒冰.信息化教学评价———量规实用工具[M].北京：教育科学出版社，2003.

[5]钟志贤，曹东云.网络协作学习评价量规的开发[J].中国电化教育，2004（12）：4952.

[6]边琦，王俊萍.网络课程中同伴互评等级的一致性检验[J].内蒙古师范大学学报：自然科学汉文版，2016，45（5）：164168.

[7]孙力，钟斯陶.MOOC 系统中同伴互评过程的优化和应用[J].现代远距离教育，2014（6）：38.

责任编辑（责任编辑：杜能钢）