基于网络的同伴评价系统设计与实现*

舒存叶，张海萍，李亚盼

（1.南京晓庄学院新闻传播学院，江苏南京210017；2.南京晓庄学院 教师教育学院，江苏南京211171；3.洛阳卓阳科技园，河南洛阳4713000）

基于网络的同伴评价系统设计与实现*

舒存叶1，张海萍2，李亚盼3

（1.南京晓庄学院新闻传播学院，江苏南京210017；2.南京晓庄学院 教师教育学院，江苏南京211171；3.洛阳卓阳科技园，河南洛阳4713000）

在教学实践中发现现有在线评价平台不能满足实践需求。根据前期调查和实践的经验，设计和实现了基于php技术的网络同伴评价系统。该系统不仅用于慕课网络教学评价环节，也可以作为传统评价方式的有益补充。

在线评价平台；同伴评价；php

一、问题的提出

同伴评价是指具有相同背景的学习者之间相互评价的过程[1]。同伴评价可以促进学习者对学习内容的深层次理解，参照评价标准评价他人的学习，能够更好地理解学习内容。同伴的评价是从学习者而不是从教师的角度给出评价，学习者之间可以共享彼此的成功经验，从各自的不足中吸取经验教训。

随着网络技术的发展,同伴评价逐渐在网络教学评估领域中被采用。与此同时，一种新的教育模式——慕课正在兴起，其影响力与日俱增。由于慕课本身大规模、在线、开放的特点，学习者众多，作业的评价就成为一个难题。同伴互评的机制因此被引入慕课平台，但其准确性以及有效性一直受到怀疑[3]。早期的同伴评价多基于课堂进行面对面评价，但是这种方式存在很多不足：“如学习者不能及时获得同伴的评价，存在时间和空间的限制，很难实现评价方式和评价形式的多样性等”[4]。而在线的同伴评价系统可以解决上述问题，避免传统同伴评价方式的不足。目前已有的网络的同伴评价系统，主要有两类：一类是专门的评价平台，如Web-Spa[5]、PRAZA[6]、PASS[7]等；另一类为网络教学平台自带的评价系统，如Moodle[8]。以上平台多为国外开发，可通过互联网访问。国内用户在使用上存在一些不便和限制，此外功能也不够完善，不能满足同伴评价实践的需要。如对于小组评价的支持度不够，不能较好地区分小组内不同成员的贡献；同伴评价中的互评关系在同伴定量评分和定性文本评论上均存在显著差异，是影响评价质量的一个重要因素[9][10]，现有评价系统不能对该因素进行控制。为了解决上述问题，减轻教师负担，实现评价方式的多样性，使同伴评价更加科学有效，本研究在现有文献研究和同伴评价系统的基础上，设计和实现了一个在线同伴评价系统。期望为高校教学评价改革提供一些借鉴和参考，更好的服务于评价实践。

二、设计分析

1.需求分析

同伴评价是传统教学评价方式之外的一种评价手段，需要教师和学习者的额外付出，因此，需要在尽量减少教师和学习者负担的情况下，进行科学有效的同伴评价实践。笔者曾借助其他平台开展过同伴评价的实践，并进行过调查研究和系列实验研究。结合多年的实践经验和研究成果，对用户的需求进行梳理与分析，具体如下：

（1）评价方式的多样化。主要有：评价主体的多样化，允许教师设置不同评价主体的权限及权重；评价形式的多样化，提供多种评价形式如百分制评价、量表评等评价、文本评论评价，供教师选择和组合。

（2）同伴评价影响因素的控制。相关研究表明，评价署名方式、互评类型是影响同伴评价质量的重要因素[10]。系统允许教师对以上因素的不同类型进行组合，寻找最佳的评价模式。

（3）同伴评价任务的自动分配。系统根据教师的设置，为评价者和被评价者进行配对，自动为每位学习者分配同伴评价任务。

（4）同伴评价的监控与管理。系统对同伴评价的完成进度进行统计，并对同伴评价行为的质量进行监控。对于同伴评分质量的评价由系统自动完成。而对于同伴文本评论质量的评价，必须由人工完成。系统设计由被评价者而不是教师进行评价反馈，这样不仅更加合理，还可以减少教师负担。

（5）小组贡献评价。小组协作学习是高校教学中经常采用的一种方式，系统支持多样化的分组方式，如随机分组、自由分组、教师分组等。同时系统还提供小组贡献评价功能，以解决小组成绩没有区分度的问题。

2.开发技术与数据库设计

本系统采用了php+MySQL进行开发。系统中的各种数据资源可分成五个部分：用户数据、分组数据、作业数据、评价数据、消息数据。分别用于存放用户的账号信息，关联的课程和班级信息，学习者分组信息，作业的发布、提交和成绩信息，评价任务和同伴评价以及小组评价信息，用户发送的消息等数据。这些数据库通过主键相连，形成了一个大的数据网络。

三、系统设计与实现

教师注册后即可使用系统，学习者账号为学号，由教师导入或自行注册到系统。根据用户的需求，系统设计了以下功能模块：信息管理、课程作业、课程评价、课程统计，用户登录后按照其教师或学习者的身份显示相应权限的功能。系统功能结构如图1所示。

图1 系统功能结构

1.信息管理模块

信息管理模块主要实现课程管理、站内信息收发、密码管理等功能。教师先要开设相应的课程，才可以进行后续教学活动。教师在该模块上可以创建课程和班级，导入该班级学习者的学号、姓名等信息，并对课程、班级、学习者的信息进行管理。站内信息页面主要实现站内信息的收发，学习者之间、师生之间可以通过站内短信息进行答疑或学习内容的交流。密码管理是系统的一项基本的功能，用户可以修改密码，设置密码保护问题，在忘记密码的情况下，可以通过回答密码保护问题找回密码。

2.课程作业模块

课程作业模块主要实现作业的发布、小组分组、作业查看、优秀作业展示等功能。布置作业是教师进行评价活动的前提，教师通过该模块进行课程作业的创建，进行相关参数的设置。参数包括标题、内容、作业类型（小组作业或个人作业）、截止日期、作业大小限制等。在教学中分组作业是一种经常采用的方式，如果教师发布了小组作业，则进行课程分组。教师设定分组参数，包括分组方法、小组人数、截止时间等。分组方法包括以下三种方式：学习者自由组合、教师指定分组、系统随机分组。教师可以对小组的成员和组长进行管理。学习者可以查看分组参数和分组结果。自由组合情况下，系统显示每一个小组的人员信息，学习者可以选择未满员的小组加入，并申请是否成为组长。

作业发布后，教师可以查看已发布的作业信息，对作业进行编辑，还可以查看学习者的完成进度，下载、评阅作业。教师在评阅过程中可以设置质量较高的作业为优秀作业。系统提取优秀作业名单，并展示给学习者。学习者可以查看教师和其他同伴对该作业的评价，借鉴同伴的学习成果。学习者可以查看作业信息，提交作业，提交后可以查看教师对作业的评价。如果该作业有同伴评价任务，还可查看同伴的评价情况。

3.课程评价模块

课程评价模块主要实现同伴评价任务发布与分配、同伴评价、同伴反馈、小组贡献评价等功能。该模块为本系统的核心功能，下面对其进行重点介绍。

（1）评价任务发布

在发布同伴评价任务时，教师可以对同伴评价过程进行控制，其中包括:

1）基本信息。教师选取需要创建同伴评价的作业，描述评价要求，设定评价截止时间。

2）评价标准与作品范例。笔者进行的一项问卷调查显示：92%的学习者认为教师有必要提供一份详细的评价标准，并对标准进行解释和指导；84.8%的学习者认为教师应该提供作品的范本。教师可以上传评价标准和作品范例，供学习者评价时参考。

3）评价形式。同伴评价可以采取多种评价方式，如百分制、量表评等的定量评价，文本评论的定性评价，教师可以选择以上三种方式或它们的组合，百分制+文本为系统默认的评价形式。

4）评价主体与权重。同伴评价可以有多个评价主体，包括同伴评价、教师评价、自我评价。教师可以设置每个主体的评价权限以及署名方式。

5）任务数量。教师需要为学习者分配适当的同伴评价任务。教师可以结合具体的情境，设置适当的任务量。

在同伴评价过程中，教师还需要对影响同伴评价质量的其他因素进行控制。这些因素有：评价署名方式。包括评价者和被评价者在评价时的署名方式；互评的类型，互评的类型分直接互评和间接互评。相关学者开展了一系列实验研究，表明上述因素对评价质量构成影响。评价者的不同署名方式在评价的批判性、关注焦点上存在差异，而被评价者的署名方式的不同在评价质量上存在差异[9]。互评关系在同伴量化评分以及文本评论上均存在显著影响。不同的互评方式和评价署名方式的组合对同伴评价质量会产生不同的效果，评价中存在互评关系和被评者署名方式的交互效应[10]。教师在发布任务时，可以对以上因素进行控制，在评价时尝试不同的组合，寻找最适合的评价模式。

（2）评价任务分配

评价任务发布后，系统需要为每一位学习者生成评价任务表，评价任务的分配是同伴评价系统一个重要功能，保证每位评价者的任务数量是相同的，按照不同的互评模式对评价者和被评价者进行配对。实现原理是将每位学习者提交的作品进行随机编号，如果是小组作业，则以小组为单位进行作品编号。系统根据评价数量和互评关系通过算法进行匹配，自动生成每位评价者的同伴评价任务分配表，如表1所示。表1以10位学习者为例，展示了两种互评模式下评价者和被评价者的配对结果。

从表1可以看出，直接互评模式下被评价同伴将对评价者的作品进行评价，间接互评模式下被评价者不会对评价者的作品进行评价。

评价任务发布和分配后，学习者可以查看同伴评价任务的具体要求以及同伴评价任务表。任务表显示被评价的同伴作品编号，被评价同伴姓名（被评价者匿名时则不显示），互评关系，作业完成情况，评价状态，评价截止时间等，如图2所示。

图2 同伴评价任务表

（3）同伴评价与反馈

如果教师在发布评价任务时允许自我评价，学习者还可以对自己的作品进行评价。自我评价能够辅助同伴评价的开展，提高学习者的反思能力。学习者获取同伴评价任务后，通过被评同伴作品编号链接入同伴评价页面。根据教师设置的评价形式，学习者以署名或匿名的方式对同伴的作品进行量化评分或文本评价，学习者在进行文本评价时被要求对同伴作品的亮点和不足进行评价，提出修改意见。学习者评价之后可以浏览教师和其他同伴对于该作品的评价。学习者在参与同伴评价任务过程中，既是评价者，又是被评价者，学习者可以查看同伴对自己作品的评价。

同伴评价的形式主要有定量评分和定性文本评论，教师通常采取两种方式进行结合。学习者在评价过同伴的作品之后，由被评价者对同伴的评价质量进行评价，并对同伴的评价内容和行为进行反馈，以帮助同伴提高评价质量。同伴的反馈对评价者的行为有一定的约束作用。为保证反馈的公正性，系统在反馈前隐藏同伴的评分，反馈后再显示，以避免因为较低的评分而给予负面的反馈。小组作业的成员需要全体参与到同伴反馈，根据评价人的数量以及小组人数来调节每位组员的工作量。文本评论质量的评价依赖于被评价者积极地完成反馈，系统对学习者反馈同伴的情况也进行监控，如果有待完成的反馈任务，系统将进行提醒。

（4）小组贡献评价

小组学习是可以促进学习者各方面能力的发展，如责任心，人际交流能力，小组协作以及组织能力，在高校教学中被广泛地使用。但在实践中却容易存在搭便车的情况。如何公正地评价小组中各成员的成绩是一个难题。教师因为较少参加小组内部活动，很难进行公正、合理的评价，只有小组成员才有足够的信息对相互之间的贡献进行评价。小组贡献评价可以解决小组成员作品分数一致没有区分度的问题，让贡献较多的成员获得较高分数，让贡献较少的成员获得较低的分数。教师可以通过贡献评价页面为小组作业创建贡献评价任务。发布时教师需要设置该任务的起止时间，依据贡献大小的等级设置加权系数。系统将小组成员的贡献分为五个等级：远超过平均值、比平均值略多、平均值、比平均值略少、远低于平均值，赋予1分到5分的分值，学习者在进行小组贡献评价时依据该等级评分。以贡献达到平均值为基准系数（设为1），教师为不同贡献等级设置适当的贡献系数。学习者的总成绩以小组作品成绩为基准，根据个人贡献的多少进行加权。教师发布小组贡献评价任务后，学习者可以查看任务列表，进行个人贡献描述，并根据其他组员的贡献描述和实际贡献情况，给予相应等级的评价。如果评价者给全部或多数组员过高或过低的贡献评分，系统将不予通过。

4.课程统计模块

学习者在完成相关任务后，教师需要进行很多项目的统计工作，例如学习者的学习进度，同伴评价作品成绩，同伴评价行为质量的量化成绩，基于组员贡献对小组作业成绩的统计。如果采用传统的方式进行统计，由于其巨大的工作量，将会给教师带来较大的负担，学习者也无法得知其成绩评定的细节，而系统的统计功能可以解决上述问题。

（1）进度监控与统计。教师发布各项任务后，需要对学习者的学习进度进行监控和管理。系统为教师统计全体学习者的作业提交、同伴评价与反馈、小组贡献评价的完成情况，并提供详情；系统为学习者统计课程任务的完成情况，以清单的形式列出所有任务及其完成进度。这些任务包括提交课程作业，加入课程小组，评价同伴作品，反馈同伴评价，提交个人贡献，评价组员贡献。

（2）作业成绩统计：一般的作业由教师评定成绩，同伴参与评价的作业，其成绩由多个评价主体共同评定，系统根据不同主体的权重计算总评分。小组作业的成绩评定，由系统统计学习者的小组贡献系数，以小组作品总评分为基准，计算总评分。教师和学习者可以查看作业成绩统计过程的细节。

（3）评价行为成绩统计。在同伴评价过程中，只有参与评价的学习者积极认真地履行评价职责，评价才能取得良好的效果。教师需要对同伴评价的质量进行监控，并对评价质量高的学习者进行激励。笔者的一项问卷调查表明：79.8%的学习者表示赞成教师将评价质量进行成绩考核；76.8%的学习者认为这一措施可以提供同伴评价质量。为提高学习者参与评价的积极性和评价质量，督促学习者认真完成同伴任务，系统将同伴评价行为的质量进行量化，并纳入平时成绩考核中去。由教师设置同伴评价行为的考核规则，以及该项成绩在总成绩中的权重。

学习者的同伴评价行为成绩由三部分组成，量化评分的质量，文本评论的质量，以及对同伴反馈的完成度，每一部分均量化为百分制，由教师设定各部分的权重。评分质量的考核是将单个评价者的评分与教师评分和总评分进行比较，考查其一致性，一致性越高，说明评分质量越高。评论质量的考核由被评价者完成，根据被评价者进行同伴反馈时给出的评价结果进行统计。如果被评价者超期未对同伴的评论进行反馈，教师可以设定为默认好评或由教师代为反馈。同伴反馈的考核主要考察完成度，即个人反馈的数量与待反馈数量比例。如果是小组作业，以小组整体为单位考察同伴反馈的完成度。

同伴评价行为成绩由系统依据评分规则，对同伴评价行为进行量化成绩统计。系统提供学习者每一项评价行为的细节及得分情况，如图3所示。图3中评价形式为百分制加文本，系统分别统计了量化评分评价成绩、文本评论的评价成绩、以及同伴反馈的成绩。

（4）课程成绩汇总。课程成绩统计方便用户查看单独的作业成绩和评价成绩的细节，但不能对成绩进行汇总显示。为方便教师对作业成绩和评价成绩进行汇总统计，制作报表，系统提供了成绩汇总功能，提取历次作业和评价行为成绩，如图4所示。

如果教师布置有多次课程作业，通常的做法是将历次作业成绩相加取平均分。在实际教学中，如果某次作业比较重要，教师可以赋予该作业较高的权重。系统允许教师对作业的权重进行设置，可以平均分配，也可以不平均分配。如果是后者，教师可以设置作业的权重，系统依据每份作业的权重计算课程作业总成绩。如果有多次同伴评价任务，则取平均分。系统依据作业成绩和同伴评价成绩的权重，计算课程总成绩。

四、总结和讨论

1.应用情况

本系统完成后，在南京晓庄学院新闻传播学院2011级到2014级多个班级的课程中投入了使用。如社科类课程《社会研究方法》、《社会心理学》，理工类课程《php网络编程》、《网页设计》，取得了较好的效果。每一轮使用后，就同伴评价的效果和系统的功能进行了调研。最新一次针对三个班级的99位学习者的调查显示，78.9%的人认为同伴的评价可以促进反思，意识到自己作品的不足；83.1%的人认为同伴的意见可以帮助修改和完善作品，74.6%的学习者认为同伴的意见是中肯的。总体而言，多数学习者认可同伴评价这种方式。笔者对使用系统的教师也进行了访谈。受访者表示：系统功能较为完善，可以满足教师进行同伴评价实践的需要，方便易用。此外，用户对系统的功能方面提出了各种改进建议，比如完善流程控制，提供系统使用说明和指导等。笔者结合用户反馈的意见对系统的功能不断进行完善。

图3 学习者评价行为成绩详情

图4 成绩汇总

2.小结和讨论

基于php的在线同伴评价基本能够满足当前同伴评价实践需要，但也存在一些问题，例如对于同伴评价行为表现进行量化的算法比较简单，存在一定误差。在进行小组贡献评价时，会陷入一团和气，评价者碍于情面对低贡献者仍给予较高评级，不能完全有效地区分不同学习者的贡献。这种情况尤其在小组成员较少时比较明显，这超出了系统设计本身的问题。在同伴评价实践中，除了系统平台的支持之外，学生和教师都需要付出额外的精力。教师在任务发布后，需要跟踪学生评价进度，对学生进行督促，激励学生积极、高质量地进行同伴评价。

本系统不仅适用于高校的传统教学，也可应用在高校的慕课教学评价实践中，下一步将扩大其应用范围，完善系统功能。

[1]Albon R.A Case Study of the Integration of Self, Peer,and Group Assessment in a CoreFirst.Year Educational Psychology Unit through Flexible Delivery Implementation f[M].Bundaberg：Information Science Publishing,2006．

[2]Lin,S.S.J.,Liu,&Yuan,S.-M.Web-based peer assessment:Relation of attitude and achievement[J].IEEE Transactions on Education,2001,44(2)13.

[3]范奕博.慕课中的同伴互评.http://weibo.com/p/1005052484767530/home,2015.

[4]许姣华.基于学习者特征的适应性同伴评价系统的研究与实现[D].华南师范大学硕士学位论文,2010:1-2.

[5]Sung YT．,Chang K．E．,Chiou S．K．，Hou H．T．The design and application of a web-basedself-and peer-assessment system[J]．Computers&Education，2005,45(2):187-202．

[6]Mulder R．A．,Pearce J．M．PRAZE：Innovating teaching through online peer review[C]．Proceedings ascilite Singapore 2007．ICT：Providing choices for learners and learning，2007：727-736．

[7]Lan Li A．L．S．Peer Assessment Support System (PASS)[J]．The Instructional DesignPortfolio，2004(49):80,84．

[8]沈度珩,黄信义.网路同侪互评在Moodle系统上的应用[J].教育资料与图书馆学,2006,43(3)：67,284．

[9]张倩.网络环境下同伴匿名评价实证研究[J].电化教育研究，2007(7):55-57.

[10]舒存叶,张海萍.网络环境下同伴评价影响因素的实证研究[J].电化教育研究,2005（2）：89-93.

（编辑：杨馥红）

G40-057

A

1673-8454（2016）23-0092-05

本文为2015年度江苏省教育科学十二五规划重点课题“基于慕课的新闻社科类课程翻转课堂模式应用效果的实证研究——以地方应用型高校为例”(课题编号：B-b/2015/01/079)的阶段性研究成果。