基于自评与互评的网络协作学习贡献度评价

张红英 陈明选 马志强 闫雪静

摘要：评价是加强学习互赖关系，提升协作绩效的重要方法，但是传统的网络协作学习评价，存在过程不透明、缺乏差异化、易出现“搭便车”等现象。以学习者为评价主体，将自我评价与同伴互评相结合的评价方法，有利于判断个体投入并给出更合理的评价结果。然而目前基于自评与互评的网络协作学习个体贡献度评价尚缺乏具体评价指导原则与策略，研究者对评价操作的方法也缺乏足够的理解。基于此，课题组采用基于设计的研究方法，通过原则与策略生成、实施与调整、评价与反恩三个阶段，设计了自主评价与同伴互评相结合的协作学习个体贡献度评价。通过收集的质性和量化数据，研究发现：基于自评与互评的网络协作学习个体贡献度评价应遵守三条基本设计原则，即个体贡献度评价应该同时考察协作学习过程与最终成果中的贡献程度;学习者应当参与评价过程并对其负责;自评和同伴互评应尽可能公平合理。在具体设计时，应着重关注协作学习投入、定性反馈以及保障自我评价的公平性等环节。

关键词：个体贡献度;网络协作学习;自我评价;同伴互评;设计研究

中图分类号：G434文献标识码：A文章编号：1009-5195（2019）02-0095-08 doi10.3969/j.issn.1009-5195.2019.02.011

一、引言

协作是人类相互作用的基本形式之一，亦是人类社会赖以存在和发展的重要动力。前苏联著名心理学家维果斯基认为：学习是通过学习者的相互作用而创造意义的社会性协作活动。这个理解凸显了学习者之间的协作关系与活动对于学习的意义与价值。目前，国际范围内广泛关注的核心素养框架将“交往与协作”作为重要的核心素养加以界定。经济合作与发展组织（OEcD）提出的“核心素养”框架将有效互动的能力列入其中，具体包括：与他人建立良好关系的能力、合作能力、管理并化解冲突的能力。网络协作学习对于提高学生的协作、交往及批判性思维等核心素养具有重要价值（Johnsonet al，2007;蔡建东等，2012）。

在网络协作学习中，评价是加强学习互赖关系，提升协作绩效的重要方法（sluijsmans et al，2010）。然而目前协作学习评价方法通常难以令学生满意，具体体现在：首先，评价过程基本由教师操控，被称为“黑匣子”，学生难以获取评价过程的相关信息（sluijsmans et al，2010）。其次，协作学习评价通常给予小组成员统一分数，并未针对学生的具体投入与贡献程度给出差异化的评价结果（Freeman et al，2002;sluijsmans et al，2010）。最后，协作学习评价难以促进小组成员积极投入，导致协作学习过程中出现“搭便车”和“社会懈怠”等不良问题（Kreijns et al，2003;Popov et al，2012;Le et al，2017）。

基于上述问题，众多研究者提出应当对学习者在小组协作学习中的个体贡献程度进行评价（sluijsmans et al，2010）。然而，由于网络协作过程持续时间较长，教师难以对协作学习整个过程进行追踪与分析，导致无法判定学生个体投入程度从而给出合理评价。因此，有研究者开始探索在网络协作学习中采用自我评价与同伴互评（Self-Assessmentand Peer-Assessment，SAPA）的方法解决个体贡献度评价的问题（Fermefis et al，2008;Sluijsmans et al，2010;Kilic，2016）。基于SAPA的个体贡献度评价将学习者作为执行评价的主体，通过自我评价与同伴互评相结合的方式评价小组成员在协作学习中的个体贡献度（Fermehs et al，2007、2008;Kilic，2016）。自我评价（Self-Assessment，SA）是指学生对自己的学习过程和成果的质量做出判断（Johnston et a1.，2004;Fermehs et al，2008）。自我评价能够引导学生反思协作学习过程并提高个体贡献度。同伴互评（Peer-Assessment，PA）是学习者评价其他同伴作品质量的评价方法（Ochoa et al，2005）。自我评价和同伴互评通常结合使用，以评价小组成员的表现以及个人在协作学习中的贡献（Fermehs et al，2008;Johnston et al，2004）。

目前，基于SAPA的个体贡献度评价尚缺乏具体评价指导原则与策略，研究者对评价操作的方法也缺乏足够的理解，具体体现在：首先，学习者在协作学习中的个体贡献既反映在协作过程中，又体现在协作成果中，如何通过评价来同时获取协作过程与成果中的个体贡献度还缺乏有效的方案。其次，在同伴互评中，学习者通常会因友谊而给出不合理的评分，如何在评价中保证评价的信效度也是需要关注的问题。本研究针对网络协作学习中个体贡献度评价的问题，采用基于设计的研究方法来探索评价操作的原则与策略，以期建立协作学习中个体贡献度评价的操作标准，为国内外相关研究者提供借鉴。

二、研究综述

笔者将结合国际研究中关于SAPA设计的相关文献，着重从SAPA教学法设计、个体贡献度评价方法，以及基于自评与互评的个体贡献度评价设计等方面来展开评述。

1 SAPA教学法设计

SAPA教学法的设计主要侧重三点：学习者参与、避免互惠效应，以及形成性评价。

网络协作学习中小组成员应该承担同等份额的任务，强调每位学习者的参与。然而，小组中可能出现成员对小组任务不平等的参与，如果缺乏对个体贡献度的有效评价会导致学生在协作学习过程中出现“搭便车”等问题（lia et al，2015）。“搭便车”是学习者在协作学习过程中的付出与分享的小组回报不成比例的现象。个体贡献度评价可以用于增强小组成员积极的相互依存关系和个人责任感，以保证学习者参与。

学习者之间因友谊关系而给予对方与其个体贡献不对等的评分称之为互惠效应。互惠效应的出现将导致评分过高或组内分数趋于一致的消极影响。网络协作学习贡献度评价中通常会出现互惠效应，匿名评价和随机分组是避免互惠效应的有效策略（Chen et al，2009）。匿名评价需保证评分者与被评者双向匿名，随机分组可有效避免学生因友谊关系直接组队导致的评价不合理问題。为保证评价的公平合理性，协作学习个体贡献度评价设计应考虑避免互惠效应影响。

形成性评价重视评价的教育性和发展性，通过及时向教师和学生提供反馈信息，使他们能够了解教学活动中存在的缺陷与不足，从而使教师和学生不断改进、完善自己的教学活动和学习活动。形成性评价的常用策略是有效反馈（Orsmond et al，2004）。有效反馈的主要目的是缩小学生目前学习水平与预期目标之间的差距。在形成性评价中，有效反馈需要根据学习目标提供描述性信息，即评分与评语相结合的反馈。评分与评语结合的反馈方式既要指出学生做得好的地方或需要改进的地方，同时也要对学生如何达到目标提出建议。

2.个体贡献度评价方法

Sluijsmans等（20lO）系统分析了协作学习个体贡献度评价诸多研究设计后，提出了三条重要的评价设计原则：（1）反映协作过程和结果;（2）促进小组成员对协作过程的反思并提高团队绩效;（3）确保评价的有效性。基于上述观点，个体贡献度评价应当注重考察每个学习者在协作学习过程中的表现和最终结果，以及两者如何均衡考量;同时也要考察小组成员个人责任的落实，以及其对协作过程的反思对提高团队绩效的有效程度，并且确保评价公平公正，准确评估学生的个人贡献，使得评价有效。也就是说，设计的要点在于获取过程与结果的个体贡献。

协作学习评价在过去10年取得广泛关注，对于如何测量个体在协作学习过程和结果中的贡献，方法比较多。目前主要的测量方法包括个体加权因子方法、加权求和时去除自我评价这两种。

个体加权因子的计算方法由Gupta（2004）提出，是将多个评价分数按照一定的权重相加，所得结果为最终的个体分数。其主要特点在于全面性，个体的最终成绩是综合考虑了协作过程中个体和小组的贡献，并给予相应的权重计算得出。具体计算方法如下：第一步，通过个体平均等级分数除以小组平均等级分数计算个体权重因子;第二步，通过个体权重因子乘以小组分数获得个人最终得分。假设小组中5位成员的个人平均等级分别为5.0、4.2、4.0、4.0、3.8，A学生收到自己和其他四位学生的评价均为5分，由此获得个体权重因子为1.19，小组分数为75分，则A学生个人最终得分为1.19乘以75，得到89.3。

个体加权因子方法计算得出的个体贡献分数是包含自我评价的，学生可能会夸大他们的自我评价。澳大利亚的研究者（Fermelis et al，2008）提出了一种去除自评数据计算的方法。这种方法的特点在于公平性，利用三次评价来合理计算个人贡献度，避免同伴过度评价。学生进行三次评价，第一次要求他们考虑到公平工作量的定量分配，给予每个团队成员0.5-1.5的相对贡献分数，所有相对贡献分数的总和等于团队成员总数。第二次评价要求学生对他们的团队成员工作的定性个人表现以1～5分的整数来打分。个人表现评价鼓励学生考虑对方的贡献质量而不是数量。第三次评价则是将两次评价得到的分数相结合，产生乘数缩放因子，对每个成员的贡献进行整体评价。这个评价主要侧重评论，包括对评价出现的异常情况或者出乎意料的分数进行最后评价，说明情况。最后将乘数缩放因子的评分和评论反馈给小组成员。这两种同伴评价模式的结合可以避免同伴过高评价的影响（Freernan et al，2000）。为消除个人对自己过高评价，需将自我评价移除（LIohnston，2008）。具体计算方法如下：第一步，获得个人总评价，即每个团队成员的相对贡献加个人表现得分的总和;第二步，获得团队同伴评价平均值，即将所有团队成员个人总评价的得分总和除以团队成员人数;第三步，获得每位学生的乘数缩放因子，即个人总评价除以团队同伴评价平均值;第四步，将乘数缩放因子和评论反馈给学生。

3.基于自评与互评的个体贡献度评价设计方法

目前，基于SAPA的个体贡献度评价设计主要包括：引导学习者参与评价标准制定、提供评语反馈、采用学习者迭代修改等方法。

Kali和Ronen（2005）认为让学生参与评价标准的制定与修改过程有利于：第一，评价标准明朗化。学生参与评价标准制定有助于小组成员了解小组任务的具体要求，明确每个成员在合作任务中该做的事情，减少成员的迷茫。第二，能提高小组成员的协作过程参与度。每个小组成员通过参与标准的制定，能够更加了解评价过程，明确自己在协作活动中的参与度相对应的评价等级。为了获得更好的评价，小组成员会更加积极投入到协作过程中。第三，对于评价标准的讨论能够促进学生对协作学习的责任感和归属感（Johnston，2008）。学生参与标准制定是他们了解标准的有效途径，可以减小由于对标准不熟悉所带来的学习差异。

提供评语反馈。SAPA方法强调多个同伴反馈对协作方面的作用。多个同伴评议的好处在于：第一，通过多个同伴反馈来改善观众的观念（Schriver，1990）。换句话说，学生可以从读者的角度来修改他们的写作，而不是从更常见的知识策略的角度来看待。第二，多个评论可以减少个人评论的盲点和遗漏，因为更多的评论意味着发现更多的错误。第三，多个评论者可以减少不正确反馈的负面影响。第四，多个评审员可能会就某些具体问题达成一致，而且当学生修改其论文时，对特定问题的多重评论可能对学生更有说服力。第五，为了让学生认真对待反馈意见，评分需要考虑实际成绩，成绩的有效性和可靠性取决于多位评审员的评分。

学习者迭代修改采用组内评价与组问评价结合并进行多次实验的方式。Sivan（2000）进行了三个周期的行动研究，目的是探索实施同伴评估的最佳方法，并研究它在不同人群中的效果，例如有经验的学生和那些新加入的学生。同伴评价方法主要包括组内评价和组间评价。第一个周期的学生没有同伴互评的经验，每位学生根据教师提供的标准评价该组别其他成员对书面和口头报告的贡献。对于组问评价，每个学生都对自己以外的小组进行了评价。在第二个周期中，教师根据学生的反馈意见修正评价标准，然后更换一批同样没有同伴互评经验的学生进行同伴互评流程。第三个周期的学生具有同伴互评经验，由学生确定评价标准。个人最终成绩由两部分组成，一部分是组间评价获得的口头报告分数的30%，另一部分是由教师分组的组内同伴对书面作品评价分数的70%。学生反馈是通过问卷调查和半结构化訪谈征求的，使用SPSS进行分析，用定性分析方法对访谈进行记录、转录、分析。

三、研究设计

1.研究背景

本研究选取江苏某高校教育技术专业和小学教育专业共119名学生（其中男生36名，女生83名）为研究对象。所有学生均参加线上线下相结合的混合式学习课程，均已经拥有网络协作学习的课程学习经验。在线上学习阶段，119名学习者被随机分成了27个小组，每个小组4～5名学生。任务的发放与提交均通过蓝墨云班课（移动教学助手APP）平台实施。

2.研究问题与研究流程

如何设计SAPA原则和策略来提升协作学习中的个体贡献程度，并提供公平可靠的个体贡献评价，这是本文的主要研究目的。基于此，研究主要分为三个阶段：原则与策略生成阶段、实施与调整阶段、评价与反思阶段。原则与策略生成阶段，对基于SAPA的个体贡献度评价进行文献梳理，形成SAPA设计的指导原则和策略。实施与调整阶段，进行四轮活动迭代设计。活动设计的重点是实施和评价，每轮活动设计时间长度为3周，活动结束时对相关内容进行改进，确保个体贡献度评价设计能反映协作学习过程和结果，促进小组成员对协作过程的反思并提高团队绩效（Sluijsmans et al，2010）。该阶段主要描述评价过程是如何操作的，并收集学生对活动过程设计和实施的意见，进一步改善活动设计。评价与反思阶段，通过问卷调查、半开放式访谈和学生反思的方式收集量化与质性数据，对调查结果进行分析，重点关注学生对自评与同伴互评工具及策略的看法，以及对个体贡献度评价的态度。

四、研究实施

1.原则与策略生成

根据前期文献分析，研究初步提出SAPA的三条基本设计原则：协作学习评价结果应体现参与者的个体贡献程度;学习者应当参与个体贡献度评价过程;个体贡献度评价应尽可能公平合理。

具体设计策略如下：首先，为了将个体贡献纳入最终成绩，采用自评与互评的形式来获得学习者的个体贡献。同时，使用分数转换工具将小组作品评分和个体贡献分数整合到最终得分中。其次，学生自评与同伴互评的评价标准由教师和学生共同讨论决定。最后，为了确保SAPA的公平合理，在组内同伴评价中使用匿名评价策略，即被评价人员不知道评价者的身份。随机分组策略是为了避免互惠分数而设计，目的是避免同伴之间因为友谊等因素而影响评分。

2.实施与调整

（1）第一轮实施

设计。根据策略原型设计的三条指导原则进行第一轮活动设计。首先对学生进行随机分组，教师和学生共同设计小组成员个体贡献度评价标准。并依据此评价标准，采用自评与互评结合且匿名的方式确认小组成员个体贡献得分;小组成员个人最终分数由小组作品得分和个体贡献得分共同决定。

实施。119名学习者被随机分成27组，进行基于网络的协作学习。每个小组在两周内协作完成设计方案，并将团队作品提交至在线学习系统。评价之前对学生进行SAPA培训，让学生掌握评价工具并讨论制定评价标准。为了体现小组成员之间分数的差异度，本次评价公式偏离度（其大小显示小组间个人分数的差异程度）确定为20。在评价过程中要求学生根据评价标准向小组其他成员提供个人贡献的成绩（学生对其他小组成员根据协作过程和结果的投入进行评分）。

评价。通过观察发现，学习者对于小组成员之问存在较大的分数差距有不满意的情绪。经过与学生沟通，多数学生期望小组得分和最终成绩之间的偏差更小。还有学生认为SAPA工具的使用过于复杂，希望可以简单化，以减轻评价的负担。从访谈数据来看，学生对评价标准的适用性并不满意，原因主要是协作学习过程评价标准从5个维度进行评价，学生认为维度之间存在重复，比如整理资料也属于完成小组成果的一部分。

调整。在分析现有问题后，我們做出以下修订：第一，降低偏离度以缩小小组分数与最终成绩之间的偏差;第二，重新设计SAPA评分工具以减轻SAPA的负担;第三，修正评价标准，调整评价维度;第四，为学生提供使用SAPA工具等级评分的样例。

（2）第二轮实施

设计。为减轻学生评价负担，导师为学生提供了评分样本并提前培训，评价标准的维度由原来的5个精简为4个。另外，课题组调整了偏离度以缩小小组分数和个人最终分数之间的偏差，本次偏离度设置为10。

实施。119名学习者全部参加了第二轮活动，小组成员构成不变。我们发现，与第一轮相比，大多数小组成员更加积极地参与了讨论和协作，其在网络平台上发表有效言论的次数明显增多。但经统计个人最终分数后发现，三个小组出现了得分一致的情况，即这些小组中的每位成员得到了相同的分数。通过调查发现小组成员经过彼此协商后给出了一致的分数。

评价。通过查看访谈记录，我们发现学生希望提供提高小组分数的机会，帮助其掌握修改作品和改进协作的流程。此外，学生还希望获得评价结果的解释和改进建议，即需要同伴的定性反馈，并提出希望有更换小组成员的机会。

调整。研究者经过讨论后决定做出如下修改：第一，改进等级评分方法，以避免小组成员得分一致情况;第二，一轮评价结束后公布一次学习者成绩;第三，学生在第一轮评价结束后进行作品修改;第四，由评估者提供反馈评语。

（3）第三轮实施

设计。为避免小组中每个成员得分一致的情况，本轮使用等级评分方式。根据评估标准的各个维度，要求学生从5到1对同伴进行排序。个体贡献的评价应该有助于学习者改进协作过程和作品。为了改进协作过程和作品，学生可以修改小组作品，在评价后重新提交。两轮迭代评价是为学生设计改进协作过程和产品。此外，同伴评估者被要求提供反馈评语，鼓励他们为同伴评分进行解释说明并提出建议。

实施。为了保证学生评价的合理性以及小组协作的公平性，在第三轮协作学习活动开始之前，重新随机分配了小组成员。然后进行两轮个体贡献度评价，在两轮评价中间公布学生个人分数和小组分数，教师对每个小组作品提出修改建议，学生经过修改小组作品后再次提交。

评价。本轮评价活动中消除了小组成员得分一致的情况，但个别小组成员之间个人分数几乎无差距。在第二轮协作学习个体贡献度评价活动之后，通过访谈和问卷得知，有学生认为活动中间留下作品修改时间这样的设计很合理。有部分学生认为评语不具有针对性，对自己提高协作过程帮助不明显。

调整。根据学生反馈，下一阶段研究决定进行如下修改：第一，调整评价标准各维度的权重;第二，在评价后增加个人反思;第三，在评分表中给出评语示例。

（4）第四轮实施

设计。为了使评分工具更加公平，我们将同伴互评的评价标准维度的权重进行了重新分配。为了让学习者在自评与互评活动中更加明确自己需要改进的方向，学生在自评与互评后需要撰写个人反思日志。

实施。27个小组参加了本轮次的SAPA活动。通过访谈数据分析，学生在撰写个人日志时会反思自己在小组中扮演的角色及承担的任务，但学生在进行自我评价时可能会高估自己。

评价。从学生的反馈中可以看出，学生们非常支持进行个体贡献度评价，这有助于组员改进协作学习过程，督促组员投入，减轻组长负担。但等级评分格式仍然需要完善，有学生认为不应当把自我评价包括在内。

调整。根据访谈反馈，在后续的研究中还需要进行以下完善：第一，等级评价是否应包含自我评价需进行探索;第二，如何确保从学生角度来看评价标准的维度更清晰也值得进一步研究。

3.评价与反思

研究者共发放119份问卷，其中有效问卷100份。调查问卷涉及学生对自我评价及同伴评价的态度，包括李克特式问题和开放式问题。李克特量表类型的问题旨在获取学生对个体贡献度评价的感知，包括15个李克特量表形式的选择问题（从1-非常不同意到5-非常同意）以及5个开放性问题。具体问题维度包括：学生对个体贡献度评价活动的态度;学生对评价过程参与的看法;学生对SAPA公平性的感知等。问卷调查结果如下表所示。

（1）个体贡献度评价对学生协作学习投入有积极影响

由表可知，个体贡献度评价活动有助于学生提升小组协作投入（Q8、Q9得到了较高的均值和较低的标准差），给学生提供改进作品的机会也得到了学生的支持（Q6中，M教育技术=4.5，M小学教育=3.9）。一位学生的观点也佐证了这点，他说：“提供修改的机会对于合作不太多的小组来说是很有必要的。如果第一次协作活动组员没有投入太多，当看到自己最终得分与小组得分不同，会意识到个体贡献的重要性，在第二次协作过程中就会投入多一点。”

另外，学生和教师共同商讨评价标准的制定也提高了大家的参与度，学生普遍认为应当参与评价标准的制定，一位非常赞同的学生解释说：“我们参与评价标准的制定就会知道哪些方面重要，进而也提升了协作投入。”

（2）定性反馈对于提高参与度或者作品质量很重要

研究表明，使用特定的同伴反馈标准对修改有效（Fermelis et al，2007），Q5、Q7的结果说明了学生需要定性反馈。两名学生认为：“同伴反馈主要在于增加参与度和改进作品，所以我会改善这些问题。”“同伴评价者好像不知道怎样改进协作过程，所以没有给出评语。”由此看来，同伴反馈的内容是非常重要的。学生更愿意提出反馈意见（修改方向）来增加参与度或提高小组作品质量而不是协作学习过程。

（3）SAPA公平性中自我评价需要调整

从问卷Q2的结果来看，两个专业的均值都未达到理想状态。有学生提出：“同伴互评还是相对公平的，自我评价可能会出现自我感觉良好、对自己的贡献带有主观意识、高估自己的表现、自评分数过高的情况。”

有学者认为在个人最终得分中应去除自我评价部分。SA/PA的比值（sluijsrmans et al，2010）可以衡量学生是否高估了自己。如果SA/PA>1说明白评分数高于同伴互评分数。在本研究中的自评与互评比值平均值为1.65，表明学生明显高估了自己。因此后续研究中个体贡献度评价是否应包含自我评价或如何避免学生高估自己的情況还有待于进一步探讨。

五、结论与建议

本研究旨在基于设计的研究方法，逐步探索基于SAPA的个体贡献度评价设计的原则与策略，以及学习者对评价的感知与态度。经过四轮的修正与分析，最终形成三个层面的评价原则与策略。

原则一，个体贡献度评价应该同时考察协作学习过程与最终成果中体现的贡献程度。SAPA已经被证明是一种公平、有效、可靠的评价协作学习个体贡献的方法（Killc，2016）。自评和互评结合的另一个优点是在同伴评价中受到不公平对待的学生有机会平衡同伴评价的被动效应（Gupta，2004）。自评与互评有助于学生反映自己的学习过程和表现并与其他成员进行协作学习比较（Chen et al，2009）。因此针对第一个原则采取的具体策略包括：采用自评和互评结合的方式来获取学习者在协作过程中的个体贡献水平;采用分数转换工具来整合学习者小组作品得分和个人贡献得分，计算学习者的最终分数;采用分数偏差度设定来协调小组作品得分和个人贡献得分所占比例。

原则二，学习者应当参与评价过程并对其负责。形成性同伴评价的特点是强烈依赖反馈的作用和重要性。有效反馈是形成性评价常用的策略。反馈的主要目的是缩小学生目前学习水平与预期目标之间的差距。在形成性评价中，反馈是根据已设定的学习目标提出描述性而不是判断性的信息。描述性反馈侧重关注要达到的学习目标，要指出学生做得好的地方或需要改进的地方，并对学生如何达到目标提出建议，这样能避免只给出分数。互相评价是形成性评价的常用策略。根据评价标准，同伴之间对学习过程及效果做出评价，能够培养及提高学生自我评价能力并改进小组协作学习过程。因此，针对第二个原则的具体策略包括：在同伴评价中，学习者需要对小组成员的个体贡献度提供反馈评语（例如建议和依据）;学习者需要撰写协作学习反思日志;教师在两轮中间公布学习者分数，允许学习者在协作学习过程中改进作品。

原则三，自评和同伴互评应尽可能公平合理。Sluijsmans等人（2010）认为，同伴评价形式应增加灵活性，并将群体分数转化为个体分数。为了个人贡献度评价的准确性，评价必须保证公平与合理。小组内学生之间的评分不能相互干扰，否则缺失了公平性就很难保证结果的合理性。因此针对第三个原则采取的具体策略包括：采用单向匿名形式来形成同伴互评分数;采用随机分组形式来确定小组;采取等级序列分数的形式来进行同伴互评。