国内外在线同伴评价有效性的对比研究

周 玲

（韶关学院 教育学院，广东 韶关 512005）

国内外在线同伴评价有效性的对比研究

周 玲

（韶关学院 教育学院，广东 韶关 512005）

本研究在特诺里奥等的在线同伴评价有效性的研究基础上，通过系统文献分析法对国外2014-2016年和国内2004-2016年在线同伴评价的文献进行梳理，进一步完善特诺里奥等的结论。通过国内外对比分析，指出国内在线同伴评价研究的局限：应用领域局限、实证性研究不足、缺乏在线同伴评价实践研究等问题。预测基于大样本的在线同伴评价实证研究趋势。最后，提出侧重心理机制，提倡以游戏模型为主的教学设计；以大样本、实证性研究为主的评价系统优化路径；以机器学习为代表的技术支持下的评价量规优化路径和教师引导下的可控性在线同伴评价实施优化路径。

在线教育；同伴评价；游戏化；机器学习

同伴评价是学习者对具有相同水平的学习同伴的学习作品或成果的评价，评价依据同伴作品完成的数量、水平、价值、作用、质量等。1998年，托平（Topping）通过系统文献综述法证明同伴评价在高等教育的很多学科应用，且信、效度水平均在可接受的范围内［1］。我国远程教育领域研究者很早就开始应用并推广同伴评价。2012年“MOOC元年”至今，由于参与学习人数庞大，给教师和助教团队带来很大负担。在线课程平台中参与网络课程的人数激增，为快速有效地对众多学习者的课程作业进行评估，自评、互评和机器批阅均被应用于 MOOC 平台中［2］。由于实施同伴评价对学习者的要求更高，开展活动难度更大，学习者的动机弱，怨言很多。到目前为止，没有研究明确指出在线同伴评价的优、劣势所在，即在线同伴评价的有效性亟待验证。特诺里奥等（T.Tenorio et al.）通过对2004-2014年，与主题“在线同伴评价”密切相关的44篇英文文献进行文献分析，试图证明在线同伴评价的有效性，该文发表在2016年《Computers in Human Behavior》杂志上［3］。本研究在此基础上，对国外2015-2016年和国内2004-2016年的文献进行梳理，以期进一步完善特诺里奥等的研究结论。通过国内外相关研究的对比分析，探索提高在线同伴评价有效性的路径。

一、研究问题及方法

在线同伴评价有效性的证明，最重要的是找到在线环境下，同伴评价提升教学效果的证据。主要研究内容如下：

（1）在线同伴评价应用在什么样的领域和教学层次？

（2）使用在线同伴评价的目的？

（3）是否有证据表明在线同伴评价的使用提高了学习效果？

（4）是否有证据表明在线同伴评价的使用对老师有帮助？

（5）在线学习环境下使用同伴评价是否有困难？

针对以上五个问题，在特诺里奥等研究的基础上，本文通过文献分析法对2004-2016年国内外文献进行统计分析，试图找到以上五个问题的答案。检索国外数据库（ACM Digital Library、IEEE Xplore、Science Direct、Springer Link、SCI），与主题紧密相关的2015-2016年文献共15篇。见表1检索中国知网2004-2016年与主题紧密相关的文献共18篇。

表1 检索文献关键词

二、国内外在线同伴评价的有效性对比分析

针对以上五个问题，下文在特诺里奥等研究数据的基础上，进一步补充国际2015-2016年9月的文献。国内文献统计数据分布为2004-2016年9月。下文将特诺里奥等的研究结论简称T结论。

（一） 问题一：在线同伴评价应用在什么样的领域和教学层次

T结论：同伴评价更多应用于高校在线课程。在线同伴评价的应用领域，2015年前局限于高校和工业，之后扩展到教师培训领域，可查的第一个教师培训项目是香港开展的基于wiki职前教师自主学习项目［4］。2015之后的18篇文献中有11篇是高校教学，见表2。国际研究侧重在线同伴评价在高校教学中的应用推广。同伴评价为课程中成千上万学生复杂的作业评分提供了有前途的解决方案，这正是以MOOC为代表的在线大学课程面临的问题。与T结论相比，国际在线同伴评价的学术背景仍然是高校，但应用领域逐渐扩展。

表2 在线同伴评价应用领域（2004-2016）①

国内在线同伴评价的应用领域和教学层次均以高校为主。以高校（72.2%）为主，与国外（72.8%）基本一致。但在线同伴评价在其他领域的应用研究基本没有，与国外工业领域（8.5%）相比，国内在线同伴评价的应用领域相对狭隘。在线同伴评价的应用教学层次方面，侧重在高校（61.1%）高于国外高校（44.1%）。然而相关研究在中学和专业培训等方面的应用基本没有，远低于国外中学（11.9%）和专业培训（3.4%）见表3。国内外在线同伴评价的应用领域和教学层次上的侧重点一致，但国内应用领域和教学层次相对单一，局限于高校和外语教学。结论：国内外在线同伴评价的应用领域和教学层次大致相同，均以高校为主，近两年应用领域逐渐扩展；与国外研究相比，国内在线同伴评价的应用领域和教学层次相对单一。

表3 在线同伴评价应用的教学层次（2004-2016）

（二） 问题二：使用在线同伴评价的目的

T结论：组建高效的工作团队和建构同伴评价系统。在线同伴评价使用（见表4）2015年之后的研究开始关注同伴评价策略（5%）。使用同伴评价的动机有很多种，不同动机支配下的结果也有所不同［5］。在线学习环境下如何使用同伴评价达到最科学的评价结果。在线同伴评价的信、效度，在线同伴评价分数和等级算法的优化是进一步完善在线同伴评价的科学路径。写作文本（16.9%）和课程活动（28.8%）依然是主要研究内容。2015年之后的国外文献开始侧重在线同伴评价体系（10.1%）见表4。与T结论相比，国际在线同伴评价的目的从组建高效的工作团队和建构同伴评价系统转向提高工作小组技能和同伴评价的科学性转变，研究逐渐深入。

表4 在线同伴评价的应用目的（2004-2016）

国内在线同伴评价的目的集中在课程内容评价（写作文本22.2%和课程活动16.7%）和提高同伴评价的科学性（评价策略16.7%和评价系统27.7%），侧重点与国外基本一致。然而，国内研究在教师创建在线课程和提高工作小组技能方面基本没有。实践与研究没有同步，出现这一现状的原因与我国开展在线同伴评价实践较少，对同伴评价的重视度不够有关。国内在线同伴评价的目的与国外侧重点基本一致，但其基于实践需求的研究相对缺失。结论：国内外在线同伴评价的目的侧重点大致相同，均以提高工作小组技能和同伴评价的科学性为主；与国外研究相比，国内在线同伴评价基于实践需求的研究相对缺失。

（三） 问题三：是否有证据表明同伴评价使用提高了学习效果

T结论：超过60%的文献证明同伴评价提高了在线学习环境下的学习效果。在线同伴评价对学习者的影响（见表5）方面，国外2015年之后的研究更加注重实证研究（15篇文献中有13篇是实证研究）。较之T结论同伴评价提高学习效果的文献比率从60%升至71.1%（有实证的积极评价54.2%+没有实证的积极评价16.9%）。从这一结果来看，在线同伴评价的实施对提高学习者的学习表现的作用是正面的，这一结论为以后在线同伴评价的应用推广提供了充分的理论依据。国际在线同伴评价与T结论一致，且进一步证明其结论的科学性（比率从60%提高至70.1%），见表5。

表5 在线同伴评价应用对学习者的影响（2004-2016）

国内使用在线同伴评价对学习者的积极作用全是正面的（见表5），持正面观点的文献比率达到90%（有实证的积极评价55.6%+没有实证的积极评价33.3%）。这一结论与国外研究总体趋势一致，且有实证的积极评价研究（55.6%）与国外（54.2%）基本一致。然而，没有实证的积极评价研究（33.3%）则远高于国外（16.9%），说明国内有较大一部分研究处于理论分析阶段。进一步梳理国内文献，值得一提的是马志强等人的研究。从可查的18篇文献中有3篇来自于马志强等人。从2014年的文献综述，到网络同伴评价的学习活动设计与应用，再到2016年的网络同伴互评中反馈评语的类型与效果分析。马志强等人的研究均以实证性为主，逐步深入，形成完善的系统理论，对我们在线同伴评价的发展意义重大。结论：国内外在线同伴评价对学习者的积极作用是一致的，至少有70%的研究文献证明同伴评价提高在线学习效果；与国外研究相比，国内在线同伴评价对学习者的积极作用的实证性稍显不足。

（四） 问题四：是否有证据表明使用同伴评价对老师有帮助

T结论：至少34.09%的研究表明在线同伴评价可以帮助教师。国外2015年之后与之前的研究基本没有变化，即至少有35.6%（有实证的积极评价11.9%+没有实证评价的积极评价23.7%）的研究持积极观点。国内文献对在线同伴评价对教师的积极作用的比率为27.8%，低于国外文献的比率。总体来看，国内外对这一方面的关注度都不高。国内这一方面的研究全部没有实证，低于国外实证研究的比率（11.9%），见表6。这一现象与在线同伴评价对学习者的影响方面的情况类似。以上数据说明国内在在线同伴评价对教师的影响国外侧观点一致，国内在实证性研究方面稍落后于国外。结论：国内外在线同伴评价对学习者的积极作用是一致的，即至少有35.6%研究文献证明在线同伴评价对教师的工作有帮助；与国外研究相比，国内在线同伴评价对学习者的积极作用的实证性研究落后于国外。

表6 在线同伴评价应用对教师的影响（2004-2016）

（五） 问题五：在线学习环境下使用同伴评价是否有困难

T结论：至少有30%的研究表明在线同伴评价应用存在困难。国外2015年之后与之前的研究基本一致，至少有38.9%（有实证的积极评价0+没有实证评价的积极评价38.9%）的研究持积极观点，见表7。国内文献对在线同伴评价的实施困难持积极观点的比率为44.4%，国内外研究基本一致。总体来看，国内外对这一方面的关注度都不高，且都没有实证性的研究。实施在线同伴评价的困难包括以下几方面：在采用问卷调查时教师需要采用标准，仔细设计问卷；设计优秀反馈；充分的准备和指导要领是成功的关键［6］。结论：国内外在线同伴评价实施困难主要表现在评价量规及活动指导。

表7 在线同伴评价的实施困难（2004-2016）

根据以上分析，国际在线同伴评价主要在高校教学中应用，其应用领域在逐渐扩宽；主要以提高小组技能和同伴评价的科学性为目的；国内外在线同伴评价对学习者的积极作用是一致的，即至少有70%研究文献证明同伴评价提高了在线学习环境下学生的学习表现；国内外在线同伴评价对教师的积极作用是一致的，即至少有35.6%研究文献证明在线同伴评价对教师的工作有帮助；在线同伴评价能够提高学习者的学习效果已是没有争议的事实，然而此结论主要适用于高校教学，较少涉及到中学和教师培训领域。虽然实证研究（54.2%）的比率较高，但大部分的研究是基于小样本开展实验得出的结论，是否适合大规模的在线课程则是有待进一步证明的问题。除此之外，在具体实践中的实践困难分析（0）和对教师的影响（11.9%）均缺乏足够的实证研究。随着在线课程的大规模使用，预测未来建立在大样本基础上的在线同伴评价实证研究将会越来越多。

与国外在线同伴评价研究相比，国内研究整体与国际趋势保持一致。但国内对这一领域的关注度不高，研究的起步和发展落后于国外。与国外研究相比国内研究存在应用领域局限、实证性研究不足、缺乏以在线同伴评价实践需求出发而开展的研究等问题。

三、提高在线同伴评价有效性的优化路径分析

笔者在借鉴前人研究成果的基础上，将在线同伴评价分为主体（学习者）包括学习者的心理机制和学习者样本、主导（教师）包括教学设计和教学管理和评价方法（评价量规）包括评价系统和技术三个方面。基于国内外在线同伴评价有效性的对比结果，提出四条在线同伴评价有效性的优化路径。

（一） 对象：侧重心理机制，提倡以游戏模型为主的教学设计提高其有效性

同伴评价的心理出发点是利用人类比较判断的能力。与单独的刺激物相比，刺激物相对应其它刺激物时，人类能进行更好的判断。比较条件没有提高学生做出每个判断的能力，而是开发了人类做准确比较的能力［5］。同伴评价的心理出发点首先是动机。学生可能没有足够的知识来评阅同行的工作，给出一个公正的评价。由此造成组织同伴评价过程中学习者缺乏自信［7］。学生给出的评价带着明显的自我的优缺点，同时影响着学习者的下个学习过程［8］。其次，是年龄等特征。开展在线同伴评价的前提条件要求学习者的具有较高的知识储备、合作能力和元认知能力等。一般情况下，大学生是相对成熟的人群较适合开展在线同伴评价。最后，人际关系等其他特征。大学生是能动的个性独立个体，其人际关系等其他特征也影响着着在线同伴评价的学习效果。

深入分析在线同伴评价模型与在线游戏模型相似度极高。游戏化是使用机械、思想和美学游戏（内容、快速反馈、竞争、阶级、成果和分数等）、吸引人们、激励措施、促进学习和解决问题。在线同伴评价过程同样存在游戏化的几个基本步骤，首先是反馈，在线同伴评价过程中，学生通过彼此间接收和给出反馈来学习［9］；其次是竞争，当参与在线同伴评价的学习者来自不同学校时，其结果存在明显的竞争效应，即学习者倾向于给同校学习者更高分数而给外校学习者的要求则更严格［10］。最后是阶级、成果和分数等，游戏化的元素应用在教学模型中积极影响学生的状态，鼓励他们参与教学过程，获得奖励（绩点、晋级和战利品）。研究证明基于游戏的在线同伴评价模型将参与学习活动的学习参与度提高到64.28%，作业提交量增加了10.53%，且随着活动的进行，每份作业的数量和质量都有所提高［9］。笔者认为侧重学习者心理机制，以游戏模型为主的教学设计是提高在线同伴评价有效性的可选路径。

（二） 目的：以大样本、实证性研究为主的评价系统提高其有效性

国内外在线同伴评价的目的侧重点均以提高工作小组技能和同伴评价的科学性为主；与国外研究相比，国内基于实践需求的研究相对缺失。同伴评价适用于合作学习和形成性评价过程。同伴评价被证明作为评价工具和学习工具，对评价者、被评价者有利［11］。这一方法广泛使用在大规模在线课程时，以MOOC为例，学习者来自不同地域、不同语言背景、甚至不同教育水平和不同学习动机等问题，那么其信、效度等问题则需要进一步证明。虽然同伴互评机制的设立使得主观类试题得到有效评价，但学习者对同伴评价的准确性和权威性表示怀疑。调查发现，94%的学生更喜欢老师评语［6］。

以大样本为主的在线同伴评价实施的第一步要解决的是新型评价系统的设计。大样本在线同伴评价系统的设计和实施的科学性是制约目前在线同伴评价实践的主要因素之一。在线同伴评价参与者的知识背景、互评经验、作业相似度、客观题得分、担任评阅者的意愿等因素影响着同伴评价的效果［2］。科学的信、效度是在线同伴评价应用于大规模在线课程的前提条件。研究者努力改进评价系统内部评定成绩的算法，提高评判复杂任务有效得分的大规模制导系统［12］；如果每个作业有足够大的数量，正确的等级可以近似于计算均值或者中位数；文本作业采用新型模糊同伴评价方法。从大样本的在线同伴评价的实践出发，以实证性研究推动在线评价的信、效度的提高，从而提高在线同伴的科学性，是提高在线同伴评价有效性的必然路径。

（三）提高学习效果：以机器学习为代表的技术支持评价量规优化提高其有效性

国内外在线同伴评价对学习者的积极作用是一致的，至少有70%的研究文献证明同伴评价提高在线学习效果。如何设计在线同伴评价量规，才能做到科学规范，技术在其科学统计的过程中占据重要地位。特别是目前以MOOC为代表的大型开放性在线课程的广泛使用，技术显得更加重要。清晰的评价量规够有效提高同伴评价的有效性与可靠性［13］。机器学习、深度学习等新技术在评价量规的优化过程扮演着重要角色，在线评价模板和成绩计算也依赖于深度学习和机械学习。例如，通过匹配算法将学习者的答案与模板匹配计算成绩，通过机器学习将几个理想的答案与学生的答案相对比，形成一个正确答案的子集作为模板。然而也有研究指出如果评价安排和传递仔细合理，在没有评价标准的情况下也可以达到较好的学习效果［14］。

当同伴评价应用于大规模在线课程时，遇到评定内容的复杂性，参与者知识、技术背景不同，参与学习的意愿不同等众多情况。与此同时，在线同伴评价适用于大规模在线课程时，遭遇了学习者在使用同伴评价过程中缺乏自信的情况等。以机器学习、深度学习为代表的技术为依托，优化在线同伴评价量规是大规模在线同伴评价目前要解决的主要问题之一。

（四）实施困难：教师引导下可控性在线同伴评价实践提高其有效性

国内外在线同伴评价对学习者的积极作用是一致的，即至少有35.6%研究文献证明在线同伴评价对教师的工作有帮助，国内外在线同伴评价实施困难主要表现在评价量规及活动指导。同伴评价的设计、开展、组织和实施都是由教师在执行，因此教师在同伴评价过程中的作用很重要。然而，在可查的文献中，国内外很少有研究确切分析教师在开展在线同伴评价活动中该如何操作。然而事实证明，一个成功的在线同伴评价活动的开展与教师密切相关。教师负责在线同伴评价学习活动的开展，活动内容的设计，评价模板的设计和评价结果的分析。教师的作用是决不能忽视，应分发挥教师的引导和教学管理的作用。例如，被学习者所诟病的“在线同伴评价花费太多时间”的问题，可以通过教师的组织和管理，尽量缩短活动开展的时间。学生参与在线同伴评价的积极性与教师的管理有很大关系，学习者更喜爱教师参与度较高的学习活动。教师应提出反馈及指导促进深度的知识建构［15］，在以文本交流为主的论坛，话题的设置、及时回复、话题的引导等均可以在教师的参与下达到更好的效果。

四、总结

通过国内外在线同伴评价有效性的对比分析，能够充分认识国内在线同伴评价研究的局限性，即存在应用领域局限、实证性研究不足、缺乏以在线同伴评价实践需求出发而开展的研究等问题。针对以上问题，从学习者、评价量规和教师三个方面提出侧重心理机制，提倡以游戏模型为主的教学设计、以大样本、实证性研究为主的评价系统优化路径、以深度学习为代表的技术支持下的评价量规优化路径；教师引导下的可控性在线同伴评价实施优化路径。力图为我国在线同伴评价的发展和应用指明方向。

参考文献:

［1］TOPPING K. Peer Assessment between Students in Colleges and Universities［J］.Review of Educational Research， 1998（3）: 49-76.

［2］许云红， 王如. MOOC背景下基于推荐机制的提高同伴互评效果的研究［J］.现代远距离教育， 2014（5）: 17-21.

［3］TEN RIO T， BITTENCOURT I I， ISOTANI S， et al. Does peer assessment in on-line learning environments work? A systematic review of the literature［J］.Computers in Human Behavior， 2016（11）: 94-107.

［4］NG E M W. Fostering pre-service teachers’ self-regulated learning through self- and peer assessment of wiki projects［J］. Computers & Education， 2016（98）:80-91.

［5］JONES I， WHEADON C. Peer assessment using comparative and absolute judgement［J］.Studies in Educational Evaluation，2015（47）:93-101.

［6］孙力， 钟斯陶. MOOC评价系统中同伴互评概率模型研究［J］.开放教育研究， 2014（5）: 83-90.

［7］HOVARDAS T， TSIVITANIDOU O E， ZACHARIA Z C. Peer versus expert feedback: An investigation of the quality of peer feedback among secondary school students［J］.Computers & Education， 2014（2）: 33-52.

［8］GIELEN M， WEVER B D. Structuring peer assessment: Comparing the impact of the degree of structure on peer feedback content［J］.Computers in Human Behavior， 2015 （52）:15-25.

［9］TEN RIO T， BITTENCOURT I I， ISOTANI S， et al. A gamified peer assessment model for on-line learning environments in a competitive context［J］.Computers in Human Behavior， 2016（64）:47-63.

［10］NGUEZ C， JAIME A， NCHEZ A， et al. A comparative analysis of the consistency and difference among online self-， peer-，external- and instructor-assessments［J］.Computers in Human Behavior， 2016（3）: 12-20.

［11］EVANS C.Making Sense of Assessment Feedback in Higher Education［J］.Review of Educational Research，2013（1）: 7-12.

［12］VISTA A， CARE E， GRIFFIN P. A new approach towards marking large-scale complex assessments: Developing a distributed marking system that uses an automatically scaffolding and rubric-targeted interface for guided peer-review［J］. Assessing Writing， 2015（24）:1-15.

［13］马玉慧， 赵乐， 刘晴. 在线同伴评价的影响因素及其促进策略研究［J］.电化教育研究， 2016（3）: 8-14.

［14］JONES I，ALCOCK L. Peer assessment without assessment criteria［J］.Studies in Higher Education， 2014（10）: 74-87.

［15］马志强， 王雪娇， 龙琴琴. 基于同侪互评的在线学习评价研究综述［J］.远程教育杂志， 2014（4）: 86-92.

A Comparative Study on the Effectiveness of Online Peer Evaluation in China and Abroad

ZHOU Ling
（School of Education， Shaoguan University， Shaoguan 512005， Guangdong，China）

The research takes the theme "the effectiveness of online peer assessment" based on Tenorio et al.， research through Systematic literature research .The aim to improve the conclusion of Tenorio and point out that the limitations of the domes tic online peer review of the research through comparative analysis of the domestic and international. And forecast the trend of online peer assessment based on large sample. Finally， point out four Optimized path.

online education； peer evaluation； gamification； machine learning

G40-057

A

1007-5348（2017）07-0100-06

（责任编辑：廖筱萍）

2017-05-08

2016年广东省高等教育教学改革项目“普通高校学生在线学习质量监控研究与实践”（467）

周玲（1986-），女，河南信阳人，韶关学院教育学院讲师，硕士；研究方向：远程教育、教育信息化。

①2004-2014年为T结论，2015-2016年为笔者梳理文献。如表2中的国际文献总量“32+11”，“32”表示2004-2016年T结论，“11”表示笔者整理文献。下表均同。