学术研究成果同行评议模式的分析与研究

2016-03-26黄雪梅

中国科技期刊研究 2016年6期

■黄雪梅张红张晓

1）天津师范大学图书馆，天津西青区宾水西道393号 300387 2）天津师范大学管理学院，天津西青区宾水西道393号 300387

同行评议（peer-reviewed），是指同领域的专家对论文的研究目标、研究意义、研究方法、研究过程和研究成果以及论文的新颖性、创新性、真实性、逻辑性和规范性等进行判断和评价。田欣等[1]对国内外5种网络同行评议系统平台对比研究指出，相对于国际水平而言的国内同行评议系统的发展还有很大的差距，采编系统的开发和使用还仅限于只是在网络化环境下进行稿件的管理、信息统计、专家送审、内部编辑流程控制、已刊发稿件发布等，汇总了国内许多研究者针对我国同行评议中的评议流程、时效性和评审质量、审稿人和作者关系、同行评议的形式、有效性等方面的问题。虽然目前国内的采编系统大部分基于网络管理，提高了工作效率，但是对学术研究成果的同行评议模式还比较传统，多数采用作者投稿以后，由刊物主编或编辑邀请具有专业知识或造诣的专家，评议论文的学术质量，提出专业的评议意见和出版判定，主编按评议的结果来决定是否适合发表。这种期刊出版的同行评议方法有着它的不足，比如评议周期比较长，一般至少在一个月左右，有的甚至时间更长；评议专家的数量少，一般2-3人，同行评议的专家是匿名的；作者不完全能看到同行评议的意见，有的系统甚至只是给予简单的“退稿”；有些带有同行评议专家个人的偏见和爱好等，严重影响了学术研究成果的快速出版[2]。

随着科学技术、信息技术和网络技术的发展，传统期刊出版前的同行评议模式由于开放获取期刊的出现和快速发展，诞生了基于网络系统平台的、开放的同行评议模式，这种模式除了包含原有的出版前评议的模式外，又出现了其他的模式，比如先出版后评议，而更重要的是，这种基于网络的同行评议模式，无论是在出版前还是在出版后，都克服了传统出版同行评议的不足，大大缩短了学术研究成果的出版周期，使科研人员的研究成果可以快速发表；可以获得及时的、快速的同行评议意见；更多的专家参加同行评议；同行评议的意见更开放、结果更透明；促进作者和评议者之间的交流，使科研成果出版进入到了一个崭新的时代。

笔者通过调研，介绍了国外基于网络的三种同行评议的模式，包括这些模式的特点、评议流程、管理方法等，希望这些模式对优化我国学术研究成果的同行评议提供一些可操作性的方法。

1 出版后同行评议模式

出版后同行评议模式打破了传统的学术研究成果先评议后出版的模式，这种模式源于科学期刊的开放获取，利用开放获取的平台，对科学工作者的研究成果进行出版后同行评议。

1.1 The W innower

The Winnower的创始人是Josh Nicholson，他博士毕业于美国弗吉尼亚理工大学。The Winnower的创建，源于Josh Nicholson在学习和研究期间学术成果的出版过程中遇到很多障碍，比如出版周期很长，出版的效率很低等。2014年5月，他创建了The Winnower，这是一个在线的开放获取学术出版平台，采用出版后开放的同行评议方式，平台建设的目标是:出版必须服务于科学家，促进学术交流，并且在科学交流的过程中从开始到完成采取完全透明的方式，打破科学交流的壁垒。Josh Nicholson的爷爷是加州大学伯克利分校的一名教授，他说:“科学研究不是为了获奖，而是创造惊奇”。因此Josh Nicholson也希望TheWinnower有助于研究者揭开更多的惊奇[3]。

The Winnower平台可发表多学科的论文，如:生物科学、化学、计算机科学、地球科学、工程学、数学、医学、物理学、人文科学、社会科学等[11]。

该平台的工作过程包括四步:第一，作者向平台提交研究成果（包括研究论文、课堂随笔、会议报告、博客等）；第二，由作者邀请研究者或同事对这些成果进行评价，评价期根据作者的需要可长可短；第三，作者根据同行评议意见对研究成果进行修改；第四，作者决定对研究成果不再进行修改后，可获得系统分配的 DOI（Digital Object Unique Identifier），并被保存完整的评议过程形成研究档案。前三步的工作，The Winnower平台是不收取任何费用，对作者全部是免费的，当作者提交的研究成果获得DOI后，将向作者收取一定的费用，费用标准见表1。

表1 The W innower平台收费标准

The Winnower平台提供的服务包括对出版在TheWinnower上的论文分配DOI，并自动进行分类，论文的作者数量没有限制，可以是一所大学的，也可以是多所大学的，甚至可以是全世界任何地方的合著者，出版的论文可供全球的进行检索，并被保留存档所有同行评议的内容。

1.2 ScienceOpen

ScienceOpen是一个独立的有私人资金资助的公司，成立于2013年。虽然平台比较新，但是ScienceOpen团队拥有数十年传统出版、学术研究和数据管理的经验。ScienceOpen是一个共享和评价科学信息的网络研究平台，该平台汇集多方的开放获取的论文，并对他们进行同行评议。

ScienceOpen平台上出版的论文包括自然科学和社会科学等多种学科，用户可以通过平台轻松上载论文进行出版，出版学术成果包括:原始的研究论文、文献综述、临床研究案例（包括失败的结果）和研究工具、会议海报等，成果上载出版后可立即获得DOI，并可获得透明的、有价值的、科学的公开评议，作者可根据同行评议的意见随时对成果进行修改，更新成果内容。另外，ScienceOpen平台还提供多语种的编辑和其他出版服务[4]。

ScienceOpen使用 ORCID（Open Researcher and Contributor ID）维护作者的资料，用户注册ORCID后，平台允许建立个人档案，提供空间和组织工具；方便发表论文和与其他研究者进行网上交流；可以建立私人的合作组进行主题讨论，或与合作者共同从事联合研究；可以建立个人专业收藏，讨论最近的出版情况，公开发表后的同行评议。不同用户拥有不同的权限，具体信息见表2。

表2 ScienceOpen平台用户权限

在ScienceOpen平台上达到一定级别的专家可以对其他用户提交的论文进行同行评议，注册ORCID的用户可以看其他用户的级别，看谁具有对论文进行评议的权利。同行评议的专家是经过平台授权的，这些专家需要在ScienceOpen平台上注册，具有ORCID，并发表至少5篇论文。提交成果的用户可以随意邀请适合的评议者，只要他们在平台的评议列表中，并且与作者没有利益关系，评议的人员数量没有限制，评议的级别通过星级来表示，5 颗星:杰出（outstanding）；4 颗星:极好（excellent）；3 颗星:好（good）；2 颗星:一般（average）；1 颗星:差（poor），同行评议超过 3 颗星的论文，可以被 Google Scholar和 DOAJ收录和索引。

在ScienceOpen平台上发表的成果收取的费用的标准是每篇论文$800，每张海报$80，12个月内2次修改的版本不再收取额外的费用，对低收入的国家可以申请减少和减免费用。收取的费用用于稿件的编辑，XML格式的转换，网站托管与维护等。

1.3 Peer J

Peer J是一种开放获取同行评议的科学期刊，主要是出版生物、医学、计算机等方面的论文。Peer J平台的任务是高效率出版世界的知识，通过网络和开放获取的允许，节省作者的时间、费用，使作者研究的成果最大化，推动学术出版的快速发展。Peer J平台包含三个部分，一是Peer J主要出版生物和医学科学的论文，二是PeerJ Computer Science，主要是出版计算机科学的文献，三是 PeerJ Preprints，是创新的预出版系统，发表生物和计算机科学相关的论文、文摘或海报的草稿。

Peer J出版的费用，有两种方式，一是单篇文章，$695/篇，论文经同行评议发表时需要付费，不限制作者的数量（但作者总数量不要超过12个）[5]。第二种是会员价格，见表3。

表3 Peer J平台会员出版费用

Peer J有许多优点，如:影响力大，Peer J在2015年生物医学期刊中的影响因子很高，达到了2.1；出版速度快，从同行评议到研究论文的发表只需要 22天；专业性强，PeerJ和 PeerJ Computer Science分别有1000多名和3000多名专业编辑和专家，其中包括5名诺贝尔奖获得者，提交到平台的论文都能获得编辑和专家的关注、快速处理以及可信赖的同行评议；为作者、编辑、评议者建立信誉档案，保存他们的所有资源；具有开放性，平台遵守CC-BY协议，使作者的成果在更大范围内开放获取，甚至开放同行评议的内容；对作者和编者的问题能在几个小时内快速反馈；除了提供其他出版物都具有的引文数量，浏览数量，下载数量外，还提供阅读者都来自哪个国家或大学等，这样可以帮助作者更多的了解哪些人对你的研究内容感兴趣，提供了一个作者和读者之间的交互平台。Peer J还尝试使用基于网络的文章层次评价指标ALM（Article Level Metrics），采用基于互联网的行为评价，如文章被浏览、引用，转载、转发、评论、在线图书馆收录等，结合各个评价的权重，计算出文章的影响力[14]。

1.4 F1000Research

F1000Research平台主页上显示:F1000Research是一个开放获取的出版平台，提供海报、幻灯片和科研论文即时并且无源于编辑偏见的出版[6]。所有文章受益于透明的同行评议，并公开所有的原始数据。平台发表与生命科学和医学相关的成果，每一篇论文都被分配有DOI后出版。

论文一旦出版后将不能被撤回，由于同行评议是在出版之后进行的，作者会随时根据提出的不足或问题进行修改，因此论文会不断有新的版本。这就要求对新的版本进行同行评议，以确认论文之前出现的问题是否解决，F1000Research对作者提交不同的版本分配有不同的DOI，并可以被单独引用。作者可以随时修改已经出版的论文，而且不再额外收取费用。平台鼓励作者根据评议结果不断更新论文。

每篇论文下有所有同行评议的报告、专家名称和评论内容，论文评议的级别分为三种[15]:

Not Approved:该评议表示现在的论文水平不高，有一些缺陷，需要做较大修改；

Approved:该评议表示论文水平高，仅可以做小的改动；

Approved with Reservations:该评议表示论文在专业水平有待进一步提高。

在F1000 Research平台上发表的海报和幻灯片是不收取任何费用的，而论文是按照文章的字数收取出版费，具体收费标准见表4。

表4 F1000 Research平台论文出版费

2 同行评议后推荐出版模式

与1介绍的出版后同行评议的模式不同，以下两个系统平台不具有期刊出版的功能，主要以科研成果的同行评议为主，同行评议系统平台与多家期刊出版商有合作关系，可以将平台上评议分数比较高的论文推荐到合作的刊物上发表。

2.1 Publons

Publons是一家在新西兰注册的有限责任公司，它的经营模式是通过与多家期刊建立合作伙伴的关系，将同行评议自动与合作的期刊进行连接，如:Wiley Exchange、SmartWeek、BioMed Central、Nature、Peer J、 Research Information、 Ars Technica、TechCrunch等期刊或期刊出版集团，该平台目前与16802期刊有合作的关系、有55707评议者（截至2016.2.19），因此，Publons平台把重点放在评议人员的评议活动上[7]。

同行评议行为与作者和编辑不同，工作内容不容易量化，因此，Publons平台通过同行评议者的研究方向、发表的期刊、撰写同行评议及对论文的研究和讨论情况来综合评议者的“绩点”，比如，在Publons平台上发表一个评论可获得1个绩点；如果发表的评论通过Publons平台的验证可获得2个绩点；发表与评论相关的评议短文可获得2的绩点；参与Publons平台讨论或评论得到其他人的支持可获得1个绩点等等。通过这些“绩点”数据建立评议者的信誉和形象，“绩点”越高，评议者的信誉越高。

Publons平台的建设目的就是将同行评议作为研究过程中一部分，一年中的每个季度对绩点较高的评议者给与一定的奖励，如发表评议者自己的一篇论文，同时按照绩点、学科、国家、大学等进行排名。与Publons平台合作的期刊根据可根据同行评议的意见来决定是否出版科研人员的研究成果。

2.2 Peerage of Science

Peerage of Science是专门为同行评议开发的网络社交评议系统，平台系统利用文章中的关键词提醒同行，对这些研究成果进行评议，系统帮助作者与自己本领域的专家之间建立关系，获得高质量的没有利益关系的同行相互评议，该平台只给出评议论文的评议内容和级别，并不对论文进行出版。

在Peerage of Science平台上的同行评议分为四个阶段[12]:

第一阶段，提交论文和评议（不超过14天），作者将论文提交到Peerage of Science后，等待同行进行评议，评议者可以在评议期内发表针对论文的匿名评论；可以是评议短文字数不要超过1000字，也可以是非正式评论，没有字数要求。评议内容可以是关于写作或分析方法的建议等，一旦评议内容被发送，作者、编辑即可以看到，并可对这些评论进行检索。

第二阶段，互相评议（不超过7天），这一阶段是在第一阶段基础上进行的，评议者可以对已经发表评论的内容进行评议，并给出1-5个级别说明论文的优点、不足，科学研究的意义，影响和改进意见等。评议者之间可以相互回复评议的意见，直到评议期完成。

第三阶段，上载修改后的论文（不超过21天），在此时间内，作者可以发送修改后的论文，也可以撤回原有论文修改后再重新上载，修改后的论文需要引用同行评议所撰写的短文。

第四阶段，修改后论文的最后评议（不超过7天），在这个阶段，要对论文在7个方面进行评价，包括文章广度、科学影响力、独创性、数据、方法、结论、文献引用等。

评议后的论文平台可以推荐给合作的期刊进行出版，合作的期刊直接根据审稿意见决定是否发表该论文，作者也有权利接受或拒绝期刊的出版，自主选择在哪种期刊上发表自己的论文。

Peerage of Science平台的创新之处:同步发送，即将评议的结果同时发送给合作期刊，而改变了传统期刊逐个评审的方法，节省了时间；交叉评议，在Peerage of Science平台上，评议者可以相互评议，交叉评议保证评议质量，评议者可以根据评议内容的级别决定其在专业领域声誉和信誉；自动化管理，Peerage of Science平台是靠专业软件进行管理，每个阶段的评议期限是自动的，定制的邮件自动告知每一阶段的情况，通知作者、编者、评议者[8]。

3 社区交流的同行评议模式

3.1 PubPeer

PubPeer是一个在线期刊俱乐部，由美国神经学家Brandon Stell在2012年创办的，它允许读者通过论文的DOI、PMID、arXiv ID、关键词、作者等检索论文。PubPeer平台建设的目的是:建立一个网上社区评议交流平台。研究人员可以任意评论有DOI的论文或在arXiv上预印出版的论文，如果你在arXiv上看了一个文章，认为有问题或者有启发或者有某种建设性的意见，你可以在这个网站发表你的意见[9]。

与其他一些平台不同，PubPeer允许匿名评论，虽然一些匿名评论中存在一些不端的行为，但是匿名评议可以快速获得对出版论文的评议意见，不断给出版者和作者压力，及时受到监督和评议，PubPeer网站也曾经因为匿名评论遭到了起诉，原因是一名研究者的署名的论文在PubPeer上受到了比较多的评议，多篇论文被指存在问题，致使该研究者失去了工作[13]。

PubPeer平台包含这样几个栏目:博客、最新评论、专题栏目、期刊栏目、讨论主题栏目，研究者可以针对某篇文章新建评论的主题，也可以针对已有的主题发表自己的意见进行匿名的评论，可以在专题讨论栏目中对某一学术专题进行讨论，还可以针对于某一种期刊上发表的论文进行评议和讨论，而这些评论中有的评论针对一些成功的研究者和一些质量较高的期刊，如对SpringerLink上论文重复发表问题的讨论等。所有这些表明，现代科学在质疑中发展也有助于科学更好的发展，也有效的阻止一些欺骗和学术不端的行为。

3.2 PubM ed commons

PubMed是由美国国家医学图书馆提供的一个免费信息资源检索系统，主要提供生物医学方面的论文检索。PubMed Commons是一个使作者分享研究观点和他们科学出版成果的信息共享平台。在这个平台上，所有在PubMed发表成果的作者都有资格成为会员。加入PubMed Commons的成员要求必须建立一个使用真实姓名的个人账号，其提供的Email信息需要经过PubMed Commons平台的验证，这样就避免了匿名人员的恶意评论。研究人员在发表评议时需要按照平台的要求和指南，遵从CC BY 3.0协议。

成为PubMed Commons的会员的方法有三种:一是邀请自己入会，通过Email地址验证是否具有会员的资格，二是经过同行的邀请入会，如果同行已经是会员了，请同行发送邀请来入会，同行之间必须是有资格的、没有利益冲突的，三是通过所属的学术研究机构入会，如所属的研究机构有50名以上有资格（至少有一篇文献被PubMed收录）的作者，则可以将作者的Email地址发送到该平台，可一次性将这些作者添加为会员[10]。

在PubMed Commons发表评论的字数不能超过8000个字符，评论的内容不能包含种族歧视、攻击、非法的或其他侮辱性的语言，不能包含任何政治观点。任何人可以对评论的内容进行评价，比如该评论是否有用和有价值，而且这些评论也可以被引用，引用时可以标明PMID。

4 总结

以上介绍的三种类型同行评议模式分别有不同的功能和特点，从这些同行评议模式可以看出，学术研究成果正朝着开放获取、快速出版方向发展，先出版后评议以及多渠道快速、透明、公开的同行评议模式克服了传统期刊的评议后出版和匿名评议模式的一些缺点，科学研究人员可以利用这些平台，来快速地产生高质量的学术研究成果，打破科学研究的壁垒，广开交流与评议渠道，推动研究成果的快速出版。但是，这些开放的同行评议模式，也存在一些问题:

（1）收费标准问题。收费标准决定科研人员的学术研究成果的开放程度。从第一种模式介绍中看到，期刊的开放出版都要向作者收取一定的费用，大部分系统平台虽然都不是以商业为目的，收取的费用主要用于稿件的编辑处理、同行评议的管理、期刊在线出版、租用设备和网站的维护与管理、成员信息存档、资源的长期保存等，费用收取从几十美元、几百美元到上千美元不等，但是对一些作者或者一些地区作者（虽然有些系统平台对低收入国家和地区的作者提供了优惠的政策）来说会有一定的负担，势必也会影响学术研究成果的出版和发表。

（2）同行评议的量化标准问题。同行评议的量化标准决定学术研究成果的质量。不同平台的同行评议方法是不一样的，有的平台通过一定的条件遴选专家，比如ScienceOpen是要求曾经发表过一定数量的论文，比如Peer J是由编辑部推荐给有一定知名度相关专业的专家，而Publons通过评议者积攒的绩点来决定评议者的级别，一些允许匿名评议的系统难免评议者会有不端的行为，因此，科研成果的评议也有时会产生偏差，如何使同行评议更开放、更透明，减少利益驱动，使同行评议、讨论与评论、浏览数量、下载数量等这些新形式的补充计量方法更合理和标准，还需要经历不断的实践和发展，补充计量的量化指标标准是未来同行评议工作要做的重要工作。

（3）专业的同行评议人员的参与度问题。专业人员的参与度影响同行评议的真实结果。在不同的系统平台上看到，有些科研成果的评议内容比较多，而有些却比较少，甚至是没有评议或评论的内容，因此如何让更多的科研人员了解这些系统平台，让更多专业科研人员参加到同行评议的工作中，让开放的同行评议的模式更具有科学性、连续性、完整性，同行评议的意见能真实反映学术研究成果的水平，这将对推动科学研究的快速发展和知识共享有着深远的意义。

总之，随着开放获取运动的发展，更多的开放的同行评议模式被广泛地应用到学术研究成果的评价中。虽然这些开放的同行评议系统模式还不是很完美，还有一些不足之处，还需要更科学的同行评议的补充计量方法，但是随着科学技术的发展、社交网络系统平台在科学研究人员中的广泛使用，开放、公开、透明的科学的同行评议模式将成为评价学术研究成果评价的一个补充的方法，弥补传统的期刊出版同行评议方式的不足，加速学术研究成果的快速出版。

[1]田欣，马瀚青，郑军卫，等.国内外5种主要网络同行评议系统平台对比研究[J].中国科技期刊研究，2014，25（11）:1363-1368.

[2]百度百科.[2016-03-12].http://baike.baidu.com/view/11679820.htm.

[3]TheWinnower.[2016-02-20].https://thewinnower.com/.

[4]ScienceOpen.[2016-02-20].https://www.scienceopen.com/.

[5]Peer J.[2016-02-22].https://peerj.com/.

[6]F1000Research.[2016-02-23].http://f1000research.com/.

[7]Publons.[2016-02-23].https://publons.com/.

[8]Peerage of science. [ 2016-02-25 ].http://www.peerageofscience.org/.

[9]Pubpeer.[2016-02-26].https://pubpeer.com.

[10]PubMed commons.[2016-02-20]http://www.ncbi.nlm.nih.gov/pubmedcommons/help/guidelines.

[11]Andy Tattersall.For what it's worth-the open peer review landscape[J].Online Information Review， 2015， 39（5）:649-663.

[12]马瀚青.基于社交网络的同行评议新模式——基于Peerage of Science与Frontiers平台的案例研究[J].中国科技期刊研究，2015，26（9）:935-940.