开放同行评议利弊分析与建议
2017-03-20刘丽萍刘春丽
■刘丽萍 刘春丽
中国医科大学图书馆,辽宁省沈阳市沈北新区蒲河路77号 110122
同行评议作为一种评价事物的方法最早始于15世纪欧洲专利申请,而同行评议在论文评议中的应用雏形可以追溯到17世纪中叶英国皇家学会刊物ThePhilosophicalTransactionsoftheRoyalSociety[1],20世纪中叶以后,同行评议成为科技期刊遴选论文的重要标准。同行评议的形式包括单盲评审、双盲评审和公开评审。目前我国大多数期刊论文的评议模式仍是单盲评审,即作者姓名信息向审稿人和编辑公开,而审稿人姓名对作者保持匿名。同行评议的初衷是确保论文评议的公平性,避免外行审稿人或者相关编辑人员发生以权谋私现象[2],同行评议本应是一种避免利益冲突的制度,然而随着学术出版形式的不断变化和开放获取精神的不断演进,现有的同行评议模式受到学术界的质疑。当前的同行评议模式在执行过程中仍会产生审稿人滥用职权,刻意打击报复及敷衍评论等现象。开放同行评议作为单盲同行评审的替代已在多家期刊杂志社得到实践,然而开放同行评议存在哪些优势和不足,开放同行评议能否成为“开放”环境下期刊的最佳评议方式,以及如何开放同行评议都是目前期刊同行评议转型模式下亟需解决的问题。
1 开放同行评议的概述
1.1 开放同行评议的定义
开放同行评议的定义多种多样,表1列举了几位学者及维基百科对开放同行评议的定义,总体来看,开放同行评议的核心思想就是开放作者和审稿人身份、开放评议流程、开放评语。根据这三点暂且对开放同行评议定义如下:开放同行评议是在尊重作者和评审者意愿基础上,向公众开放评审者和作者身份,且可选择性进行出版前开放同行评议或出版后开放同行评议,最终将审稿人的建议、作者的修改及回复、公众评议的结果等信息最大化向公众开放的一种评审制度。
1.2 开放同行评议的特点
开放同行评议与传统同行评议相比主要体现在“开放”的特性上,开放同行评议具有其自身的特点[7],如图1所示。
(1)从审稿人和作者角度看,开放同行评议具有如下特性。①署名开放性。署名开放性是开放同行评议最显著的特点,审稿人在接收到评审论文时可以看到作者的署名信息,同时在评议结束后也要署上自己姓名,以便向作者和公众公示。②审查互动性。在论文评议过程中,审稿人可以针对论文的疑问与作者交流,作者也可以就审稿人的意见与其进行讨论,共同提高论文的质量。③审查制度透明性。在编辑的媒介作用下,开放同行评议程序彰显透明性,公众可以看到论文、评语、来自作者和审稿人的回复及最终的出版稿。
表1 开放同行评议定义代表性研究
图1 开放同行评审特点
(2)从编辑者的角度看,开放同行评议具有编辑媒介性,即编辑仍然是开放同行评议中不可或缺的角色。编辑在大量投稿中进行初步筛选,然后将论文送交同行专家,最终综合多方因素决定是接收还是拒绝论文。
(3)从公众的角度来看,开放同行评议具有以下特点。①公众评议性。公众评议是指在公开评议过程中任何公众都可以为论文贡献评语,对评论数量没有限制。在很多时候公众评议不需要编辑的媒介作用,作者只需提交论文到预印本服务器或者公众评议区即可。②出版前审查性。出版前审查发生在文章发表之前,通常发生在公共平台的公众评议。③出版后审查性。出版后审查发生在文章发表之后,是对论文的再次评价。
2 开放同行评议的“开放”内容和流程
2.1 开放同行评议的“开放”内容
关于开放同行评议的模式,我国有部分学者进行了相关归纳总结。刘春丽等[8]提出开放同行评议模式包括四种:全部开放模式、传统与开放两个评议阶段的出版模式、按意愿选择公开的模式和部分公开模式;张春丽等[9]将开放同行评议模式归为三种:完全开放式、有限开放式和部分开放式。国外学者Nikita[11]也总结了开放同行评议的代表期刊及开放内容,如表2所示。而从不同的模式来分析“开放”内容,笔者认为其主要包括以下三种。
(1) 审稿人身份的开放
审稿人身份的开放包括两种,一种是在评议阶段,作者和审稿人之间身份的相互开放,是与双盲评审相反的评议方法;另一种是论文出版后,审稿人身份对公众的开放。
(2) 评议结果的开放
评议结果的开放是指同行评议专家的审稿意见向公众开放,一些刊物还将作者的初稿、修改稿向公众开放,同时,一些可以线上交流讨论的期刊也将审稿专家和作者间的交流稿向公众开放。《心理学报》就将评议专家意见以PDF附件形式向大众开放[10]。
(3) 评议过程的开放
评议过程的开放主要指公众可参与的评议过程。在文章进行开放同行评议之前,作者可以先将文章发布到开放评议平台,平台上的任何人都可以点评文章,作者可以根据大家的建议进行反复修改。然后编辑将作者经初步修改的文章递交给同行进行评议,审稿人可结合大众建议和自己见解给出审稿意见。
2.2 开放同行评议的流程
期刊根据其不同的开放模式有不同的评议流程,根据评议过程是否有编辑的媒介作用可分为三种开放同行评议流程,如图2所示。
(1) 强编辑媒介作用。这也是开放同行评议常用的评议模式。首先作者提交论文给编辑,编辑根据论文内容寻找同行专家,同行专家给出修改意见,评议专家可以和作者进行交流,形成最终版本,交由编辑做最终是否接收的决定。在这个过程中,编辑有较强的媒介作用,主要体现在评议过程中为论文分配合适的评议专家,也对读者和评审员间的沟通起到良好的监督作用。
表2 开放同行评议代表期刊及开放内容[11]
(2) 弱编辑媒介作用。对于通过公开发文系统投稿的文章,在作者投稿之后,作者及任何对文章感兴趣的读者、审稿人都通过平台看到论文,并可以对论文提出意见。编辑也可以邀请专家以开放形式进行同行评议,作者根据读者、评议专家的意见修改论文,也可以与读者、专家进行在线互动讨论,最终形成定稿,系统会自动对论文终稿进行打分,给出参考值,反馈到编辑手中,最后编辑结合大众和专家的意见及作者的修改稿件综合决定是否接收出版。在这个同行评议过程中,编辑的媒介作用不大,多数出自大众自发行为,并由服务器自主打分,但在同行评议完成后,还是由编辑做最终是否接收的决定。
(3) 无编辑媒介作用。这种评议模式主要是发表后开放同行评议,主要由第三方评价系统对发表后的论文进行再次评价,遴选出更优质的文章。如学术推荐系统F1000和一些动态评议平台。主要流程就是专家或者广大读者对出版的文献按一定指标进行打分或评论,第三方评价系统根据结果评定出高质量论文。整个过程中跟编辑关系不大,完全由第三方平台执行。
图2 开放同行评审流程图
3 开放同行评议的利弊分析
3.1 开放同行评议的优势
3.1.1 提升论文质量,减少学术不端行为
Gould[12]认为开放同行评议以一种开放讨论方式促进论文质量的提升。开放同行评议打破了作者与审稿人间交流的壁垒,作者和审稿人可以针对论文存在的不足展开有效沟通,实名的审稿人会更加认真对待评议工作,给出更多具有创新性的建议,同时大众读者也可以给出一些修改意见,这就使得评议论文在很大程度上得到了质的改善。胡昌平等[13]调查显示审稿人同意公开署名的评议的文章质量要比未显示审稿人姓名的文章质量要好。Bornmann[15]研究了《大气化学与物理》(简称ACP)[14]的开放同行评议效果,发现通过开放同行评议的文章具有较高的引用率。Kowalczuk等[16]在调查中也揭示了公开同行评议质量要比盲审高,评议意见在方法方面提出的意见质量要比盲审高11%,在创新性方面高出5%,且在实质性方面都具有较高的分数。Nature在2006年试用了开放同行评议模式,历经四个月后,从作者角度调查开放同行评议模式对论文质量带来的影响。结果显示,74%的作者认为该流程有助于改善论文,20%持中立态度,只有6%的作者认为该流程没用[17]。另一方面,开放同行评议也是面向大众开放的,监督论文质量的不仅仅是审稿人,还有广大读者,能很好抑制作者的学术剽窃行为,提高文章的创新性。
3.1.2 有效避免审稿人的责任滥用及问责问题
在单盲评议中,审稿人知道作者姓名信息,而作者不知道审稿人是谁,审稿人很有可能钻了这种信息不对称的空子,滥用职权。Gillies[18]指出非开放同行评议模式会出现审稿人不细心评论、审稿人故意推荐自己的论文、支持朋友的论文或抨击对手的论文,亦或出于个人利益,阻止、延迟评议论文出版等情况。由于评议的不开放性,作者无法去反驳评议意见或者去问责。开放同行评议可以有效避免这一问题,作者可以与评审者实名进行问题探究,提升了评议的客观性和公平性,减少审稿人对文章的偏见,从作者角度来说,也是给他们一种安心感[19]。相反,开放同行评议也可以保护审稿人的利益,因为即使是匿名同行评议,作者也会通过评论或建议等方面推断出审稿人是谁。Decoursey[20]在Nature中提到他曾被一位作者误认为是给出拒稿意见的审稿人,原因是在评议意见中审稿人建议引用几篇Decourse的论文,开放同行评议就可以避免作者错误推断审稿人的现象。
3.1.3 创造学术对话,促进知识交流
开放同行评议以公众评议和开放的形式将审稿人、作者集中在一个讨论区进行交流,作者如果反对评议意见,可以直接公开地表达想法,与大家切磋,很大程度上促进了知识的交流。Maharg等[21]认为,公开的同行评议围绕学术写作创造对话,盲审审查是做不到这一点的。同时,评议专家的意见是很有价值的,仅仅只让作者看到是一种学术浪费,有时候由于编辑个人偏好还会隐藏审稿人意见,连作者都看不到。评议意见向公众开放也促进了知识的传播。发表的意见可以作为年轻研究人员的同行评议实例,审稿人的评论公开对读者来说是非常有价值的附加信息[22]。从审稿人角度来看,公开姓名也会侧面提升了他们的社会地位,也是对他们的学术水平及经验的一个佐证。
3.1.4 削弱作者和审稿人间的等级关系,消除期刊垄断行为
Maharg等[21]认为开放同行评议模式削弱了原有封闭的同行评议系统的作者与审稿人间的等级性。开放同行评议使审稿人与作者处于同等地位,他们之间共同的初衷就是围绕学术展开对话,这是一个教学相长的过程。开放同行评议可以消除期刊垄断行为,在开放同行评议中,学术团体可以共同讨论论文选择的质量标准,这能很好地避免当前的出版社建立质量标准的垄断行为。开放同行评议是将竞争重新加入科学界的一种手段,鼓励社会重视对期刊和知识产出的控制[7]。
3.2 开放同行评议的弊端
3.2.1 编辑和审稿人存在潜在利益冲突
通过公开审稿人身份,审稿人将对其期刊编辑审稿的质量、内容和专业性负责。这也使得编辑和审稿人在同行评议过程中的潜在利益冲突更加明显。开放同行评议会使审稿人的姓名在论文上显示,这无形中强调了审稿人的责任感,一旦论文出现问题,审稿人和作者都有责任,而编辑是给审稿人分配“任务”的人,从审稿人角度来看,使他们产生责任的根源是编辑,而编辑会认为这是审稿人不负责任的后果,这种利益冲突在开放同行评议中日益突出。
3.2.2 公众评议员观点可信性受到质疑
开放同行评议的一些特征对论文的内容质量极具挑战性。公众评议形式的确能给文章带来创新的思路与见解,但同时存在一定缺陷。例如,公众评议员的观点可信性受到质疑,公众评议员是否是该领域专家,公众的观点是否合理可取,公众评议员之间观点相悖等问题都是值得思考的。
3.2.3 容易失去一些不愿实名的专家审稿人和不愿预先开放作品的作者
开放同行评议可能会使评议专家担心遭到报复,拒绝参加论文评议工作。许多潜在专家审稿人犹豫参与评论是因为相比公开地对一些知名学者的论文做出批判,他们更愿意私下讨论作者的写作缺陷。另外对于有些使用预印本服务系统的作者并不希望过多的人来对自己的文章评头论足,况且广大读者的参与会使作者担心有作品泄露情况的发生,有些作者本意是不希望将其论文暴露给公众进行审查,甚至不希望发布初稿及修改稿件,这样就会失去一些不愿预先开放作品的作者。
3.2.4 存在评议意见刻意现象,论文的接收意见多于拒绝意见
因为实名制,评议专家碍于情面最终给出的意见多是接收意见,开放同行评议会使审稿人花费比作者设计和写作更多的思想和精力去做评议。Janowicz等[23]研究发现,没有任何一篇接收论文上写着“按原样接收”的评语。一方面,有些审稿人为了提高自己的身份地位或者学识,可能会想出一些非合理化建议,评语可靠性受到质疑,存在刻意评价论文现象。另一方面,审稿人可能会因为实名评论了高级职称同事的论文后自己的职业发展受到阻碍,或者他们可能受到他人威胁来故意写一些较好的评论。评论者可能变得不够严格,科学标准会发生偏斜。
3.2.5 存在作者违心修改论文的问题
Hopewell[24]研究证实,并非所有的同行评议所要求的更改都是适当的,而作者做出不适当的修订可能是希望增加稿件被接收出版的可能性,而不是出于本意。同时,开放同行评议使审稿人对审查的论文贡献更加明显,审稿意见及审稿人姓名的公开会使论文的地位得到提升,这也会加剧作者按评议专家意见修改论文的意向。
4 完善开放同行评议模式的几点建议
4.1 将“允许匿名”作为从盲审到开放同行评议的过渡阶段
开放同行评议的弊端会失去一些不愿实名的评议专家,允许匿名可能是一个良好的中间步骤,有些期刊采取的开放同行评议流程就是“允许匿名”方式,如ACP。虽然“允许匿名”制度可能会缓解一些现状,但它违背了开放同行评议的本质,从长远来看,应逐步取消匿名,采取完全开放同行评议模式。
4.2 开放同行评议理论上的丰富是技术完善的前提
在理论上,开放同行评议就是关于书面文字的沟通,它似乎不依赖于任何特定技术,实际上开放同行评议与技术有着不可分割的联系。开放同行评议须借助信息智能化技术改进开放式同行评议流程,包括通过现有的日志管理系统或内容管理系统对开放和透明的审查过程进行编辑管理、对各种评论进行分析与归类等。理想化的公开投稿系统可以大大缩短论文评议周期,但目前来看多数开放同行评议系统存在软件低效、有错误、跟踪文章版本困难的现象,对开放同行评议效果产生严重影响。虽然技术是进行开放同行评议的一种手段,但在开放式同行评议的技术实施完全成功之前,开放式同行评议应在理论上进行丰富,包括在开放作者和评论者的身份和开放评议过程上。
4.3 编辑调解仍应是开放同行评议中重要的一环
Maharg等认为,使用公众评议或弱编辑调解方式开展开放同行评议最有利于创造对话。虽然通过加强作者和审稿人间的对话可以丰富评议过程,但是用此来代替编辑中介的评议方式仍有不妥。无论是盲审还是开放同行评议,一个调节交流并承担最终决定责任的编辑角色仍很必要,审稿人提出的意见并非完全真诚,有带有情绪的,甚至公开企图拒绝论文,这个时候需要编辑来确定审稿人是否有偏激行为,来保护作者的权益。公众评议方式更是离不开编辑的控制与筛选,否则良莠不齐的评议内容会给作者带来适得其反的效果。
4.4 制定完善的评议机制
完善的开放同行评议机制是有效进行开放同行评议的前提。首先,要确保审稿人的意见适当,并且作者也能做出适当的回应,编辑要对不同审稿人分配相应内容稿件,并尽可能将稿件研究背景展示完整。其次,要确保评议的开放性,可以半开放式(仅开放审稿人和作者身份信息)或全开放式(开放审稿意见及开发同行评议流程)。最后,要保证论文的质量,综合审稿人的观点和作者的想法,结合实际制定论文质量评定标准。
5 结语
开放同行评议模式因其固有的特性及优势,得到了广大学者的大力提倡,在提升论文质量、规范审稿人行为、保证作者权益和促进学术交流等方面都可有效弥补盲审的不足。同时,开放同行评议作为一个新兴模式也存在一定的缺陷,如使编辑和审稿人间的关系紧张、产生非专业的公众评议、失去“开放”审稿人及存在违心评语。国外开放同行评议模式已在多家期刊得到了很好尝试,国内也有数家期刊正在实践。综合国内外专家观点和实践分析来看,现在正处于一个从盲审到开放同行评审的过渡阶段,在实践过程中仍会面临一定的问题,可以以“允许匿名”的形式展开尝试,着重丰富理论知识,保留编辑的调解地位并制定严格的评议机制。长远来看,开放同行评议会是开放获取和开放精神背景下产生的科技期刊遴选论文的最佳替代方式。本文从理论方面综合分析了开放同行评议的利弊,并提出了完善开放同行评议的建议,今后的研究仍需丰富对开放同行评议实践方面的深度总结与反思,以期使开放同行评议模式尽快得到成熟的发展。
[1] 百度百科:同行评议制度[EB/OL].[2017-03-06]. http:∥baike.baidu.com/link?url=NJ6pHmnSHH35Eed3Zy32MQJIv7F08tZjVBOCTjbkTp0uiLuBsALW_ymrM2NLR1V6T5bWLO__YUqvWP25yla4UK7QWBWXMw-fQmlAAzFWTfllkJxt8F72SRbwLH5_DyoTvJ74pXdWh87FzAG1mCblTK.
[2] 百度文库:我看同行评议制度[EB/OL].[2017-03-06]. http:∥wenku.baidu.com/link?url=zGQriZJwXWfkXvwW6BgAISXavKY-PFElY_VbKbtLe2RK_p7xwP9OV95l1ekG7M7JMAJikKCNtoGY8H_5PJRnLEsOiuWrmTqdznRpJJFJY8m.
[3] McCormack N. Peer review and legal publishing:What law librarians need to know about open,single-blind,and double-blind reviewing[J].LawLibraryJournal,2009,101(1):59-70.
[4] Mulligan A,Akerman R,Granier B,etal. Quality,certification and peer review[J].InformationServices&Use,2008,28(3-4):197-214.
[5] Shotton D. The five stars of online journal articles a framework for article evaluation[EB/OL]. [2017-03-16]. http:∥dlib.org/dlib/january12/shotton/01shotton.print.html.
[6] Open peer review[EB/OL]. [2017-03-16]. https:∥en.wikipedia.org/wiki/Open_peer_review.
[7] Ford E. Defining and characterizing open peer review:A review of the literature[J]. Journal of Scholarly Publishing,2013,44(4):311-326.
[8] 刘春丽,何钦成. 开放同行评审的产生、发展、成效与可行性[J]. 中国科技期刊研究,2013,24(1):40-44.
[9] 张春丽,商丽娜,倪四秀. 科技期刊开放式同行评议模式探索[J]. 中国科技期刊究,2015,26(11):1151-1155.
[10] 李金珍,庄景春,邱炳武. 《心理学报》开放性同行评审方式探索及初步成效[J]. 中国科技期刊研究,2015,26(2):139-142.
[11] Nikita R. What is open peer review?[EB/OL]. [2017-04-02]. http:∥blog.editeon.com/what-is-open-peer-review.
[12] Gould T H P. Scholar as e-publisher: The future role of [anonymous] peer review within online publishing[J].JournalofScholarlyPublishing,2010,41(4):428-448.
[13] Hu C P,Zhang Y K,Guo C. Exploring a new model for preprint server: A case study of CSPO[J].JournalofAcademicLibrarianship,2010,36(3):257-262.
[14] Atmospheric chemistry and physics[EB/OL]. [2017-03-16]. http:∥www.atmospheric-chemistry-and-physics.net/about/aims_and_scope.html.
[15] Bornmann L,Schier H,Marx W,etal. Is interactive open access publishing able to identify high-impact submissions? A study on the predictive validity of atmospheric chemistry and physics by using percentile rank classes[J].JournaloftheAmericanSocietyforInformationScienceandTechnology,2011,62(1):61-71.
[16] Kowalczuk M,Dudbridge F,Nanda S,etal. A comparison of the quality of reviewer reports from author-suggested reviewers and editor-suggested reviewers in journals operating on open or closed peer review models[J].F1000Posters,2013,4:1252.
[17] 开放式同行评审,它有哪些优势?[EB/OL]. [2017-03-19]. http:∥tieba.baidu.com/p/4442026141.
[18] Gillies G L. Open peer review,open access and a house of commons report[J].Real-worldEconomicsReview,2012,60:74-91.
[19] 刘晶晶. 国外开放获取期刊的同行评议方式研究[J]. 编辑学报,2017,29(2):200-203.
[20] Decoursey T. Perspective:The pros and cons of open peer review[EB/OL]. [2017-03-29]. http:∥www.nature.com/nature/peerreview/debate/nature04991.html.
[21] Maharg P,Duncan N. Black box,Pandora's box or virtual toolbox? An experiment in a journal's transparent peer review on the web[J].InternationalReviewo/Law,Computers&Technology,2007,21(2):109-128.
[22] 张学颖,罗萍. Web 3.0时代学术期刊开放同行评议的实质和审稿模型构建[J]. 编辑学报,2016,28(3):220-223.
[23] Janowicz K,Hitzler P. Open and transparent: The review process of the semantic web journal[J].LearnedPublishing,2012,25(1):48-55.
[24] Hopewell S. Impact of peer review on reports of randomized trials published in open peer review journals: Retrospective before and after study[J]. British Medical Journal,2014,349:g4145.