中国科技期刊引入开放同行评议机制的思考与建议
2019-02-21孟美任张晓林
■孟美任 张晓林
1)中国科学院文献情报中心,北京市海淀区中关村北四环西路33号 1001902)中国科学院大学经济与管理学院图书情报与档案管理系,北京市海淀区中关村北四环西路33号 100190
同行评议(Peer Review)作为学术期刊质量控制的有力手段,最早可追溯至1665年英国皇家学会创办世界上第一本学术期刊PhilosophicalTransactions时,邀请若干同领域的学者对投稿文章的创新性、科学性、可靠性等进行综合评定, 并将其作为是否发表该文章的判断依据。绝大多数期刊的同行评议采取期刊内部自行选择(或邀请)同行专家、专家评议意见仅对编辑部和作者(部分)可见、同行评议专家匿名等方式,主要形式分为单盲评审和双盲评审。同行评议在对学术期刊进行有效的质量控制方面发挥着关键性作用,因此被科研人员认为是学术期刊应提供的最为重要的服务[1],也成为诸多数据库遴选高质量学术期刊的重要指标。
期刊在实施同行评议时仍面临诸多问题。例如:评议专家可能并不了解文章主题[2];部分评议专家拖延审稿时间[3]并匆忙给出低质量审稿意见;同行评议过程实际上就是作者与评议专家对某一研究进行的学术讨论,期间能够产生大量有价值的观点[4],但传统同行评议机制并没有对其进行合理记录并向公众开放,造成学术浪费[5]。此外,颠覆性研究和贡献不容易被认可和接受[6]、评议专家责任不公开[7]、评议专家的评审贡献缺乏公开认可[8]等问题已经引起了学术界的广泛关注与讨论。
学术界针对以上问题进行了不懈探索。1959年,人类学期刊CurrentAnthropology初次尝试开放同行评论(Open Peer Commentary)[9],国外学者也曾对比分析公开评议[10]与匿名评议对审稿质量的影响差异[11-12]。随着开放科学运动的不断发展,开放同行评议(Open Peer Review, OPR)作为其中重要分支已逐渐被全球多种学术期刊践行,例如PLoSONE、PeerJ、F1000Resarch等,试图避免匿名同行评审的缺陷,不过同时也带来诸多争议。与国外期刊相比,中国科技期刊对开放同行评议的研究与实践尚处于初级阶段,主要围绕定义研究、机制分析[13-14]、利弊分析[5]以及可行性调研[15]等方面展开理论层面的讨论,只有《心理学报》于2014年启动公开评审意见(发表文章的同时匿名公开审稿意见)[16]。
鉴于此,本研究首先从公开内容、参与范围、公开时间3个维度对同行评议机制的开放程度进行界定;然后从同行评议的目标和需求出发,利用象限分析法对传统同行评议和开放同行评议进行分析;最后,总结实施开放同行评议的机制和挑战,并提出中国科技期刊试验开放同行评议的实践建议。
1 开放同行评议概述
目前,开放同行评议仍然没有一个标准的定义和共识的实施框架[17],一般认为开放同行评议主要包括公开身份和公开评议报告两个部分,更广泛地,还涉及公众参与评议过程、作者与评议专家以及评议专家之间直接交流等。Ford[18]从开放评议过程(Review Process Openness)和开放评议时间(Review Timing)两个维度提出开放同行评议的8种特征类型,分别为署名评议(Signed Review)、披露评议过程(Disclosed Review)、编辑媒介性评议(Editor-mediated Review)、透明化评议(Transparent Review)、众包评议(Crowdsourced Review)、出版前公开评议(Pre-publication Review)、同步评议(Synchronous Review)和出版后公开评议(Post-publication Review)。Ross-Hellauer[17]也总结了开放同行评议具备的7种特征,包括公开身份(Open Identities)、公开评议报告(Open Reports)、开放参与(Open Participation)、出版前公开评议(Open Pre-review Manuscripts)、出版后评议(Open Final-Version Commenting)、作者与审稿人公开交互(Open Interaction)和开放评议平台(Open Platforms)。
从上述具有代表性的定义和分类可以发现,类别间边界模糊且存在较多重叠,而某一种开放评议期刊往往可以被划分到多种类别中。因此,笔者并不倾向于对开放同行评议进行类别划分。本研究从公开内容、参与范围、公开时间三个维度及各自的子维度对同行评议机制的开放程度进行界定,如表1所示。
表1 开放同行评议的开放程度界定及代表期刊(平台)
(1) 公开内容。身份公开是开放同行评议首次提出时就开始探讨的内容,但这种“署名批评”的方式一直面临着最大的争议和挑战[19]。审稿意见也应进行同行评议已成为学界的最高呼声[3],因此公开评审报告,特别是匿名公开,是开放同行评议期刊提倡的、也是较为容易操作的方式。此外,F1000Resarch、BMCClinicalPharmacology等在公开内容程度方面进行了突破性尝试,除公开身份和评议报告外,包括评议期间作者的回复、修改说明、不同版本的稿件等在内的所有评议期间产生和积累的内容都被合理记录并向公众开放(通常采用CC BY协议[20])。
(2) 参与范围。编辑在大部分开放同行评议期刊中仍然发挥着较强的媒介性[18],即作者与评审人不能直接交流,必须以编辑人员作为中间桥梁。然而,由于作者与评议专家、评议专家之间能够直接沟通可以显著提高同行评议的效率,有效促进稿件质量提升[21],因此编辑的媒介性在某些开放同行评议期刊中不断弱化,如eLife、EMBOJournal。2016年,Frontiers实现了作者、评议专家、编辑,甚至包括主编在内的所有利益相关者的在线交流[22]。作为参与范围最广的方式,向社区会员或公众开放评议权限也是识别学术不端行为的最有效措施[23]。
(3) 公开时间。以正式出版为参照时间点,开放同行评议可以分为出版前和出版后两种。鉴于出版前公开评审有可能导致成果被他人盗取,期刊更多通过权威的预印本平台实现及时的同行评议和交流反馈。出版后同行评议较为典型的代表是F1000Resarch[24]和PubPeer,前者只对文章研究范围和是否符合出版政策进行简单的基础审查后,便联同数据发布在网上,直到通过同行评议才会被数据库收录;后者只作为学术讨论的平台,除非出现重大学术不端[25],否则不影响文章是否发表以及是否被数据库收录等结果。此外,更为理想化的公开时间,并不是某一时间点或时间段,而是从科学研究开始便动态同步的评议方式,并且科研全过程和期间涉及的科研对象都能同步与同行进行交流,但这只是一种理论层面的假设,其中需要解决贡献认定、权益保护等问题。
2 同行评议机制的象限分析
本研究拟从同行评议的目标出发,将同行评议机制应满足的需求划分为3个层次,利用象限分析法对传统同行评议[注]本研究将单盲评议和双盲评议统称为传统同行评议。和开放同行评议两种机制进行分析,如图1所示。
图1 同行评议机制的象限分析
同行评议的根本目标是对论文的研究质量、科学价值、学术规范等进行控制与评价,在理想情况下应满足3个层次的需求:(1)保证评议高水平、高效率且客观公正是基本需求;(2)通过评议过程中产生和积累的知识促进研究质量的提升、创新成果的产出、学科领域的发展是核心需求,不仅包括甄选论文内容和扩展期刊覆盖领域,还包括促进科学研究跨学科、跨领域、跨行业的发展;(3)支持期刊促进科研共同体的发展是关键需求,包括保护作者权益、激励评审专家、吸引科研群体参与和交互,从而促进知识广泛、及时、深入传播。
2.1 传统同行评议机制
传统同行评议机制在满足上述基本需求中发挥着积极的作用,即期刊通常能够依靠选择的同行评议专家进行高水平的质量评价,并且在双盲机制下无资历偏见,理论上较为客观。当然这个过程依赖于同行评议专家的学术水平,依赖于编辑对小同行专家的了解程度,也依赖于专家群对研究范式、论文质量和评价机制等存在共识性的评价标准。然而,传统同行评议机制仅能部分满足核心需求和关键需求,如研究质量能够得到一定的提升、论文发表前对作者研究内容保密、评审中支持评议专家直截了当表达意见等。
在研究活动迅速增加、研究内容广泛交叉融汇、研究方法日益丰富多元、研究过程及研究对象(包括工具、数据等)愈发复杂精细、对研究过程与研究结果的可验证性、可重复性要求日益严格、对研究成果要求广泛共享的今天,传统同行评议方式已不能满足上述需求,特别在满足核心需求和关键需求上存在诸多局限。例如,传统机制往往无法保证论文的研究主题与评议专家研究方向的一致性,导致评议专家可能并不了解文章的主题、研究方法或研究工具[2],从而可能造成评审不准确、意见不可靠[26]、效率不高[27]等问题;评审专家可能难以接受非共识性、或异常性、或颠覆性、或跨领域的内容[6],从而造成评审不公正和不客观;评审责任与过程的不公开、不透明,无法保证评议意见的质量和客观性[3],且评议过程中积累的知识和经验无法被有效利用[5];评审专家即使对论文修改完善作出重大贡献也难以得到公开认可[8];传统封闭机制下难以吸引科研社群更充分、更交互地参与到交流讨论中等[17]。虽然结合编辑部和评审专家的力量,也能在一定程度上消减上述局限,但传统机制本身难以自然、自觉和主动地克服上述问题。
2.2 开放同行评议机制
开放同行评议能够建制性、有针对性地解决前述的部分问题。例如:不限制专家来源的方式能够自然地邀请对论文内容感兴趣和有相同研究背景的专家参与评审,从而增加对非共识性、或异常性、或颠覆性、或跨领域研究内容的包容性;合理记录和公开在评议过程中产生和积累的知识和经验,使其能够被有效利用[23],从而有利于促进投稿论文的质量提升[28];评议专家的贡献能够被公开认定[29];能够积极吸引科研社群从论文评审阶段就交互地参与到论文所代表的科研活动中[30]。
同时,开放同行评议的局限和消极作用也不容忽视。例如:“无遮挡”的评议环境中,部分评议专家不愿意公开争论或批判,青年专家往往只愿意匿名评审资深学者的文章,同样地,资深学者也担心被“当众羞辱”[31];无法判断评议专家的权威性;无法形成对评审标准和评审中交互规范的共识,从而可能导致争论不休;难以保护作者和评审专家在评审中产生的未发表的内容或意见的知识产权;评审中揭示出的问题及其解决思路并不一定可以直接地总结为可靠的知识等。
3 中国科技期刊开展开放同行评议的应对措施
中国科技期刊引入开放同行评议机制,必须同时考虑其积极和消极两个方面的作用,即在充分发挥其积极作用的同时,对其消极作用采用适当的方式进行抑制。因此,本研究提出支持措施以增强其积极作用,提出规避措施以消减其消极作用。
(1) 支持举措
①为吸引有能力、有兴趣的同行专家,建议采取主动向业界推送待审稿件的支持措施;
②为增强对非共识性、或异常性、或颠覆性、或跨领域研究内容的包容性,建议建立向相关、相近领域专家推荐待审稿件的机制;
③为使评议期间产生和积累的所有内容都被合理记录并向公众开放,建议加强对评审意见信息的组织,包括保存、汇集、整理、提炼和总结评审意见,从科学知识、科研方法和论文写作等方面不断积累;
④为积极吸引科研社群从论文评审阶段就交互地参与到论文所代表的科研活动中并作出贡献,鼓励建立(或使用)开放同行评议平台,支持关联相关成果、后续研究成果等。
(2) 规避措施
①为规避因无法形成评审标准和交互规范共识可能导致的争论不休,建议建立明确、具体的评审指南和流程规范,包括学术论文写作标准,这在开放同行评议时更容易成为矛盾点,因此,清晰的、细粒化的、可操作的、可公共验证的导引成为必须;
②为规避评议专家并不了解文章主题,从而造成评审意见不可靠的问题,建议建立开放同行评议人员的合理资质标准;
③为规避部分评议专家不愿意揭露身份,建议采取可选择,并鼓励公开的方式。署名、审稿意见、修改说明等内容可以部分公开(如只公开意见,不署名)的方式,当学界普遍接受后再考虑强制要求审稿人署名;
④为规避作者和评审专家的未发表内容或意见的知识产权难以保护问题,建议使用国际数字对象识别号基金会下属CrossRef的CrossMark Identification Service[32]标记所有文章版本和评审意见,以方便引用、关联、归档,使评议专家的贡献得到认定;
⑤为规避研究争议较大,纷争不断的情况,建议对内容存疑但不存在学术不端的稿件增加“存疑发表”状态;
⑥为规避评审中揭示出的问题及其解决思路并不一定可以直接地总结为可靠的知识,建议定期邀请专家就同类评审问题进行述评并发表。
4 中国科技期刊试验开放同行评议的建议
结合上文分析结果,从在继续优化传统同行评议机制的同时,引入某些开放评议的做法,从而提高同行评议的综合质量和影响的角度,提出中国科技期刊试验开放同行评议的建议。
4.1 制定透明、标准的评议规范
(1) 编辑部初审。无论是否采用公开评审,即便是在出版后评审的模式下,编辑部都需要对文章进行初审,主要包括道德伦理、财务公开、利益冲突、数据存储协议等[33]。
如果采用综合评议专家与公众意见决定录用与否[34]的公开评审方式,那么文章责任编辑应尽可能由学术编辑(Academic Editor)[35]担任,从而更好地监督整个同行评议的过程。
(2) 专家评议。开放评议专家在履行审稿职责的同时特别需要获得相关的标准指引[36-37],期刊有义务制定透明的审稿政策,使审稿人可以标准、规范、道德、负责任地对研究的科学性、技术可行性等进行评议。笔者所在团队曾分别针对研究型、应用型、综述型、观点型4种类型的文章制定论文写作与审核要求[38]。国际上高水平期刊都制定了格式化的评审清单(Review Check List)[39]。
开放同行评议的最终意见应包括稿件整体判断(录用、修改、存疑发表、退稿等)、评议报告以及充分声明审稿人的利益冲突。此外,评审意见是否公开以及以何种形式公开也可作为其中的重要选项。
(3) 公众评审。为避免公众评论中出现一些与学术争鸣无关的评论,可以采取编辑审查后公开,或者通过用户非匿名评审的方式(只允许社区内注册用户或有明确身份的读者和作者评论)进行把控,评议必须遵守科学规范,并且应声明利益冲突。另外,也可将评论与媒体链接,记录文章的所有媒体讨论报道[40]。
4.2 开放评议专家遴选方式
与传统同行评议相比,实行开放同行评议期刊的编辑除了需要为稿件匹配合适的审稿人外,还可能面临审稿人因对公开评审存在疑虑而拒绝审稿的风险。笔者认为有两种途径可以应对该问题。
(1) 建立向领域内具有较高水平的专家推荐待审稿件的机制,此类专家往往“敢说”,并且同行对于其权威性也较为认可。但他们也相对较忙,是否愿意花费精力认真审稿则需要编辑根据领域跟踪(主题匹配性)和经验加以判断。期刊的编委往往是领域专家,并有义务协助期刊开展工作,因而也可以鼓励编委每年至少进行一次公开评审,可以采用评论、提问以及回答提问等形式。
(2) 期刊应在公开评议社区中挖掘具有独到见解且学术水平较高的意见领袖(特别是青年学者),不断扩充期刊专家库,作为开放同行评议的坚实基础和期刊学术质量的有力保证。
4.3 审稿贡献认定与激励机制
期刊在实施开放同行评议的同时,一方面应努力提高专家的参与积极性;另一方面应积极倡导将学者的评审工作纳入学术评价体系。
(1) 创建或使用开放同行评议平台。期刊应为审稿人营造一个记录和展现审稿历史的平台,同时平台上的内容也可以作为其他作者和审稿专家的写作与审稿指南。作者可以获得研究思路、读者可以了解文章录用标准、审稿人可以了解更为科学客观的审稿意见撰写方式等[16]。平台可以搭建在期刊的采编平台上,亦可关联使用第三方平台。
中国科技期刊须认可预印本平台在提升研究水平、提高稿件质量方面的价值,并接受作者在论文正式投稿前将稿件发布到预印本平台(如中国科技论文在线、ChinaXiv)上进行学术交流的做法。此外,目前对刊发文章的讨论大多以被他文引用的方式展开,这样封闭的方式不利于学术交流和科学进步,更不利于科学成果的传播。因此,建议中国学者加入到出版后同行评议平台(如PubPeer、Publons)的讨论中,并尝试非匿名讨论,不断提升自己在社区中的美誉度。
(2) 制定开放同行评议的奖励机制。为积极参与开放同行评议的学者颁发证书和奖励是最为普遍的做法[41],期刊可制定更多类型的奖励政策以激励学者公开评审,特别是对其学术生涯能起到良好影响的方式。如期刊可协助审稿专家进行意见的整理,结合审阅后发表文章的被引给出评测报告;积极推动将参与期刊审稿纳入职称评定等。也可将公开评审的参与度和质量以积分方式体现,使用积分减免版面费等。
5 结语
目前,中国科技期刊主要选择传统的同行评议机制,而对于开放同行评议的探讨仍停留在理论层面。本研究首先从公开内容、参与范围、公开时间3个维度对同行评议机制的开放程度进行界定;然后从同行评议本身的目标和需求出发,利用象限分析法对传统同行评议和开放同行评议两种机制进行分析;最后,总结实施开放同行评议的机制和挑战,并提出中国科技期刊试验开放同行评议的实践建议。
笔者认为,传统同行评议与开放同行评议并不是对立关系,更不是一个是非问题,传统同行评议仍然在绝大多数高质量学术期刊中发挥着重要作用,其价值值得肯定。因此,不提倡寻找一种开放同行评议机制来完全替代传统同行评议,而是建议在继续优化传统同行评议机制的同时,引入某些开放评议的做法,从而提高同行评议的综合质量和影响。
作者贡献声明:
孟美任:设计研究方案,收集整理资料,撰写和修订论文;
张晓林:提出研究问题,修改研究方案,修订论文。