学术期刊同行评议创新实践与启示
2022-06-21杜杏叶王景周
程 冰 彭 琳 杜杏叶 王景周 李 玲
1)中国科学院文献情报中心,北京市海淀区中关村北四环西路33号 100190 2)中国科学院文献情报中心《数据智能(英文)》编辑部,北京市海淀区中关村北四环西路33号 100190 3)中国科学院大学经济与管理学院图书情报与档案管理系,北京市海淀区中关村北四环西路33号 100190 4)《暨南大学学报》编辑部,广东省广州市天河区黄埔大道西601号 510632
自1665年英国皇家学会官方刊物《哲学汇刊》采用同行评议审稿方法以来,同行评议始终是期刊学术质量控制的最重要手段,是学术交流生态系统的核心部分,是学术出版的基石。但是,由于传统同行评议模式的不完善、不透明,存在偏见,缺少公正和信任,出版周期长等缺陷,同行评议一直备受关注和争议。尤其是,随着数字技术和网络媒体的广泛应用,出版模式快速变革,开放获取(Open Access,OA)出版、语义出版、数据出版、预印本出版等多种出版方式出现,与之相适应的同行评议组织实施、评议模式、学界参与方式以及认证激励机制等也在不断创新发展。F1000采用先发布再同行评议的模式,允许作者与评议人进行讨论,作者可不限次修改论文,支持评议人用英语、日语等多语种撰写同行评议报告[1];PLoSONE为作者提供发布预印本或公开评审意见的选项,为审稿人提供署名评审报告的选项[2],与Review Commons等社区平台合作,将送审前的评审意见纳入评审决策参考,加速评审过程,同行评审的历史记录所揭示的重要观点和决定,为读者和研究人员提供了额外的背景材料;eLife对所有稿件先发布预印本再进行审稿,不会人为设定发布数量限制或者拒稿率,并提供相应同行评议服务[3]。随着OA出版的快速发展,公开审稿人身份、评审意见和审稿过程的开放式同行评议模式,独立于期刊的第三方审稿平台服务模式,以及众包式同行评议模式[4]等创新的同行评议模式不断涌现。这些新的模式和做法都是对传统同行评议模式的改进,试图解决其长期存在的问题。
当前,学界对同行评议的研究主要集中在个案研究、优劣势分析等方面,比如:王景周[5]基于知识隐藏理论分析了审稿人行为与知识隐藏的关系,提出了抑制审稿人知识隐藏、激励审稿人知识贡献的策略框架;常唯等[6]归纳了同行评议发展演化的特点,包括同行评议模式复合化、参与主体多元化、组织形式多样化、多边合作不断加深等;索传军等[7]总结了同行评议在审稿顺序、审稿标准、审稿匿名性与交互性的创新趋势;占莉娟等[8]基于科学社会学视角提出了审稿人的核心动力机制和激励路径。上述研究对同行评议核心问题的全景透视分析还存在不足。面对学术出版技术变革和同行评议模式的快速发展,有必要梳理近年来同行评议的创新实践和发展,供期刊出版界系统地了解最新的同行评议创新实践进展。本文着眼于近年来国内外学者、出版社和期刊编辑在同行评议领域的探索,从同行评议的送审方式、评议类型、监督防范、认证激励、技术平台5个方面阐述国内外创新实践举措,归纳了同行评议的趋势特点,以期为国内科技期刊同行评议的探索实践和学术出版提供有益参考。
1 概念界定与研究方法
1.1 概念界定
学术界对同行评议并没有统一的定义,不同定义的侧重点不尽相同。科学技术部科研诚信建设办公室指出,同行评议是“由从事相同或者相近领域的专家来评定一项工作的学术水平或者价值的活动”[9],强调同行评议是一种评价活动。国家自然科学基金委员会将同行评议定义为“同行评议专家对申报项目的创新性、研究价值、研究目标、研究方案等作出独立判断和评价”[10],也是强调同行评议的评价属性。在期刊出版领域, Wolfram等[11]指出同行评议是审查论文研究价值并就论文严谨性、新颖性、能否发表提出建议,旨在防止草率发表,减少研究错误,降低学术造假风险,强调了现代学术交流的质量控制作用。下文中的同行评议特指在学术期刊出版领域的同行评议研究。
1.2 研究方法
文献资料法。通过查阅近5年来CNKI数据库主题字段包含“同行评议or同行评审or 审稿”的中文文献,以及Web of Science(WoS)数据库中主题字段包含“Peer Review”的英文文献,下载2016年以来的相关题录信息,遴选与期刊同行评议实践相关的文献,并根据参考文献补充其他重要文献。
案例调研法。查阅相关期刊网站说明及同行评议相关报道,了解其运行机制及实践特点,搜集同行评议创新研究实践。
逻辑分析法。通过对所收集的信息进行分析、比较、归纳、总结,建立分析框架,结合我国科技期刊出版和发展实际,提出适合我国科技期刊发展的对策建议。
2 同行评议创新实践
当前同行评议之所以不断创新发展并涌现新的举措,一方面由于传统同行评议本身仍有很多弊端没有解决,另一方面缘于新技术推动了同行评议的发展。全球同行评议周年度活动的开展[12]、同行评议主题期刊创立、学术社区Publons《全球同行评议现状报告》的发布[13]也推动了同行评议理论和实践的快速发展。图1所示为近年来同行评议主要创新实践,下面结合当前同行评议发展的研究热点,提取同行评议的关键问题,聚焦同行评议送审方式、同行评议模式、监督防范与激励机制,以及技术平台建设等问题,阐述有关研究的最新进展。
图1 近年来同行评议主要创新实践
2.1 创新送审方式
当前学术期刊不断创新送审方式,送审主导主体呈多元化发展趋势。根据送审主体侧重不同,可分为编辑主导的送审、作者主导的送审、零主体主导的送审(审稿人主动选择稿件审阅)3种送审方式。(1)编辑主导送审方式是传统同行评议模式惯用的送审方式,由编辑/编委邀请审稿专家审议指定稿件,在此不再赘述。(2)作者主导的送审方式。作者推荐审稿人是指作者根据出版平台和编辑部的限定条件,在一定范围内选择和推荐审稿人。比如,BioMed Central的投稿作者可从期刊编委会中选择合适的专家审稿[14]。(3)审稿人主动选择审阅稿件在比较式同行评议和众包式同行评议模式中普遍应用,审稿人根据期刊编辑部发布的稿件,选择感兴趣的稿件进行审稿。这些创新做法提高了送审环节的有效性,大大降低了专家拒审的概率。随着研究成果多样化出版和学术交流的需要,未来可能出现更多主体主导的送审方式,比如管理机构、基金资助机构主导的送审等。
2.2 创新同行评议模式
为了提高同行评议的透明性、可靠性、公平性、公正性和评审速度,近年来学术界和出版界不再局限于传统评审思路,不断创新同行评议模式。下文分别从审稿公平性、审稿客观性、审稿分工协作性和评审阶段性4个维度,系统梳理了4种代表性同行评议模式的创新实践,归纳了各同行评议模式的特点、优点与局限(表1)。
表1 近年来4种典型的同行评议创新模式对比分析
(1) 透明同行评议。透明同行评议(Transparent Peer Review)是开放式同行评议的改进模式。尽管部分国际期刊采用了开放式同行评议(Open Peer Review)方式,即论文发表后,公开审稿专家的姓名、审稿报告、作者的回复、组织审稿的编辑姓名等[15],但在推进开放式同行评议模式过程中遇到了较大阻力[16],开放式同行评议因存在缺乏规范、技术实现能力弱等问题,在OA期刊中的执行比例较低[17]。于是有些期刊出版社在实践上避开公开审稿人身份的硬性规定,只强调公开评审结果,由此产生了透明同行评议[18],该模式在开放科学的背景下发展迅速。在相对保守的化学期刊领域,ACSCentralScience和TheJournalofPhysicalChemistryLetters两种期刊于2021年11月宣布采用透明同行评议的模式[19],我国期刊《心理学报》和《中国科学数据》也采取了透明同行评议模式,但只公开审稿结果,不公开审稿人姓名。开放式同行评议还处于初期发展阶段,透明同行评议是当前可行的折中模式。
(2) 小组/协作式同行评议。小组/协作式同行评议(Group Peer Review/Collaborative Peer Review)模式有时被称作交互式同行评议(Interactive Peer Review)。其中,小组式同行评议是基于团队的同行评议方法,在期刊编辑批准的情况下,多名审稿人对稿件进行评议,然后共同提交一份综合审稿意见便完成审稿。协作式同行评议是通过在线平台向编辑或作者及时提供直接反馈,并可在此过程中与其他审稿人合作,就审稿意见进行讨论的审稿模式。二者都集中体现了编辑、审稿人、作者之间集体对话的特征,目前仅在少数期刊中使用。该模式出现时间比较晚,是对稿件更深入的评审,保证了审稿意见的专业性和公平性[14]。
(3) 众包式同行评议。众包式同行评议(Select Crowd Review)模式于2017年由Thieme出版集团旗下化学期刊Synlett首次实行[20],很快被复制到该出版社旗下其他期刊。具体做法是:将每篇论文的审稿链接同时发给50~100位专家,专家收到稿件链接后,自行决定是否有时间和足够的专业知识来评议文章,评审专家通过在线软件Filestage对论文进行匿名评议。在此过程中,只有编辑知道谁是审稿人,同行评议结果对所有审稿人公开,审稿人可以彼此讨论,或与作者讨论,帮助作者完善手稿。一般在48~72小时后结束审核期,平台撤下稿件。随后,编辑汇总、评估审稿人意见,决定接受或拒绝稿件,并将意见发送给作者。在众包式同行评议模式中,每一位审稿人可专注于自己的专业领域,并给出中肯的审稿意见,同时还可以看到其他同行给出的评论,这不仅避免了重复劳动,也让审稿人避开了自己并不熟悉的领域。整个评审过程更接近于集体讨论,审稿人之间可以互相纠正错误。参与讨论的评审专家数量增多,有助于提高结论的准确性,增加审稿结果的客观性。
(4) 注册报告式同行评议。注册报告式同行评议(Registered Report Peer Review)模式也被称作双阶段同行评议,目前应用于生命医学领域的注册报告类(Registered Report)文章的评审。注册报告评审分为两个阶段:第一阶段,审稿专家对研究计划进行评审,评估问题的研究价值、有效性、基本原理和方法假设的严谨性;第二阶段,作者完成实验和数据分析,提交完整稿件后,稿件被提交给相同的评审人进行再次评审[21]。无论实验结果如何,只要作者严格遵守先前的方案并根据证据解释结果,稿件原则上会被接受、发表[22]。该模式将同行评议前移到研究活动初期,帮助作者改进方案或基本原理,防止研究设计中出现严重缺陷,研究成果在第二阶段评审的录用率较高。
以上4种同行评议模式各具特点:透明同行评议规避了“公开身份”的要求,鼓励更多期刊公开评议过程,提升审稿公平性;众包式同行评议吸收了开放评议社群的评议思想,大大扩充了评议专家数量,以增强审稿结果的客观性;小组式/协作式同行评议增加了分工协作的思想,每人负责一部分内容评审;注册报告式同行评议吸收了基金资助立项和结项评审模式的思想,第一阶段对研究方案进行评审,防止研究出现严重缺陷,修正研究方法,第二阶段对研究成果进行评审,提高了论文的录用率。
2.3 加强监督防范
(1) 提高学术道德意识。审稿人学术道德问题屡禁不止,包括审稿人干扰评审程序,故意拖延评审过程,违反利益冲突规定,擅自与他人分享或使用审稿内容,违反保密规定,剽窃审稿内容,审稿意见造假,引导不当引用等[23]。审稿人需加强自身学习,规范审稿行为,提高学术道德意识,建议期刊以详细标准和规范引导来约束审稿人正确审稿。学术期刊也应提升自身管理能力,比如针对审稿意见造假现象,可采取定期审查审稿数量多、审稿时间短的审稿人,查阅其审稿意见,检查是否有学术不端行为[24]。
(2) 引入大众监督机制。学术和社交媒体平台为知情者揭发审稿学术不端现象提供渠道,也为社会公众参与监督提供有效平台。科研社区建立了社交平台(例如PubPeer),既可对期刊发表的论文进行评价交流,也可在监测论文造假方面发挥重要作用[25]。大众既可以在出版前进行评价监督(比如Review Commons),也可以在出版后进行评议讨论。出版期刊通常会定期监测公众的评论,以对出版后稿件的质量进行再评估。Retraction Watch平台[26]设有带评论功能的博客并对存在学术问题的撤销论文集成了数据库。
(3) 建立不端防范规范。建立学术不端防范规范或标准非常重要。COPE更新了同行评议专家伦理道德指南,详细制定了从接受评审到评审结束各环节的行为约束规范,并建议同行评议专家参加相关培训来提高评审技能和不端行为防范意识[27]。2019年,国家新闻出版署正式发布我国首个针对学术不端行为的行业标准CY/T 174—2019《学术出版规范——期刊学术不端行为界定》。该标准首次界定了学术期刊论文作者、审稿专家、编辑者三方可能涉及的学术不端行为,为科技期刊学术不端行为的界定提供了科学依据。科学共同体也对学术不端行为不断加大处理力度,采用撤稿、限制或剥夺学术不端审稿人审稿资格、取消申报基金项目资格等多种措施对当事人进行处置。科学技术部建立主动发现机制,开发了智能工具平台,对发表的学术论文开展监测分析,及时发现论文中隐藏的学术不端问题线索[28]。
2.4 重视认证激励
审稿人激励不足一直是普遍关注的难点问题。陈晓峰等[29]总结了国外审稿人信息展示平台采用审稿人声誉、支付酬金、颁发证书和提供学术服务的形式激励审稿人,提出通过内部激励、外部激励和平台激励的途径提高审稿积极性。下文将从开展培训与认证、丰富审稿激励手段、加强审稿人评价三个方面归纳研究进展。
(1) 重视审稿培训与认证。出版社不定期举办线上或线下审稿人研讨培训,培训内容包括接受邀请、评审报告撰写、学术伦理道德、评审人资格认证等评审全流程内容,基于培训学习内容,考核并颁发资格认证证书,以此模式吸引和培养更多审稿人。中科院文献情报中心联合ACS、IOP、Taylor & Francis等多家出版社面向多学科领域举办了同行评议系列培训研讨会,鼓励中国作者参加学习培训并获得审稿资质认证,提升了国内审稿人的审稿技能,扩大了中国审稿专家队伍,促进更多学者参与国际学术交流。此外,社区平台(比如Publons)为审稿人教育培训和认证提供了条件,比如为潜在审稿人提供在线学习和资质认证机会,为正式审稿人提供审稿信息记录与贡献展示。
(2) 丰富审稿激励手段。激励审稿专家的前提是认证专家,并量化审稿专家的劳动,包括审稿数量、审稿质量、审稿时效,其中,完成高质量审稿报告尤为重要。Publons平台将审稿数量与发布评论数转化为审稿人学术信誉积分,用以评价审稿人工作的贡献度。
尽管有研究建议为审稿人提供经济奖励,但非经济类的激励措施通常被认为相对更重要。期刊激励审稿人的方式主要包括颁发优秀审稿人证书、获得免费或限时访问的电子资源、获得论文或图书出版的折扣券等,此外,还有审稿平台保留并展示审稿人审稿历史记录、为优秀评审报告分配DOI供读者引用、提供审稿专家交流平台。一些独立于期刊的审稿平台,比如Pluto Network利用区块链技术为学术活动提供合理的双轨补偿机制,通过平台代币(PLTToken)和声誉值(Reputation Score)双轨补偿来奖励专家审稿贡献[30]。国内学者通过调查访谈探索适合中国国情的审稿人激励机制[31]。调研显示,激励审稿人的有效措施中,排在前2位的分别是“将优秀审稿人纳入期刊编委候选人”和“希望期刊为审稿专家搭建领域交流平台”[32]。占莉娟等[8]指出,若要突破审稿积极性不高的瓶颈,需让审稿工作获得科学共同体的更多认可。
(3) 增强审稿人评价。对审稿人开展评价是激励的手段之一。超过一半的期刊几乎不对专家审稿工作进行评价,即使开展评价,也主要是主观印象,评价的科学性和规范性有待提高。有研究提出了审稿人评价指标,建议发挥审稿人评价工作对同行评议运行效率的优化作用[33]。基于同行评审全过程,形成专家审稿工作评价循环系统,建立评审主体、评审过程与评审结果的分层评价指标,通过评价指标得分帮助编辑决策,并可辅助审稿激励、审稿人才库调整及审稿培训工作。Peere项目提出衡量学术期刊同行评议过程中审稿人贡献的F3指标[34],将审稿报告提交时间、报告长度以及报告与编辑决策的一致性等纳入考量因素,该指标可有效区分优秀审稿人和表现较差的审稿人。
2.5 建设审稿技术平台
(1) AI技术辅助同行评审。新的AI技术具有辅助同行评议前的初步审查、学术不端检测、审稿人推荐等功能。同行评议前的初步审查包括结构合理、内容完整、格式规范、方法得当等,确保稿件满足投稿的最低要求。AI学术不端行为检测主要包括图片剽窃伪造和内容剽窃等,比如表述抄袭、观点剽窃、重复发表等[35]。AI技术可智能协助分配稿件,比如根据领域、主题、审稿人活跃程度等算法自动匹配合适的审稿人,缩短送审时间,挖掘新审稿人,减少送审过程中的造假或偏见[36]。据informa公司发布的市场统计数据,已有70%的审稿平台都采用了AI技术。国内也有初步实践,比如,医学期刊出版社AME建立了Aber审稿平台,支持专家经过认证注册成为Aber会员后,通过主题关键词检索,认领感兴趣的评审任务;中科院文献情报中心开发的审稿辅助工具平台SciAIEngine[37]可利用机器学习方法根据文章内容推荐审稿人。
(2) 区块链技术应用于评审。区块链技术已在同行评议的全过程场景中得到应用,并建设有以Decentralized Science、Orvium、Pluto Network、Katalysis等为代表的同行评议平台。在区块链技术的支持下,传统以编辑为中心的评审发展成为去中心化的同行评议模式,可支持精准匹配审稿专家,回溯评审过程,双轨补偿同行评议机制,分流保护审稿人隐私等功能[38]。该类型平台需开发更多功能协助组织审稿,提高审稿过程的效率。
(3) 第三方同行评议平台。第三方同行评议平台也被称作独立的同行评议平台,可实现论文评审和文章发表相互独立,其运营模式主要有两种,一种是向作者收取评审费用,另一种是向期刊收取评审费,或者两者兼有[39]。比如,Rubriq审稿平台向作者收取评审费,其最大特点是将审稿标准化、量化,读者在平台上查看每篇文章时,审稿人的评价可量化显示。Peerage of Science审稿平台向期刊收取审稿费,利用类似于社交媒体的方式组成学术圈进行稿件审理,这种操作方式可以使审稿过程透明、公开,也能充分调动作者、编辑和审稿人的积极性和能动性。
3 同行评议趋势特点
基于以上创新举措,本研究总结归纳了同行评议的发展趋势,主要呈现从单一线性模式变为多种非线性模式、从被动式审稿变为主动式审稿、从人工审稿转变为智能审稿、从中心化审稿变为去中心化审稿、从单一评审标准变为多样的评审标准、从非透明变为透明评议过程六大特点。
(1) 非线性化。稿件送审不再是仅由编辑主导送审的单一链条,而是呈现多种非线性模式;评审环节不再局限于论文投稿后再审,而是嵌入了科研活动生命周期,在科研计划实施前就可评审;审稿人、作者、编辑可以互动,而且审稿人之间可以相互评价评审报告。
(2) 主动化。从被动式审稿变为主动式审稿,通过创新举措调动审稿人积极性,通过主动认领、平台支持、认可激励、分享最新学术交流内容等方式让审稿人主动参与审稿。
(3) 智能化。从人工审稿转变为技术驱动智能审稿,人工智能尤其是机器学习技术能协助完成稿件初审、监督学术不端、精准发现审稿人等工作,提高了审稿效率,降低了审稿成本。随着审稿报告样本的积累,AI技术将能协助生成审稿报告,智能化辅助审稿。
(4) 去中心化。从中心化审稿变为去中心化审稿,区块链技术使评审过程可回溯、客观公正,增强了学术伦理规范。第三方审稿平台独立于期刊编辑,承担审稿功能,给出第三方的中立判断。小组审稿和交互性审稿等社会化协作审稿的有益实践在某种程度上也是去中心化的表现。
(5) 标准多样化。随着同行评议模式的多样化,评审标准也变得多样化,在高水平期刊中,评价标准严苛,退稿率高。而非选择性同行评议又大大降低了同行评议质量要求,仅关注稿件的合理性,忽视了创新性,为以商业盈利为目的的综合性巨型期刊提供了快速发展的机会。在未来发展中,根据出版物定位,同行评议的多样化标准将会持续存在。
(6) 过程透明化。一些同行评议创新实践是建立在开放科学背景下,基于开放式同行评议的创新,比如透明同行评议、出版后同行评议,还有的是为了避免学术偏见而开放的新模式,比如反弹式同行评议。无论是传统匿名模式还是未来更加透明的模式,都是为了更好地解决评审中的主观偏见、时效缓慢、诚信欠缺、权力寻租等问题。
4 建议与启示
随着互联网和人工智能技术的快速发展,同行评议模式和流程正在快速变革。同行评议过程趋向于开放透明、群体协作、互动交流,并不断引入新技术、新方法来解决实践问题。基于以上研究,本文提出我国学术期刊同行评议的优化建议。
4.1 丰富同行评议模式
当前我国同行评议仍以盲审为主,新的同行评审模式正在兴起,任何一种同行评议模式都不会完美,建议提供多种可选择的同行评议模式,吸收借鉴新型同行评议模式(比如透明同行评议、众包式同行评议等)的优点,改进优化自身的同行评议流程,缩短同行评议时间,提高同行评议质量,以实现更加透明的同行评议,形成作者、编辑和审稿人之间的良性交流。同时,加强新型同行评议模式的宣传,提高用户的认可,不断丰富和改进同行评议策略。
4.2 发展多元化认证和激励机制
认证和激励审稿工作是必不可少的。国内期刊普遍采用发放审稿费的方式激励审稿人,但精神层面的奖励比物质层面的奖励更能激励审稿人。期刊可采用致谢审稿人,评选“优秀审稿人”以及颁发证书等方式激励审稿人,并可尝试多元化的认证和激励机制,对处于不同职业发展阶段的审稿人采用不同的激励措施。比如对于职业早期的审稿人,多提供培训机会,反馈对其评审报告的评价,帮助其提高审稿水平。对于学术和审稿经验丰富的审稿人,可建立审稿委员会,把优秀审稿人发展为编委。另外,建议建立审稿认证共享机制,赋予优秀审稿报告DOI号,使得审稿报告作为审稿人研究成果方便引用和共享;建立我国审稿人培训教育基地,提供培训教育认证,与学术绩效评价关联,让审稿工作得到学术共同体的更大认可。
4.3 建立同行评议支撑系统和平台
目前稿件送审主要通过投审稿系统,编辑与审稿人的交流通过登录系统发送邮件的形式进行沟通。这种方式越来越不能适应同行评议开放、透明、互动、交流的趋势。建议加强大数据和人工智能技术的应用,加快建设学术社区型同行评议支撑系统和平台工具,实现智能辅助推荐审稿专家,在审稿人认领稿件时自动推送和匹配稿件;自动生成供审稿人参阅的评审报告,支持审稿人与编辑和作者互动交流以增强开放性和透明度,辅以同行评议培训和认证,有效评估审稿人贡献和激励管理,提高审稿效率和质量,使出版与审稿相互独立又相互依赖。另外,建议有关部门/机构或学/协会组织牵头建设独立的同行评议平台,并与预印本平台或期刊出版集群平台有机对接,让技术和数据赋能国内学术交流生态。
5 结语
随着学术论文出版数量的不断增长,同行评议面临越来越大的压力,其作为有效的学术质量控制机制应不断创新发展。本研究梳理了近年来同行评议发展的创新举措,发现同行评议的发展呈现出非线性、主动性、智能性、去中心化、标准多样化、过程透明化的特点,我国在同行评议的实践方面还比较单一,应进一步丰富同行评议模式,完善审稿人认证和激励机制,加强学术伦理道德监督和防范,加快同行评议平台快速创新,通过不断引入新技术、新方法来解决实践问题,在开放科学发展的背景下,探索适合中国国情的多元化同行评议发展策略。下一步需深入研究同行评议实践的内在运行机理,探索我国可行的多元化实施路径。