基于大数据技术优化科技期刊同行评议模式研究

■张静辉 刘 蔚 侯春梅 常宗强 叶喜艳

中国科学院西北生态环境资源研究院文献情报中心,甘肃省兰州市天水中路8号 730000

同行评议是指某一或若干领域的具有一定学术造诣的专家采用一种评价标准,共同对相关领域的一项科技活动进行评价的过程,是保障和监督学术研究的重要举措[1],是科学质量控制的核心环节,是促进科技资源合理优化配置的重要机制[2]。同行评议广泛应用于项目评审、人才评价、机构评估、论文评选、奖励评定、科技期刊论文评审等方面,强调“精准评价、分类评审、多元评定”的原则[1]。

科技期刊同行评议在稿件质量掌控和学术交流中扮演着关键的角色,是提升学术期刊质量的关键因素。然而,在科技论文评审过程中发挥重要作用的同时,同行评议也暴露出一些问题,如评审周期偏长、评审意见不公平等。为此,学者们从不同角度研究分析同行评议存在的不足,并探索优化同行评议的举措[3-11]。例如:朱琳峰等[3]通过调研期刊同行评议现状,分析专家审稿行为的影响因素,为提高我国科技期刊同行评议的效率和质量提供借鉴;胡志勇等[7]通过调研期刊同行评议现状,深入了解审稿专家对审稿行为的认知和态度,以探讨提高审稿时效和质量的对策;巢乃鹏等[11]基于对审稿专家和作者的比较研究发现,审稿专家群体和作者群体对同行评议的重要性、客观性、审稿方式、稿件质量标准等的理解存在显著差异。

大数据技术拥有收集、处理、存储、分析、利用海量易变数据信息的能力,且在动态变化的过程中不断升级[12]。随着大数据的深入发展,知识的传播更加便捷、途径更加多样、领域更加广阔。大数据技术等信息技术加快了科技的发展,科技成果和学术论文的质量和数量也在加速提升,为科技期刊的同行评议带来了机遇和挑战。很多科技期刊借助大数据技术优化同行评议模式:黄庆发等[13]认为为避免撤稿事件的发生,应优化同行评议环节,充分利用互联网技术和大数据技术对评审专家进行学者画像,建立健全的评审专家数据库;王永超[14]利用大数据技术和区块链技术提高评审结果的公正客观性。以上相关研究主要针对评审专家数据库建立和评审结果科学性进行论述,对于同行评议其他方面缺乏分析,因此,亟需开展利用大数据技术优化科技期刊同行评议模式的研究。

本研究通过文献调研等方式,总结分析科技期刊同行评议存在的问题,并结合多年从事编辑工作的思考,提出进一步优化同行评议模式的建议,以期提升科技期刊同行评议的效率和质量,为促进科技期刊同行评议客观、高效和良性发展提供参考依据。

1 同行评议存在的问题和困难

同行评议是科技期刊评审论文质量的主要方式之一,对论文内容质量具有评价和提升的作用[15-16],同时也存在一定局限性,如评审专家遴选方式落后、审稿周期长、监督机制和激励机制不健全、反馈机制缺乏等[16-19]。同行评议直接联系着作者、评审专家、编辑等,下面将从不同主体的视角对科技期刊同行评议中存在的问题和困难进行分析。

1.1 作者

目前,在国内大多数科技期刊同行评议中,作者是被动接受评审的角色,从作者的视角去认识同行评议对进一步优化同行评议模式具有重要意义。

(1) 评审意见是否客观公正。同行评议实质上是评审专家主观评价学术成果的一种方法,因此,在评审过程中一些主观因素会导致评审结果偏离公正,如个人偏见、直接或者间接的社会关系、利益冲突、竞争关系、缺乏责任感、对论文内容缺乏兴趣或者关注度不够、不甚了解交叉或者新兴学科等。这些因素导致评审专家无法准确反映稿件质量和存在的问题,致使审稿盲目性增大,审稿意见出现偏差甚至错误等。

(2) 审稿周期过长,研究成果时效性减弱。部分评审专家因为出差、休假、工作繁忙等,无法按时完成审稿任务。有些专家由于某些利益关系,虽然接受了评审邀请,但拖延审稿,致使科研成果的时效性和作者在学术圈中的话语权受到影响。

(3) 审稿意见的有效性。有效的评审意见是对稿件提升科学价值的建设性意见[20],但是审稿意见总会良莠不齐,如:审稿意见过于简单概括,内容不翔实,缺少针对性的评价和实质性的指导意见;审稿意见无关痛痒,不涉及关键学术性问题等。在上述情况下,作者会认为同行评议对稿件的学术质量提升没有价值。

1.2 评审专家

评审专家在同行评议中扮演着重要的角色,学术造诣高、责任心强、乐于奉献的评审专家队伍是保证科技期刊学术质量的重要贡献者。朱琳峰等[3]发现,科技期刊邀请的评审专家数量逐年增加,但评审专家的评审完成率逐年降低。据调查,大部分学者愿意担任评审专家,认为评审稿件是科研人员对行业的贡献和义务,同时通过评审可以了解同行的研究动态、追踪最新研究成果和进展等。但也有一部分学者由于各种原因拒绝审稿,审稿意愿远远低于发表自身研究成果的动力[16,21]。

首先,审稿任务过于繁重。科技论文稿件数量增长率远远高于评审专家数量增长率。研究发现,农业领域近50%的评审专家的审稿期刊数量在4种以上,且评审专家职称越高,负责评审的期刊数量越多,职称与评审期刊数量呈显著的正相关关系[16]。

其次,“小行业”稿件的学术匹配度有待提高。目前交叉或者新兴学科领域的稿件数量增多,要求评审专家的研究领域与待审论文的方向完全符合并不容易。由于专家认知有限或对论文内容缺乏深入研究,评审意见的客观性降低。

再次,编辑部与评审专家之间沟通和审稿意见反馈不足。问卷调查研究[16,18]发现:约80%的评审专家认为有必要与编辑部建立在线联系,以便提高同行评议的效率;80%以上的评审专家希望获得对评审意见的反馈,这包括他审意见、主编终审意见和刊发情况等。但是目前国内仅有少数科技期刊向评审专家提供反馈意见,且通常限于刊发情况。

最后,对评审专家的评价机制不完善。专家评审工作未纳入我国的学术绩效考核体系,时间紧、任务重,评审专家在评审工作中投入很多精力,在社会层面得不到有效认可,缺乏相应的贡献评价和激励机制。审稿工作与专家的科研业绩考核很难挂钩,导致专家评审动力不足。

1.3 编辑

在同行评议过程中,编辑负责选择评审专家、沟通协调、维护学术伦理等。首先,精准挖掘方向匹配度高的“小同行”专家。随着学科领域的日益细化,为避免陷入“外行评审内行”的窘境,编辑需要为论文匹配合适的评审专家,只有找到精准的“小同行”,才能真正实现学术质量的把关和提升。但是科技期刊专家数据库规模小、信息不全面、更新缓慢,致使编辑很难发现研究方向匹配、关联度高的“小同行”。其次,有效杜绝同行评议“假象”。特殊情况下,编辑部会采用作者推荐的论文评审专家以节省大量时间,但是这也造成同行评议“假象”,如专家通信方式造假、作者与专家勾结相互造假等。

综上所述,从作者、评审专家和编辑视角总结分析科技期刊同行评议情况,发现面临的问题主要集中于科技期刊评审专家队伍的规模不适应稿件数量增长的速度、评审专家的遴选方式有待优化、专家缺乏有效沟通及反馈方式、较难精准匹配同行专家、缺乏完善的评价激励机制等方面。下面将针对这些问题,在原来同行评议的基础上,利用大数据技术进一步改进和优化科技期刊同行评议模式。

2 基于大数据的同行评议模式优化措施

同行评议在科技期刊的“三级审稿制度”中发挥着重要的作用,是保证论文质量的关键。针对上述同行评议中存在的问题,利用大数据大、多、快的优势,分别从构建“广、快、全”的评审专家数据库并实行阶梯式动态管理、建立专家信用评价体系、健全互动反馈评审机制、完善多元化的奖励机制、加强协同与沟通等方面提出改进和优化同行评议的举措。

2.1 构建“广、快、全”的评审专家数据库

科技期刊将本学科及其交叉学科领域内的专家以“信息树”的形式聚集在一起,形成专家集群。目前,科技期刊寻求评审专家的主要方式有编委推荐、作者自荐、专家自荐、“小同行”专家寻找等,仅适用于个别或者小规模的专家遴选,由此构建的专家数据库面临着涵盖信息面窄、囊括专家数量有限、更新速度慢等不足,导致送审精准度欠缺、评审质量不高等问题,不能满足大数据背景下科技期刊同行评议发展的需求。因此,科技期刊应打破传统思维,将大数据技术应用于评审专家遴选,从而获取全面信息、优化专家遴选方式、扩充专家队伍,建立可满足编辑部需求的完善的评审专家数据库,为实现评审专家自动匹配奠定基础,优化科技期刊同行评议模式。

充分利用互联网技术和大数据信息挖掘技术,借助现有的综合类和专业类文献数据库中的研究论文、会议论文、专利等文献资源和项目数据,搜集领域内专家的著作、合作论文以及任职情况等信息,建立多参数、信息健全的评审专家数据库。细化的数据库增加了评审专家的层次、职称、领域等信息,在一定程度上对于提升评审专家匹配的科学公平性具有重要意义。必要的信息保障有:对数据进行标准化,建立专家和论文的数据模型,实现专家信息和论文信息的数字化;利用机器学习方法,根据专家论文引用等指标对专家进行评估,明确专家的学术水平和研究成果,从而选出德才兼备、责任心强、乐于奉献的专家。同时专家库需要及时更新与维护:一方面将审稿质量极差、责任心不强的专家剔除出库,同时自动识别合作作者、师承关系等信息,尽量避免作者和评审专家的人情因素;另一方面,利用数据挖掘和机器学习等新技术,及时添加科研新秀,特别是活跃于科研一线、精力充沛、审稿快准精的中青年专家,优化专家库的结构。根据评审工作的表现反馈,加强对专家实际审稿行为的研究和分析,找到其审稿规律,不断优化数据库。利用大数据实时处理技术还可以建立规范的专家入库、工作考核和退库机制,以及期刊的评审专家库信息共享模式等。

2.2 阶梯式动态管理专家数据库

基于大数据技术构建的评审专家数据库具有涵盖面广、信息全且更新快速及时的特点,是期刊实现阶梯式动态管理的前提。在大数据技术的信息收集和分析功能的支撑下,根据评审指标打分定级,对评审专家进行选拔,依次将评审专家层次细化为外审专家、优秀专家和资深专家。资深专家为科技期刊编委会成员,是学术领军人才且对期刊具有很强的责任感;优秀专家中表现突出的也可以晋升为资深专家。对评审专家的层次划分也可上升为一种学术荣誉,有利于增强评审专家的责任心,提高评审工作的效率和质量。阶梯式动态管理机制如图1所示。

图1 阶梯式评审专家送审和激励措施

《高原气象》编辑部结合评审专家表现、作者和编委会成员评价,定期对评审专家进行考核评比,实现使优秀者晋级、表现不佳者让贤的动态管理。日常评审工作中各层次评审专家各有侧重。针对评审意见矛盾或者作者质疑评审意见的特殊稿件,专业编辑咨询优秀专家以获得公平公正的评审意见,直至作者接受评审意见,或者邀请资深专家给予终审意见。对于时间紧、要求高的专刊或专栏稿件,编辑部可以开通绿色通道,直接邀请优秀专家和资深专家进行高质量评审。总之,根据不同情况,视轻重缓急采取多个评审途径,力争为作者、评审专家提供优质服务。

2.3 建立同行评议的专家信用评价体系

科技期刊的同行评议联系着作者、评审专家、编辑和读者,因此同行评议中的专家信用评价体系应以“互评互议,彼此监督”为原则,涵盖专家的个人基础信息、评审历史、评审后期反馈等信息,以期实现同行评议的科学发展,促进科学进步。

利用大数据收集技术和存储技术,及时跟踪记录专家的评审行为,做好专家评审相关的信息更新和维护。为保证评审流程的公正性,评审前,要求评审专家签署科研诚信承诺书,建立评审专家的责任机制。评审过程中,评审流程规范化、评审规则体系化。采用打分定级机制,针对每个环节或者步骤,给予详细分数和评价依据。评审结束后,通过大数据技术跟踪记录,对评审专家的行为进行监督,确保评审工作科学性和客观性。

借助网络媒体技术公开专家信用评价数据,在征得作者和评审专家同意的前提下,编辑部可以在不同范围内将稿件的评审意见、修改意见等公开,读者可以了解同行评议过程,并进行打分评价。总之,结合作者、编辑和读者对评审工作的评价,借助加权算法得到专家的最终评分。以作者、编辑和读者对评审工作综合打分的“计贡献”方式认定评审专家的学术贡献,该贡献认定结果也是评审专家在专家数据库中实现晋级的重要依据。编辑部可同时借助传媒技术在相关的平台公开这些信息,强化舆论监督,从而提高同行评议透明度。

2.4 健全互动反馈评审机制

在同行评议中,作者往往对有异议的评审结果无处申诉或者无法得到满意的反馈。借助大数据技术可构建互动反馈评审机制。简言之,评审专家在评审过程中,对待审稿件的质量进行打分;编辑和作者在评审结束后就评审专家的履职情况进行打分。之后,通过大数据处理技术实现信息交换,互相监督。

期刊在网络投稿平台开设“审稿意见公开”模块,该模块分为完全公开和部分公开两部分。完全公开部分针对已发表论文实行专题分类管理,在评审专家和作者双方同意后,将论文、评审意见、退修回复、终审意见等信息向所有的作者、专家、读者公开,以供专家、作者、读者学习交流。部分公开部分针对没有公开发表的论文,为保护作者的知识产权,在作者、评审专家小范围内公开信息,以加强作者和专家之间的沟通交流。这既满足了评审专家的知情需求,提升专家的认同感和责任感,提高审稿质量和积极性,又加强学者之间的意见交流,有效地校正审稿中存在的非理性行为,有助于提高学者对期刊的认可度[22-23],还可以维护作者与专家之间的交流渠道,避免其中的信息失真。

2.5 完善多元化的激励机制

适当且及时的激励始终是维持科技期刊评审专家工作热情、提高评审意愿、保证评审质量的有效手段。因此,编辑部应集思广益,从专家需求角度出发,发挥大数据连接各机构平台的桥梁作用,构建多元化的奖励机制。

(1) 晋升优秀专家。借助多层次专家数据库中的评价体系以及网络投稿平台中的评审意见评价体系,综合作者、编辑和读者对评审意见的信息反馈并实施数据标准化,采用加权算法遴选出优秀专家和资深专家。编辑不定期开展评审专家评选工作,并授予“优秀/资深审稿人”等荣誉称号并发放荣誉证书,同时在期刊网站和微信公众号等社交平台上进行宣传报道。这有利于加强评审专家的责任感、荣誉感和主人翁精神,从而更好地参与期刊建设。

(2) 学术交流与合作办刊。与评审专家进行多方面的合作:以期刊为媒介,举办科学论坛、学术沙龙等,为专家学者搭建学术交流的平台;以传播科研成果为初心,根据专家需求,组邀特色专刊等;借助大数据技术的开放特性开展学术交流,获得业界的认同,提升行业影响力,实现编辑部与专家合作办刊的双赢局面。

(3) 举办学者见面会。编辑部定期开展编委会议和不定期开展专家论坛,邀请优秀评审专家和编委参加,搭建学者间的沟通交流平台。专家可分享评审经验,参与期刊的发展,争取早日进入期刊的编委会。同时定期举办小型的某一研究领域的优秀专家和优秀作者的见面会,分享学术成果,促进科研的纵深发展。

占莉娟等[24]发现与学术交流、同行动态以及稿件自身有关的激励措施对评审专家影响较大,同时经济类奖励也很重要。科技期刊可以依据同行评议中的监督打分体系,借助大数据技术和区块链技术等构建“学术+商城”的积分激励模式,使同行评议贡献可视化,将评审工作与专家自主选择回报连接起来,使科技期刊和评审专家实现共赢。

2.6 加强协同与沟通

(1) 严控初审,提高送审精准度和审稿质量。低质量稿件会逐渐削弱评审专家对稿件的判断能力,降低对期刊的热情;高水平稿件能引发评审专家的好奇心,满足评审专家的价值实现和能力提升需求,有助于提高审稿意愿和对期刊的满意度。因此,编辑应严控稿件的初审质量,将初审工作做到尽善尽美,减轻评审专家负荷。同时,编辑一方面基于大数据的数据分析、智能检索和推荐技术等,实现待审稿件和评审专家的自动匹配;另一方面,利用大数据技术收集与评审工作相关的信息,关注评审专家的研究动态,熟悉评审专家的研究进展,有针对性地选择评审专家,做到有的放矢,进而提升同意评审的概率。

(2) 发挥在同行评议过程中的协调作用。提高评审意见有效性,在向作者转达评审意见之前仔细研读,剔除与稿件内容无关的意见;密切关注稿件的同行评议流程,对于拖延审稿者,在评审期限将近时及时沟通,了解进展,或及时增加评审专家,保证评审结果及时有效。控制稿件的整体审稿时长是提升期刊同行评议效率、优化作者服务能力的重要举措,且对于前沿论文抢占首发权具有更为重要的意义。对于有争议稿件,或多次复审无果的情况,及时邀请专业匹配的优秀专家甚至编委进行仲裁;对于出现不当行为的评审专家,实施记过甚至取消评审资格的处罚,同时将相关情节记录到专家数据库中。利用大数据技术可避免相关情况再次出现,并及时完善更新专家数据库,扩充专家队伍。编辑部适当降低稿件送审频次,尽量避免在项目集中申请或验收等忙碌时段送审,以保证审稿质量,提高评审专家审稿意愿。

(3) 打破壁垒,建立专家、作者和编辑协调沟通平台。充分利用社交平台如QQ、微信等,以社群管理评审专家和作者,加强在线沟通交流。科研人员可以在平台上自主交流和分享自己的研究成果,以便相互评价和学习,加强交流和合作,促进学术成果的共享和传播。编辑将待审稿件的主题发到专家群中,请专家认领或推荐合适的人选,有效避免专业不匹配的问题;经作者和评审专家同意,将评审意见分享到群里以供交流等。此外,可在远程投稿系统中搭建作者申诉模块或提供评审专家和作者直接匿名线上交流渠道,使作者可以及时针对文章的评审意见进行申辩、说明和必要的补充。

3 结语

在大数据时代背景下,科技期刊同行评议面临着许多变革。本文针对科技期刊同行评议普遍存在的一些问题,结合大数据技术,从评审专家遴选、专家数据库动态管理、评价激励和监督反馈4个方面阐述对同行评议的改进和优化建议。但当前研究具有一定的局限性:大数据技术可以优化同行评议流程,提高效率,同时也带来了新的挑战和问题,数据隐私和安全保护、技术应用的限制和潜在局限性等需要进一步的分析研究。