科技期刊同行评议现状调查与分析
——基于国内药学领域审稿专家群和作者群
2019-06-27储冀汝钟正灵
■储冀汝 李 娟 钟正灵
皖南医学院第一附属医院《中国临床药理学与治疗学》编辑部,安徽省芜湖市镜湖区赭山西路2号 241000
同行评议是科技期刊普遍采用的评估稿件质量的基本制度,在控制期刊的学术质量方面发挥重要作用[1]。同行评议也称外审,与编辑部“三审制”共同组成审稿流程的重要环节[2]。但现行的同行评议流程遭到很多批评和质疑,例如有稿件作者认为国内科技期刊同行评议主要存在的问题包括评审时间比预期更长,评审过程不透明,评审结果对改善稿件的作用不是很大,评审结果有主观性等[3],审稿专家认为需要加强同行评议的审稿意见反馈等[4]。
同行评议形式在国内外学术领域的认识也有差异。一项基于Nature系列杂志的大样本调研结果表明,只有很少部分的作者主动选择双盲评审,而大部分作者倾向于单盲评审(12% vs. 88%)[5]。调研也表明,Elsevier、Nature出版集团、美国光学学会(Optical Society of America, OSA)等国际出版机构所采用的同行评议形式为单盲[1],而国内很多科技期刊仍采用双盲评审。
需要注意的是,对于学术期刊来说,审稿专家中的相当一部分人同时也是作者,期刊的审稿专家群与作者群既有相似性,也有差异性[6]。作为同行评议过程的评议者与被评议稿件作者,调查这两个群体对于同一问题的看法,分析其异同,对于整个流程的改良及规范具有重要参考价值。现有文献在各自学科领域或从不同角度调研审稿专家及作者群体对于同行评议看法的异同[3,6],但由于专业性学术期刊具有学科差异性,尚缺乏针对国内药学领域的审稿专家和作者对于同行评议看法与期望的调研和描述,如单篇审稿时长、审稿意愿的影响因素、同行评议形式(盲法或公开)、论文质量及非质量因素如何影响审稿结果、审稿意见反馈等。
为了解科技期刊同行评议的现状,准确把握药学领域审稿专家和作者对于同行评议的认识异同,深入探寻存在的问题及可能的改进策略,笔者对药学领域科技期刊同行评议的现状进行调查与分析。
1 研究对象与方法
本研究分别设计了针对审稿专家和作者的调研问卷。调研问卷涉及调研对象的基本信息与审稿专家和作者共同关注的问题,包括同行评议的满意度及认可度、同行评议形式、稿件评价标准、审稿意见反馈等。
由于专业性学术期刊的学科分布差异大,为了使分析结果具有一定的针对性,本研究以药学领域为例。调研对象以《中国临床药理学与治疗学》杂志审稿专家库和作者库为基础,专业方向涵盖内、外、妇、儿等临床学科的药物治疗学、临床药理学、基础药理学等药学研究领域,绝大多数调研对象同时是国内外其他药学期刊的审稿人,调研结果可以代表国内外药学领域在研人员对于同行评议的看法和期望。本研究使用问卷星网站(https:∥www.wjx.cn/)制作调查问卷,之后将问卷生成相应的链接,并通过E-mail定点发送给受访对象,分别为审稿专家版(534份)和作者版(678份),问卷回收率分别为28.8%(154份)和21.8%(148份)。
采用SPSS 18.0软件对问卷结果进行统计学分析,计量资料的两组间比较采用t检验,计数资料的两组间比较采用χ2检验,以P<0.05为差异具有统计学意义。采用Origin 2017软件进行本研究结果图表的制作。
2 调研结果与分析
2.1 同行评议重要性及整体满意度调查
2.1.1 同行评议重要性调查
同行评议的重要性调研结果如图1所示。结果显示,有88.31%的审稿专家认为同行评议非常重要,高于选择此项的作者比例(67.57%)。所有审稿专家均肯定了同行评议的重要性,而尚有少数作者认为同行评议不太重要(1.35%)或不知道(1.35%)。χ2检验(χ2=22.187,P<0.001)结果表明,审稿专家群与作者群对于同行评议重要性的认识有统计学差异。引发此差异的原因可能是审稿专家在学术领域内的丰富经历使其充分认识到同行评议对于稿件质量把关及学科发展的重要意义。
图1 同行评议的重要性调研
2.1.2 同行评议的公平性及满意度调查
本研究采用量表题调研作者对于目前同行评议的公平性及满意度,调研结果见表1。以0分表示不公平(不满意),10表示完全公平(非常满意)。面向作者的同行评议公平性调查量表的平均分为7.78分,满意度调查量表的平均分为7.88分。这就表明,作者基本认可同行评议的公平性,对其具有一定的满意度,但同行评议尚有改进的空间。绝大部分审稿专家(98.7%)认可同行评议过程的公平性。
表1 作者对于目前同行评议的公平性及满意度调查(n=148)
2.2 同行评议流程
2.2.1 单篇稿件审稿时间
关于单篇审稿时长,本调研设置了审稿专家期望值、作者期望值及作者实际经历天数这3个题目,选项包括:<15天、15~30天、>30天,结果见图2。χ2检验显示,审稿专家期望值与作者期望值具有统计学差异(χ2=22.331,P<0.001),而作者期望值与作者实际经历天数也具有统计学差异(χ2=76.109,P<0.001)。有趣的是,审稿专家选择希望15天内完成审稿的达76.62%,高于作者选择此项的54.05%,也高于作者实际经历天数选项的14.86%。这表明审稿专家主观上希望稿件审理时间越短越好,但工作繁忙,行政、科研、教学等事务缠身,或因稿件质量欠佳、专业方向不符等原因,导致审稿延期,实际上相当一部分稿件的实际审稿时间超过30天(45.94%)。
图2 单篇稿件审稿时间调研
2.2.2 审稿工作量
审稿工作量调研结果见图3。所有被调研的审稿专家都表示愿意接受审稿。统计结果表明,审稿专家对于审稿工作量的期望值与实际审稿工作量的差异具有统计学意义(χ2=31.783,P<0.001),其中选择“每月1~2篇”的审稿专家期望值大于实际值(46.75% vs. 28.57%,χ2=10.842,P=0.001),表明实际工作量在审稿专家的可承受范围内。大多数审稿专家(80.52%)的实际工作量为“每月2篇以内”。根据Publons平台于2018年发布的《全球同行评议现状报告》,研究人员对一篇论文进行同行评议平均需要19.1天[7],即每月2篇以内。可见本次调研的审稿专家群体的实际审稿工作量在合理的范围内。
图3 审稿专家的审稿工作量调研
2.2.3 审稿专家对稿件统计学及行文格式的关注
所有被调研的审稿专家都会关注稿件的统计学方法的应用,其中37.66%选择了非常注意,49.35%选择了注意,而有12.99%的审稿专家认为统计学专业性强,无法进行把关。药学类科技期刊有一些运用复杂统计学方法进行数据分析的稿件,对待这类稿件,期刊编辑就必须邀请统计学专家进行把关。调研结果还显示,80.52%的审稿专家会因为行文缺陷而退修,而15.58%的专家会因此而退稿。此结果充分说明稿件行文格式具有非常重要的作用。
2.3 审稿意愿
调研对象中关于愿意接受审稿的原因主要有以下几点:获邀担任审稿人是对学术成就的认可和肯定(83.12%)、了解同行研究状态(64.94%)、审稿有利于跟进研究成果(63.64%)、审稿是研究者的贡献与义务(58.44%)、享受帮助作者改进论文的快乐(47.65%)。还有部分审稿专家选择了“可以使自己成为学术团体中的一员”及“有利于增加个人的职业/事业声望”。
被调研的审稿专家中曾经有过拒审经历的占41.56%。谈及拒绝接受审稿的原因,主要是稿件内容与自己研究领域不相符(81.25%),还包括个人原因(生病、休假等)(21.88%)、工作繁忙(18.75%)、论文质量太差(15.63%)等。对于接收到的稿件与自己的研究领域不匹配时审稿专家的应对办法,有67.53%的人选择阐明观点并推荐合适的审稿专家,23.38%的人选择直接拒审,5.19%的人会硬着头皮给出结论。可以看出稿件与审稿专家的专业不契合时,稿件被拒审的概率较高。这就提示编辑在初审阶段应通过学术不端文献检测系统、检索期刊数据库等手段对稿件进行初评,如有问题,直接退稿;在选择审稿专家时应有的放矢,以降低拒审率,提高专家审稿意愿[3,8]。
本调研中,80.52%的专家喜欢使用在线审稿系统进行审稿,同时有87.01%的专家表示审稿评价表的设置有助于评判审稿。这就提示,科学设计的审稿评价表能够对稿件质量进行量化分类评价,便于操作,有助于提高审稿质量和效率。同时,在线投稿系统的完善也可有效提高审稿效率[9]。
2.4 同行评议形式
期望的同行评议形式调研结果如图4。在所调研的对象中,最受审稿专家和作者欢迎的评议形式为双盲评议(58.44%,74.32%),此结果与目前我国大多数科技期刊论文的评议形式仍是盲法评审的现状一致[10-11]。值得注意的是,尚有15.58%的审稿专家和17.56%的作者选择了公开评议,这就为同领域科技期刊进行开放式同行评议的探索与实践提供了理论依据和数据支持[11-12]。χ2检验结果显示,审稿专家与作者群体对于单盲评议、双盲评议、公开评议的选择差异具有统计学意义(χ2=17.044,P<0.001)。其中选择单盲评议的审稿专家占比25.98%,高于作者的8.12%(χ2=16.900,P<0.001)。可以看出,与审稿专家相比,作者对于双盲评议的倾向性更明显,原因可能是隐去作者姓名和单位信息能够部分消除稿件评审中的主观因素。
对于选择了公开评议的审稿专家和作者,本研究进一步调研了开放式同行评议(Open Peer Review,OPR)的具体形式(图5),包括以下4种:(1)公开身份,作者和审稿人彼此知晓;(2)公开报告,审稿报告和相关文章一起发布;(3)公开身份和报告,作者、审稿人、编辑均彼此知晓,评审报告公开;(4)公开最终版本评论,对已出版论文的最终版本进行公开评论。χ2检验结果显示,审稿专家和作者对于OPR的形式选择差异具有统计学意义(χ2=15.850,P=0.001)。选择公开身份与公开身份和报告的作者(61.53%)远高于选择此两项的审稿专家(8.33%)。显然,作者对于公开审稿专家身份的评审方式非常期待。审稿专家大多选择公开报告(41.67%)和公开最终版本评论(50.00%)这两种OPR形式,而对于公开身份却并不赞同。这与已有调研结果一致,相当一部分审稿专家基于利益冲突、影响审稿意愿等原因而不愿公开身份审稿[11,13-15]。
图4 审稿专家和作者期望的同行评议形式(盲法或公开)
图5 审稿专家和作者期望的开放式同行评议形式
2.5 影响同行评议结果的稿件因素
本调研采用李克特5级量表,将重要程度分为5级,分别是最重要(5分)、非常重要(4分)、比较重要(3分)、有些重要(2分)、不重要(1分),调研受访对象关于稿件的质量因素和非质量信息对同行评议结果影响的认识,调研结果如表2所示。
从调研结果可以看出,在审稿专家和作者的认识中,稿件是否有学术不端现象是最重要的评价标准,得分分别为(4.53±0.60)分和(4.14±0.80)分。除学术不端外,调研结果显示审稿专家和作者共同关注的因素为稿件科学性、创新性、学术或技术水平的先进性、研究内容的重要性、讨论及结论的充分性及合理性。同为科研人员,审稿专家和作者都认为以上这些稿件质量相关因素对于同行评议的结果有决定性的影响。同时,就10项稿件质量因素的总体均值来说,作者评分(3.61分)低于审稿专家(3.67分)。χ2检验结果表明,有多达8项质量标准在两个群体的选择分布差异具有统计学意义(P<0.05 orP<0.01);t检验结果表明,两个群体在选项分值上有5项存在统计学差异(表2)。总体来说,较之作者群体,审稿专家对于稿件质量标准的把握更加准确和严格。
本调研也关注了基金项目和作者的单位、学历学位、职称职务等非质量信息对于同行评议结果的影响。其中,关于职称职务信息,两个群体的选项分值差异具有统计学意义[P(t检验)<0.01],作者的均值要高于审稿专家。无论是审稿专家还是作者,都认为基金项目是稿件非质量因素中最重要的参考信息。总体来说,非质量信息的均值要低于质量因素(审稿专家:2.34 vs. 3.67;作者:2.57 vs. 3.61)。说明两个群体皆认为非质量信息在同行评议中有一定的参考价值,但并非决定性因素。
表2 稿件质量因素和非质量信息对同行评议结果的影响调研
注:审稿专家评分和作者评分的数据格式为均数±标准差。
2.6 审稿意见反馈
本研究对科技期刊审稿意见反馈的相关问题进行了调研。调研结果显示,有84.42%的审稿专家认为期刊有必要向其反馈审稿意见,原因主要有:有助于提高自身审稿水平(87.01%)、有助于与同行进行交流(61.04%)、有助于提高自身专业水平(49.35%)、能有效校正审稿中的非理性行为(46.75%)。关于希望得到哪类的审稿信息反馈,有87.01%的审稿专家希望看到编委会(或主编)的终审意见,76.62%的专家希望看到他审意见(另一位审稿人的意见),55.84%的专家希望得到最终刊出结果的反馈信息。76.62%的审稿专家希望在稿件远程管理系统中自动显示审稿意见反馈,而41.56%的专家希望由编辑发送点对点的邮件。《中国临床药理学与治疗学》通过邮件方式,在稿件完成同行评议并决定稿件取舍后将稿件录用与否的结果告知审稿专家。本次调研的审稿专家中有46.05%的人同时给3种以上医药类期刊审稿,54.55%的专家评审过国外期刊的稿件。他们提到,包括CancerLetters、ScientificReports、AnnualOncology、ClinicalTherapeutics等国外医药期刊,以及《中华医学杂志(英文版)》、《中国医学影像技术》等国内医药期刊会将审稿意见反馈给专家。受访专家还表示:反馈他审意见及终审结果会提升审稿人的获得感、认同感、成就感,并可在一定程度上校正可能的误审、误评;当同行评议意见相左时,反馈审稿意见有利于建立良好机制来保障好的稿件可以被录用。
2.7 同行评议对论文的改进作用及存在的问题
2.7.1 同行评议对论文的改进作用
此次被调研的作者中有95.95%的人认为同行评议对论文的改进有帮助。关于具体改进的方面,作者认为主要体现在结果与讨论部分(74.65%)、图表等数据呈现(45.07%)、方法部分(42.25%)、语言表达(33.80%)、结论部分(30.99%)、摘要(16.90%)等。
2.7.2 同行评议存在的问题
受访作者认为目前同行评议主要存在的问题有:评审周期过长(70.27%);评审过程不透明,不能确定审稿专家是否有利益冲突或其他不适合评审的原因(48.65%);评审结果不具体,对改善稿件质量帮助不大(41.89%);评审结果不客观,没有准确反映稿件质量存在的问题(22.97%)等。说明同行评议的优化尚需从缩短审稿周期、加速开放式同行评议的探索与实践,提升审稿质量等方面努力。
3 讨论
本次调研基于国内药学领域的审稿专家和作者群体。受访的审稿专家群体多为中青年,是各自研究领域的中坚力量,他们认为期刊与审稿专家之间是互相信任的关系,专家负责为期刊把好学术关,他们有义务与期刊共同努力,为期刊发展贡献力量。审稿专家和作者均认可同行评议的重要性、公平性、合理性。所有被调查的审稿专家的工作量在合理范围之内,与Publons平台进行的大样本量调查结果一致[7]。基于学术认可度、同行交流、学术贡献等内在动因,审稿专家大多非常愿意接受送审邀请,然而当出现稿件与自身研究方向不符、稿件质量太差、文字撰写太混乱等情况,就会极大影响审稿专家的审稿意愿。这就提示期刊编辑应在初审时去粗存精,提高初审退稿率,送审时才能有的放矢,降低专家工作量,提升审稿意愿,降低拒审率。
就同行评议形式来说,相较于OPR,盲法评议仍然是审稿专家和作者倾向的方式。基于评审合理性和公平性的考虑,作者群体更倾向于双盲评议,然而国外期刊审稿经验丰富的受访专家表示,国际期刊的通用做法仍然是单盲评议,因为稿件中的作者信息对于稿件评审有一定的参考价值,且对于如今的“小同行”评审来说,由于研究方向细化,科研人员对彼此研究领域非常熟悉,双盲其实并不能真正地起到提升审稿公平性的作用[5]。不可忽视的是,尚有相当一部分受访对象选择了OPR这种还在探索中的新型同行评议形式,这与国际科研领域的开放性、交流性趋势相吻合。有很多国内外的杂志正在尝试采用OPR方式,如生物医学中心(BioMed Central,BMC)系列期刊中的医学类期刊[1],又如PLoSONE[16]采取开放式评议,具体形式为“文章发表后的公开评注和讨论”,再如《心理学报》采用传统同行评议后公开审稿意见等。总的来说,国内外科技期刊对OPR的研究和实践还处在初级阶段,实施OPR的期刊较少,需要各期刊根据自己的特点探索合适的OPR策略[17]。本次调研结果表明,审稿专家更倾向于公开审稿意见及进行最终版本评论,而作者则对公开审稿专家身份抱有期待。两个群体的认识差异提示国内药学期刊在进行OPR实践时应充分考虑现状,采取审稿专家和作者都可以接受的方式。OPR的实践之路要从编辑规范、具体形式的选择、流程的合理设置,乃至全社会科学研究的规范方面努力,才能使其更加顺利地推行。
关于稿件评审中质量标准及非质量信息的作用,审稿专家和作者都认为学术不端是稿件评价的最重要标准。近年来,学术不端已成为国际上普遍关注的问题。剽窃,编造、篡改结果及虚假同行评议等形式的学术不端引发的撤稿屡见不鲜[18-20]。减少甚至杜绝此类现象的发生,除了需要期刊编辑和科研监管机构进行管控之外[21-22],更重要的是科研人员提高自身的科研道德和诚信意识,认识到学术不端是影响论文同行评议结果的首要因素。质量标准中的稿件科学性、创新性、先进性、合理性等与研究水平相关的因素对稿件质量评价有决定性影响,而非质量信息对于稿件质量评价有一定的参考作用,特别是基金项目级别的高低。
本次受访的审稿专家中有54.55%的人有国外期刊的评审经历。关于国内外期刊同行评议流程的差异,有几位专家同时提到国外期刊对于审稿意见反馈的流程设置。他们表示,国外医药期刊的审稿意见反馈较国内同类期刊更为普遍和及时,所有关键节点均有E-mail通知,且会将他审意见和终审结果反馈给审稿专家。他们还表示,反馈审稿意见能提升审稿专家的获得感、认同感、成就感,并在一定程度上校正可能的误审、误评;当同行评议意见相左时,反馈审稿意见有利于建立良好机制来保障好的稿件可以被录用。占莉娟[23]提出通过将学术实力强的审稿专家意见反馈给学术实力相对一般的审稿专家,可有效提高后者的审稿水平。同时她也提出,审稿意见反馈工作应细致到位,切忌简单粗暴。综上所述,国内同类科技期刊应该加强审稿意见反馈工作,优化反馈的形式和方式,加强编辑部与审稿专家的沟通,进而有效提高审稿质量。
4 结语
通过调研,本研究得出科技期刊同行评议流程优化的方向和策略,即加强初审筛选力度,有的放矢地送审稿件,优化稿件评价表;采取合适的方式进行OPR的探索与实践;加强审稿意见反馈。本研究对于科技期刊实施同行评议具有一定的参考价值。但不足之处在于,本研究样本选择范围较窄,并未从多期刊角度分析与总结医药类科技期刊同行评议的各方面现状,且未涉及同领域科技期刊实施开放式同行评议的现状调研,笔者将在以后的研究中进一步深入探讨。