医学科技期刊专家外审结论与定稿会结论的一致性分析
2017-03-26■许倩
■许 倩
《中华神经科杂志》编辑部,北京市东城区东四西大街42号 100710
同行评议制度作为医学科技期刊的审稿传统,是除三审责任制度外的一个重要环节。由于医学科技期刊专业性较强,医学专家的评审意见将直接影响编辑部对稿件的最终评定。因此,同行专家的审稿工作对于保证学术期刊论文质量至关重要[1-2]。由于专家们的审稿视角不同,同一篇稿件的专家外审意见不尽相同,甚至会截然相反。对于这种存在争议的稿件,编辑部一般会从中进行筛选,通过定稿会再次审阅,由参会的所有专家集体讨论后,得出一致性结论,为稿件的最终处理提供最具价值的参考。同行评议及定稿会制度对提升科技期刊论文学术质量的重要意义已引起学者的关注,高雪莲等[3]认为专家定稿会是提高科技期刊学术水平的关键举措,郭鲜花[4]认为引入定稿会机制能够加强科技期刊编辑部对稿件质量的把关。但是如何从众多来稿中筛选出适合定稿会再次讨论的稿件?不同类型稿件的外审意见与定稿会结论的一致性是否存在差异?造成这种差异的原因是什么?目前,上述问题的相关研究仍鲜有文献报道。
《中华神经科杂志》编辑部对符合稿约要求的来稿通过远程稿件处理系统提交给3位不同地区的外审专家进行盲审,并将专家外审意见不一致的稿件提交到最近一期的专家定稿会,因此每月定稿会讨论的稿件数量均在40篇以上,且每次会议耗时约4小时。医学科技期刊的审稿专家多为临床医师,在百忙中抽出时间来参加定稿会已实属不易,若定稿会审阅稿件数量过多,会议耗时过长,会造成专家们的审稿疲惫。且对每篇外审意见存在分歧的稿件均等待定稿会再次讨论,也会延长稿件的处理周期,耽误作者改稿或另投他刊的时间。因此,压缩专家定稿会讨论稿件的数量是十分必要的。
本文将2016年11月至2017年4月经定稿会讨论稿件专家外审意见及定稿会结论进行分类汇总,分析不同类型稿件外审意见和定稿会结论的一致性,并探讨其产生差异的可能原因,为编辑部有效筛选定稿会讨论稿件提供理论依据。同时探讨部分稿件是否可以根据外审意见直接处理,既缩短了稿件的处理周期,又减轻了定稿会专家的工作负担。
1 研究方法
1.1 资料收集
利用编辑部远程稿件处理系统,汇总2016年11月至2017年4月《中华神经科杂志》6次定稿会的讨论稿件,按收稿日期进行排序,将这些稿件的外审意见、定稿会结论进行整理。最终共收集259篇稿件,其中,临床研究117篇,占稿件总数的45%;综述67篇,占稿件总数的26%,病例报告54篇,占稿件总数的21%,其他类型的稿件包括基础研究10篇、专家指南与共识4篇,Meta分析3篇、临床病理讨论2篇、学术讨论2篇。从上述统计可以看出,因外审专家意见存在分歧,需要在定稿会进行再次讨论的稿件以临床研究、综述、病例报告这3种类型的稿件居多,当然这也与这3类稿件的投稿数量所占比重较大有关。
1.2 汇总审稿意见
外审专家均通过编辑部远程稿件处理系统提交审稿意见,审稿结论分为退稿、退修和录用3种,笔者利用审稿系统整理所收集稿件的外审意见,并记录所有外审专家的最终审稿结论。定稿会审阅稿件的方式是由编辑部将需讨论稿件的内容制成PPT,供参会专家集体讨论,并将稿件的外审意见打印出来供专家参考,再由会上具有相同研究背景的专家对稿件的内容及意义进行简要阐述,最终由该专家将所有参会专家集体讨论的意见进行汇总,并进行文字记录,形成最终审稿结论。定稿会的最终审稿结论分为录用、修后录用、修后再审、退稿4种。笔者整理了定稿会讨论稿件的文字意见,并汇总定稿会专家的审稿意见及最终审稿结论。
1.3 审稿结论一致性判定
至少有1个外审结论为退稿且无录用结论的稿件,若定稿会最终结论为退稿,则判为退稿一致,否则判为退稿不一致;至少有1个外审结论为录用且无退稿结论的稿件,若定稿会最终判定为修后录用或录用,则判为录用一致,否则判为录用不一致。
2 研究结果
2.1 专家外审结论的一致性
对上述259篇稿件的专家外审结论进行分析发现,审稿结论差异较大甚至完全相悖的稿件有50篇(专家外审结论兼有退稿和录用的结论),主要为综述类稿件,其原因可能与审阅该类稿件需要审稿专家以阅读大量的专业文献为基础,时刻跟进该领域的最新研究热点和科研动态,全面掌握学科的发展现状和趋势。而审稿专家的研究领域、研究经历不尽相同,研究方向各有侧重,对本学科发展情况的掌握也存在差异,因此对稿件质量的判断意见不可能总是一致[5]。另外,部分审稿专家的外审意见过于简单、笼统,如“不符合本刊发表要求,建议退稿”“按照编辑部版面需求酌情发表”“对临床有一定指导价值,可以刊发”“文章有新意,可以发表”,而并未对稿件内容提出详尽、具体的修改建议。这类专家的审稿结论往往与其他专家不一致。这类稿件更需要提交到定稿会进行再次讨论,避免个别外审专家审稿不够认真细致而导致稿件的最终处理意见有所偏倚。
2.2 专家外审结论与定稿会结论的一致性
表1为259篇定稿会讨论稿件的定稿会结论。从表1可以看出,至少存在1个外审结论为退稿且无录用结论的稿件共92篇,其中,83篇稿件的定稿会结论为退稿,一致性高达90%,5篇稿件的定稿会结论为修后再审,4篇稿件的定稿会结论为修后录用。至少有1个外审结论为录用且无退稿结论的稿件共66篇,其中,45篇定稿会结论为修后录用或录用,一致性仅为68%。外审结论中有2个录用的稿件共25篇,其中仅有4篇定稿会结论为录用,且其外审均无退稿结论(外审结论均为录用、录用、退修);6篇定稿会结论为退稿,其中有5篇外审结论包含退稿(外审结论为录用、录用、退稿),给予录用结论的外审专家意见均较为简短,而退稿意见则详细地逐条阐述了一些论文内容上存在的问题。在117篇专家外审意见均为退修或录用的稿件中,仅有7篇定稿会结论为录用,52篇为修后录用,但也存在36篇稿件的定稿会结论为退稿,其余22篇稿件的定稿会结论为修后再审。综上所述,即使外审专家并未给出退稿结论,但却有相当一部分稿件经过定稿会集体讨论后仍被退稿处理。
表1 定稿会讨论稿件的外审结论和定稿会结论一致性分析
2.3 不同类型稿件审稿结论的一致性分析
表2为不同类型稿件的审稿结论汇总。从表2可以看出,综述、基础研究、临床病理讨论类稿件的退稿一致性较好,即至少有1个外审结论为退稿且无录用结论的情况下,定稿会结论为退稿的稿件均超过该类稿件的95%。基础研究和临床病理讨论的退稿一致性达到100%,当然这也与该类型稿件数量较少有关。其他类型稿件的退稿一致性均大于88%。病例报告和共识指南类稿件的录用一致性分别为80%和75%,其他类型稿件的录用一致性均不佳。在27篇外审意见良好的临床研究类稿件中(外审结论均为录用、退修),仅有16篇稿件的定稿会结论为修后录用或录用,录用一致性仅为59%,其中还存在2个外审结论为录用且无退稿结论的稿件被定稿会予以退稿处理的情况。兼有退稿和录用外审结论的稿件经定稿会专家讨论后,大部分仍被退稿处理(临床研究为75%、综述65%、病例报告62%、基础研究100%、Meta分析100%)。其中被纳入研究的3篇Meta分析稿件的外审结论均为录用和退稿,分析其审稿意见发现,具有临床专业背景的专家均给予录用结论,而统计学专业背景的专家均给予退稿处理。
表2 不同类型稿件的审稿结论分析
3 讨论
3.1 提高编辑送审的准确度
由于临床医学的专业分科精细,每位医学科技期刊的审稿专家都有各自擅长的专业领域,这就要求编辑在送审稿件时,一定要充分考虑稿件内容与外审专家的研究领域是否契合。经统计发现,送审专家的研究方向与稿件内容不对口时,外审意见分歧较大。专家在审阅稿件时需具备相应学科深厚的学术背景和丰富的临床经验,同时要充分掌握该领域的学术动态。若将稿件误送至对研究内容不熟悉的审稿专家,则很可能对文章造成误判。这就要求编辑在进行稿件送审之前,通读稿件内容,对其研究方向有初步的掌握,同时要熟悉每位审稿专家擅长和侧重的研究领域,避免出现稿件内容与送审专家研究方向不一致的情况。归根结底,这就要求编辑提高自身学术素养,在日常工作中不断积累和完善审稿专家信息,尤其要详细记录专家的研究方向[6],这样才能根据稿件内容准确地遴选送审专家,从而对稿件提出科学公正的处理意见。
3.2 甄别外审专家的学术水平及审稿态度
部分专家的外审结论与定稿会结论的一致性欠佳,可能与个别专家的专业性不强、审稿态度不够认真有关。部分审稿专家由于研究资历尚浅,不能够全面掌握本学科的发展现状和趋势,导致其审稿意见也不够准确。这类审稿意见往往仅指出表述不规范的语句及标点错误,并未对文章的设计方法和意义给予点评,因此,编辑部需将这类审稿意见的参考价值适度降低。尤其该类审稿意见的结论为录用时,更应怀疑该审稿结论的可靠性。此外,部分审稿专家没有认真对待在线稿件的审阅。审稿专家往往经过一天繁忙的临床及科研工作之后才抽空审阅在线稿件,有些审稿专家审阅一篇稿件的耗时很少,甚至都没能够完整地通读稿件内容就草率地给予了审稿意见。该类审稿意见均十分简短,对于得出该审稿结论的具体原因也草草带过,部分专家甚至仅给出了审稿结论。笔者发现,当外审时间超过审稿系统的限定期限时,外审专家得出的结论与定稿会结论的一致性较差,这可能是因为稿件逾期未审回时,编辑部会催促专家尽快完成审稿任务,而专家为满足时间期限要求,将审阅工作草草了结[7-9]。因此,在筛选定稿会讨论稿件时,若存在上述类型的外审意见,可适当降低其参考价值甚至不作参考,依照其他专家的外审意见判断该稿件是否适合需要在定稿会进行再次讨论。对于审稿结论总是与定稿会结论存在差异甚至完全相悖的审稿专家,编辑可以减少其审稿机会,甚至将其拉入审稿专家黑名单。相反地,将审稿积极认真、外审意见详实、审稿结论与定稿会结论一致性较高的专家列为优秀审稿专家。因此,本研究另一个重要意义在于有效甄别审稿专家的专业程度和审稿态度。
3.3 有效筛选定稿会讨论稿件
通过对稿件的外审结论与定稿会结论的一致性分析,发现各类稿件的退稿一致性尚可,尤其是综述、基础研究、临床病理讨论类稿件。由于后两类稿件的投稿量相对较少,可以放宽定稿会讨论稿件的提交标准;综述类稿源一直十分充足,而每期刊载的综述数量也有限制,且定稿会退稿率极高,因此,至少有1个外审结论为退稿且无录用结论的综述稿件,可以考虑直接退稿,不必提交定稿会再次讨论,这样既缩短了审稿周期,也提高了稿件的处理效率,给予作者改稿重投或改投他刊的时间也更充足。但是,若专家给予的退稿意见仅为草草的退稿结论,并无详尽的退稿意见,则务必斟酌其他专家的外审意见,避免由于送审专家专业不对口或审稿态度不认真而造成的误判,或提交定稿会讨论后给出具体审稿意见,这也是对作者的尊重。详细认真的退稿意见不仅能让作者信服,还能对其今后的学术研究提供帮助。
分析临床研究类稿件的审稿意见发现,外审无退稿结论的52篇稿件中,29篇稿件的定稿会结论为退稿或修后再审;43篇外审存在录用结论的稿件中,仅有2篇定稿会结论为录用,25篇为退稿或修后再审,其原因可能是该类稿件的审稿难度较大,要求审稿专家具有该研究领域深厚的专业背景及较高的学术造诣,能够从研究设计、方法是否科学且符合伦理,是否具有足够的临床意义等方面进行考虑。而专家外审时仅凭借个人的研究阅历在线审稿,提供的观点建议也许并不全面。因此,临床研究类稿件还是应当尽量上定稿会进行再次讨论,集思广益,从而对稿件作出更加科学、严谨的审稿决定。
对于外审意见尚可的稿件,编辑部也不可以草率地直接给予退修或直接录用的处理,因为各类稿件外审结论和定稿会结论的录用一致性并不高,即便最后的审稿结论并非退稿,但定稿会作为一个小型的学术交流会议,集合会上多位专家进行再次讨论,对稿件的学术质量进行全面、有效地把关,避免了审稿的偏倚,在外审意见的基础上能够对稿件提出更加全面、科学的处理意见,从而为提升学术期刊的学术水平奠定了扎实的基础[10-11]。
外审结论兼有退稿和录用的稿件,定稿会最终也多予以退稿处理,尤其是Meta分析类稿件,笔者收集的3篇外审意见均为录用和退稿,其中临床医学专业的审稿专家均建议录用,而统计学专业的审稿专家均给予退稿处理。其原因可能是临床背景的专家主要从文章的研究意义出发,觉得文章的研究内容可以给人们启迪,对临床具有很好的参考价值,但其往往并不具备扎实的统计学理论基础;而统计学背景的专家主要从文章统计学方法的角度出发,审核该研究的入组标准是否科学,是否保证了研究资料的同质性,是否排除了各种干扰因素对结果的影响。若文章的统计方法存在科学性错误,即便该项研究再有意义,也不能采用,因为这将直接影响该研究结论的真实性和可靠性。该类文章经过定稿会专家再次讨论后,均同意统计学专家的意见,维持退稿处理。因此,对于以统计学方法为研究基础的稿件,一定要格外注重统计学专家的意见,若研究方法存在谬误,研究的意义则无从谈起,可直接予以退稿处理。此外,对于录用意见十分简短,而退稿意见却详尽具体的稿件,也可以根据稿源的情况考虑直接退稿处理,避免由于外审专家审稿态度不端而延误稿件的处理周期,增添定稿会专家们的审稿负担。
4 总结和展望
通过对医学科技期刊稿件专家外审结论与定稿会结论的一致性进行分析,发现各类稿件的退稿一致性均较高,而录用一致性均欠佳。因为多数外审专家给予退稿意见都是发现文章中存在一些致命性的错误,且无法修改,而给予录用或退修意见很可能是由于送审专家专业不对口、审稿不细致或对当前专业动态掌握不全面而未发现文章中的一些不足。因此,在各类稿源均充足的条件下,可以将外审中存在详尽退稿意见且无录用结论的稿件直接予以退稿处理,从而有效缩短稿件的处理周期,减轻定稿会专家的审稿负担。对于外审意见尚可且无退稿结论的稿件,尽量提交定稿会进行再次讨论,即便审稿结论一致,也可以通过会上专家的再次集体审稿为文章提出更加全面的修改建议,进一步提升期刊的学术质量。此外,本研究的另一项重要意义在于通过对比专家外审结论与定稿会结论的一致性,甄别审稿专家的审稿态度和学术水平,为遴选优秀审稿专家提供依据,更是为期刊发展编委团队奠定基础。同时,编辑也要充分发挥在稿件送审中的作用,准确甄别审稿专家擅长的专业领域,将稿件送交研究方向一致的审稿专家审阅,从而保证审稿意见的科学性和准确性。但是,本研究未对审稿意见分歧的原因和影响因素进行更为深入的探讨,期待能在今后的研究中进一步完善。
[1] 罗伟清. 同行专家审稿行为的后评价分析[J]. 中国科技期刊研究,2015,26(6):578-582.
[2] 赵丽莹,杨波,张荣丽,等. 对专家审稿的分析和思考[J]. 编辑学报,2010,22(2):146-148.
[3] 高雪莲,刘菲. 专家定稿会是提高期刊学术水平的关键举措——以《中华围产医学杂志》为例[J]. 编辑学报,2013,25(5):486-488.
[4] 郭鲜花. 定稿会作为质量控制举措的探讨[J]. 中国科技期刊研究,2014,25(1):159-160.
[5] 王颖,孔爱英,朱蓓,等. 科技期刊审稿标准一致性的影响因素及对策[J]. 中国科技期刊研究,2014,25(12):1470-1472.
[6] 田军,孙立华,赵阳. 稿件送审过程中编辑作用的提升[J]. 编辑学报,2012,24(S2):27-28.
[7] 张韵,袁醉敏,陈华平,等. 基于稿件远程处理系统的专家审稿情况分析[J].中国科技期刊研究,2013,24(5):911-914.
[8] 李金珍,庄景春,邱炳武.《心理学报》开放性同行评审方式探索及初步成效[J]. 中国科技期刊研究,2015,26(2):139-142.
[9] 刘凤华,陈立敏,李启明. 科技期刊审稿专家的评价和改进措施[J]. 中国科技期刊研究,2016,27(8):857-862.
[10] 占莉娟. 科技期刊审稿人的审稿动因分析[J]. 中国科技期刊研究,2015,26(4):363-369.
[11] 陈钢,顾刘金,徐锦杭. 同行专家审稿行为及其管控——以《预防医学》杂志为例析[J]. 中国科技期刊研究,2017,28(1):28-32.