科学文章同行评议研究进展
2014-03-26徐志英
■徐志英
《中国血管外科杂志(电子版)》编辑部,广州市越秀区中山二路58号中山大学附属第一医院期刊中心 510080,E-mail:zyxuu@126.com
同行评议在鉴别科学文章的发表价值以及提高学术质量的过程中起重要作用。尽管“研究”的客观对象不同,但研究者在其稿件的评审过程中,通过同行评议等评审方法,可以获得或分享相似的成功经验。具体而言,在审稿过程中,同行评议起“过滤器”作用,将不相关、微弱、误导甚至潜在有害的内容去除,以提高论文内涵的清晰度、透明度、精确度及其实用性[1,2]。因此,同行评议是科学评价过程中采用的最重要、最普遍的方式,在论文评审、基金遴选、职称评定、学术荣誉等众多科学评价过程中被广泛采用。时至今日,国内学者发表了一些有影响的学术论文,但对同行评议的关注仅局限于一些间断性的研究分析和评论[3],对于科学文章同行评议中的重要方面,如有关同行评议的利益冲突等问题往往重视不够[4],至今尚无统一的同行评议方法,也无有关同行评议过程的回顾性分析。为此,本文从发表于PubMed文献中筛选出同行评议相关的重要主题词,据此开展对同行评议过程的回顾分析,以提取同行评议过程中的基本元素,帮助作者更好地理解其文章的科学评判过程,并提高审稿者、作者的道德自律。
1 研究方法与数据来源
本文通过主题词方式,采用1995-2013年在PubMed数据库中收录的有关同行评议的文章,优选的文章类型为述评、社论和Meta分析。根据医学主题词表(MeSH),选择下列主题词、副主题词作为检索词,英文:“peer review, research/ethics” 、“peer review,research/history” 或“peer review, research/methods”等,分别在题目、摘要、正文中检索上述主题词、副主题词。文献纳入标准:(1)文献类型主要为述评、社论及综述等;(2)文献内容聚焦于同行评议过程;(3)文献内容聚焦于同行评议的历史、伦理、过程、结构及审稿方式。(4)从查询结果中除去病例报告、演讲及非英文文献等。
入选文献:通过PubMed数据库,初检出相关文献941篇,在对每篇文章的题目、摘要及正文进行筛选后,37篇文章纳入本文关于同行评议主题分析。其中29篇为评论性文章、6篇综述、1篇随机对照及1篇为研究性报告。筛选过程见图1。
图1 文献筛选过程
2 结果
2.1 同行评议伦理问题
分析显示,同行评议伦理词频最高,共18篇(49%)[5-22],其中与审稿者伦理相关 10篇(27%),作者伦理相关8篇(22%)。作者试图修改图片、采用个别难以重复的数据或某特定参考文献、杜撰实验结果以获得预定的特定结果等,被认定为道德失范。但必须认识到,作者改变科学数据以误传原始发现,也属于伦理性错误。还要特别注意的是,审稿过程中出现各种行为不端,如审稿者对作者的种族、性别的歧视性偏差,也属于评审的伦理范围。另外,经济利益冲突与非经济利益冲突也是审稿过程中需要特别关注的另外一个伦理问题[10,12,17]。
2.2 同行评议方式
共检索同行评议方式的相关论文12篇(32%)[9,15,20,23-29],包括单盲评审、双盲评审、公开评审和发表后评审等4种方式。分析发现,每一种方法都会影响评审的透明度。
2.3 同行评议的评判标准
共检索相关论文8篇(22%),发现每一种杂志都有特定的评价标准及格式[30-37]。综合这8篇文献的分析结果,我们在此编录了稿件提交的论文质量评价标准(表1),以提高作者论文的投稿效率。
表1 作者提交的论文质量评判标准
2.4 同行评议的过程及构成
同行评议的过程及构成为作者提供了杂志审稿方法学的视角,为此我们筛选了代表性文章6篇(16%)[19,30,31,38-40]。 6 篇文章皆论及审稿者应为其审稿决策做何准备,并建议审稿者如何阅读文章。
3 讨论
3.1 同行评议伦理问题
很多有关同行评议伦理方面的文章,无论是涉及作者或审稿人,主要体现为经济的或非经济的利益冲突。
3.1.1 涉及作者的伦理
一般而言,在学术期刊论文评审中,论文作者的利益冲突是最为明显和突出的。欧洲发表伦理委员会(Committee of Publication Ethics, COPE)网站公布的1997-2011年发生的664起国际学术期刊论文评审中的不端行为报告中,32起(4.8%)涉及利益冲突,其中涉及作者23起,涉及审稿人、期刊、编辑分别为5起、2起及2起[41]。鉴于此,国际医学期刊编辑委员会(International Committee Medical Journal Editors,ICMJE)于 2010年 7月制定了《ICMJE潜在利益冲突声明表》,供各类期刊使用。该声明要求作者需披露以下三类信息:第一,与研究工作相关的直接或间接的资金支持,即作者是否接受除工作单位之外任何第三方提供的资金;第二,在研究内容的直接领域或相关领域内,是否与任何商业机构有利益关系;第三,是否与研究内容存在非经济利益关系(个人、职业、政治、单位或宗教利益等)[42]。
随着医学技术进步,外科医生与医疗设备产业的关系变得日益复杂。Forbes等[43]对2008年-2009年国外6种血管外科杂志中作者公开的利益冲突进行调查研究。挑选的主题词包括血管内支架移植物(EV)、颈动脉支架(CAS)、外周动脉干预(PI)等。选出的635篇文章中,病例系列研究占430篇、随机对照试验10篇、病例报告129篇、综述及Meta分析共66篇。结果发现,这些文章中仅125篇(19.7%)附带作者公开的利益冲突声明。我们对中国血管外科杂志(电子版)2009年6月-2014年6月共发表417篇文章进行分析,其中评论性文章101篇(24.2%)、论著类257篇(61.6%)、争鸣讨论类8篇(1.9%)、综述46篇(11%)。在上述文章所涵盖的主题中检索,没有一篇文章作者发表利益冲突公开声明。虽然有不少学者专家建议国内医学科技期刊应重视利益冲突问题,但迄今国内一些医药期刊仍然无声无息[4]。
需要注意的是,论文审查过程中,较容易发现经济利益冲突,而非经济利益冲突则较隐藏。它们可能来源于个人关系、学术方面或其他因素,从而影响了稿件的判断。比如,在编辑工作中,笔者曾遇到在同一篇文章署名2个不同单位的作者,其中,一单位作者来自省级医疗机构,而另一单位作者来自县级医院,作为领导但并未参与该研究的任何工作,为了朋友及人情的关系,前者将后者名字共同署名在文章中,在对作者署名问题进行核实及查明原因后,为了维护学术道德及净化学术环境,笔者对该文研究无任何贡献作者署名删除。由此,我们认为,为遏制非文章贡献作者,应提醒论文作者在文章撰写时注意共同作者在该研究中所担负的责任。此外,还要注意论文中出现的冗长的剽窃、编织及歪曲的文字等内容。
3.1.2 审稿者的伦理
审稿者方面所谓的道德行为规范,包括对作者性别、种族及先前研究的无偏见态度。比如,作者所投论文与审稿者所从事的临床研究工作相似,而审稿者也准备将其研究成果撰写成文章并投同一本期刊时该怎么办?因为作者的文章被其竞争者所评议时,审稿人可能为了阻止该文章的发表,会提出一些不公平的负面批评意见[16,20]。当审稿人遇到潜在的学术方面的利益冲突时,国外期刊建议[44]:①审稿人因相似研究工作而应谢绝审稿。②审稿人可以进行审稿工作,但要停止审稿人本身相同的研究工作。③审稿人可以审稿,并继续相似的研究工作,但要无偏见的评审,因为作者所做的工作正好是自己正在进行的工作,存在着潜在的学术竞争。④审稿人可以审稿,也可以继续他相同的研究工作,但要保证不剽窃作者的思想。⑤审稿者通知编辑,他所从事的工作与作者相似,并将其研究内容及方法上的细节告诉编辑,由编辑做出决定是否还要该审稿者审稿。因此,我们在编辑工作中,当选择同领域的审稿者时,需注意选择那些伦理学不偏差的审稿人。在此基础上,评估审稿者的知识与经验,将导致更严格、广泛的论文评审。除了主题内容方面的知识外,同行评议经验丰富的审稿者比那些缺乏经验的审稿者可以提出更高质量、更严格的评审意见。因此,选择审稿人时,要挑选那些熟悉文章主题内容但又对作者不形成竞争的审稿人。
3.2 同行评议审稿方式的研究
检索显示,12篇论及审稿方式的文章中有7篇(58%)讨论了双盲审过程。这些文章争论的焦点:双盲评审可以提高审稿质量,但又认为还需更多的研究结果来支持该结论[7,20,22,24,27]。 有人认为,双盲评审使审稿过程更加客观,这从研究人员对双盲评审方法越来越感兴趣可以反映出来。目前,研究人员所关心的问题,仍然是符合科学习惯的常规评审形式(单盲审或双盲审)。出版研究协会(Publishing Research Consortium,PRC)调查了3040名研究人员对同行评议的态度,其中包括对四种同行评议类型的选择。结果显示,56%首选双盲评审,25%首选单盲评审,公开评审和发表后评审的首选率分别是13%和15%[45]。有兴趣的争论还反映在,双盲审是否可以帮助女性作者发表更多的文章,研究发现双盲审对女性作者文章发表数量没有明显影响[23]。
有少量文章讨论了公开审稿的优点及缺点。当审稿人身份公开后,将鼓励审稿人更全面、公平及更具建设性地审稿。但国内、外公开审稿仍处于讨论及试验阶段,公开审稿是否给同行评议带来任何实质性的优点,还需进一步评价[46,47]。
3.3 同行评议审稿构成
本回顾性分析中的6篇文章(16%)均认为,对同行评议构成的充分理解,可以帮助作者了解其投稿文章是如何被评议的。调查发现,每一位审稿人审阅稿件的方式不同,多数人阅读摘要,以弄清楚作者的研究思路及结果[30,38,39]。 通过阅读论文摘要,审稿人可初步了解作者所要阐述的研究内容,以及该研究所要传递的重要信息。在阅读正文时,审稿人会注意到该论文的清晰程度,以及该研究是否存在伦理问题及知识侵权问题。另一种审稿过程,则建议积极寻找相反观点的参考文献或作者,以便在给作者的反馈中,提供更具建设性的意见[19]。从作者甚至审稿者的角度看,了解同行评议审稿构成都是很重要的。
3.4 同行评议中对论文评判标准
如果作者的文章质量没有满足杂志的评审标准,文章很快就会被退稿。此外,审稿者还将关注文章的科学性、完整性、合理性及其科学应用价值。因此,在提交稿件时,符合审稿过程中的参考标准很重要。编辑方面会特别注意投稿路径、文章篇幅、退修时间、所需补充材料、杂志读者及目标群。而阐述不清晰的假设、错误科研设计、以偏概全的结果及语句不通顺等,也是退稿的常见理由。
4 结语
总之,本研究对科学文章同行评议的四个主题词出现的词频及内涵进行了回顾性分析,力图让作者和审稿者更好了解同行评议过程,包括同行评议涉及的科学体系、同行评议系统内部的运作、研究人员如何看待和理解同行评议,及如何改进或完善同行评议。研究结果同时也受到以下因素限制:首先,我们无法克服选择性偏倚,为了研究文章数量的可处理性,本文只将同行评议文章类型限制在述评、社论和Meta分析文献,且检索词选择医学主题词表(MeSH)的英文主题词;其次,由于同行评议是一个涉及科学自治与国家利益、科学家与公众、评议人与被评议人、内部评议和外部评价等各种复杂关系的评价系统,因此,仅仅通过数量有限的回顾性分析研究,不能全面反映同行评议过程的全部。
1 Jeffweson T, Wager E, Davidoff F.Measuring the quality of editorial peer review.JAMA,2002,287(21):2786-2790
2 Shahok K.Content and communication:how can peer review provide helpful feedback about the writing?.BMC Med Res Methodol,2008,31(8):3
3 李芬,朱紫阳,丁枝秀.关于中国同行评议研究状况的分析报告——基于CNKI核心期刊的分析报告.中国科学基金,2009,11(3):177-182
4 陈立敏,钱寿初.国内生物医学期刊应公开稿件中的利益冲突.中国科技期刊研究,2011,22(4):617-619
5 Blaustein JD.Fraud: just say no! Endocrinology, 2010, 151(1):1-3
6 Coat AJ.Ethical authorship and publishing.Int J Cardiol,2009,131(2):149-150
7 Freedman JE.Promoting ethical conduct in the publication of research.Cardiovasc Ther, 2008,26(2):89-90
8 Freshwater D.Editor and publishing: integrity, trust and faith.J Psychiatr Ment Health Nurs,2006,13(1):1-2
9 Froman RD.Blinded review revisited.Res Nurs Health,2010,33(4):273-275
10 Graf C,Wager E,Bowman A,et al.Best practice guidelines on publication ethics: a publisher’ s perspective.Int J Clin Pract Suppl, 2007,61(S152):1-26
11 Johnson JT, Niparko JK, Levine PA, et al.Standards for ethical publication.Arch Otolaryngol Head Neck Surg,2007,133(1):7-8
12 Klein DF, Glick ID.Conflict of interest,journal review, and publication policy.Neuropsychopharmacology,2008,33(13):3023-3026
13 McCalmont TH.Crystal clear.JCutan Pathol,2011,38(7):540-541
14 Minion D,Sorial E,Endean E.Ethicsof guidelines for reviewersof medicalmanuscripts.JVasc Surg,2007,46(2):391-393
15 Oyesiku NM.The registrurosurgery.Neurosurgery,2010,67(5):1165-1166
16 PLos Medicine Editors.Making sense of non-financial competing interests.PLosMed,2008,5(9):e199
16 Pollock RE,Ewer MS.The integrity of authorship: doing the right thing.Cancer,2010,116(17):3986-3987
17 Reider B.Fabrication, falsification.Am J Sports Med,2010,38(3),445-447
18 Triadafilopoulos G.The manuscript review process.Gastrointest Endosc,2006,64(6):S23-S25
19 van Rooyen S, Delamother T, Evans SJ.Effect on peer review of telling reviewers that their signed review might be posted on the web: randomized controlled trial.BMJ,2010,341:c5729
20 Wager E, Fiack S, Graf C, et al.Science journal editors’ view on publication ethics:resuls of an international survey.JMed Ethics,2009,35(6):348-353
21 Working double-blind.Nature,2008,451(7179):605-606
22 Budden AE,Tregenza T,Aarssen LW,et al.Double-blind review favours increased representation of female authors.Trends Ecol Evol,2008,23(1):4-6
24 Groves T.Is open peer review the fairest system? Yes.BMJ,2010,341:c6424
25 Khan K.Is open peer review the fairest system? No.BMJ,2010,341:c6425
26 Loonen MP.Alternative peer review system:peer agreementsystem.JPlast Reconstr Aesthet Surg,2010,63(11):1931-1932
27 Pitkin RM.Blinded manuscript review:an idea whose time has come?Obstet Gynecol,1995,85(5Pt1):781-782
28 Webb TJ, O’Hara B, Freckleton RP.Dose double-blind review benefit female authors?Trends Ecol Evol,2008,23(7):351-353
29 Yoshida Y.Peer review system: any other choice?Int J Hematol,2006,83(3):191-192
30 Christensen NB, Yokomizo A.How to peer review.Int JUrol,2010,17(9),754
31 Cossu R.Anonymous but fully recognized.Waste Manag,2010,30(1):1-3
32 Fisher RS, Powers LE.Peer-reviewed publication: a view from inside.Epilepsia,2004,45(8),889-894
33 Froman RD.Hitting the bull’s eye rather than shooting yourself between the eyes.Res Nirs Health Nurs,2008,31(5):399-401
34 Lemann Jr J.Serving as a reviewer.Kidney Int, 2002, 62(3):1081-1087
35 Manske PR.Structure and format of peer-reviewed scientific manuscripts.JHand Surg Am,2006,31(7):1051-1055
36 Provenzale JM,Stanley RJ.A systematic guide to review a manuscript.JNucl Med Technol,2006,34(2):92-99
37 Wagner AK,Boninger ML, Levy C, et al.Peer review: issues in physicalmedicine and rehabilitation.Am J Med Rehabil,2003,82(10):790-802
38 Heddle NM, Ness PM.Reviewing manuscripts: tips and responsibilities.Transfusion,2009,49(11):2265-2268
39 Hoppin Jr FG.How I review an original scientific paper.Rev Mal Respir,2003,20(5):671-678
40 Thomas SP.The long journey to publication:some thoughts on the journal review process.Issues Ment Health Nurs, 1998, 19(5):415-418
41 COPE.Case[EB/OL].(2012-09-05) [2013-10-20].http://publicationethics.org/case
42 ICMJE.Toward more uniform conflict disclosures:the updated ICMJE conflict of interest reporting form.Chin Med J,2010,123(13):1621-1622
43 Forbes TL.Author disclosure of conflict of interest in vascular surgery journals.JVasc Surg,2011,54(18S):55S-58S
44 Minion D,Soria E,Endean E.Ethics of guidelines for reviewers of medicalmanuscripts.JVasc Surg,2007,46(2):391-393
45 Mark ware Consulting.Publishing Research Consortium Peer Review in Scholarly Journal.2008.[2008-02-24].http://www.publishingresearch.net/PeerReview.htm/[2008-07-13].www.naboj.com
46 汪挺,阮星星,陈小宇等.开放审稿的必要性及可行性探讨.编辑学报,2014,26(1):19-21