灰色文献对发表偏倚的影响研究
2018-01-02韩丰谈
〔摘 要〕概述了灰色文献的定义、类型、特征和重要性、现状和不足;以及发表偏倚的定义、产生的原因和导致的后果。科学研究中如果只纳入白色文献而排除灰色文献,就会夸大阳性研究结果,导致决策失误。为了降低发表偏倚,保证研究结果更加全面、客观、真实,建议把灰色文献纳入科研分析中。
〔关键词〕灰色文献;发表偏倚;阳性研究结果;阴性研究结果
DOI:10.3969/j.issn.1008-0821.2017.12.008
〔中图分类号〕G256 〔文献标识码〕A 〔文章编号〕1008-0821(2017)12-0048-04
〔Abstract〕This article overviewed the concept,types,characteristics,importance,the current situation and the insufficiency of the grey literature,as well as the definition,causes and consequences of the publication bias were introduced.In scientific research,if the white literature was included uniquely and the grey literature was excluded,the positive research results would be exaggerated,leading to decision-making mistakes.In order to reduce the publication bias,to ensure that the evaluation results more comprehensive and objective,it was suggested that the grey literature should be included in the scientific research.
〔Key words〕grey literature;publication bias;positive research results;negative research results
1 灰色文献的内涵
1.1 灰色文献的定义
灰色文献(Grey Literature,Gray Literature,GL),或者(Grey Document,Gray Document),为英文直译而来。
1978年12月,在英国约克召开的国际灰色文献研讨会上认为:灰色文献是介于白色文献(具有CN或ISSN号码的文献)与黑色文献(保密文献)之间的文献类型,属于文献学的范畴,是指不具有CN或ISSN号码的文献。2010年在捷克布拉格(Prague)召开的“第12届国际灰色文献会议”(布拉格定义)上认为:灰色文献是指各级政府、学术机构、工商业界等推出的受知识产权保护的印刷型和(或)电子格式的多种文献类型,可由图书馆或机构知识库收藏和保存,但不受商业出版商控制,即出版不是生产机构的主体活动。”[1-2]其核心是不以赢利为目的,不受商业出版商控制。
1.2 灰色文献的类型及特点
灰色文献是未经正式出版发行渠道流通的文献,属于非主流文献,主要包括不以赢利为目的的政府出版物、学位论文、会议文献、科技报告、教学课件、现场记录、预印本等。内部交流、未公开发表的科学研究结果和研究数据也被认为是灰色文献[3]。网络时代,互联网是灰色文献交流的便捷平台,例如博客或微博、微信群或公众号、QQ群、开放获取(OA)、科研数据平台和数字文档等,称为网络灰色文献(e-GL)。灰色文献具有表现形式多样化、范围宽泛、交流渠道多元化、内容新颖、分布广泛且分散、出版灵活、不定期及半公开出版等特点。
1.3 灰色文献的重要性
灰色文献可以为科技、经济、社会和文化等领域的科学研究和政策决策提供珍贵的、详细的、第一手的信息,拓宽视野,使研究人员和决策者获得更全面、完善、客观的证据。如研究报告、博士/硕士学位论文和会议文献能够详细地描述科研过程、进展和研究结果,能及时反映国内外学术研究的前沿,传播速度快捷,传播方式便捷。
国内外研究人员一般偏爱已公开发表的白色文献,特别是对同行专家评审的期刊论文关注度更高,而忽略灰色文献。比如常常忽略处于尚未公开状态的实验数据,这一直是科研领域的缺憾,如果仅仅将已公开发表的研究结果纳入系统评价将影响评价结果的真实性,导致的后果是研究资料和研究数据不全面、不客观、不真实。
1.4 灰色文献的现状
2017年10月份即将在意大利罗马召开的第19届国际灰色文献会议[4],足以见证国外对灰色文献的重视程度。国外已经陆续建立专门从事灰色文献研究与开发利用的机构,推出灰色文献的数据库和网站,特别是一些歐美国家,如:Grey Literature Network Service(Grey Net),Open Grey,European Association for Grey Literature in Europe(EAGLE),Information for Grey Literature in Europe (SIGLE)等等。
国内的研究机构和研究人员也已经开始关注灰色文献的重要性,开始创建以研究数据为代表的灰色文献数据库或网络平台。为灰色文献的传递、保存、共享、管理和获取提供了极大的便利。2013年6月“复旦大学社会科学数据平台”正式发布Dataverse汉化3.3版,开创了国内科研数据检索平台的先河,实现了中国社会科学数据的全方位管理,为高校、科研机构和政府部门提供具有重要价值和决定性意义的科研数据的存储、发布、交换、共享与在线分析等功能,为“国家智库”提供重要和基础性的支撑[5]。2015年12月25日,北京大学启动了“北京大学开放研究数据平台”,为校内外各学科领域的研究人员提供研究数据的发布、交流、管理与下载等服务[6]。通过这些网络平台可免费获取第一手珍贵的科研数据,有利于各学科领域的实证研究,这些科研数据属于灰色文献范畴。也可通过通用性搜索引擎搜索、网站或社交媒体平台来获取灰色文献,但通过这些途径获取灰色文献难度大,分布也特别分散,而且可靠性也有待考证。endprint
1.5 灰色文献的不足
灰色文献的发行和获取缺乏系统化手段,缺乏系统评价,缺乏同行专家评审,缺乏书目控制,而且质量控制和评价标准也没有统一的要求。灰色文献属于非正式出版物,往往难以获取和评估,为此,“灰色文献”亦称为“晦涩文献”。
2 产生发表偏倚的原因
2.1 发表偏倚的定义
在科研领域中,偏倚是指研究结果系统性的偏离了真值。偏倚具有方向性,会导致研究结果高于或低于真值。研究结果高于真值,称为正偏倚;研究结果低于真值,则称为负偏倚。
广义的发表偏倚是指可获得性偏倚、语言偏倚和成本偏倚及熟悉性偏倚等[7];狭义的发表偏倚是指“有统计学意义”(P<0.05)的阳性研究结果或样本量较大的研究结果,较“无统计学意义”(P>0.05)的阴性研究结果或小样本研究结果,或无效(null)的研究结果更容易被发表,这种现象称为发表偏倚(Publication Bias)。即在同类研究中,阳性研究结果的论文比阴性研究结果的论文更容易被发表,发表周期更短,发表期刊的影响因子更高,论文被引频次也高于阴性研究结果的论文[8]。没有公开发表的阴性研究结果、样本量较小、无统计学意义的研究论文,又称为“抽屉文件”或文件抽屉问题(The File-drawer Problem),隶属于灰色文献范畴。本研究中提到的发表偏倚是指狭义的发表偏倚。
2.2 产生发表偏倚的原因
发表偏倚产生于发表流程的所有阶段,即从作者研究设计开始到杂志的编辑作出是否发表的决定为止。总的来说,发表偏倚的产生有3个来源:分别为作者(研究人员)、研究的资助方和杂志编辑。这三者都不愿意发表阴性研究结果、样本量较小和/或无统计学意义的研究论文,其中研究人员是造成发表偏倚的主要原因[9-10]。克服发表偏倚,需要考虑的主要因素是研究人员纳入灰色文献,见图1。
2.2.1 研究人员对发表偏倚的影响
研究人员为使研究结果能在学术期刊上顺利发表,通常选择性地发表有统计学意义或样本量大的研究结果,一般情况下大样本的研究结果不管是否具有统计学意义,比较容易被发表;而阴性结果或样本量小或无效的研究结果,则常常不易被发表,这将导致研究样本的异质性,导致效应值的夸大和系统性的发表偏倚。研究人员不提交论文的原因是对研究结果不感兴趣或者结果是阴性的[11-12]。研究人员只会把有限的精力放在有“好的结果”的研究上,而不是那些阴性结果[13]。
2.2.2 科学研究的资助商对发表偏倚的影响
科學研究的资助商对研究成果的发表偏倚也会有一定的影响,尤其是研究成果与资助商有某种利益冲突的时候,资助商通常会选择对自己有利的研究结果公开发表[14-16],得出有利于资助商的结论,进而提高自己的经济利益。据调查,由医药公司资助的研究结果89%为阳性结果,而由政府资助或其他团体资助的研究结果只有61%为阳性结果[17],这可能与医药公司不愿发表阴性结果有关。一旦采用这种“偏倚的证据”,将导致决策者决策偏差,有可能为社会或个人造成严重危害。
2.2.3 杂志编辑对发表偏倚的影响
杂志编辑以及审稿人员对于阳性结果的兴趣也可能产生发表偏倚,他们认为阴性结果价值小,读者不感兴趣,会降低期刊的被引频次和影响因子。杂志编辑对发表偏倚所造成的影响,目前学术界意见尚不统一,美国马里兰大学Dickersin等人的研究结果表明,杂志编辑对发表偏倚的影响较小,对发表偏倚影响较大的是研究人员[18]。据调查,杂志编辑决定一篇论文是否发表主要是从研究的意义和对学术界的影响力等角度出发,而不是只考虑研究设计和统计方法的合理性。而审稿人是否同意一篇论文发表则受到更多因素的影响,例如作者的知名度、样本量的大小、影响因子、国家、语言、基金资助等,是一个十分复杂的过程[7]。
2.3 发表偏倚导致的后果
发表偏倚过分夸大阳性结果,或者隐藏阴性研究结果,从而改变了科研数据的真实性和可信度,会使后续研究人员对现有的研究成果做出错误的判断,甚至可能得出相反的结论[19-20]。特别是当科学研究是以小样本研究为主时,更容易出现发表偏倚,即研究对象的效用和效果被不准确的估计(一般是效果高估,危害低估),甚至出现不正确的结论,误导后来的研究者和使用者。例如在医学领域,研究结果的发表偏倚对病人的诊治有时可能会产生不可挽回的后果,危及病人的生命,造成不良的社会影响[21]。
3 纳入灰色文献,克服发表偏倚
3.1 积极引导科研人员在研究中纳入灰色文献
发表偏倚的存在以及导致的严重后果已经引起研究人员的关注,纳入灰色文献有利于克服发表偏倚,以获得更全面、准确、客观的研究结论。但目前科学研究中所纳入的文献大部分只倾向于正式发表的白色文献,由于阴性研究结果的灰色文献具有难以检索、不完整、质量难以控制等特征,许多有意义的灰色文献不能被检索、利用,这样的话有可能因灰色文献的缺失而导致整体结论的改变[22]。因此,研究人员、研究的资助方和杂志编辑都不能忽视阴性研究结果。对已经发表的临床医学Meta-分析的文献进行分析发现,只有31%已经发表的论文中纳入了灰色文献[19],69%的论文未纳入灰色文献。灰色文献的重要性取决于科研人员所从事的学科领域、研究方法和他们在研究过程中使用的文献范畴。在一些学科领域,例如农业、航空和工程科学领域,灰色文献资源往往占主导地位。虽然,在生命科学和医学领域,研究人员传统上还是倾向于同行评审的学术期刊,但是在过去的几十年里,在医学领域的系统文献评价中,为了克服发表偏倚,已经确定了灰色文献作为循证医学证据的一部分的重要性。灰色文献还是科技攻关、公共政策研究和各种实践过程的重要信息源,已经引起部分国内外研究人员的重视。
图书馆界要鼓励研究人员通过多种渠道公开自己的灰色文献,充分利用自己和他人的灰色文献,客观公正地对待阴性研究结果,这样有利于克服发表偏倚。图书馆员应该对科研人员进行宣传和培训,使研究人员逐步重视和利用灰色文献。采用多种途径,从线上、线下两个方面指导研究人员检索、利用灰色文献。endprint
3.2 加强灰色文献的收集、整理、组织,建设特色文献数据库或辅助决策系统
国家应组织专家制定灰色文献收集、整理、数据库建设等相关的规范和标准,由相关部门对所有的科学研究实验进行登记、注册,加强各种科研数据的收集和管理,创建相应的网站或数据库,避免重复实验,同时应注意保护灰色文献版权。可以通过免费开放存取OA(Open Access)等形式,在全球范围内实现灰色文献资源共享,便于研究者、决策者发布、获取和利用灰色文献,为各种决策提供真实的、客观的原始参考数据。灰色文献数据库或网络系统创建之后,应积极通过各种渠道宣传其重要性和检索方法,主动推送给相关用户。关注用户的反馈意见,逐步完善其检索系统,开发出具有学科或功能特色的灰色文献辅助决策系统。
3.3 拓宽灰色文献的传播渠道
鉴于灰色文献的重要性,把阴性研究结果的论文转化为显性知识,重视灰色文献的出版。一方面重视灰色文献的纸质出版;另一方面,研究人员应充分利用网络平台的优势,发布、获取和利用灰色文献;科研人员可以借助博客、QQ群、开放获取、科研数据等网络平台,以文摘或会议文献的形式,通过数字文档或电子出版物等方式把阴性研究结果争取公开化。让作为“睡美人”或者“抽屉文件”的灰色文献苏醒,变成公开交流的文献,以便于灰色文献的获取。
4 结 论
纳入灰色文献可以有效地降低论文的发表偏倚。关于检验和克服发表偏倚,国内外已有很多研究,但绝大部分的研究只是简单的探讨如何克服发表偏倚[23],定量研究较少。目前,我国对灰色文献关注度不够,需要建设具备整体性、系统性的灰色文献数据库或网站,制定规范化的标引标准。标引标准的缺失,给灰色文献的检索、再利用带来困难[24]。尤其是科研数据的管理、交流和共享,国内虽已起步,但距离成熟应用还相差甚远。各学科灰色文献数据库建设和免费共享,还需要国家付出大量的人力、财力和物力的支持,指定牵头的单位,带领国内相关机构努力合作,实现灰色文献资源共享。虽然灰色文献的问题被提到了国际研究层面,但是还需要研究人员继续深入研究。另外,灰色文献对发表偏倚的影响程度,还需要研究人员多提供有效的实证证据和具体数据进行量化支持。
参考文献
[1]Schpfel J.Towards a Prague Definition of Grey Literature[C].Twelfth International Conference on Grey Literature,Praha (CZ),Dec.6–7,2010.Amsterdam:GreyNet,2011.
[2]Dominic F.Peering through the Review Process:Towards Transparency in Grey Literature?[C].Twelfth International Conference on Grey Literature,Praha (CZ),Dec.6–7,2010.Amsterdam:GreyNet,2011.
[3]Farace DJ,Frantzen J.Sixth international conference on grey literature:work on grey in progress[C].grey literature 2004 conference proceedings;Dec.6–7,2004.Amsterdam:Text Release,2005.
[4]Nineteenth International Conference on Grey Literature[EB/OL].http://www.textrelease.com/gl19callforpapers.html,2017-05-27.
[5]復旦大学新社会科学数据研究中心.复旦大学社会科学数据平台[EB/OL].http://dvn.fudan.edu.cn/dvn/,2016-12-27.
[6]北京大学开放研究数据平台[EB/OL].http://opendata.pku.edu.cn/,2016-12-27.
[7]金志超.Meta分析发表偏倚的检验[D].上海:第二军医大学,2012.
[8]Easterbrook PJ,Berlin JA,Gopalan R,et al.Publication bias in clinical research[J].Lancet,1991,337(8746):867-872.
[9]Duval S,Tweedie R.Trim and fill:A simple funnel-plot-based method of testing and adjusting for publication bias in meta-analysis[J].Biometrics,2000,56(2):455-63.
[10]Song F,Parekh-Bhurke S,Hooper L,et al.Extent of publication bias in different categories of research cohorts:a Meta-analysis of empirical studies[J].BMC Medical research methodology,2009,9(1):79.
[11]Dickersin K,Min YI,Meinert CL.Factors influencing publication of research results.Follow-up of applications submitted to two institutional review boards[J].JAMA,1992,267(3):374-8.endprint
[12]Dickersin K.How important is publication bias?A synthesis of available data[J].AIDS Educ Prev,1997,9(1):15-21.
[13]Calnan M,Smith GD,Sterne JA.The publication process itself was the major cause of publication bias in genetic epidemiology[J].J Clin Epidemiol,2006,59(12):1312-8.
[14]Borenstein M.Comprehensive meta analysis-a computer program[EB/OL].http://www.meta-analysis.com/, 2011 accessed,2017-05-17.
[15]Rochon PA,Gurwitz JH,Simms RW,et al.A study of manufacturer-supported trials of nonsteroidal anti- inflammatory drugs in the treatment of arthritis[J].Arch Intern Med,1994,154(2):157-63.
[16]Stelfox HT,Chua G,ORourke K,,et al.Conflict of interest in the debate over calcium-channel antagonists[J].N Engl J Med,1998,338(2):101-6.
[17]Davidson RA.Source of funding and outcome of clinical trials[J].J Gen Intern Med,1986,1(3):155-8.
[18]Dickersin K,Min YI,Meinert CL.Factors influencing publication of research results[J].Follow-up of applications submitted to two institutional review boards.JAMA,1992,267(3):374-8.
[19]Cook DJ,Guyatt GH,Ryan G,etal.Should Unpublished Data Be Included in Meta- analyses[J].JAMA,1993,(269):2749-53.
[20]Rothstein H R,Sutton A J,Boremtein M.Publication bias in Metaanalysis:Prevention,assessment and adjustments[M].John Wiley & Sons,2006.
[21]陶映雪,李霞,許桂萍.医学论文发表偏倚现象、原因、后果及改进措施[J].中国现代医学杂志,2011,(35):4480-4482.
[22]Cooper H,Hedges L V,Valentine J C.The handbook of research synthesis and meta- analysis[M].Russell Sage Foundation,2009.
[23]周旭毓,方积乾.Meta分析的常见偏倚[J].循证医学,2002,2(4):216-220.
[24]孙思琴,楚存坤,韩丰谈.国内外灰色文献的分布及其对Meta-分析的影响及对策[J].大学图书馆学报,2016,(4):51-56.
(本文责任编辑:孙国雷)endprint