Spin—中医药临床证据报告的新挑战
2017-05-30王家莹王俊峰商洪才
王家莹 王俊峰 商洪才
摘要 随着各类临床证据不断涌现,各类证据报告规范工具相继被开发,对报告的规范和透明度有不同程度的提高,但研究者依然对临床证据报告的内容和语言使用有很大自由度,常对研究结果进行粉饰和曲解,这一现象引起广泛关注,中医临床证据的报告也未能豁免。本文回顾了多年来国外相关研究,详细介绍这些误导性报告(Spin)的概念、现状、识别和分类,以期为今后中医药临床证据中Spin的研究提供思路与方法。
关键词 Spin;中医临床证据;报告规范
Abstract As various kinds of clinical evidence emerges, reporting quality tools of all kinds of evidence have been developed. They improved the quality and transparency to some extent, but researchers still have a large degree of freedom to choose how and what to be reported, and usually they distorted the research results consciously or unconsciously, which gradually draws a lot of attention. The reporting of clinical evidence of traditional Chinese medicine (TCM) is also in the face of challenges alike. This article reviewed all related researches abroad, and introduced the concept, present situation, identification and classification of these misleading reports (Spin), hoping to provide some ideas and methods for the Spin research in the field of clinical evidence of TCM in the future.
Key Words Spin; Clinical evidence of traditional Chinese medicine; Reporting standard
中圖分类号:R2-03文献标识码:Adoi:10.3969/j.issn.1673-7202.2017.06.008
随着各种类型的临床研究不断开展,相应的临床证据报告工具也不断涌现。例如系统评价/meta分析报告质量工具PRISMA[1](Preferred Reporting Items for Systematic Reviews and Meta-analyses),随机对照试验的报告工具CONSORT[2](Consolidated Standards of Reporting Trials),病例对照研究、队列研究和横断面研究的报告规范工具STROBE[3](the Strengthening the Reporting of Observational Studies in Epidemiology)等。然而除形式外,临床证据的报告内容和报告用语也逐渐引起关注,例如作者使用的语言是否有误导性?是否出现文题不符?是否有以偏概全的结论?即便在使用这些工具后,各类临床证据报告却始终存在一个共同的问题,即误导性報告。例如在随机对照试验(Randomized Controlled Trials,RCT)中,不是所有的研究都会出现试验组的疗效与对照组存在显著统计学意义的阳性结果,但很多“无明显统计学意义”的临床研究结果是研究者所不愿意看到的,研究者在撰写论文或发表研究结果时,往往会对研究结果进行粉饰,让人觉得尽管主要研究结果没有明显统计学意义,但是试验组的药物或治疗方案仍是对患者有益的。系统评价和Meta分析是临床实践和卫生决策的最佳证据,临床医生、决策者、研究者、患者都会因为不同的需求而使用系统评价和Meta分析的结果[4-5]。由于用证需求较大,所以系统评价和Meta分析的准确报告显得尤为重要,以便准确合理地概括和传播研究结果。然而,作者却在写作中有很大的自由度来报道他们想报道的结果,或者写得很有潜在误导性[6],这些被统称为“Spin”[7]。
1 Spin的概念
Spin一词早在1995年就由Horton提出,用指医学文献的修辞[8],Horton认为Spin是一种有意或者无意的修辞小伎俩,此词意指有倾向地陈述,与中文中“曲笔”和“粉饰”词义相近。目前,Spin被进一步定义为在临床证据报告中有意或无意得对试验结果进行曲解和修饰,刻意强调或夸大研究结果的有效性和安全性。
2 Spin的研究现状
2010年6月,Isabelle Boutron博士[7]及其工作组在《JAMA》杂志首次发表了Spin的相关文献,对无显著统计学意义的RCT中主要研究结果的曲解性报道和解读进行了系统性评测。Isabelle Boutron博士等纳入72篇主要研究结果为“阴性”研究论文,13篇报道的题目存在Spin(18.0%;95% CI 10.0%~28.9%);摘要的结果和结论部分有Spin的文章分别为27篇(37.5%;95% CI 26.4%~49.7%)和42篇(58.3%;95% CI 46.1%~69.8%)。正文中结果、讨论和结论部分存在Spin的文章分别为21篇(29.2%;95% CI 19.0%~41.1%)、31篇(43.1%;95% CI 31.4%~55.3%)和36篇(50.0%;95% CI 38.0%~62.0%)。超过40%的研究报道在其正文部分存在2个章节以上对主要研究结果的曲解。Vera-Badillo等发现阴性结果的乳腺癌临床试验中,59%(54/92)的文献在摘要或结论部分存在Spin[9],而后其他针对阴性结果RCT的Spin研究也陆续开展[10-11],研究发现Spin可能出现在文献报告的任何部分,不论是摘要中的结果和结论、正文中的结果讨论或结论,还是论文题目。其次,摘要的结论部分是Spin的重灾区,由于医学文献的摘要部分是传播最广、阅读最多、获得最快的资源[12],很多用证者往往都只浏览文献的摘要,故不难推测将对用证产生明显误导[13]。
近期,除了干预性临床试验以外,很多研究也开始对诊断性试验[14]、病例对照研究及观察性[15-19]临床研究证据中Spin的识别和分类进行探索。2016年1月Isabelle Boutron博士及其工作组在JCE上发文[20],又对系统评价和Meta分析中Spin进行了分析,进一步提出了Spin的种类和类型。
3 Spin在证据报告中的常见形式
各类研究证据中都存在各种类型的Spin,虽然有很多相关研究摘录统计了文献中的相关描述,但并不能很好进行归类。目前以RCT和SR中Spin的种类相对集中,故在此处进行详细介绍。
3.1 Spin在RCT中的4种常见种类
在Boutron的文章中[7],Spin的策略被细化为20余条,其中最主要的策略有以下4种。
3.1.1 组内前后对照替代组间比较结果 当试验组的结果与对照组的结果并没有显著差异,而试验组本身在治疗前后有显著差异时,研究人员在结论中却直接描述成干预措施有效,却未具体说明。
3.1.2 次要结局指标替代主要结局指标 在同一项原始研究中,被观察的既有主要指标也有其他指标作为次要指标。这些指标需要在临床试验设计时就提前确定。但是研究者在报告研究结果时,有选择性的报告有显著结果的次要指标,同时弱化对主要指标的阐述,以达到使整个研究报告中包含阳性结果的目的。
3.1.3 选择性报告亚组分析结果 临床试验所关注的治疗手段可能在整体水平上并没有显著效果,但是在某些亚组中(比如不同年龄段,性别等)获得了显著的结果,研究者通过强调在某个亚组中的结果却不详细说明,以误导读者相信该治疗手段是有效的。
3.1.4 非劣效/等效性试验报告偏倚 对于非劣效或等效性的临床试验,非显著的试验结果也会被研究者牵强附会地描述成试验组和对照组的效果等同。
3.2 Spin在SR/Meta分析中的常见种类与分级
2016年1月发表在JCE上的文章提出[20],SR中共发现39种,正文中常见28种,摘要中常见21种。除去与RCT相似的种类,SR特征性Spin共3大类13种:1)误导性报道,例如,有SR[21]显示纳入研究36个,分析主要结局指标的研究只有8个,但是在摘要中却没有明确指出这一点,只描述了2组总样本量和这个主要结局指标的荟萃分析结果,这无形中向仅浏览摘要的读者夸大了结果的效应量。2)误导性解释,尤其在研究不良反应时,当研究结果无明显统计学意义而可信区间较宽,甚至有逆向结果时,却在结论中写道这种干预措施是安全的或者有效的。例如[22]RR=1.1(95% CI,0.95 to 1.28),RR=1.12(95% CI,0.85 to 1.46),RR=1.76(95% CI,0.91 to 2.78)。3)不恰当的外推性,仅显示替代指标有效时,结论以偏概全,直接描述为治疗整个疾病有效。其他种类包括选择性报告阳性结果、更强调原始研究的结果而不是Meta分析的结果、当对照组效优时未清晰指出、尽管原始研究存在严重方法学,报告学偏倚或异质性时,在结论中只单纯强调结果有效等。
此外,可根据严重程度对SR及MA常见的Spin进行分级[20],最严重的7种Spin包括:1)研究结果无明显统计学意义但结论仍自称有效。2)研究结果无明显统计学意义但题目仍自称有效。3)选择性報告阳性指标。4)不良反应的指标无明显统计学意义且有宽可信区间却认为安全。5)原始研究的方法学质量较低,但结论中只写有效。6)选择性报告阴性的安全性指标。7)不合适的外推性,单一干预措施有效时结论描述成此类干预措施都有效,或者一种结局指标有效时描述成所有指标都有效。
4 中医药临床证据与Spin
随着循证医学被引入中医药领域,中医药临床证据越来越受到重视。在证据生产时,方法学质量的重要性毋庸置疑,而在证据的传播与使用时报告质量也很重要。为了规范和提高中医药临床试验的报告质量,CONSORT组织开发并更新了CONSORT-TCM[23],2003年开发了针对针灸临床试验的报告规范STRICTA[24],目前都已被广泛使用。中医药系统评价(Systematic Review,SR)和Meta分析作为证据金字塔中级别最高的临床证据,并无特异性的报告规范标准,也使用PRISMA工具评价。这些工具不仅在形式上较好得规范和展示中医药临床证据,也大幅提高了证据报告的透明度。研究显示[25]这些工具开发后中医药证据的报告质量有所提高,但尚存一些问题。首先,这些报告规范的目的更侧重条目内容报告的有或无[26],对于“有”的这部分报告条目是否报告的准确无法测量,其次,这些条目都较侧重文章的方法部分,例如会要求详细描述盲法和分配隐藏的方法等,但针对研究结果的解读和准确描述却条目较少,收效甚微[27]。
目前虽无针对中医药临床证据Spin调查的相关研究发表,但由于中医药临床证据中结果为无明显统计学意义的RCT研究数量较多,加上中医药SR/Meta分析经常会同时关注多个结局指标,这就使選择性报告某个结局指标成为可能,或者有些不适于使用安慰剂作为对照组的中医药研究,在不同治疗手段的比较中非劣效/等效性试验报告偏倚就有机会出现,所以不难推测上述RCT与系统评价中常见的Spin策略可能同样会出现在中医药临床证据报告中,尚需进一步实证研究来调查中医药临床证据的Spin以及了解它的频率、严重程度和误导程度。
5 前景与展望
Spin的识别和分类分级研究能帮助编辑和审稿人快速识别和减少研究结果的误导性描述,也能帮助作者在写作时避免潜意识的误导性报告。我们可以简单的认为现有的工具主要是从形式上规范中医临床证据的报告,但是在内容上还需要进一步规避有意或无意产生的报告偏倚,今后不仅需要对各类中医药临床证据中Spin的种类进行深入调查、分析与归类,而且要根据每种Spin误导程度的大小进行分级,并开发相应的工具识别和避免Spin以进一步提高中医药临床证据的报告质量。
參考文獻
[1]Moher D,Liberati A,Tetzlaff J,et al.Preferred reporting items for systematic reviews and meta-analyses:the PRISMA Statement?[J].Open medicine:a peer-reviewed,independent,open-access journal,2009,3(3):e123-130.
[2]Begg C,Cho M,Eastwood S,et al.Improving the quality of reporting of randomized controlled trials.The CONSORT statement?[J],JAMA,1996,276(8):637-639.
[3]Vandenbroucke JP,von Elm E,Altman DG,et al.Strengthening the Reporting of Observational Studies in Epidemiology (STROBE):explanation and elaboration[J].PLoS Med,2007,4(10):e297.
[4]Cook DJ,Mulrow CD,Haynes RB.Systematic Reviews:Synthesis of Best Evidence for Clinical Decisions[J].Ann Intern Med,1997,126 (5):376-380.
[5]Bastian H,Glasziou P,Chalmers I.Seventy-five trials and eleven systematic reviews a day:how will we ever keep up?[J].PLoS Med,2010,7(9):e1000326.
[6]Fletcher RH,Black B.“Spin” in scientific writing:scientific mischief and legal jeopardy[J].Med Law,2007,26(3):511-525.
[7]Boutron I,Dutton S,Ravaud P,et al.Reporting and interpretation of randomized controlled trials with statistically nonsignificant results for primary outcomes[J].JAMA,2010,303(20):2058-2064.
[8]Horton R.The rhetoric of research[J].BMJ,1995,310(6985):985-987.
[9]Vera-Badillo FE,Shapiro R,Ocana A,et al.Bias in reporting of end points of efficacy and toxicity in randomized,clinical trials for women with breast cancer[J].Annals of oncology:Official journal of the European Society for Medical Oncology,2013,24(5):1238-1244.
[10]Yavchitz A,Boutron I,Bafeta A,et al.Misrepresentation of Randomized Controlled Trials in Press Releases and News Coverage:A Cohort Study[J].PLoS Med,2012,9(9):e1001308.
[11]Lockyer S,Hodgson R,Dumville JC,et al.“Spin” in wound care research:the reporting and interpretation of randomized controlled trials with statistically nonsignificant primary outcome results or unspecified primary outcomes[J].Trials,2013,14:371.
[12]Islamaj Dogan R,Murray GC,Névéol A,et al.Understanding PubMed user search behavior through log analysis[DB/OL].https://academic.oup.com/database/article-lookup/doi/10.1093/database/bap018,2017-3-10.
[13]Boutron I,Altman DG,Hopewell S,et al.Impact of Spin in the Abstracts of Articles Reporting Results of Randomized Controlled Trials in the Field of Cancer:The SPIIN Randomized Controlled Trial[J].J Clin Oncol,2014,32(36):4120-4126.
[14]Ochodo EA,de Haan MC,Reitsma JB,et al.Overinterpretation and misreporting of diagnostic accuracy studies:evidence of “spin”[J].Radiology,2013,267(2):581-588.
[15]Prasad V,Jorgenson J,Ioannidis JPA,et al.Observational studies often make clinical practice recommendations:an empirical evaluation of authors′ attitudes[J].J Clin Epidemiol,2013,66(4):361-366.e4.
[16]Lazarus C,Haneef R,Ravaud P,et al.Classification and prevalence of spin in abstracts of non-randomized studies evaluating an intervention[J].BMC Med Res Methodol,2015,15(1):1-8.
[17]Cofield SS,Corona R V.,Allison DB.Use of causal language in observational studies of obesity and nutrition[J].Obes Facts,2010,3(6):353-356.
[18]Brown AW,Brown MMB,Allison DB.Belief beyond the evidence:Using the proposed effect of breakfast on obesity to show 2 practices that distort scientific evidence[J].Am J Clin Nutr,2013,98(5):1298-1308.
[19]Tzoulaki I,Liberopoulos G,Ioannidis JPA.Assessment of claims of improved prediction beyond the Framingham risk score[J].JAMA,2009,302(21):2345-2352.
[20]Yavchitz A,Ravaud P,Altman DG,et al.A New Classification of Spin in Systematic Reviews and Meta-Analyses was Developed and Ranked According to the Severity[J].Journal of Clinical Epidemiology,2016,75:56-65.
[21]Punjasawadwong Y,Phongchiewboon A,Bunchungmongkol N.Bispectral index for improving anaesthetic delivery and postoperative recovery[J].Cochrane Database Syst Rev,2014,6(4):CD003843.
[22]Wilkes MM,Navickis RJ.Patient Survival after Human Albumin Administration:A Meta-Analysis of Randomized,Controlled Trials[J].Ann Intern Med,2001,135(3):149-164.
[23]Bian Z,Liu B,Moher D,et al.Consolidated standards of reporting trials (CONSORT) for traditional Chinese medicine:current situation and future development[J].Frontiers of medicine,2011,5(2):171-177.
[24]Hugh MacPherson,Adrian White,Mike Cummings,et al.Standards for reporting interventions in controlled trials of acupuncture:The STRICTA Recommendations[J].中國循證医学杂志,2003,3(3):231-234.
[25]Li J,Liu Z,Chen R,et al.The quality of reports of randomized clinical trials on traditional Chinese medicine treatments:a systematic review of articles indexed in the China National Knowledge Infrastructure database from 2005 to 2012[J].BMC Complementary and Alternative Medicine,2014,14(1):362.
[26]Moher D,Jones A,Lepage L.CONSORT Group:Use of the CONSORT statement and quality of reports of randomised trials:a comparative before-and-after evaluation[J].JAMA,2001,285(15):1992-1995.
[27]Turner L,Shamseer L,Altman DG,et al.Does use of the CONSORT Statement impact the completeness of reporting of randomised controlled trials published in medical journals? A Cochrane review[J].Syst Rev,2012,1(1):60.
(2017-05-10收稿 责任编辑:徐颖)