系统评价再评价的制作方法简介及相关资料分析

刘雅莉 袁金秋，2 杨克虎，2 陈耀龙 杨 曼，2

系统评价再评价(overviews of reviews，简称Overviews)是全面收集同一疾病或同一健康问题的治疗或病因、诊断、预后等方面的相关系统评价，进行综合研究的一种方法[1，2]。本文以Cochrane系统评价员手册5.0.2为基础[2]，对Overviews的制作方法进行概述。同时遴选出当前已发表具代表性的Overviews，整理总结其资料分析方法，并对主要资料分析方法进行简要介绍，旨在增进读者对Overviews的了解，为制作者提供参考，以促进Overviews的进一步普及和发展。

1 Overviews制作方法简介

与系统评价相似，Overviews的制作流程也包括选题、制定纳入和排除标准、检索、筛选文献、提取资料、质量评价和资料分析等步骤。

1.1 选题 准确的提出一个科学问题，问题就解决了一半[3]。选定一个好的问题是制作Overviews的第一步。一方面，研究者需要有扎实丰富的临床专业知识，密切关注学科发展前沿，关注临床实践，关注患者所需，才能提出一个科学的问题。另一方面，Overviews的目的在于更好的为决策者提供证据，而不是单纯解决某一具体临床问题[4]，因此选定研究课题时还需考虑其特点：①所关注领域最好有2个或2个以上的系统评价。②结合临床研究现状考虑，若所关注的医疗问题现已发表的系统评价较全面，综合分析的结果则更全面，临床实用性更强。③Cochrane系统评价整体质量高，报告详尽，研究中纳入Cochrane系统评价比例越大，Overviews的证据强度可能会更高。

1.2 纳入和排除标准 纳入和排除标准的制定需要根据“PICO”结构化问题。Overviews的纳入标准包括研究类型、研究对象、干预措施和结局指标等方面内容。排除标准作为纳入标准的补充限定条件，亦须认真制定。在制定纳入和排除标准的过程中，应始终关注临床，关注证据使用者的需求，关注如何更有利于证据使用者进行医疗决策。

由于现阶段Cochrane Overviews的目的在于为读者提供Cochrane 图书馆的证据概览，因而要求主要纳入Cochrane系统评价。而其他期刊发表的Overviews则纳入了包括Cochrane系统评价在内的所有相关系统评价。一般来说，Overviews应该纳入所关注问题的所有相关系统评价，以使结果更全面。某些情况下，也需要细化纳入的系统评价的研究范围，如关注不同年龄、性别和疾病不同阶段的研究对象等。具体研究范围需作者根据研究目的来确定。

1.3 检索 由于系统评价已对相关原始研究进行了系统全面的检索，而且系统评价格式较为统一，使得Overviews的检索相对比较容易进行[2]。需要指出的是，Cochrane Overviews在检索范围方面不同于其他期刊发表的Overviews，要求主要纳入Cochrane系统评价，检索仅局限于Cochrane 图书馆中。但发表在其他期刊中的Overviews的检索范围更为广泛，除Cochrane图书馆外，还包括PubMed和EMBASE等其他数据库。由于制作Overviews的目的不同，检索范围可能存在差异，因此作者需根据研究计划来确定所使用的数据库。作者需要制定完善的检索策略，在很多医学类数据库中都有相关检索模块提供针对系统评价的检索，如PubMed中的Clinical Queries等，对检索有一定的帮助。

1.4 筛选文献 Overviews的研究选择与提取资料要求至少由2名评价员独立进行并交叉核对，以保证研究结果的可靠性。对研究人员应事先进行培训，规范方法，并进行预试验。

研究选择应依据纳入和排除标准按以下步骤进行：首先阅读初检文献的题名和摘要，对可能符合纳入标准的文献进一步查阅全文，进一步确定符合纳入标准的文献，此过程中需认真区分相关重复发表文献。

1.5 提取资料 应依据针对具体课题设计的资料提取表逐一进行，将系统评价的原始信息简明直观的展示出来。提取的信息主要包括纳入研究的基本信息、研究特征、研究方法和结果等。资料提取过程中所遇到的问题及缺失数据的处理等应详细记录。

1.6 纳入研究的质量评价 Overviews的质量评价包括方法学质量评价及证据质量评价两个部分。至少由2名评价员独立进行，并交叉核对。所使用的评价标准以及评价过程所遇到的问题及解决方案等信息应详细记录。

1.6.1 方法学质量评价 系统评价的质量评价主要评估系统评价的设计、实施过程及其如何对偏倚进行控制[5]，通常包括资料收集，纳入和排除标准，方法学质量评价，数据分析等方面内容，以上任一环节处理不好均会影响纳入研究的质量。目前系统评价方法学质量评价的标准众多，尚无“金标准”[2]。较常用的评价标准有OQAQ[6]和AMSTAR[7]等。作者可根据具体情况，选择恰当标准对其方法学质量进行客观评价。

1.6.2 证据质量评价 2004年，GRADE工作组推出了GRADE系统[8]，推荐系统评价制作者应从结局指标层面进行证据质量评价。若纳入的系统评价本身已进行了证据质量评价，则应该对评价结果谨慎评估以确保原评价结果的正确性。若未进行质量评价，则应依据GREAD系统进行评价[2]。

GRADE针对系统评价质量制订了证据质量评价系统[9]。将系统评价的证据质量分为高、中、低和极低4个等级，评价内容包括所纳入单个研究的偏倚风险、直接证据、异质性、效应量的精确性和发表偏倚的风险等。若原始研究存在如下因素应考虑减低系统评价证据质量：①研究的设计实施存在不足，极有可能存在偏倚；②间接证据；③难以解释的异质性或结果的不一致性；④结果的精确性不够；⑤存在发表偏倚。原始研究存在如下因素则应考虑提高系统评价证据质量：①效应值很大；②可能的混杂因素会降低疗效，当方法学严谨的观察性研究显示疗效显著或非常显著且结果一致时，我们将对结果更加确信。在上述情况下，虽然观察性研究很可能高估疗效，但研究设计的局限性不可能解释全部的治疗效果；③量效关系。

1.7 资料分析 目前，大部分Overviews使用的是描述性分析，运用统计学方法进行资料分析的较少。Overviews的资料分析依赖于所纳入系统评价的数据资料。作者需要充分考虑临床实践，用便于证据使用者的方式进行表述，而非机械的陈列系统评价结果。某些时候，作者需要对数据重新进行分析，如从不同的人群等方面重新进行亚组分析或从更大范围进行数据合并等。

在缺乏直接比较证据的情况下，常会应用间接比较分析。但是间接比较分析获得的结论不如直接比较的可靠，且分析过程受纳入系统评价资料的完整性限制，应慎重对待[2，9]。然而在缺乏直接比较证据的情况下，间接比较分析获得的结论也是可以采纳的[2，10]。目前已有多种相关间接比较的数据处理方法[10～13]，并有SAS等数据处理软件实现多元间接比较。需要指出的是间接比较的方法学还不成熟，许多问题尚待解决[14]。

1.8 分析与解释结果

1.8.1 结果 Overviews结果部分包括纳入研究的描述、质量评价和干预措施效应量的描述等内容。推荐使用图或表进行报道以使结果更为简洁明了。

1.8.1.1 纳入研究的描述 细致描述纳入研究的特征可以帮助读者判断纳入研究的同质性。描述内容通常包括研究时间、纳入人群、干预措施、对比措施和结局指标等内容，作者应尽可能对重要信息进行详尽报道。

1.8.1.2 质量评价 分为纳入研究的方法学质量与证据质量评价，评价标准可在文中描述并附以参考文献。评价结果应予以高度概括，也可以用附表形式提供相关的评价信息。

1.8.1.3 干预措施效应量的描述 效应量的描述应按临床意义的重要性由主至次分类进行描述。结果描述内容包括统计学结果、统计学意义和临床意义等。描述过程中应注意“无证据说明有效”及“有证据说明无效”的区别。当结果不确定时，作者不宜做出“本Overviews结果显示干预组与对照组之间差异无统计学意义”及类似结论，应更为客观地将数据进行报道[2]。

1.8.2 讨论与结论 讨论与结论必须以研究结果为依据，应注重宏观把握，避免重复描述结果部分内容。

讨论部分主要涉及证据强度、证据实用性等方面。包括纳入研究的质量，效应量，是否有其他证据支持研究结论，Overviews制作过程潜在的偏倚等。还需要从研究人群的生物学、文化差异及依从性差异等方面进行分析，讨论证据的实用性。此外，研究的完整性、局限性等内容也应该在此进行说明。

Overviews的结论重在向读者呈现相关信息而非提供建议。一方面，作者需要指出研究对临床实践的指导意义。另一方面，作者还需要指出哪些关键问题尚未解决，为将来的研究提供指导。

2 已发表Overviews的资料分析方法

本文针对当前已发表具代表性的Overviews，整理总结其资料分析方法，并对主要资料分析方法进行简要介绍，为Overviews的研究者及使用者提供借鉴。

2.1 方法

2.1.1 纳入标准 同时符合以下条件的文献被纳入：①以系统评价或Meta分析为研究内容的Overviews；②方法学报告较完整，内容包括纳入和排除标准、检索、研究筛选、资料提取、质量评价和资料分析的全部或主要步骤；③作者自述为“overviews of reviews”的文献予以重点考虑。

2.1.2 排除标准 具有以下任意一项者被排除：①以系统评价或Meta分析为研究对象的传统综述类文献；②系统评价或Meta分析的质量评价类研究；③尚处于“protocol”及“title”阶段的Cochrane Overviews。

2.1.3 文献检索 以“overview of reviews”、“synthesis of reviews”、“umbrella reviews”、“summary of systematic reviews”和“overview of Cochrane reviews”等为主要检索词检索Cochrane图书馆(检索时间为建库至2010年第1期)、PubMed、EMBASE和CBM数据库(检索时间为建库至2009年12月)，检索语种不限。

2.1.4 研究选择与资料提取 首先阅读初检结果的题目及摘要，筛选以系统评价或Meta分析为研究对象的Overviews；然后阅读全文，确定初步纳入研究，并提取每项研究的纳入和排除标准、检索、研究筛选、资料提取、方法学质量、证据质量、资料分析及是否自述为“overview of reviews”8个条目的报告情况，筛选≥上述6条报告条目的研究，提取这些研究的发表时间、国家和研究内容等基本信息，以及资料分析方法、内容和实施等相关内容。研究选择与资料提取由2名研究员独立进行，并交叉核对，如遇分歧则协商解决。

2.1.5 纳入研究的资料分析总结及介绍 统计分析纳入研究的资料分析策略和方法等数据，对主要资料分析策略和方法进行讨论并加以介绍。本文所述Overviews的资料分析策略是指作者对纳入研究进行宏观归纳分析的方略。

2.2 结果

2.2.1 纳入研究基本情况 计算机初步检索文献7 839篇，依据纳入和排除标准，排除7 796篇文献，最终纳入43项研究[15～57]，研究筛选流程见图1。纳入研究的研究特征方法学报告实施基本情况见表1。

图1 研究筛选流程图

Fig 1 Flow chart of article screening and selection process

2.2.2 资料分析方法

2.2.2.1 描述性分析 41/43项(95.3%)研究[16～41,43～57]采用文字描述、列表分析及图示分析等方式，依据不同干预措施和疾病等分析策略进行描述。

(1)资料分析策略 30/43项(69.8%)研究[15～17,19～24,27～31,34,37～39,41～43,45～46,48～50, 52,53,56,57]按干预措施分类分析，3项研究[26,36,40](7.0%)按疾病分类分析，3/43项(7.0%)研究[16,25,54]按结局指标分类分析，另有25/43项(58.1%)研究[19,22,25,26,29～34,37～42,44,47,50～53,55～57]直接对纳入的系统评价进行逐一分析。大部分研究采取多种策略结合的方式进行资料分析，如先按干预措施分类分析，针对具体的干预措施再按纳入研究分类分析等。

(2)资料分析方式 纳入Overviews描述性分析中主要应用文字描述分析的研究有36/43项(83.7%)[16～30,32～36,38～42,44～49,51～54,57]；38/43项(88.4%)研究[15～19,21～26,28～34,36～48,50～53,55～57]应用表格进行分析；6/43项(14.0%)研究[15,32,42,45,48,50]采用图示进行分析。2/43项(4.7%)研究[15，16]的资料分析过程中使用了“结果总结表” (summary of findings tables)，1/43项(2.3%)研究[16]使用了“Overviews Table”。

2.2.3 统计学分析方法 纳入Overviews中2项研究[15，42]应用了较为完整的统计分析方法。共有5/43项(11.6%)研究[15,17,20,25,42]应用了一种或多种不同形式的统计学方法，其中3项研究[15，20，42]采用干预措施间的重新对比分析，1项研究[15]采用间接比较，1项研究[17]采用系统评价特征与方法学质量间的回归分析。

2.3 讨论 研究结果显示，目前发表的Overviews的资料分析方法以描述性分析为主。纳入研究主要采用了按结局指标、纳入研究分类的策略对资料进行分析，并有相当数目的研究采用多种策略相结合的方式进行分析。例如在Michel等[24]的研究中，作者首先依据不同的干预措施，对质量管理、知识管理等6类护理措施分别进行分析，而在每项具体护理措施中，作者则对纳入研究逐一描述。

在具体实施过程中资料分析策略至关重要，直接影响着结论的易用性。不同的分析策略有不同的特点和适应性：①按干预措施分类分析符合临床实践，分析结果易于用证者使用，适用于讨论某一临床问题的不同干预措施的Overviews研究；②按纳入研究分类分析的实施相对容易，然而研究结果缺乏更高层次的总结，结果表现形式与临床实践存在差异，不便于证据的使用；③按疾病分类进行分析能够明晰的展示某一干预措施的应用证据概览；④按结局指标分类分析则关注于干预措施的疗效。具体实施过程中需根据研究目的和临床实践确定分析的策略，某些情况下结合不同的分析策略可能会获得较好的结果。

此外，纳入研究在描述性分析中较多的使用了图表形式。值得指出的是，对Overviews有着针对性意义的“结果总结表”及“Overviews table”已经开始应用于实践。如Singh等[15]在其研究中使用了3个结果总结表分别对生物制剂治疗类风湿性关节炎不同随访期(6、12个月及3、6、12个月合并结果)的各主要结局指标进行总结；又如Keus等[16]应用2个“Overviews table”分别对小切口或腔镜治疗胆囊结石的主要结局指标及次要结局指标进行总结。上述两种表格都由GRADEpro生成[58，59]，推荐给作者恰当应用。读者可从GRADE工作组网站(http://www.gradeworkinggroup.org/)免费下载GRADEpro及GRADE手册来深入了解相关内容。

表1 纳入研究特征及方法学报告实施基本情况

Notes 1)Report in accordance with the order of "claim to be overview of review/inclusion and exclusion criteria/search/study choice/data extraction/methodological quality assessment/quality of evidences/data analysis". 1: report; 0: not report; 2) total scores of 8 items mentioned above

本研究纳入Overviews使用了完整统计分析学方法的研究较少。这表明现阶段Overviews统计分析学方法存在较大局限，这与目前Overviews方法学不完善及其资料分析的复杂性密切相关。然而统计学分析方法也正是Overviews发展的一个重要方向，本研究纳入研究中的资料分析方法仍可为读者提供一定的启示。

目前干预措施间的重新对比分析应用相对较多。重新对资料分组进行比较需以纳入研究具体情况及临床实践为依据。其具体分析方法与系统评价中的对比分析相似，可用RevMan软件等工具实施。如Cathryn等对6个有关治疗夜间遗尿症的Cochrane系统评价进行了综合，作者应用了RevMan软件对原始临床试验重新按行为疗法、药物治疗等分类进行了合并。

文献[15]Overviews应用了间接比较。该研究对6篇有关生物制剂治疗类风湿性关节炎的Cochrane系统评价重新进行Meta分析。当两个干预措施之间的直接比较结果没有决定性意义时，进行间接比较并将两种对比方法结果合并以增加结果的可信度。其分析过程主要应用统计分析软件SAS中的GLIMMIX过程及MIXED过程。该文作者建立了一个网上俱乐部对该研究进行讨论，读者可登陆网站进一步了解相关内容(http://www.cochranejournalclub.com /biologics-for-rheumatoid-arthritis-methodological/)。

值得指出，间接比较是现阶段Overviews的一个研究热点。间接比较是一种依托中间变量，获得未进行直接比较的组别之间比较结果的数据分析方法，如已知AvsB及BvsC，可依托中间变量B获得AvsC的比较结果[10，60]。将间接比较进一步扩展即为多种干预措施的Meta分析 (multiple treatments Meta-analyses, MTM)。MTM可以对多个干预措施同时进行对比分析，合并直接比较证据与间接比较证据，从而得到整体的证据概览，对Overviews有较好的应用前景[61]。

尽管现阶段间接比较及多种干预措施的Meta分析方法学尚不成熟，许多问题有待解决[10，14]，但部分统计学分析方法具有一定的可行性：①由于有系统评价较为成熟的资料分析方法做基础，在Overviews中能够实现重新对资料进行必要的对比分析；②间接比较已较多应用于分析临床试验[12，61]，能够为其在Overviews中的实施提供借鉴；③间接比较的模型较多，可为具体实施分析提供较大的选择空间。Cochrane协作网于2010年组建的多种干预措施比较方法学组(The comparing multiple interventions group)，也重点对Overviews的资料分析方法相关问题进行深入研究。条件适宜的情况下，Overviews作者可尝试应用上述统计分析方法；否则可进行描述性分析。

本研究存在一定局限性。首先，以系统评价为研究对象是Overviews与累计Meta分析等其他类型研究的主要区别。但目前尚有很多类似研究(如评价系统评价质量的相关研究等)与Overviews不易鉴别。本研究结合研究目的及Cochrane Overviews工作组专家意见，从方法学和纳入研究类型两方面对Overviews进行辨别，仅纳入了具有代表性的、方法学报告及实施较为完整的Overviews，可能存在部分Overviews未被本研究纳入。其次，本研究仅将现阶段典型Overviews所应用到的部分资料分析方法进行了简要介绍。制作Overviews的过程中作者尚需进一步了解相关专业内容，从而全面、正确的进行资料分析。

尽管Overviews方法学尚不尽完善，但从2000年Overviews正式提出至今已取得了较大进展，显示出了较好的发展前景。国内期刊从2010年开始有Overviews研究发表，数量极少，但可以预计Overviews在中国将成为一个新的研究热点，希望引起更多学者的关注。

致谢 在本文写作过程中，Cochrane 协作网系Overviews负责人Becker LA教授及Oxman AD教授提供了大量的资料和宝贵的建议，对本研究具有重要指导作用，在此表示衷心感谢。

[1]Becker LA. Umbrella Reviews: what are they, and do we need them? XIV Cochrane Colloquium, Plenary Sessions-Dublin, Ireland, 2006. http://www.cochrane-collaboration.com/resources/videos/dublin_plenaries_home.htm

[2]Becker LA, Oxman AD. Chapter 22: Overviews of reviews. In: Higgins JPT, Green S, eds. Cochrane Handbook for Systematic Reviews of Interventions. Version 5.0.2 (updated September 2009). The Cochrane Collaboration, 2009.Available from www.cochrane-handbook.org

[3]海森堡，主编.范岱年,译.物理学和哲学:现代科学中的革命.北京:商务印书馆, 1981.6-7

[4]Kramer S, Langendam M, Elbers R, et al. Preparing an Overview of Reviews: Lessons Learned. Cochrane Colloquium 2009 Virtual Posters. Available from http://www.cochrane.org/colloquium/2009/virtual_posters/?poster=9

[5]Zhang JH(张俊华), Shang HC, Zhang BL. How to assess the quality of systematic review and meta-analysis .Journal of Chinese Integrative Medicine(中西医结合学报), 2008,6(4): 337-340

[6]Oxman AD, Cook DJ, Guyatt GH. Users′ Guides to the Medical Literature. VI. How to Use an Overview for the Evidence-Based Medicine Working Group. JAMA,1994,272(17): 1367-1371

[7]Shea BJ, Grimshaw JM, Wells GA, et al. Development of AMSTAR: a measurement tool to assess the methodological quality of systematic reviews. BMC Med Res Methodol, 2007,7:10

[8]Atkins D, Best D, Briss PA, et al．Grading quality of evidence and strength of recommendations ．BMJ, 2004,328(7454):1490

[9]Holger J Schünemann, Andrew D Oxman,et al. Chapter 12: Interpreting results and drawing conclusions. Version 5.0.2 (updated September 2009). The Cochrane Collaboration, 2009.Available from www.cochrane-handbook.org

[10]Glenny AM, Altman DG, Song F, et al. Indirect comparisons of competing interventions. Health Technol Assess,2005,9(26):1-134

[11]Caldwell DM, Ades AE, Higgins JP. Simultaneous comparison of multiple treatments: combining direct and indirect evidence. BMJ, 2005,331(7521):897-900

[12]Edwards SJ, Clarke MJ, Wordsworth S, et al. Indirect comparisons of treatments based on systematic reviews of randomised controlled trials. Int J Clin Pract, 2009, 63(6): 841-854

[13]Lu G, Ades AE. Combination of direct and indirect evidence in mixed treatment comparisons. Stat Med,2004,23(20): 3105-3124

[14]Song F, Loke YK, Walsh T, et al. Methodological problems in the use of indirect comparisons for evaluating healthcare interventions: survey of published systematic reviews. BMJ, 2009, 338:1147

[15]Singh JA, Christensen R, Wells GA, et al. Biologics for rheumatoid arthritis: an overview of Cochrane reviews.Cochrane Database Syst Rev， 2009, (4):CD007848

[16]Keus F, Gooszen HG, van Laarhoven CJ.Open, small-incision, or laparoscopic cholecystectomy for patients with symptomatic cholecystolithiasis. An overview of Cochrane Hepato-Biliary Group reviews. Cochrane Database Syst Rev, 2010, (1):CD008318

[17]Seida JK, Ospina MB, Karkhaneh M, et al. Systematic reviews of psychosocial interventions for autism: an umbrella review . Dev Med Child Neurol,2009,51(2):95-104

[18]Helfand M, Buckley DI, Freeman M, et al. Emerging risk factors for coronary heart disease: a summary of systematic reviews conducted for the U.S. Preventive Services Task Force. Ann Intern Med,2009,151(7):496-507

[19]Mikton C, Butchart A. Child maltreatment prevention: A systematic review of reviews . Bull World Health Organ,2009,87(5):353-361

[20]Peters LW, Kok G, Ten Dam GT, et al. Effective elements of school health promotion across behavioral domains: a systematic review of reviews . BMC Public Health,2009,9:182

[21]Moe RH, Haavardsholm EA, Christie A, et al. Effectiveness of nonpharmacological and nonsurgical interventions for hip osteoarthritis: an umbrella review of high-quality systematic reviews . Phys Ther,2007,87(12):1716-1727

[22]Jamtvedt G, Dahm KT, Christie A, et al. Physical therapy interventions for patients with osteoarthritis of the knee: an overview of systematic reviews . Phys Ther,2008,88(1):123-136

[23]Christie A, Jamtvedt G, Dahm KT, et al. Effectiveness of nonpharmacological and nonsurgical interventions for patients with rheumatoid arthritis: an overview of systematic reviews. Phys Ther,2007,87(12):1697-1715

[24]Wensing M, Wollersheim H, Grol R.Organizational interventions to implement improvements in patient care: a structured review of reviews. Implement Sci, 2006, 22(1):2

[25]Krishnan JA, Segal JB, Streiff MB, et al. Treatment of venous thromboembolism with low-molecular-weight heparin: a synthesis of the evidence published in systematic literature reviews. Respir Med,2004,98(5):376-386

[26]Smith V, Devane D, Begley CM, et al. A systematic review and quality assessment of systematicreviews of randomised trials of interventions for preventing and treating preterm birth. Eur J Obstet Gynecol Reprod Biol,2009,142(1):3-11

[27]Main C, Thomas S, Ogilvie D, et al. Population tobacco control interventions and their effects on social inequalities in smoking: placing an equity lens on existing systematic reviews. BMC Public Health,2008,8:178

[28]Lewin S, Lavis JN, Oxman AD, et al. Supporting the delivery of cost-effective interventions in primary health-care systems in low-income and middle-income countries: an overview of systematic reviews. Lancet,2008,372(9642):928-939

[29]Franx G, Kroon H, Grimshaw J, et al. Organizational change to transfer knowledge and improve quality and outcomes of care for patients with severe mental illness: a systematic overview of reviews . Can J Psychiatry,2008,53(5):294-305

[30]Bambra C, Gibson M, Sowden AJ, et al. Working for health? Evidence from systematic reviews on the effects on health and health inequalities of organisational changes to the psychosocial work environment. Prev Med,2009,48(5):454-461

[31]Althabe F, Bergel E, Cafferata ML, et al. Strategies for improving the quality of health care in maternal and child health in low- and middle-income countries: an overview of systematic reviews. Paediatr Perinat Epidemiol,2008,22(S1):42-60

[32]Akl EA, Muti P, Schünemann HJ. Anticoagulation in patients with cancer: an overview of reviews. Pol Arch Med Wewn,2008,118(4):183-193

[33]Prior M, Guerin M, Grimmer-Somers K. The effectiveness of clinical guideline implementation strategies - A synthesis of systematic review findings. J Eval Clin Pract,2008,14(5):888-897

[34]Barton CJ, Webster KE, Menz HB. Evaluation of the scope and quality of systematic reviews on nonpharmacological conservative treatment for patellofemoral pain syndrome. J Orthop Sports Phys Ther,2008,38(9):529-541

[35]Clarke M. Systematic review of reviews of risk factors for intracranial aneurysms. Neuroradiology,2008,50(8):653-664

[36]Taylor NF, Dodd KJ, Shields N, et al. Therapeutic exercise in physiotherapy practice is beneficial: a summary of systematic reviews 2002-2005. Aust J Physiother,2007,53(1):7-16

[37]Kuukasjärvi P, Malmivaara A, Halinen M, et al. Overview of systematic reviews on invasive treatment of stable coronary artery disease . Int J Technol Assess Health Care,2006,22(2):219-234

[38]Wensing M, Wollersheim H, Grol R. Organizational interventions to implement improvements in patient care: a structured review of reviews. Implement Sci,2006,1:2

[39]Taylor NF, Dodd KJ, Damiano DL. Progressive resistance exercise in physical therapy: a summary of systematic reviews. Phys Ther,2005,85(11):1208-1223

[40]Smidt N, de Vet HC, Bouter LM, et al. Effectiveness of exercise therapy: a best-evidence summary of systematic reviews. Aust J Physiother,2005,51(2):71-85

[41]Sohn W, Ismail AI, Tellez M. Efficacy of educational interventions targeting primary care providers′ practice behaviors: an overview of published systematic reviews . J Public Health Dent,2004,64(3):164-172

[42]Glazener CM, Evans JH, Peto RE. Treating nocturnal enuresis in children: review of evidence. J Wound Ostomy Continence Nurs,2004,31(4):223-234

[43]Linde K, ter Riet G, Hondras M, et al. Systematic reviews of herbal medicines——an annotated bibliography. Forsch Komplementarmed Klass Naturheilkd,2003,10(S1):17-27

[44]Grimshaw JM, Shirran L, Thomas R, et al. Changing provider behavior: an overview of systematic reviews of interventions. Med Care,2001,39(8 S2):112-145

[45]Furlan AD, Clarke J, Esmail R, et al. A critical review of reviews on the treatment of chronic low back pain. Spine, 2001,26(7):155-162

[46]Anttila H, Suoranta J, Malmivaara A, et al. Effectiveness of physiotherapy and conductive education interventions in children with cerebral palsy: a focused review. Am J Phys Med Rehabil,2008,87(6):478-501

[47]Ozbilen M, Adams CE. Systematic overview of Cochrane reviews for anticholinergic effects of antipsychotic drugs . J Clin Psychopharmacol,2009,29(2):141-146

[48]Cnossen JS, ter Riet G, Mol BW, et al. Are tests for predicting pre-eclampsia good enough to make screening viable? A review of reviews and critical appraisal. Acta Obstet Gynecol Scand,2009,88(7):758-765

[49]Law J, Plunkett C, Taylor J, et al. Developing policy in the provision of parenting programmes: Integrating a review of reviews with the perspectives of both parents and professionals. Child Care Health Dev,2009,35(3):302-312

[50]Lemmens V, Oenema A, Knut IK, et al. Effectiveness of smoking cessation interventions among adults: A systematic review of reviews. Eur J Cancer Prev,2008,17(6):535-544

[51]Nilsen P, Yorkston E. Uncovering evidence on community-based injury prevention: A review of programme effectiveness and factors influencing effectiveness. Int J Inj Contr Saf Promot,2007,14(4):241-250

[52]van Dulmen S, Sluijs E, van Dijk L, et al. Patient adherence to medical treatment: A review of reviews . BMC Health Serv Res,2007,7:55

[53]Autti-Rämö I, Suoranta J, Anttila H, et al. Effectiveness of upper and lower limb casting and orthoses in children with cerebral palsy: an overview of review articles . Am J Phys Med Rehabil,2006,85(1):89-103

[54]Walker AE, McLeer SK, DAMOCLES Group. Small group processes relevant to data monitoring committees in controlled clinical trials: an overview of reviews. Clin Trials,2004,1(3):282-296

[55]Linde K, Vickers A, Hondras M, et al. Systematic reviews of complementary therapies——an annotated bibliography. Part 1: acupuncture. BMC Complement Altern Med,2001;1:3

[56]Linde K, Vickers A, Hondras M, et al. Systematic reviews of complementary therapies——an annotated bibliography. Part 2: herbal medicine. BMC Complement Altern Med,2001;1:5

[57]Linde K, Hondras M, Vickers A, et al. Systematic reviews of complementary therapies——an annotated bibliography. Part 3: homeopathy. BMC Complement Altern Med,2001,1:4

[58]Schünemann HJ, Oxman AD, Higgins JPT, et al. Chapter 11: Presenting results and ′Summary of findings′ tables . Cochrane Handbook for Systematic Reviews of Interventions. Version 5.0.2 (updated September 2009).The Cochrane Collaboration,2009.Available from www.cochrane-handbook.org

[59]Schünemann H, Brožek J, Oxman AD, editors. GRADE handbook for grading quality of evidence and strength of recommendation. Version 3.2[updated March 2009].The GRADE Working Group, 2009. Available from http://www.cc-ims.net/gradepro

[60]Higgins JPT, Deeks JJ, Altman DG. Chapter 16: Special topics in statistics. Cochrane Handbook for Systematic Reviews of Interventions. Version 5.0.2 (updated September 2009).The Cochrane Collaboration,2009.Available from www.cochrane-handbook.orge

[61]John PA, Ioannidis MD. Integration of evidence from multiple Meta-analyses: a primer on umbrella reviews, treatment networksand multiple treatments Meta-analyses. CMAJ, 2009,181(8):488-493