指南研究与评价(AGREEⅡ)工具实例解读
2013-01-23王聪尧肖晓娟陈耀龙梁富翔杨克虎
韦 当 王聪尧 肖晓娟 陈耀龙 姚 亮 梁富翔 王 琪 杨克虎
AGREE 协作网于2003 年制定并发布了指南研究与评价(AGREE)工具[1],并将指南的质量定义为“对指南制定的潜在偏倚得以充分考虑,以及对指南推荐意见具有内部真实性、外部真实性和实施可行性的信心”[2]。AGREE 自2003 年发布以来,已有诸多语种的翻译版本,被超过百篇文章或出版物引用,得到多个卫生保健机构的认可[2]。2005 年国内学者对AGREE 工具进行了翻译,将其正式引入中国[3]。为进一步提高AGREE 的科学性及可行性,由AGREE 协作网的部分成员组建的AGREE Next Steps 协会对AGREE 工具开展了修订工作,并于2009 年发布了AGREEⅡ[4]。2010 年,Zadvinskis 等[5]以慢性肾病指南为例解读AGREE,但其只对各个领域进行整体解读,未细化到具体条目。2012 年,谢利民等[6]对AGREEⅡ的条目进行了翻译,但未结合国内具体实例进行解读。GRADE 中国中心指南研究课题组曾对2012 年12 月之前发表的共380篇国内指南,根据AGREE Ⅱ评分,《足月儿缺氧缺血性脑病循证治疗指南(2011-标准版)》[7]整体得分第一,本文以此作为范例逐条解读AGREEⅡ工具,以期为中国读者更清晰地理解和正确使用AGREEⅡ工具提供参考。
1 AGREEⅡ基本情况
AGREEⅡ的适用对象包括:卫生保健提供者、指南制定者、卫生决策者和相关教育工作者[8]。其由一个用户手册、6 个领域(23 个条目)和2 个总体评估条目组成。AGREEⅡ中推荐评价指南的人数至少为2 人,最好为4 人。AGREEⅡ每个条目的评分为1 ~7 分,1 分表示指南完全不符合该条目,7 分代表指南完全符合该条目,2 ~6 分代表指南不完全符合该条目,得分越高说明该条目符合程度越高。详细的打分细则以及与AGREE 的区别见相关译文[6]。
2 AGREEⅡ具体条目实例解读
2.1 领域一 范围和目的
条目1 明确阐述指南的总目的 应详尽描述指南的总目的,明确其对社会、患病人群及个人的潜在健康影响,并落实到具体的临床问题或健康主题。
例:围生期窒息和与其相关的HIE 仍然是导致足月儿获得性脑损伤的重要原因,新生儿HIE 发生率为2‰ ~9‰,是目前发展中国家和欠发达国家新生儿围生期死亡和严重伤残的主要原因;国内不同医院间足月儿HIE 的治疗方法存在着极大的差异,制定“胎龄≥36 周(近)足月儿HIE 的循证治疗指南,既是对中国过分积极的足月儿HIE特殊神经保护治疗的反思,也是对未来更科学的足月儿HIE 治疗方法的探索。
解读:虽然该指南没有在正文中明确提出其总目标或目的,但在背景部分较为清晰的说明了指南的总目的,建议给予5 ~6 分。
条目2 明确阐述指南所涵盖的卫生问题 应详细阐述所涉及的卫生问题,特别是主要的推荐意见(详见条目17),主要包括目标人群、干预或暴露、结局指标和卫生保健背景等。
例:P(人群):胎龄≥36 周(近)足月儿HIE,I (干预措施):支持对症治疗和特殊神经保护治疗,O(结局指标):死亡和6 个月以上的严重伤残结局。
解读:虽然该指南未在正文中明确提出,但仍根据PICO原则,较为准确地定义了所涉及的卫生问题(没有明确指出C,即对照措施),建议给予5 ~6 分。
条目3 明确阐述指南所要应用的人群(患者、公众等) 应明确阐述所涵盖的目标人群,内容包括人群的年龄、性别、临床症状和并发症等,若有明确排除的人群,则加以说明。
例:计划目标人群:胎龄≥36 周(近)足月儿HIE。HIE诊断标准符合文献[9,10]的定义。
解读:该指南应用人群的年龄限制于胎龄≥36 周(近),临床症状为HIE 表现,且HIE 的诊断须符合相关文献定义,描述充分,建议给予6 ~7 分。
2.2 领域二 参与人员
条目4 指南制定组包括所有相关专业的人员 指南制定过程中的某阶段涉及到的专业人员,如指导小组、筛选和评估证据的研究组、参与形成最终推荐意见的人员等,但不包括参与指南外审的人员(详见条目13)及指南的目标人群(详见条目5)。指南应列出他们的姓名、研究领域(如,神经外科医生)、所在单位、地址和在指南制定小组中的职务。
例:指南工作组成员包括:新生儿专家、医生,医学编辑,循证医学专家,临床流行病学专家,国际GRADE 工作组中国中心成员,新生儿专业的研究生……。
国际GRADE 工作组中国中心对文献证据评价进行质量控制。
由新生儿专业的研究生依据本指南制定的文献纳入和排除标准进行评价……。
足月儿HIE 循证治疗指南工作组成员:复旦大学附属儿科医院新生儿科:邵肖梅、周文浩……。
解读:该指南清晰描述了参与制定指南的相关人员的姓名、研究领域和所在单位,同时介绍了相关人员的职责和工作内容,描述充分,建议给予6 ~7 分。
条目5 考虑到目标人群(患者、公众等)的观点和选择 临床指南的制定应考虑目标人群(患者、公众等)的意见。制定者可通过问卷调查、文献综述等方法获取目标人群的观点和选择,或者让他们参与到指南制定中或对草案的外审。指南应详细报告收集这些信息的方法,并记录这些结果是如何影响指南的制定和推荐意见的形成。应当有证据表明这个过程已考虑了患者、公众的观点。
例:指南的局限性和不足:……也缺少社会工作者和患儿家长的参与。
解读:该指南在局限性部分明确提出未考虑目标人群的观点和选择,故建议给予1 分。
条目6 指南的适用者已经明确规定 应明确其适用者,以使读者判断指南是否适用于他们。
例:计划应用人群:任何等级医院的儿科医生、新生儿科医生及其护理人员,产科医生及其护理人员。
解读:该指南明确描述了其适用者包括各级儿科、产科医护人员,描述充分,建议给予6 ~7 分。
2.3 领域三 制定的严谨性
条目7 用系统的方法检索证据 应给出搜集证据时完整的检索策略,包括检索数据库或其它证据来源、检索时间和检索词等。检索策略应尽量全面并在实施时规避潜在的偏倚,描述时也应尽量细致从而使其具有可重复性。
例:该指南10.3 项下有8 条详细描述了文献检索策略,如①确定文献检索分为4 个步骤……;②确定文献检索语种为英文和中文……;③确定英文检索数据库为……;④预检索不限定试验对象(人和动物)和文献类型……。
解读:该指南本部分描述充分,建议给予6 ~7 分。
条目8 明确阐述了选择证据的标准 应提供检索获得证据的纳入、排除标准,并描述上述标准及使用这些标准的根据。
例:文献纳入标准:①文献类型:Meta 分析、RCT、非随机对照试验、观察性研究和病例报告……;文献排除标准:①对照组除给予支持对症治疗外,还包括特殊神经保护治疗……。
解读:该指南从文献类型、疾病诊断标准、结局指标等方面阐述了文献的纳入标准,从对照组及观察组的疗法、研究类型等方面描述了文献的排除标准。建议给予5 ~6 分。
条目9 清楚地描述证据群的优势和不足 应明确指出证据的推荐优势和劣势。即应详细说明制定过程中是否使用了正规或非正规的工具、方法来评估证据可能存在偏倚的风险:单个研究、基于证据群的评论或特异性结论。
例:根据纳入和排除标准筛选出的文献均以GRADE为评价标准(表1)。国际GRADE 工作组中国中心对文献证据评价进行质量控制……,GRADE 证据概要见表4……。
解读:该指南运用GRADE 评价证据群的质量,列表说明了证据质量级别的含义,阐明了影响证据质量升高和降低的因素;同时制作了证据概要表,使读者清晰了解纳入证据的具体情况。建议给予6 ~7 分。
条目10 明确阐述形成推荐意见的方法 应详细介绍推荐意见的制定方法以及做出最终决定的过程。如,采用投票系统、非正式的共识、正规的方法(如德尔菲、Glaser方法等)。存在争议的部分以及相应的解决方法也应明确指出。
例:干预措施的推荐强度依据GRADE 中的相关内容,推荐强度的主要决定因素是治疗利弊关系(表2),同时也要兼顾文献证据质量、患儿家长及监护人价值观和意愿、医疗成本。专家研讨会会对本指南进行了充分的讨论,并对指南制定中文献检索难以找到证据或证据质量低无法被采纳的、11 个重要且难以确定的足月新生儿HIE 治疗问题,通过德尔菲法表决……,实际全程参与表决的专家、医生和护士共40 名。
解读:该指南较为清晰地记录和描述了基于GRADE系统形成推荐意见的方法,同时对于难以找到证据或证据质量低无法被采纳的治疗问题等,则通过德尔菲法表决,且描述了执行该方法的具体过程。建议给予5 ~7 分。
条目11 在形成推荐意见时考虑了对健康的效益、副作用以及风险 在制定指南的推荐意见时应考虑健康效益、副作用和风险,平衡利弊后给出相应合适的推荐意见。
例:推荐亚低温治疗足月儿中、重度HIE(1A)。
解读:该指南对绝大多数推荐意见中的干预措施,如亚低温,就其可能的副作用和风险予以较充分的说明,建议给予5 ~6 分。
条目12 推荐意见和支持证据之间有明确的联系每条推荐意见应与关键证据的描述和(或)参考文献相联系,以确保指南使用者能够将不同的推荐意见对应其支持证据。
例:表4 足月儿HIE 在对症支持治疗及其特殊神经保护治疗的GRADE 证据概要表;推荐维持适当的通气和氧合(1D);不建议别嘌呤醇治疗足月儿HIE(2C)。
解读:该指南对纳入的证据汇总形成证据概要表,并标明证据等级。而针对每项治疗的每个结局指标,在纳入证据质量的基础上,考虑了资源和平衡利弊,得出每条推荐意见,建议给予6 ~7 分。
条目13 指南在发表前经过专家的外部评审 指南在发布前应进行外审且制定小组的成员不能作为审核者。审核者可以是相关领域的临床专家和方法学专家以及目标人群(患者、公众等)的代表。指南应公开外审过程中采用的方法,并列出审核者的名单及信息表。
例:2011 年8 月6 日在上海召开了足月新生儿HIE 循证治疗指南专家研讨会,研讨会的人员有来自全国18 个省(自治区)和直辖市的34 名新生儿专家……,研讨会对本指南进行了充分的讨论……。
解读:该指南虽然描述了指南在形成过程中征求了外部专家的意见,但未清楚报告指南完稿后是否独立送外部专家进行评审,也没有交代外审方法和专家信息,建议给予1 ~2 分。
条目14 提供指南更新的过程 提供其详细的更新过程,包括是否会被更新,更新的方法,更新时间和周期。
解读:该指南未描述关于更新的信息,其在该条目的得分为1 分。足月儿HIE 的研究不断开展和更新,新增的证据有可能会逆转该指南现有的推荐意见。应该描述其未来计划更新的频率、周期及更新方法。
2.4 领域四 表达的明晰性
条目15 推荐意见明确不含糊 应明确阐述某推荐意见在什么情况下、对何种患者适用,并应指出有无证据支持。具体内容包括:陈述推荐、推荐意见的目的(如提高生活质量)、明确适用人群和适用条件。
例:不建议硫酸镁治疗足月儿HIE(2D)。推荐说明:1项RCT 研究(n=36)[11]采用硫酸镁治疗新生儿重度窒息,结果显示不能降低病死率(RR=1)。
解读:该指南清晰注明推荐意见及其适用人群,且内容明确不含糊,同时标明了证据来源,建议给予6 ~7 分。
条目16 明确列出针对某一情况或卫生问题不同的选择 疾病管理指南应该考虑到涉及的临床筛查、预防、诊断和治疗存在各种不同的选择,在指南中应该明确提到这些可能的选择。
例:推荐亚低温治疗足月儿中、重度HIE。
解读:该指南描述对于足月儿HIE 的神经保护治疗仅有亚低温作为推荐,尚不存在不同选择情况,建议给予6 ~7 分。
条目17 主要的推荐意见清晰易辨 为便于读者查找,指南应对所有的推荐意见突出显示、分类汇总。如,采用表格、流程图、加粗和下划线等方式。
例:指南推荐意见……,推荐维持适当的通气和氧合(1D)。推荐说明:来自于经典专著认为,低氧血症和重度高碳酸血症均可损害脑血流自主调节功能……。
解读:该指南在文件开头对其推荐意见进行了汇总描述,且在每条推荐意见后对该推荐进行了说明,读者能够快速获取和理解指南的推荐意见。建议给予6 ~7 分。
2.5 领域五 应用性
条目18 指南中描述了应用过程中的促进和阻碍因素
例:(1)有利因素:①随着基于医学伦理学的临床研究被高度重视,也随着循证医学的思想在中国儿科医生中的普及和深入,临床医生对高质量的循证指南的需求意愿更强烈了……,(2)不利因素:①本指南的语种为中文,可能限制了在非汉语国家和地区的应用……。
解读:该指南从应用性和需求性描述了应用时的促进因素,从语种、不同层次医生的知识背景和新技术推广等方面描述了应用时的阻碍因素。但同时需要注意,该指南提出其适用于各个级别医院,却并未在指南中特别提到,在一些基层医院,可能会缺乏亚低温设备及专科儿科医生,这将有可能成为指南实施的不利因素。建议给予4 ~5 分。
条目19 指南提供了推荐意见如何应用于实践的建议和(或)配套工具 为利于指南的使用和推广,指南应该提供相关的配套文件和建议,如,总结文件、快速参考指南、培训工具、预试验结果、患者书面说明和计算机辅助等。
例:亚低温治疗新生儿HIE 具体方案见本刊本期337页。
解读:该指南提供了部分相关文件如亚低温治疗新生儿HIE 具体方案的获取来源,但未就其他相关文件,如文献检索的结果等给出来源。建议给予4 ~6 分。
条目20 指南考虑了应用推荐建议时潜在的资源投入问题 要使指南的推荐意见得以应用,可能需要额外的资源投入。如更多的专业人员、新的设备和昂贵的治疗药物,这些可能增加卫生保健的预算。指南应该讨论推荐意见对资源投入的潜在影响。
解读:该指南未描述关于资源投入的信息,其在该条目的得分为1 分。该指南应该对其推荐的干预措施的经济学予以阐述,以及其在推广应用时,可能会要求各个机构的配备亚低温设备和受培训的儿科医生,但并非所有机构都具备条件,这将增加了潜在的资源投入。
条目21 指南提供了监控和(或)审计的标准 监测推荐意见的应用有助于其持续推广使用,指南的主要推荐意见中应有明确的监控和审计的标准,这些标准可能包括过程测试,行为测试,临床或卫生结果测试。
例:推荐维持适当的血糖水平(1D)
推荐说明:来自于经典专著认为,低血糖和高血糖对HIE 患儿都是无益的,尤其是急性期低血糖。血糖维持在4.2 ~5.6 mmol·L-1,避免低血糖加重脑损伤。
推荐适量限制入液量,预防脑水肿(1D)
推荐说明:来自于经典专著认为……应维持尿量>1 mL·kg-1·h-1。
亚低温治疗新生儿HIE 具体方案见本刊本期337 页。
解读:该指南描述血糖水平应维持在4. 2 ~5. 6 mmol·L-1,让读者明确何谓适当的血糖水平;同时对于脑水肿的防治,尿量应>1 mL·kg-1·h-1。同时刊发了亚低温治疗新生儿缺氧缺血性脑病方案。故建议给予6 ~7 分。
2.6 领域六 编辑独立性
条目22 赞助单位的观点不影响指南的内容 许多指南在制定过程中接受了外部的赞助(如政府、慈善组织、制药公司等),这些赞助方可能会以捐款的方式支持指南的制定或其中一部分工作(如指南的印刷)。指南应明确地声明:资助机构的观点或利益不会对指南的制定产生任何影响。
例:本指南制定过程中,未接受任何来自于药商和器械商的资助,包括资金和会务服务支持。指南工作组成员、指南修改过程与药商器械商不存在任何利益关系和冲突。
解读:该指南描述在指南的制定过程中未受到任何基金、药商或机械商的资助,故基金会、药商或机械商的观点不影响指南的内容,建议给予6 ~7 分。
条目23 指南记录并考虑了制定小组成员的利益冲突 某些情况下指南制定小组成员中会存在利益冲突,例如,小组中某个成员研究的课题是指南所涉及的主题,并且该课题得到了制药公司的赞助,在这种情形下就会产生利益冲突。所以指南应明确声明每一位指南制定小组成员是否存在任何利益冲突。
例:参与本指南专家研讨会的专家医生和护士均签署书面声明,表示与药商器械商没有利益关系与冲突。
解读:该指南记录并强调了指南制定小组成员的利益冲突,建议给予6 ~7 分。
3 总结
本文列举的是国内期刊发表的AGREEⅡ评分最高的指南,但其并不完全满足所有的AGREE Ⅱ条目,尤其是条目5(考虑到目标人群,如患儿、公众等的观点和选择)、条目13(指南在发表前经过专家的外部评审)、条目20(指南考虑了应用推荐建议时潜在的资源投入问题),故中国指南制定者在制定指南过程中,应特别关注在上述3 个方面的提高,以期提高中国指南的严谨性和实用性。建议在制定指南时,应先对AGREEⅡ工具进行系统学习和研究,并邀请方法学家参与。
Brouwers 等[12]认为在线学习可提高对AGREEⅡ工具的理解与掌握。故读者根据AGREEⅡ用户手册[8]及AGREE 官网(www. agreetrust. org)相关配套文件,结合本文的实例解读,进行在线培训,可加深对AGREEⅡ的理解。然而另外本研究还提示AGREEⅡ工具可能并不完全适用于评价中国开发的指南,刘道践等[13]认为AGREE 工具尚存在一些问题,于是其在AGREE 及其他评价工具的基础上,针对中国的现状构建了一个本土化的指南评价工具。但是该指南评价工具的意义、实用性及可行性尚需要更多的研究进行验证。
利益冲突 本文作者陈耀龙、杨克虎是《足月儿缺氧缺血性脑病循证治疗指南(2011-标准版)》的制定者之一。
[1]AGREE Collaboration. Development and validation of an international appraisal instrument for assessing the quality of clinical practice guidelines: the AGREE project. Qual Saf Health Care,2003,12(1):18-23
[2]AGREE History. http: //www.agreetrust.org/about-agree/agree-history/.2013-05-21
[3]Zhan SY(詹思延). A brief introduction of appraisal of clinical guidelines research and evaluation. Chin J Evid Based Pediatr(中国循证儿科杂志),2007,2(5):375-377
[4]About the AGREE Next Steps Consortium.http: //www.agreetrust.org/about-agree/agree-research-teams/agree-nextsteps-consortium/.2013-05-21
[5]Zadvinskis IM, Grudell BA. Clinical practice guideline appraisal using the AGREE instrument: renal screening. Clin Nurse Spec,2010 ,24(4):209-214
[6]Xie LM(谢利民), Wang WY. A brief introduction to Appraisal of Guidelines for Research and Evaluation II. Journal of Chinese Integrative Medicine(中西医结合学报),2012,10(2):160-165
[7]Key Laboratory of Neonatal Diseases,Ministry of Health(卫生部新生儿疾病重点实验室), Children's Hospital of Fudan University, Editorial Board of Chinese Journal of Evidencebased Pediatrics, et al. Guideline of evidence-based treatment for hypoxic-ischemic encephalopathy in full-term infants(standard version,2011). Chin J Evid Based Pediatr(中国循证儿科杂志),2011,6(5):327-335
[8]AGREE Next Steps Consortium (2009). The AGREE II Instrument ,2011.Accessed January,01,2011 at http: //www.agreetrust.org
[9]Volpe JJ. Neurology of the newborn. Fifth edition. Saunders.2008,448-461
[10]Taeusch HW, Ballard R, Gleason C. Avery's diseases of the newborn. 8th edition. Saunders. 2005,969-987
[11]Bhat MA, Charoo BA, Bhat JI, et al. Magnesium sulfate in severe perinatal asphyxia:a randomized,placebo-controlled trial. Pediatrics,2009,123(5):764-769
[12]Brouwers MC, Makarski J, Levinson AJ.A randomized trial to evaluate e-learning interventions designed to improve learner's performance, satisfaction, and self-efficacy with the AGREE II.Implement Sci,2010,5:29
[13]Liu DJ(刘道践), Chen JG, Li Y, et al. 一个中国化医学临床指南评价工具的研发. China Medical Equipment(中国医学装备),2012,(9):11-14