康复临床实践指南：方法学质量研究

2020-03-27魏莉莉李浩冉王子君黄嘉骏周奇3黄天相陈佩瑶李兴杰陈耀龙杨克虎

中国康复理论与实践 2020年2期

魏莉莉，李浩冉，王子君，黄嘉骏，周奇3,6,7,，黄天相，陈佩瑶，李兴杰，陈耀龙，杨克虎

1.兰州大学第二医院，甘肃兰州市 730000；2.兰州大学基础医学院循证医学中心，甘肃兰州市 730000；3.甘肃省循证医学与临床转化重点实验室，甘肃兰州市 730000；4.世界卫生组织国际分类家族中国合作中心，北京市 100068；5.中国ICF 研究院/潍坊医学院，山东潍坊市 261053；6.世界卫生组织指南实施与知识转化合作中心，甘肃兰州市 730000；7.GRADE中国中心，甘肃兰州市 730000；8.兰州大学第一临床医学院，甘肃兰州市 730000

临床实践指南是基于系统评价的证据和平衡了不同干预措施的利弊，在此基础上形成的能够为患者提供最佳保健服务的推荐意见[1‐3]。作为临床康复的指导性文件，康复临床实践指南为康复治疗的实施和评价提供科学的证据基础，帮助医疗机构按照循证医学支持的治疗方案进行操作，提高康复疗效，消除障碍并提高健康服务和规划的可及性，使患者获得最大限度的功能和自理能力改善，促进实现所有残疾人的最佳健康、功能、福祉和人权[4‐6]。这些目标的实现需基于指南科学的设计、严格的制订、规范的报告以及对高质量证据、患者偏好和价值观及经济因素的综合考虑[7]。然而很多领域临床实践指南的质量参差不齐，制订过程差别较大[8‐10]。若采用有缺陷的指南很有可能导致预期之外或不良的临床结局，给患者带来危害和不必要的经济负担，还会造成医疗资源的浪费[4,10]。因此，对康复医学领域临床实践指南进行质量评价可帮助医务工作者明确指南的制订过程是否严格、规范、透明，推荐意见是否基于当前最佳证据并值得在临床推广实践。

指南研究与评价(Appraisal of Guidelines for Re‐search and Evaluation,AGREE)协作网于2003年制订并发布AGREE 工具，将指南的质量定义为“对指南制订的潜在偏倚得以充分考虑，以及对指南推荐意见具有内部真实性、外部真实性和实施可行性的信心”，对临床指南的质量保证和成功实施产生了重要影响[11]。2009 年AGREE更新为AGREE Ⅱ，2013 年AGREE Ⅱ进行再次修订[12‐13]，目前已成为国际上应用最广的指南评价工具。本研究旨在应用AGREE Ⅱ对康复领域的指南做方法学质量评价，同时，研究AGREE Ⅱ与康复临床实践指南的契合程度，为规范康复领域临床指南的制订提供参考。

1 资料与方法

1.1 一般资料

检索方法、纳入与排除标准及文献筛选见袁涛等[14]的研究。

1.2 数据提取及评价方法

基于AGREE Ⅱ条目设计资料提取和评价表。数据提取及评价前，对小组内4 名评价成员进行培训，随后进行2 次预试验，以对AGREE Ⅱ各条目达成较一致的理解，形成评分参考标准，减小对各条目的理解偏倚。正式评价时各研究人员独立进行数据提取并阶段性交叉核对，出现分歧时通过协商解决。提取的基本信息包括：指南发表年份、发表杂志、针对的健康问题、方法学家、检索证据、证据纳入排除标准、证据分级工具、推荐分级工具、形成推荐意见的方法、患者意愿、指南版本、更新计划、利益冲突、参考文献、是否有附件及附件内容等。

运用AGREE Ⅱ指南评价工具对纳入指南进行综合评价。此工具包括范围和目的、参与人员、制订严谨性、表达清晰性、应用性和编辑独立性等6 个领域共23个条目。

范围和目的是指指南在阐述总目的、所涵盖的临床问题及指南适用人群是否清晰，共3 个条目。参与人员是指指南制订过程中是否纳入所有相关专业的人员、收集目标人群(患者和公众)的观点及明确规定指南的使用者，共3 个条目。制订严谨性是指证据检索方法、证据选择标准、描述证据强度和局限性、形成推荐意见的方法、形成推荐意见时的利弊分析、建议和证据之间是否有明确关系、是否经过外部专家评审、是否提供指南更新步骤，共8 个条目。表达清晰性是指推荐意见是否明确、是否明确列出不同的选择或临床问题、是否容易识别重要的推荐意见，共3 个条目。应用性是指指南应用过程中的促进和障碍因素、提供如何应用于实践的推荐建议和工具、可能需要的相关资源和监测审查标准，共4 个条目。编辑独立性是指赞助单位的观点是否影响指南内容、是否记录并公开指南小组成员的利益冲突，共2个条目。

其中，每个条目1～7 分，1 分表示指南完全不符合该条目，2～6分代表指南不完全符合该条目，7分代表指南完全符合该条目。各领域最终得分(标准化百分比)=(实际分－最低分)/(最高分－最低分)×100%。得分越高，说明所评价的指南在本领域的方法学质量越高。最低分=1(完全不符合)×该领域条目数×评价者数量；最高分=7(完全符合)×该领域条目数×评价者数量。

根据指南各领域得分情况将指南的推荐级别分为3 级。A 级(推荐)：指南6 个领域得分均≥60%，可不更改直接推荐。B 级(不同程度修改完善后推荐)：得分≥30%的领域数≥3，但有得分<60%的领域，需要不同程度的修改完善。C级(不推荐)：得分<30%的领域数≥3，由于指南制定方法较差或证据质量差暂时不推荐[15]。

1.3 统计学分析

采用SPSS 22.0 对指南评价结果进行一致性检验，4 名评价者评价结果的一致性检验通过计算组内相关系数(interclass correlation coefficient,ICC)。该方法可检测评估者内和评估者间的可靠性，ICC 值介于0～1.00。若ICC ≤0.20，说明评价者间一致性差；0.21 ≤ICC ≤0.60，说明一致性中等；0.61 ≤ICC ≤0.80 说明一致性良好；ICC ≥0.80 说明一致性非常好。国内外与AGREE Ⅱ发布前后指南平均得分不符合正态分布，比较采用独立样本非参数Mann‐WhitneyU检验。显著性水平α=0.05。

2 结果

根据纳入与排除标准，本研究共纳入康复临床实践指南84篇，其中英文67篇，中文17篇。

2.1 一致性检验结果

使用AGREE Ⅱ工具评价中，4 名评价人员针对范围和目的、参与人员、制订严谨性、表达清晰性、应用性和编辑独立性共6 个领域进行评价的一致性检验结果分别为0.832 (95%CI 0.754～0.876)、0.929(95%CI 0.901～0.950)、0.964 (95%CI 0.950～0.975)、0.906 (95%CI 0.869～0.934)、0.790 (95%CI 0.708～0.854)和0.894 (95%CI 0.853～0.926)。4 名评价成员间AGREE Ⅱ评分的一致性均良好以上。

2.2 基于AGREE Ⅱ的指南评价结果

纳入的84 篇康复临床实践指南AGREE Ⅱ整体评价平均得分为48.1%，其中，国外指南为49.9%，国内指南为40.7%。

2.2.1 范围和目的

该领域所有指南的平均得分为41.6%。国外指南平均得分高于国内(P<0.05)。见表1。国外指南中得分最高为76.4%[16]，国内最高为48.6%[17]。AGREE Ⅱ发布前后该领域指南平均得分无显著性差异(P>0.05)。见表2。AGREE Ⅱ发布后的指南评分最高为76.4%[14]，发布前最高为61.1%[18]。

2.2.2 参与人员

该领域所有指南的平均得分为24.5%。国外指南平均得分明显高于国内(P<0.01)。见表1。国外指南中得分最高为58.3%[19]，国内最高为33.3%[20‐27]。AGREE Ⅱ发布前后指南平均得分无显著性差异(P>0.05)。见表2。AGREE Ⅱ发布后的指南评分最高为58.3%[28]，发布前最高为40.3%[29]。

2.2.3 制订严谨性

该领域所有指南的平均得分为23.2%。国外指南平均得分高于国内(P<0.05)。见表1。国外指南中评分最高为58.9%[30]，国内最高为36.5%[31‐32]。AGREEⅡ发布前后指南平均得分无显著性差异(P>0.05)。见表2。AGREE Ⅱ发布后的指南评分最高为58.3%[33]，发布前最高为45.3%[18]。

2.2.4 表达清晰性

该领域所有指南的平均得分为39.9%。国外指南平均得分高于国内(P<0.05)。见表1。国外指南中评分最高为70.8%[33]，国内最高为55.6%[34‐35]。AGREEⅡ发布后的指南平均得分高于发布前(P<0.05)。见表2。AGREE Ⅱ发布后的指南评分最高为70.8%[33]，发布前最高为61.1%[36]。

2.2.5 应用性

该领域所有指南的平均得分为12.9%。国内外指南平均得分无显著性差异(P>0.05)。见表1。国外指南中评分最高为43.8%[28]，国内最高为18.8%[31‐32]。AGREE Ⅱ发布前后的指南平均得分无显著性差异(P>0.05)。见表2。AGREE Ⅱ发布后的指南评分最高为43.8%[28]，发布前最高为26.0%[33]。

2.2.6 编辑独立性

该领域所有指南的平均得分为15.5%。国外指南平均得分高于国内(P<0.05)。见表1。国外指南中评分最高为60.4%[37]，国内最高为35.4%[38]。AGREE Ⅱ发布后的指南平均得分明显高于发布前(P<0.01)。见表2。AGREE Ⅱ发布后的指南评分最高为60.4%[37]，发布前最高为25.0%[39]。

表1 国内外康复临床实践指南AGREEⅡ评价各领域得分比较

3 讨论

本研究所涉及的84篇指南中，整体评分较低。其中，国外指南部分为循证指南，较符合目前的趋势。文献[16]各领域得分值在本研究所有指南中最高，文献[31‐32]整体评分值在所有国内指南中最高，此指南严格遵循循证实践指南的制订方法，以上两部指南的制订方法值得借鉴。

表2 康复临床实践指南AGREE Ⅱ发布前后各领域得分比较

在范围和目的方面，所有指南评分均值相对较高。几乎所有指南都有明确的目的，即规范相关疾病的康复医学实践。差异在于阐述指南所涵盖的健康问题以及应用人群方面，国外指南更为严谨。

在参与人员方面，除了部分国外指南之外，所有指南的得分均值较低。国内外指南在本领域的差异并不明显，大多数指南均缺乏统计学和方法学专家。所有指南的编撰专家数量差异较大，文献[31‐32]的参与制订者达到40多人，而文献[40]的参与制订者仅3人，相比之下要完成从证据收集、评价到推荐意见形成等一系列工作，难度较大。此外，AGREE Ⅱ要求每篇指南应该详尽列出指南开发小组的每位成员的专业、机构、研究领域和在指南开发小组中的角色等，同时还应该收集目标人群(患者、公众等)的观点和选择意愿以及明确规定指南的使用者，以上3 个条目对指南的制订至关重要。然而，大多数国内指南及部分国外指南只列出专家姓名，未提及具体单位、学科、专业及在指南制订中的角色，有待进一步规范。本研究所纳入的指南多数未考虑到目标人群的观点和选择意愿，并且对指南的使用者还需进一步明确。

指南制订的严谨性是评价指南质量高低的重要因素。总体看来，所有指南在该领域得分平均值相对较低，提示在该领域还有较大的进步空间。然而，有极少数指南的质量较高，值得参考。其中，NICE 指南如文献[19]被认为是“所有康复指南中最优秀的一篇指南”。指南中详细列出了系统的检索方法、选择证据的标准、证据的优势和不足、形成推荐意见的方法以及指南的更新步骤等，完全符合AGREE Ⅱ的要求。其余国外指南均存在某些不足。如文献[41‐42]，在证据检索方法方面均一笔带过，不具有可重复性；文献[43‐44]未提及选择证据的标准；文献[43,45‐46]存在未描述证据的优势和不足等其他问题。国内指南方面，大多数忽略了证据的系统检索和选择证据的标准，部分指南直接列出推荐意见。同时国内大部分指南出版前未经过专家的外部评审，也没有相应的更新计划。因此，国内康复指南在此条目上的质量较差，应当加强制订过程的严谨性。

在表达清晰性方面，上述指南得分均值相对较高。整体来看，国外指南在该领域的得分明显高于国内指南，表明其推荐意见的表述具有更高的严谨性。其中，国外文献[33]的评分较高(70.8%)，这篇指南的推荐意见清晰，对某一情况或健康问题列出不同的选择，并且主要的推荐意见清晰易辨。其余的国内外指南在以上3 个条目中均存在不同程度的缺陷，如没有明确列出推荐意见或者推荐意见含糊不明确等。如文献[41]推荐意见较明确，但是推荐意见的识别不清晰，无明确的推荐字眼或者将推荐建议放在一个醒目位置，有待改进。

在应用性方面，要成功使用指南可能需要考虑多方面的问题，如地区经济健康水平、医疗保险体系等。此外，为了提高指南的使用效率，还应有相应的快速参考指南、总结文件及患者书面说明等配套工具。此领域的得分平均值处于所有领域得分的最低分，因为大多数指南未提及指南应用时的优势和劣势，未考虑提供应用推荐建议的意见和/或工具，较少考虑应用推荐建议时潜在的相关资源。同时，部分指南未提供监控或审计的标准，导致使用者无法正确理解指南。如文献[47]在其他领域的得分尚可，但是整个指南几乎未提及该领域所包含的内容，将会导致临床操作标准不统一。因此，上述领域值得重点关注。

在编辑独立性方面，赞助单位的观点及指南开发小组成员的利益冲突要记载并公布，它将会影响整个指南的制订结果。有研究指出指南编辑专家与药厂企业之间的联系将会影响指南的制订过程[48]。因此，为保证制订过程客观公正，任何利益关系都应当被考虑和注明。本研究中，国外指南大多数阐述了赞助单位的观点与指南开发小组成员之间的利益冲突，而国内指南仅有少数阐述本领域内容。建议未来国内指南制订过程中对此内容高度重视，以增加指南的可信度。

AGREE Ⅱ作为指南的质量评价工具，可为新指南的制订提供方法学策略，已在国际上得到广泛应用，对我国临床指南的制订与评价起到积极有效的作用。通过应用此工具对国内外康复医学领域临床实践指南的评价结果可以得出，纳入评价的84 篇指南在AGREE Ⅱ6 个领域中平均得分由高到低依次是表达清晰性、范围和目的、参与人员、制订严谨性、编辑独立性和应用性，其中后4个领域的平均分低于30%。说明很大一部分指南未详细列出参编人员的研究领域和在指南制订小组中的职务，缺乏收集目标人群(患者、公众等)的观点和选择意愿以及明确规定指南的使用者；对证据的检索过程、选择证据的标准及形成推荐建议的方法等严谨性缺乏；较少考虑利益关系；在指南应用于临床中缺乏明确的指导及审查标准。AGREE Ⅱ发布前后指南得分的平均值显示，发布后的得分均高于发布前的得分。说明AGREE Ⅱ发布后，国内外指南的质量有所提升。因此，在指南的开发及更新过程中，应针对以上问题进行改进，并严格遵循指南的质量评价标准，以促进指南向临床实践的转化。

此外，在评价中也发现AGREE Ⅱ工具在评价指南时本身也存在其局限性，如只注重对指南制订的方法学评价，而对指南证据质量和推荐建议的可靠程度无法评价。某些条目难以理解和应用，如推荐建议应用时潜在的相关资源监督和/或审计标准等；没有具体的评分区间与标准，导致评价人员的主观性被放大；缺少判断一部指南优劣的界值，未规定决定指南质量的核心条目等。