《创伤外科杂志》发表的干预类系统评价/Meta分析方法学质量评价
2023-03-01车鹏,胡俊,黄中,黄可
车 鹏,胡 俊,黄 中,黄 可
绵阳市第三人民医院急诊科·四川省精神卫生中心,四川 绵阳 621000
系统评价/Meta分析(systematic-review/meta-analysis,SR/MA)被公认为评判临床疗效及制订临床指南和规范的基石,临床医师可以通过阅读来更新自己所掌握的信息[1]。但有的SR/MA因设计缺陷、研究质量低等因素降低了其证据强度。因此,在应用循证证据之前,需对SR/MA进行质量再评价[2]。2017年修订并发布的系统评价方法学质量评价工具2(a measurement tool to assess systematic reviews of 2,AMSTAR 2),其由16个条目组成,全面对方法学进行评价,是目前国际推荐的方法学质量评价量表[3-4]。本研究采用AMSTAR 2量表对《创伤外科杂志》发表的干预类的SR/MA进行方法学质量评价,分析《创伤外科杂志》已发表的SR/MA的现状及存在的问题,为后面的学者写作SR/MA时提供较为客观的注意事项,从而提高SR/MA的质量,进而为循证决策提供高质量的证据。
资料与方法
1 文献纳入与排除标准
纳入标准:(1)《创伤外科杂志》杂志公开发表的文献;(2)时间从创刊—2022年2月28日;(3)随机对照研究(randomized controlled trial,RCT)、非随机干预研究(non-randomized studies of interventions,NRSI)或两者都有的系统评价;(4)干预类SR/MA。排除标准:预后研究及不良反应Meta分析[5]。
2 文献检索
计算机检索万方数据库、中国知网、维普数据库、中国生物医学文献数据库,检索语言限中文,设置期刊-来源为“创伤外科杂志”,检索时间从创刊—2022年2月28日。中文检索词:“系统评价”、“Meta分析”、“系统综述”、“荟萃分析”。英文检索词:“systematic review”、“Meta-analysis”。例:万方检索式:(期刊-刊名=“创伤外科杂志”)AND (“系统评价” OR “Meta分析” OR “系统综述” OR “荟萃分析” OR “systematic review” OR “Meta-analysis”)。
3 文献筛选与资料提取
根据纳入与排除标准,由2名研究者独立阅读纳入文献的文题、摘要及全文进行评估,对排除的文献记录排除理由,对纳入文献进行相互核对,如有争议交由第3名研究者判定。采用Excel 2016软件制定统一数据提取表,由2名评论员通过阅读全文后独立提取数据后交叉核对,如遇分歧讨论解决。提取数据项目:研究作者、发表时间、作者数量、作者机构、基金项目、纳入原始研究语言、质量评价工具、AMSTAR 2条目[2]。
表1 AMSTAR 2条目
4 纳入文献方法学质量评价及GRADE(grades of recommendations assessment,development and evaluation)分级
采用AMSTAR 2量表对纳入文献方法学质量进行评价,共16个条目,条目具体描述见表1。由2名研究者分别使用AMSTAR 2量表对纳入文献进行评分,如有分歧讨论解决。AMSTAR 2量表的每个条目评为“是”,计1分;“部分是”,计0.5分;“否”,计0分,对“未进行meta分析”、“仅纳入RCTs”、“仅纳入NRSI”评价选项不计分,符合该评价选项的用“未进行meta分析”、“仅纳入RCTs”、“仅纳入NRSI”标识,评分范围0~16分[6]。其中条2、4、7、9、11、13和15为关键条目。AMSTAR2量表将SR/MA的方法学质量分为4个等级:(1)高质量:非关键条目不符合数≤1;(2)中等质量:非关键条目不符合数>1,若多个非关键条目不符合时,可从中等质量降级至低质量;(3)低质量:1个关键条目不符合,伴或不伴非关键条目不符合;(4)极低质量:关键条目不符合数>1,伴或不伴非关键条目不符合[7]。
GRADE分级通过研究局限性、不一致性、不直接性、不精确性及发表偏倚5个降级因素对结局指标及与3个升级因素(效应值、可能存在的混杂因素、剂量-效应关系)进行证据质量评级,其中随机对照研究证据质量评级被预设为高级,降1级为中级,降2级为低级,降3级及以上为极低级[8]。
5 统计学分析
结 果
1 文献检索结果
从万方数据库、中国知网、维普数据库、中国生物医学文献数据库共检出文献338篇,删除重复文献101篇,阅读标题及摘要删除222篇,阅读全文后删除2篇,最终纳入13篇文献。筛选流程图见图1。
图1 筛选流程图
2 纳入文献的一般情况
按照制定的纳入和排除标准,最终纳入13篇干预类研究的SR/MA。其中2012年1篇,2014年1篇,2016年3篇,2017年2篇,2018年2篇,2019年1篇,2021年2篇,2022年1篇;基金资助:有基金资助5篇(38%),无基金资助8篇(62%);作者数量:≤2人0篇(0%),≥3人13篇(100%);作者单位数量:1个单位8篇(62%),≥2个单位5篇(38%);作者单位:大学1篇(8%),医院12篇(92%),大学与医院0篇(0%);文献质量评价标准:仅采用Cochrane Handbook评价的7篇(54%),仅采用Jadad评价的3篇(23%),其他质量评价标准3篇(23%)见表2、3。
表2 纳入SR/MA的一般资料
表3 纳入SR/MA分组及文献占比情况
3 纳入文献的方法学质量评价
纳入文献AMSTAR 2总评分为7.0~11.5分[(8.96±1.35)分]。在各条目的符合程度方面,没有文献完全符合16个条目的要求。13篇文献均完整报告的有:“条目11:是否使用适当的统计方法进行结果合并分析”13篇(100%);报告程度≥50%的条目有:“条目1:是否包括PICO各要素”12篇(92%)、“条目5:是否两人独立完成文献筛选”12篇(92%)、“条目6:是否由两人独立完成数据提取”10篇(77%)、“条目9:是否使用合理工具评估纳入研究文献的偏倚风险”10篇(77%)、“条目12:是否考虑了纳入研究的偏倚风险对Meta分析或其他证据整合的潜在影响”11篇(85%)、“条目13:是否考虑了纳入研究的偏倚风险”12篇(92%)、“条目14:是否对系统评价结果中异质性是否给予满意的解释或讨论”12篇(92%)。见表4。
表4 纳入SR/MA的方法学质量评价结果
4 纳入文献的GRADE分级
13篇文献中应用Meta分析的结局指标共涉及67个,其中除4个结局指标GRADE分级为高级、25个结局指标GRADE分级为中级外,其余结局指标GRADE分级均为低级或极低级。见表5。
表5 纳入文献的GRADE分级
5 纳入文献SR/MA报告质量的影响因素分析
5.1各项目分组得分及组间差异比较分析 作者数均>2人,机构性质为学校仅1个,两组数据无法分组进行分析。对发表时间、作者单位数、基金有无数据进行方差齐性检验,发表时间(P=0.032)不符合正态分布,使用非参数检验,作者单位数(P=0.923)、基金有无(P=0.358)符合正态分布,使用独立样本t检验。发表时间在AMSTAR 2发布前与发布后、作者单位数1个与作者单位数≥2个、有无基金资助的文献AMSTAR 2总评分差异无统计学意义(P>0.05)。见表6。
表6 纳入SR/MA的方法学分组评价比较结果
5.2各项目分组后各条目得分差异比较分析 《创伤外科杂志》所发表的SR/MA报告质量根据AMSTAR 2的16个条目进行评分对比。其中条目11所有文献均符合,条目2、10均不符合。作者数量≥2人13篇,作者单位:大学1篇,医院12篇,大学与医院0篇,各条目无法比较。在AMSTAR 2发布前与发布后发表的文献,条目1、3、4、5、6、7、8、9、12、13、14、15、16评分差异均无统计学意义(P>0.05)。有无基金资助发表的文献,条目8评分差异均有统计学意义(P<0.05)。作者单位数1个与作者单位数≥2个发表的文献,条目1、3、4、5、6、7、8、9、12、13、14、15、16评分差异无统计学意义(P>0.05)。见表7。
讨 论
纳入的13篇文献均是公开发表文献。作者数≥3人的文献占总数100%,表明较多的研究是合作完成,而团队协作有助于提高研究质量。62%的文献只有1个作者单位,说明大量文章是同一单位人员合作完成,这可能会影响在实践中的应用。38%的研究有基金资助,说明在该领域研究中SR/MA受重视较少。从作者单位性质来说单位为医院发表文献的数量要多于单位为大学及大学和医院,说明在致力于证据的寻找及研究上临床医师相比大学老师相对较多。从质量评价标准来说,54%文献使用Cochrane Handbook评价,23%文献使用Jadad评价,23%文献使用其他质量评价标准,说明现在Cochrane Handbook仍是现在SR/MA对文献质量评价的主要工具。
本次研究纳入13篇文献,评分均7.0~11.5分,无评分为12~16分的文献。纳入文献均可提取PICO各要素,但主要存在如下缺陷:(1)条目2未注册前期方案,而详尽的计划书有利于整体性的把握及后续研究的深入;(2)条目10均未描述研究资金来源,导致对系统评价可能产生偏倚;此外,表现突出的问题有:(1)条目3有85%的研究未报道纳入设计类型研究原因,而系统评价的RCT数量较少、结局指标缺失时可选非随机干预研究做补充;(2)条目4有93%的研究未提及是否检索灰色文献或进行手工检索等,如排除灰色文献,可导致阳性结果概率增大;(3)条目7有85%未提供详细排除文献的清单及排除理由;(4)条目15有69%的研究未充分调查发表偏倚,并讨论其对研究结果的可能影响;(5)条目16有92%的研究未报告任何潜在的利益冲突,包括开展系统评价所接受的任何资助。上述这些缺陷和问题的存在,表明现有系统评价的写作过程欠规范,可能导致发表的文献质量不高,说明在论文撰写方面,作者还需提高自身能力。
本研究的局限性:(1)方法学质量、报告质量及证据质量评价有一定的主观性,且AMSTAR 2评价量表条目繁多,在具体评价过程中可能会削弱对部分信息不全的文献的解读;(2)文献受版面限制部分文献可能未充分描述相关内容,因此可能低估部分条目评分结果;(3)纳入的文献中研究人种、地域、文化等因素缺乏可能影响研究结果。
《创伤外科杂志》发表的干预类SR/MA在AMSTAR 2发表后此类研究的方法学质量无明显改善,且存在部分问题,建议:(1)严格规范研究报告,确保结果的可重复性;(2)依据规范的报告格式进行文献撰写,以提高证据强度;(3)提高研究人员从事循证研究的能力。
作者贡献声明:车鹏:文章撰写;胡俊:检索数据;黄中:数据统计;黄可:论文修改