基于PRISMA声明的我国运动干预类元分析报告质量评价
2020-02-15张丹青王雪强韩姗姗柯友枝
李 博 ,张丹青 ,王雪强 ,韩姗姗 ,柯友枝 ,刘 阳 ,4*
0 前言
元分析(或称Meta分析,荟萃分析)是对以往研究结果进行系统定量综合的统计学方法[1-2],属于典型的研究数据二次研究方法。1976年Glass首次提出了元分析技术,最先被用在医学研究领域,引发了研究方法的革命[1]。1986年Thomas将元分析方法引入体育科学研究;20世纪90年代后,元分析在我国体育科学领域开始应用[3-6]。元分析被认为是体育科学实证研究中重要的证据链环节[7],但是因在运用中缺乏报告规范,缺失关键信息降低了元分析的报告质量,甚至得出与实际相反的结论[8-10],所以元分析的研究质量参差不齐。为此,研究者必须严格遵照报告格式及制作步骤,以保证元分析结果的质量。
1999年的QUOROM报告规范 (Quality of Reporting Meta-analyses)[11]及其2009年的修订版本PRISMA声明(Preferred Reporting Items for Systematic Reviews and Meta-Analyses,PRISMA)[12-14]是应用最广泛的元分析报告质量评价工具,被《柳叶刀》[11,15]、《美国医学会杂志》[16-17]等权威期刊运用到其元分析或系统评价稿件的撰稿要求。因此,本研究应用PRISMA声明作为我国运动干预类元分析报告规范性的评估工具。运动干预研究是体育科学实证研究的重要组成,其研究成果可增加 “运动促进健康”“运动是良医”“运动即良药”等研究领域的相关证据。近年来,我国运动干预类论文发表数量增加,因此有必要对报告质量进行深入研究。本研究应用PRISMA声明中的 “系统评价和元分析优先报告清单”(PRISMA清单)作为评价我国运动干预类元分析报告质量的工具,评估2009—2018年在CSSCI和CSCD发表的运动干预类元分析的报告质量,为提高体育科学研究领域系统评价或元分析报告的规范性提供参考。
1 研究方法
采用指标分析法对运动干预类元分析报告的质量进行评价,其方法应用流程是在论文检索纳入的基础上,依据PRISMA清单对纳入论文全文进行指标化提取,并对指标完成的程度进行赋值,将赋值完成的数据定量化分析,以评价元分析报告质量。具体步骤包括“论文筛选、指标提取及评价、统计分析”等。
1.1 论文筛选过程
应用中国知网的“高级检索”功能,采用关键词和全文词交叉索引的方式以保证全面检索。检索的主题词包括:Meta分析、元分析、荟萃分析、系统评价、系统综述;全文词包括:运动治疗、运动干预、动作干预、运动训练、训练干预、运动疗法、身体活动、力量训练、平衡训练、柔韧训练、综合训练、耐力训练、高强度间歇训练、速度训练、普拉提。论文发表时间限定为:2009年1月1日—2018年3月28日。检索的文献类型为期刊。
纳入标准:①根据研究目的,论文语种为中文,运动干预措施不限;②来源期刊限定于中文社会科学引文索引库(2017—2108,CSSCI)和中国科学引文数据库(2017—2018,CSCD),不包括扩展版来源期刊。
排除标准:①元分析方法学介绍;②研究对象为非人类;③元分析国外著作摘要及其译文;④观察性研究。
2名经培训的研究人员独立完成论文检索,首次检索共有2 233篇论文,排除明显不符合的论文(包括编辑部卷首语,卷终分类目录等),首轮纳入论文2 221篇。按照纳入标准②进行第二次排除,第二轮纳入论文1 608篇。第三次筛选根据排除标准①②③④,阅读摘要进行排除;阅读可能符合纳入标准的论文,最终纳入68篇运动干预类元分析论文(CSSCI源刊 25篇,CSCD源刊43篇)。
1.2 指标提取及评价
采用Excel建立数据提取表。提取的内容包括两个部分:①PRISMA的评价指标;指标包括7个一级指标下的27个观测指标,具体包括:标题、结构式摘要、前言(理论基础、研究目的)、研究方法(方案和注册、纳入标准、信息来源、检索、研究选择、资料提取、资料条目、单个研究存在的偏倚、概况效应指标、结果综合、研究间偏倚、其他分析)、研究结果(研究筛选、研究特征、研究内部偏倚风险、单个研究的结果、结果综合、研究间偏倚、其他分析)、讨论(证据强度与总结、局限性、结论)、基金支持[12-14]。PRISMA清单指标作为报告质量的评分规则:各条目被评为“完全报告”记1分,“部分报告”记0.5分,“未报告”记0分,总分27分。当论文评分区间为(21,27]时,认为报告相对完全,定义为报告质量较高论文;当评分区间为(15,21]时,认为报告有缺陷,定义为报告质量中等论文;当评分为15分以下(包括15分)时,认为有严重的信息缺失,定义为报告质量低等论文[18-20]。②论文质量的分层分析指标;以往研究中,对元分析类论文报告的质量评价通常会选取论文检索库 (本研究中是CSSCI源刊和CSCD源刊)、第一作者单位、作者数量、基金项目等指标[18-19,21],本研究中对上述指标进行提取。为了保证资料提取的准确性,由2位研究人员独立进行资料提取,然后由第三方交叉核对。
1.3 统计分析
采用SPSS23.0软件进行统计分析,计算PRISMA清单各条目“完整报告”“部分报告”“未报告”的数量和百分比,并计算各数据库不同等级论文数量及百分比。采用独立样本T检验进行数据分析,以P<0.05为差异具有统计学意义。
2 研究结果
2.1 纳入论文基本情况
表1显示,近十年运动干预类元分析的发文数量呈上升趋势。呈现出以下分布:(1)论文所属期刊来源中,CSSCI源刊中的《体育科学》是被纳入论文最多的期刊,计7篇;其次是《北京体育大学学报》和《中国体育科技》各纳入3篇。CSCD源刊中的《中国康复医学杂志》是被纳入论文最多的期刊,计7篇;其次《中国循证医学杂志》和《中国运动医学杂志》各纳入5篇。(2)第一作者署名单位分布在高校或医院,高校有 55篇(80.9%),医院系统的有 13篇(19.1%)。(3)干预对象较为广泛,包括除幼儿外不同年龄的正常人群,患病人群(如糖尿病患者、阿尔茨海默症患者、精神分裂症患者、偏瘫患者等)以及不同年龄的肥胖人群等。(4)干预措施有太极拳练习、健身气功、有氧运动、抗阻训练以及其不同运动处方等。
表1 2009—2018年运动干预类元分析发文数量Table 1 Number of Sports Intervention Meta Analysis Papers Issued in 2009-2018
2.2 纳入论文PRISMA清单指标符合情况
表2显示,纳入的68篇论文均有不同程度的报告缺陷。存在的问题:(1)标题不规范,题目标明“Meta分析”有 39篇(57.4%),标明“元分析”有 5篇(7.4%),标明“系统评价”有15篇(22.1%),从题目无法确认文章是系统评价、元分析或者两者兼有的论文有“9篇”(13.2%);(2)不符合结构式摘要要求,62 篇(91.2%)论文存在不同程度的信息缺失,缺失信息包括效果量、研究局限和研究方案注册信息,6篇(8.8%)论文没有报告摘要信息;(3)前言未报告前人的研究成果,47篇(69.1%)前言部分未报告以往的研究成果;(4)方法学未报告研究方案与注册信息,20篇(29.4%)论文未说明从文献中提取数据的方法;(5)研究结果不完整,40篇(58.8%)论文未呈现其他分析的结果,24篇(35.3%)论文呈现其他分析结果多是“Meta亚组”分析。
表2 纳入论文PRISMA清单指标符合情况Table 2 Index Compliance of PRISMA List Included in the Paper
2.3 论文报告质量的分层分析
从PRISMA清单指标符合情况进行评分,纳入的论文分值范围在3.5~25分,22篇(32.4%)为较高水平,31篇(45.5%)为中等水平,15篇(22.1%)为较低水平,报告质量在中低水平以下占到67.7%。独立样本T检验的结果显示(表3),第一作者单位、作者数量、作者单位数量、基金项目支撑情况均对元分析报告质量的影响不具有统计学意义。论文所属检索库指标中,CSCD源论文报告的质量高于CSSCI源论文(t=-0.498,P=0.02)。
表3 论文报告质量分层分析Table 3 Hierarchical Analysis of Paper Report Quality
3 讨论
3.1 论文报告质量现状及存在的问题
本研究67.7%的纳入论文报告质量在中低水平以下,当前我国运动干预研究的报告质量整体偏低。主要问题有标题不规范、不符合结构式摘要要求、前言未报告以往研究成果、方法学中未报告研究方案与注册信息、研究结果不完整等问题。我国其他学科领域的元分析报告也存在本研究所发现的相同问题。刘银春等应用PRISMA清单对《循证医学》刊载的干预类系统评价报告质量评价的结果显示,70篇系统评价中存在结构式摘要不完整、方法学部分缺乏完整描述等问题[21]。安妮等应用PRISMA清单对《中国循证儿科杂志》发表的干预类系统评价报告质量进行了评价,结果表明尽管该刊物发表的系统评价报告质量较高(高质量论文占66.7%),但“方法学部分未报告研究方案与注册信息”,依然是制约报告质量的重要因素[19]。此外,有大量的研究发现,合理利用PRISMA声明将有助于提升系统评价或Meta分析的报告质量[18-19,21]。PRISMA声明提供了元分析报告的写作范式,同时对研究设计进行规范,建议运动干预研究学者在进行相关研究时,应严格遵循PRISMA声明,以控制各种偏倚,确保结果的科学性和可靠性。
3.2 影响论文报告质量的因素
以往研究中对元分析报告的影响因素如第一作者所属单位、作者数量、作者单位数量和基金项目支撑情况等在本研究中对元分析报告质量均没有影响。以往研究中上述指标在不同类型研究中对报告质量的影响不同,如对《中国循证儿科杂志》发表的干预类系统评价报告质量评价中[19],有基金资助优于无基金资助,作者单位数量“<2个”优于作者单位“≥2个”,来自医院的作者优于来自其他机构的作者;在对《中国循证医学杂志》发表的干预类系统评价报告质量评价中,发现除基金资助可以提高报告质量外,第一作者所属单位、作者数量、作者单位数量等指标对报告质量的影响不具有统计学意义[18]。
分析制约我国运动干预报告质量的影响因素认为,当前我国运动干预方案和注册体系不完善以及元分析报告范式的随意性是制约元分析报告质量的重要因素。当前体育科学对人体运动干预研究领域的研究方案注册体系还不够完善,导致研究者无法进行研究方案的注册,这也是“方案与注册”全部缺失的原因。我国临床医学研究中有 “中国临床试验注册中心”[22],对人体进行运动干预类的试验方案可以在此平台进行注册;国际上则是以“Cochrane协作网”作为相关研究方案的注册机构。对人体试验注册是科学研究伦理的需要,也是科学研究试验研究者的责任和义务。元分析或系统评价进行注册可以减少对于同一选题进行过多系统评价的风险,也为后效评价和更新提供基础,可以在更新时提高透明度和可行度[23-24]。另一方面,调查者在实施计划的过程中,通常会对原始设计进行调整,前期方案系统严密地指导这一过程,对于保障研究的前瞻性具有重要意义。此外,元分析报告范式存在随意性也是制约报告质量的重要原因。以“结构式摘要”为例,国内学者通常习惯了当前学术研究中的“目的、方法、结果、结论”四要素写作方法,而在PRISMA声明中对结构式摘要的构成解释为“包含背景、目的、数据来源、纳入论文的筛选标准、受试者和干预措施;质量评价方法和合并方法;研究使用的数据分析方式、结果、局限性;结论和主要发现;研究方案的注册号”。因此,国内外元分析报告的写作范式存在较大差异。其原因为研究者缺乏系统、科学化的学术训练和对国际学术动态的深入了解,同时体育学术期刊对于不同类别的文章投稿时的规范要求相似,没有对元分析类论文规范报告的规范要求,这与国际上权威期刊的征稿要求存在较大差异。
4 结论与建议
本研究应用PRISMA声明中 “系统评价和元分析优先报告清单”评估工具,评估了我国近十年的运动干预类报告,得出:(1)运动干预类元分析报告规范性较差,报告质量中低水平较多,我国运动干预类元分析报告的规范性还有很大的提升空间;(2)“运动干预方案和注册体系的不完善”“元分析报告范式的随意性”是制约元分析报告质量的重要因素。
针对研究中发现的不足与问题,建议:(1)加快建设国内体育相关研究领域元分析注册平台,并与国际接轨,加强国际合作和交流;(2)对于元分析或系统评价的研究者,要进行系统、规范的方法学培训,严格遵守PRISMA清单相关条目,要求规范地进行结构化报告,提升国内元分析的质量和国际影响力;(3)期刊编辑部应统一在“投稿指南”或“稿约细则”中指出元分析报告的撰写要求,进而推广到每类研究都应有所属的规范写作范式。对元分析类稿件“同行评议”时由循证医学、临床流行病学或卫生统计学专业人员把关,以提高国内元分析报告质量,为体育科学中运动干预实践提供更高质量的证据。