基于国际临床指南引用论文的中国研究影响力评价——以呼吸病学为例

胥美美 单连慧 安新颖

中国医学科学院医学信息研究所 北京 100020

引言

近几年，各国政府对评价研究影响的兴趣与日俱增，许多政府机构和研究组织已开始将研究影响评价用作科学决策的实用工具[1-4]。我国对于如何开展研究影响评价还停留在初步阶段，通常是采用文献计量方法针对引文进行分析以评价研究对目前知识的贡献程度。科学研究除了对知识的贡献，更有价值的是评价其对健康、社会以及经济的影响等，如医学研究是否改变诊疗方案、是否被临床指南采纳等。评价科学研究是否被国际临床指南引用，已被作为一种衡量研究影响力的重要指标，用于多个国家科技评价实践中，如英国MRC采用Researchfish工具将科学研究在临床指南中的引用作为衡量研究对政策的影响指标之一[5]，加拿大健康科学院CAHS科技评价框架纳入研究成果应用于临床指南情况作为评价研究支撑决策的能力指标之一[6]，2020年度泰晤士高等教育世界大学影响力评价（THE University Impact Rankings 2020）使用临床指南引用的论文比例衡量大学健康与福祉研究情况[7]，2018年度中国医院科技量值研究使用国际临床指南引用论文数量[8]作为科技产出的测度指标之一。

21世纪以来，传染性非典型肺炎（SARS）、甲型H1N1流感、中东呼吸综合征（MERS）、新型冠状病毒肺炎（COVID-19）等危害较大的新发呼吸道传染病防治凸显了各国呼吸病学的重要性，有价值的科学研究为疫情防控提供了强有力的科技支撑。本研究以呼吸病学领域为例，通过分析该领域国际权威临床指南引用的中国论文情况，揭示中国大陆地区该领域科学研究的影响力情况，回答几个关键科学问题：（1）临床指南中对论文的引用情感如何？（2）论文发表多长时间会被临床指南引用？（3）临床指南引用的论文是否均为临床研究？（4）论文是否被临床指南引用与发表期刊影响因子、基金资助和国际合作是否相关？通过本研究对上述问题的探讨，将为提高我国呼吸病学临床研究影响力提供方向。

1 数据与方法

1.1 确定临床指南

国际现有的临床指南数据库所收录的临床指南数量存在差异且指南质量参差不齐，本研究认为分析高质量指南的引用论文更有价值。因此，选取5位在呼吸病学领域知名专家进行咨询，每位专家提名呼吸病学领域国际临床指南权威制定机构，提名结果一致，均为5家国际机构，具体包括美国胸科学会(ATS, American Thoracic Society)、美国胸科医师学会(ACCP,American College of Chest Physicians)、欧洲呼吸 学 会(ERS, European Respiratory Society)、美国国家综合癌症网络(NCCN, National Comprehensive Cancer Network)和欧洲肿瘤内科学会(ESMO, European Society for Medical Oncology)。基于以上5家国际机构官网采集2014-2018年发布的呼吸病学国际临床指南，获得98个临床指南，其中最新版本指南为49个。

1.2 指南引用文献处理

通过Web of Science数据库查找49个最新版本临床指南的入藏号并提取引用文献全记录信息，若不能获得临床指南入藏号则人工提取指南全文中的参考文献，再通过Web of Science数据库提取全记录信息。针对指南引用文献全记录信息，进行数据处理，提取作者地址字段中含有中国以及文献类型为article和review的引用文献作为后续数据处理的数据集。对数据集中的第一作者和通讯作者机构、基金资助进行规范。当多个发文机构或基金资助机构涉及同一篇论文时，对于每个发文机构或基金资助机构的论文数均计为1。

1.3 指南引用文献特征分析

基于文献计量法利用R软件对论文引用情感、引用论文的年龄、研究类型、基金资助情况等指标分别进行统计分析，以揭示这些论文的特征。关于论文引用情感（正面引用、中性引用和负面引用）和研究类型（临床研究和基础研究）由两位研究人员背对背分别进行注释，当两位研究人员对同一论文具有不同的注释时，将由第三位研究人员参与决策。

2 结果

49个发布的最新版国际临床指南涉及咳嗽、肺癌、肺动脉高压、慢性阻塞性肺疾病等20个病种，其中咳嗽和肺癌指南数量最多，分别有8个和7个（图1）；31个指南（占比为63.27%）引用了中国大陆地区SCIE论文，8个指南（占比为16.33%）引用了5篇以上的中国大陆地区SCIE论文（图2）。所分析指南引用中国大陆地区SCIE论文合计为101篇，article和review分别为83篇（82.18%）和18篇（17.82%）。鉴于各期刊对于review界定不一样，特别是meta分析类研究，因此本研究统一将meta分析归为review，重新分类后，article有62篇（占比为61.39%），review有39篇（占比为38.61%）。

图1 呼吸病学国际临床指南病种分布情况

图2 呼吸病学国际临床指南引用中文论文数量分布情况

2.1 知识周期时间

2014-2018年临床指南引用论文的最早发表年份为1987年，未引用90年代发表的论文，引用2014年发表的论文数最多（图3）。专利分析中通常使用现有技术周期时间，即专利首页引用的专利的中位年龄。Grant等[9]将临床指南中引用论文的年龄称为知识周期时间，本研究借鉴这一表述，进一步分析知识周期时间，结果显示中国研究的知识周期中值时间为4年。但有7.92%的被引论文年龄为10年以上，1.98%的被引论文年龄为25年以上（图4）。

图3 呼吸病学国际临床指南引用中国大陆地区发表的SCIE论文年份分布

图4 呼吸病学国际临床指南引用的中国大陆地区论文年龄情况

2.2 发文机构情况

101篇被引论文涉及60个第一作者或通讯作者发文机构，包括50家医院、9所高校和1家科研机构。发文数量前十的机构均为医院，合计发表52篇，占比为51.49% (表1)。上海市肺科医院、广州医科大学附属第一医院、首都医科大学附属北京朝阳医院发文数量最多，分别为12篇（占比为11.88%）、9篇（占比为8.91%）和7篇（占比为6.93%），这些医院在中国医学科学院发布的《2018年度中国医院科技量值研究》[8]中位于呼吸病学排名前10，说明呼吸病学学科较强的机构临床实践影响力也较强。

表1 发表被呼吸病学国际临床指南引用论文数量前十的中国机构

2.3 期刊分布

101篇SCIE论文发表在68种期刊。由表2显示，发表论文数量排名前十的期刊合计发表39篇（占比38.61%），以在PLOS ONE和CHEST期刊发文最多，分别为7篇（占比6.93%）和6篇（占比5.94%）。

表2 发表指南引用论文数量排名前十的期刊

表3 临床指南引用论文所在期刊的影响因子情况（TOP10）

期刊影响因子一定程度上反映论文质量。期刊FEMS Immunology and Medical Microbiology已于2005年停办，目前影响因子为0。根据2018年JCR期刊引证报告，其他期刊影响因子范围为0.181～59.102。发表在影响因子10分以上期刊的论文数量有14篇，占比13.86%（表3）。发表在影响因子排名前三的期刊为LANCET、LANCET ONCOLOGY和JOURNAL OF CLINICAL ONCOLOGY。发表在影响因子5 分以下期刊的论文数量占65.35%，说明产生临床实践影响的论文并非都发表在高影响因子期刊。

2.4 指南引用次数

采用同一篇论文被多个不同指南引用次数来进一步比较论文影响力。本研究发现3篇论文被多个指南引用（表4），分别是上海市肺科医院、首都医科大学附属北京朝阳医院和广东省人民医院发表的论文，体现这3篇论文在呼吸病学临床实践中具有较大的影响力。

表4 中国大陆地区发表的SCIE论文被多个呼吸病学国际临床指南引用情况

2.5 引用情感

Xu等[10]研究发现生物医学领域与其他领域（例如计算机科学）对引文的情感表述存在不同，因此本研究参考Xu等研究中关于临床试验论文对引用内容的情感（正面引用、中性引用和负面引用）界定方法，对101篇论文被49个指南的具体引用情况进行分析，发现12篇是正面引用（11.88%），89篇为中性引用（88.12%），不存在负面引用。说明被指南引用的论文可以用来表征研究的影响力，在将论文用于科技评价指标时，被指南引用的论文应给予更高的关注度。本研究还进一步采用表征论文学术影响力的传统指标即总被引频次和年均被引频次，分析不同引用情感的论文学术影响力是否有区别。鉴于引用时间窗口的问题，总被引频次不能客观反映发表年份晚的论文影响力，因此使用总被引频次和年均被引频次两个指标。通过分析发现，正面引用的论文被引频次及年均被引频次均比中性引用的论文高，但经Wilcoxon秩和检验，两组的被引频次和年均被引频次无统计学差异（P＞0.05），只能说明学术影响力高即被引频次或年均被引频次高的论文更有可能被指南正面引用。

表 5 不同引用类型的论文影响力情况

2.6 研究类型

美国NIH针对临床研究界定[11]为对人类受试者开展的研究，包括干预性研究和观察性研究。基于此定义，对本研究的62篇论著进行分类，临床研究和基础研究分别有58篇和4篇，占比分别为93.55%和6.45%。说明临床指南引用的中国大陆机构开展的原始研究主要为临床研究。而在原始研究中，干预性研究的证据等级高于观察性研究。呼吸病学权威国际临床指南引用的中国大陆机构开展的临床研究中，39.66%为干预性研究，占比低于证据等级低的观察性研究。

2.7 论文基金资助机构情况

由表6显示，有基金资助的论文为52篇（占比为51.49%），其中政府资助的论文有33篇（占比为32.67%），以国家自然科学基金委资助论文数量最多，有18篇（占比为17.82%），其次是各省科技厅资助的论文，数量为13篇（占比为12.87%）；由WHO等国外机构资助的论文有7篇（占比为6.93%），无其他资助机构、仅由默沙东等药企资助的论文有12篇（占比为11.88%）。从资助机构数量来看，2个及以上资助机构资助的论文数量为20篇，占基金资助论文的38.46%。有基金资助的论文篇均年均被引频次（25.32）高于无基金资助的论文篇均年均被引频次（8.30）。

表 6 指南引用论文资助机构情况

2.8 合作情况分析

本研究将合作形式分为国际合作、国内机构间合作、机构内合作。101篇被引论文中，合作论文有72篇（占比为71.29%），其中国际合作、国内机构间合作以及机构内合作分别有26篇、41篇和5篇，占比分别为36.11%、56.95%和6.94%。国际合作中，60%为与美国学者的合作。国内机构间合作主要是以国内呼吸病学科技实力突出的广州医科大学第一附属医院、四川大学华西医院以及上海市肺科医院与其他医院之间的合作。上述分析说明国际权威指南引用的中国论文主要为合作论文，合作形式以国内机构间合作居多。

3 讨论

本研究分析发现中国大陆地区论文发表与指南发表之间的平均时间间隔为4年。Grant等[9]学者分析了15个英国临床指南引用论文情况，发现引用的论文发表年限平均为8年。由于数据获得性问题，本研究未分析所有呼吸病学领域指南引用的论文发表年限。以Grant的研究为参照，对比本研究的结果，说明中国论文能更早的被国际临床指南引用，但也可能是由于Grant的研究发表时间（2000年）比较早，而目前指南更新和论文发表的速度均更快，导致指南可以较快的引用近期研究。

目前尚无关于临床指南中对论文引用情感的分析。Xu等[10]对临床试验论文引用情感进行分析，结果显示16.79%为正面引用、75.85%为中性引用、7.36%为负面引用。临床指南是由第三方组织发布的、基于对已发表医学文献进行严格的系统综述和整合所获得的证据基础之上而形成的针对疾病诊断和治疗的推荐建议[12]。基于临床指南的定义，临床指南对论文的引用主要是用作推荐建议的证据，这与传统科学文献引用情感有一定的区别。本研究发现国际权威指南对中国大陆地区论文的引用为中性引用和正面引用，因此采用论文是否被指南引用来表征研究影响力是科学的。

本研究证实相对于基础研究，临床研究对国际临床指南更为重要。医院是临床研究的主战场，特别是三级医院尤其要注重开展临床研究，通过研究成果的转化和应用，服务于临床诊治方案的改善。目前我国对于临床研究的重视程度还不够，科技资助计划中如国家自然科学基金多偏向于基础研究，国家重点研发计划和国家科技重大专项虽对临床研究进行资助，但是覆盖临床专业和资助的机构范围有限。因此需要国家层面建立一个覆盖面更广、更完善的政策扶持体系，用于支持临床研究发展。

研究能否被临床指南引用体现的是研究影响力。Seglen等[13]学者指出期刊所发表论文的引用分布不均，因此期刊的影响因子不能用于评价单个研究。本研究结果显示发表在影响因子在5分以下期刊的论文数量占65.35%。Ye等[14]针对1983-2012年诺贝尔生理学或医学奖获得者的研究分析显示，在66位获奖者的76篇论文中，发表在影响因子5分以下期刊的论文占10.5%。以上结果均说明了具有影响的论文并非都发表在高影响因子期刊，论文发表的期刊并不能完全表征论文的质量和影响。

本研究发现指南引用的论文中基金资助与否各占50%，说明未被基金资助的研究同样有影响力。关于科学基金资助与论文影响力之间的关系研究目前尚未得到一致结论，Cronin等[15]研究显示信息科学基金资助与非资助的研究论文引用之间无显著差异，林丽芳等[16]研究发现基金论文与其学术影响力没有必然联系，钟旭等[17]发现科学基金论文学术影响力指标优于非科学基金论文，Wang J等[18]研究显示纳米技术基金论文比非基金论文有更高的引用次数和影响因子。以上研究结果的不一致性可能与分析的学科、论文影响力的表征指标和分析方法的差异有关。因此有关科学基金与论文影响力（特别是被指南引用）的关联性需要进一步研究。

以往研究显示国际合作是否会提升论文影响力，与国家、学科和合作类型有关[19]。本研究结果显示被国际权威指南引用的中国论文以国内合作居多，占比为63.89%。Gazni等[20]采用论文被引频次来反映论文影响力，对美国哈佛大学发表论著的研究发现，与国外机构合作的论文影响力不高，而与国内机构合作越多的论文影响力较高。这与本研究发现基本一致，反映国际合作不一定提升论文影响力，这可能与所研究国家学科自身的科研实力有关。

本研究存在几个局限性：第一，鉴于数据可得性问题，本研究未分析国际临床指南引用的所有论文的特征，仅分析了中国被引用论文的特征，因此不能与其他国家被引用论文情况进行比较分析。第二，本研究是在没有分母的情况下进行的，仅分析了成功被临床指南引用的论文，而已经发表的与分析指南所涵盖的主题潜在相关但未在临床指南中引用的论文数量尚未得知。第三，国际学者通常认为研究影响力的表征指标较多，本研究采用的是论文被临床指南引用来表征科学研究的影响力，不能全面表征我国呼吸病学研究的影响力。

4 结论

本研究分析了被呼吸病学国际临床指南引用的中国大陆地区论文特征情况。研究发现中国大陆地区被引论文发表与指南发表之间的平均时间间隔为4年，说明目前研究能较快的用于临床实践。从研究内容性质来看，93.55%的论文为临床研究，证实主要是临床研究对临床实践起作用。从引用情感来看，指南引用为正面引用和中性引用，说明采用论文是否被临床指南引用来表征研究影响力是科学的。13.86%的论文发表在影响因子10 分以上的期刊，51.49%的论文被基金资助，63.89%的论文为国内合作，提示研究影响力与发表期刊影响因子、基金资助和国际合作可能不直接相关，但需要进一步研究验证这一结论。