基于引证期刊声誉的单篇论文学术影响力测度方法研究

宗张建

(南京医科大学 图书馆,江苏 南京 211166)

0 引言

学术评价是图书情报学十类研究问题之一[1]。自E.Garfield博士创建科学引文索引(SCI)以来,文献计量学逐渐形成被引频次、影响因子、H指数等一系列核心计量指标,用以表征论文、期刊、学者等评价主体的学术影响力。然而,上述指标的使用正面临严峻挑战。2018年下半年,中共中央办公厅和国务院办公厅印发的《关于深化项目评审、人才评价、机构评估改革的若干意见》,从宏观角度对科研评价提出了目标方向,破除“五唯”,注重成果的质量、贡献、影响已成共识。2020年,科技部等印发的《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》《关于规范高等院校SCI论文相关指标使用、树立正确评价导向的若干意见》等一系列通知,从微观角度对科技评价提出了具体要求,建立分类评价体系、实行代表作制度等办法将进一步探索。总之,单纯以SCI相关指标进行学术评价已经走到了历史的尽头,学界正形成“以学术成果为指向、以同行评议为主导、以价值判断为引领、以数据分析为支撑”的“复合评价”理念[2]。

负责任计量是当前计量潮下的科学评价原则之一,这一思想是由欧洲科学技术政策负责任研究创新理念驱动的。负责任计量体现在指标设计的合理性、应用的正确性及其多维性[3]。目前,基于引用的计量指标依然是负责任计量的研究方向之一,因为引用反映了知识在科学共同体中的扩散过程,具有相对客观、易于度量的天然优势。然而单纯引用计次并不完美,易受主观因素和客观因素影响,前者包括作者引用的动机和目的,后者常受学科、时间的限制。

针对引用计次的改进主要有三类方法。第一类是对被引频次进行标准化或规范化处理,比如引用百分位、CNCI、FWCI指标等,该类指标可直接反映学术论文相对于总体或平均学科水平的差异。第二类是H指数和类H指数[4]等,该类指标考虑了不同引证文献后续的引用频次,改善了引文同质化计数的缺陷,但该类指标存在时间依赖性。第三类是整体综合测度指标,此类方法包括学术迹[5]、影响矩[5]、Pq指数[6]、Pc指数[6]等,该类指标不仅考查引证文献的表现,更将二级引证文献或参考文献纳入测度范畴。

上述改进指标有效完善了学术论文评价的方法,对论文学术影响力研究起到重要的推动作用。目前,学界对引证期刊影响力差异已有关注,产生如特征因子之类的指标,但该指标是用于学术期刊评价的,用于学术论文影响力评价的指标或方法鲜见报道。因此,本文拟从引证文献的整体综合测度视角入手,通过分析论文引证期刊声誉的差异,构建基于引证期刊影响力差异的量化指标,并进行相关实证检验,以为学术论文评价提供新的研究视角和方法。

1 研究方法

论文引证文献的影响力是存在差异的。比如在医学领域,综述、临床指南、权威著作等“共识型”的文献对论文后续的引用往往起到了关键作用[7]。又如,在睡美人文献唤醒过程中,起决定性作用的王子文献,其刊载期刊通常是高影响因子期刊,并且影响因子通常是睡美人文献期刊的2倍[8]。沈利华等[9]曾提出一种基于引文分析法的“客观同行评议”方法,其基本思路就是筛选权威期刊上的综述性引文,以此来保证引文评论功能。上述发现或方法均客观反映了权威或高影响因子期刊引证文献的重要性。

本研究构建基于引证期刊声誉差异的学术论文加权引用影响力(Weighted Citation Influence,WCI)指标,通过引入“加权”思想,对不同影响力的引证期刊赋予一定的权重,以改善被引频次指标引文同质计算的不足,其计算公式为:。式中:ai为引证期刊影响力区间对应的系数;n(ai)表示进入影响力区间的引证文献数量;k为设定的期刊影响力区间的个数。

对于期刊影响力区间的设定,本文参考了影响因子平均百分位(AJIFP)指标的数值分布。AJIFP由JCR在2015年推出,其原理是将同学科期刊按影响因子数值排序,并基于排序位次进行非参数转换。转化后AJIFP数值分布在0～100,期刊影响因子越高,排序越靠前,其数值也就越大。本文依据AJIFP数值分布将期刊影响力划分为6个区间,其中(100,95]区间表示一组影响力最高的期刊,而(20,0]表示一组影响力最低的期刊。同时,采用序关系分析法对不同影响力区间期刊赋予不同的权重,定义相邻两区间期刊中高影响力区间期刊权重是低影响力区间期刊权重的2倍,权重系数ai为0.125～4,具体如表1所示。

表1 期刊影响力区间划分以及对应系数

2 实证研究

2.1 数据获取

为实证分析WCI指标评估论文学术影响力的效果和优势,本研究选取肿瘤学(Oncology)学科论文进行初步验证。首先,选择Web of Science核心合集Science Citation Index-Expla子库,通过高级检索方式检索主题为“SU=Oncology”的论文,时间限定在2020年,出版类型限定为Article。检索时间为2021年9月30日。其次,选择引用频次最高的100篇论文为研究样本,下载样本论文的引用数据以及详细SCI/SSCI引文题录。论文引用数据包括被引频次、使用数据(Usage)等影响力计量指标。引文题录包含引证文献刊名等字段,通过Excel的VLOOKUP函数为每篇样本论文的引证文献期刊匹配当年的AJIFP值。最后,统计各样本论文引证期刊影响力区间的数量。

2.2 WCI的计算

以被引频次最高的论文“Cancer statistics, 2020”为例,该论文于2020年1月刊载在著名学术期刊CAACancerJournalforClinicals上。截至检索日期,文章累积被SCI/SSCI论文引用3 830次。引证期刊AJIFP区间分布如下:(100,95]区间期刊引用141次;(95,80]区间期刊引用848次;(80,60]区间期刊引用1 598次;(60,40]区间期刊引用786次;(40,20]区间期刊引用303次;(20,0]区间期刊引用131次;数据缺失期刊引用23次。AJIFP数据缺失期刊多为影响力缺失或失真的期刊,本文将该部分期刊AJIFP值定义为0。因此,该论文WCI=141×4+848×2+1 598×1+786×0.5+303×0.25+131×0.125+23×0.125=4 346.0。按照上述方法依次可得到100篇样本论文WCI数值。表2列举了按被引频次排序前10的论文的相关指标数值。

2.3 结果分析

2.3.1 WCI特点分析

通过比较论文WCI和被引频次数值发现,100篇样本论文中,91篇论文的WCI高于其被引频次,仅9篇论文的WCI低于其被引频次。本次研究的样本来源于高被引论文,高被引论文研究主题普遍为当前学术研究较为关注的内容,因而在一定程度上也影响期刊编审稿件接收的偏好,高被引论文的后续研究也较容易在高影响力期刊上发表。因此,体现在本次研究上,样本论文WCI值普遍高于论文被引频次。

但是,本文在设计WCI指标时,对高影响力期刊赋予了2～4倍的权重,对低影响力期刊逐渐降低权重标准。因而就单篇论文而言,WCI值依然体现了引证期刊影响力的结构性差异。如表2中,序号4论文被引529次,其中,(100,95]区间期刊引用占5.67%,(95,80]区间期刊引用占23.06%;而序号6论文虽被引432次,但(100,95]区间期刊引用占比达16.20%,(95,80]区间期刊引用占比高达33.56%,引证期刊影响力的结构性优于序号4论文。因而,序号6论文WCI达到761.250,显著高于序号4论文的596.625。

表2 肿瘤学样本论文引用、WCI和Usage指标值(部分)

进一步观察论文WCI与被引频次数比值(WCI/C)的分布。WCI/C表明论文平均加权引用影响力,其基准值为1。研究发现,100篇样本论文WCI/C数值为0.60～2.40,均数为1.39,表明大多数论文的平均加权引用影响力较高。频数分布分析表明,WCI/C接近正态分布(见图1)。

图1 WCI与被引频次数比值的分布

2.3.2 WCI与其他指标相关性分析

利用SPSS 18.0软件对WCI、被引频次、Usage、WCI/C指标之间的相关性进行分析,分析采用斯皮尔曼(Spearman)相关系数,结果如表3所示。研究表明,WCI与被引频次相关性较强,相关系数达到0.891;与Usage呈中等相关,相关系数为0.493。WCI与被引频次显著相关,说明WCI与被引频次具有较高的一致性。综合WCI指标的科学性、包容性、合理性分析,说明WCI指标用于学术论文影响力评价是可行的。

表3 论文影响力各指标相关性分析

3 结语

本研究从引证文献的整体综合视角入手,提出基于引证期刊声誉差异的学术论文加权引用影响力指标WCI。该指标从论文引证数量和引证结构反映了论文的学术影响力,理论上相对科学合理;WCI未采用引证文献后续的引用情况,因而没有引文的时间依赖性。通过对100篇肿瘤学引用频次最高的学术论文进行实证评价,发现WCI与被引频次具有较高的一致性,可作为论文被引频次的补充指标,能够更好地反映论文在“高影响力”这一维度的特征。

学术论文评价具有复杂性,没有完美的指标,不同测度或指标仅提供某种评判视角,提供特定条件下的对比参考。WCI仅从论文引证数量和引证期刊结构层面体现了学术论文的影响力,但表征学术论文影响力的因素有很多,如原生影响力(期刊影响因子等)、社会影响力(Altmetrics评分等)。此外,本文采用AJIFP作为引证期刊声誉的度量指标,但该指标也存在诸如数值依赖学科规模等不足。因此,WCI在学术论文影响力评价中仍会存在评价误差。后期研究中将综合考虑多种影响因素,通过科学的方法确定不同影响力期刊区间并通过科学的方法赋予权重,以实现对学术论文影响力更加科学合理的评价。