JCR中一个新的跨学科评价指标
——期刊引证指数(JCI)及其实证研究
2022-04-11刘雪立申小曼
■刘雪立 申小曼 郭 潇 郭 佳
1)新乡医学院期刊社,河南省新乡市金穗大道601号 453003 2)河南省科技期刊研究中心,河南省新乡市金穗大道601号 453003 3)新乡医学院管理学院,河南省新乡市金穗大道601号 453003
影响因子于1955年由Garfield博士[1]首次提出,其功能由最初单纯的期刊评价逐步扩展到研究人员和机构(大学)的科研绩效评价,在国际、国内科技和学术评价中发挥了重要作用。但随着期刊影响因子滥用和误用在全球的蔓延[2-4],并形成全球性影响因子崇拜[5],人们开始反思影响因子应用于学术评价的局限性甚至是危害性。如巴西科学家Pêgo-Fernandel等[6]发出质疑——影响因子是“维生素”还是“毒药”?著名的法国文献计量学家Zitt[7]提出,影响因子究竟是“天使”“魔鬼”,还是“替罪的羔羊”?法国学者Moustafa[8]认为,影响因子对期刊质量造成了灾难。我国香港学者Law等[9]认为,采用影响因子无法评价期刊的原创性和有效性。荷兰学者Wouters等[10]希望找到新的期刊评价方法来代替影响因子。2012年12月,美国细胞生物学会发布了《旧金山宣言》,呼吁在考虑资助、聘用和晋升时,停止使用期刊影响因子。
2020年2月18日,教育部、科技部联合印发了《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》,指出SCI论文相关评价指标包括论文数量、被引频次、高被引论文、影响因子等,不是评价学术水平与创新贡献的直接依据。2020年12月7日,教育部印发了《关于破除高校哲学社会科学研究评价中“唯论文”不良导向的若干意见》,强调破除“唯论文”不是不要论文,要正确看待SSCI和CSSCI等相关引文索引的作用与功能。
在这样的大背景下,Clarivate(科睿唯安)集团在2021年6月30日发布的2020年版JCR(JCR-2020)中推出了一个全新的期刊跨学科评价指标——Journal Citation Indicator(JCI)[11],我们将JCI定名为“期刊引证指数”。其实,早在2016年顾东蕾等[12]就将各期刊所有文献学科规范化引文影响力(Category Normalized Citation Impact, CNCI)的平均值作为期刊学科规范化引文影响力评价指标(实际上就是JCI),以国务院学位委员会《学位授予和人才培养学科目录(2011年)》中的学科分类为依据,对我国期刊的学科影响力进行研究,但并未受到较大关注。最早备受关注的学科标准化期刊评价指标,如通过除以学科影响因子最大值或平均值而计算的相对影响因子[13-14]始终未被JCR采用。JCR中最早的学科标准化期刊评价指标是期刊影响因子四分位分区,于2009年1月出现在2007年加强版JCR中[15],2015年JCR中又增加了期刊影响因子百分位[16]。JCI作为第3个学科标准化指标被纳入2020年版JCR中,相信会迅速受到学术界各方关注。韩国翰林大学医学院的Sun[17]认为,JCI是一个最引人注目的指标,并迅速对SCI和ESCI收录的78种科学教育类期刊的JCI进行了统计分析,重点观察了韩国期刊《健康职业教育评价杂志》(JournalofEducationalEvaluationforHealthProfessions)的JCI在SCI和ESCI期刊中的排名。关于JCI指标,目前尚未发现其他研究报告。因此,本研究对JCI进行全面介绍,并就JCR-2020数据对JCI进行实证研究。
1 JCI的概念及计算方法
JCI是指某期刊前3年发表的可被引文献(包括研究论文和综述)CNCI的平均值,是一种全新的学科规范化评价指标[11],是 Web of Science(WoS)核心合集中期刊学科标准化引文影响的单一衡量标准[18]。该指标是对影响因子和平均期刊影响因子百分位(Average Impact Factor Percentile,aJIFP)的重要补充,目的是实现期刊的跨学科评价。JCI的计算公式为
(1)
式中:N为某期刊可被引的文献数量;αCNCI为某文献的CNCI,是指某文献的被引频次与相同主题领域、相同文献类型、同一出版年所有文献期望被引频次的比值[18]。αCNCI的计算公式为
αCNCI=c/eftd
(2)
式中:c为某文献实际被引频次;e为该文献所在学科论文的期望被引率(篇均被引频次);下标f代表学科领域,t代表出版年,d代表文献类型。
如果一篇文献被划分到多于一个学科领域时,则采用实际被引频次与各学科期望被引频次比值的平均值进行计算,计算公式为
(3)
JCI计算中所用文献发表和引证时间窗口见图1。计算某期刊2020年的JCI,是该刊2017—2019年发表的研究论文和综述的CNCI平均值,文献发表时间窗口为3年。计算CNCI所用文献被引频次是该文献从发表到2020年末的累计被引频次,即文献引证时间窗口为4年(2017—2020年)。
图1 2020年度JCI计算所用时间窗口
CNCI是论文层面的指标,从学科、文献类型和出版年3个方面对单篇文献的影响力进行归一化处理。某文献的CNCI>1.0,表示该文献的影响力高于全球平均水平;CNCI<1.0,则说明该文献影响力低于全球平均水平。JCI是某期刊可被引文献CNCI的平均值,它将论文层面的评价指标转换为期刊评价指标,JCI>1.0表明该期刊影响力超过全球平均水平,JCI<1.0则表明期刊影响力未达到全球平均水平。
2 JCI的文献计量学特征
与影响因子相比,JCI具有独特的文献计量学特征,主要表现在:(1)对JCI计算涉及的所有被引频次在学科领域、文献类型和出版年3个方面进行了标准化处理,使该指标在不同学科期刊之间具有可比性,即JCI具有跨学科期刊评价功能。(2)仅将研究论文和综述的CNCI纳入JCI的计算,避免了影响因子计算中分子和分母不统一的缺陷。通过发表较多的非可被引文献(如述评和信稿)可以提升影响因子,但对提升JCI无任何作用。(3)延长了论文发表时间窗口。在传统的2年影响因子计算中,论文发表时间窗口是2年,即期刊前2年发表的论文及其被引频次参与计算。而在JCI的计算中,论文发表时间窗口是3年,即期刊前3年发表论文的CNCI参与计算。这一时间窗口与2016年12月8日Scopus数据库公布的CiteScore时间窗口相同[19]。(4)改进了论文被引频次的计数方法。影响因子计算所用被引频次是年度计数,只计算统计当年的被引频次,而JCI和CNCI计算中采用的被引频次是文献从发表到统计年的累计被引频次(即论文引证时间窗口为4年,见图1)。(5)适用期刊范围更广。在此之前,各年度JCR中仅SCI和SSCI来源期刊有影响因子等指标,而JCR-2020中JCI覆盖了SCI、SSCI、A&HCI和ESCI等WoS核心合集收录的全部期刊[20]。
3 JCI实证研究
3.1 研究对象与方法
3.1.1 研究对象
JCR-2020收录的WoS核心合集期刊共20932种,其中SCI期刊共9500种,SSCI期刊共3510种,A&HCI期刊共1784种,ESCI期刊共7275种。被SCI、SSCI和A&HCI共同收录的期刊为39种,被SCI和SSCI共同收录的期刊共659种,被SCI和A&HCI共同收录的期刊共35种,被SSCI和A&HCI共同收录的期刊共365种。
3.1.2 研究方法
3.1.2.1 JCR-2020数据获取
登录InCites数据库,选择打开“Journal Citation Reports”,点选“Browse Journals”打开JCR期刊浏览页面,再点选“Customize”打开指标定制页面(图2)。JCR-2020将期刊指标划分为影响力指标(Impact Metrics)、标准化指标(Normalized Metrics)和来源指标(Source Metrics)。影响力指标包括总被引频次、影响因子、5年影响因子、他引影响因子、即年指标、影响因子分区。标准化指标包括JCI、特征因子、标准化特征因子、论文影响分值、aJIFP。来源指标包括可被引文献(研究论文和综述)、研究论文占比、被引半衰期、引用半衰期、研究论文数量、金色OA文献占比。选择导出全部指标,默认导出格式为“.csv”。在JCR-2020中,期刊名称、ISSN、eISSN、所属学科、影响因子分区等成为导出数据的默认必选项。
2020-JCR默认导出前600条记录,无法一次性导出全部期刊数据。本研究按照WoS学科分类,依次导出254个学科期刊的全部数据和指标,合并全部学科数据,并将数据格式另存为“. xlsx”。
3.1.2.2 其他相关数据的获取
其他相关数据主要包括期刊所属国家/地区、出版语言、出版频率等。这些数据采用Python语言编写脚本,从JCR网站进行采集。通过Excel的VLOOKUP函数将这些数据匹配到导出的JCR相应期刊。
本研究还选用基于论文被引频次学科领域百分位(Percentile in Subject Area,PSA)创建的期刊论文被引频次平均百分位(Average Percentile in Subject Area,aPSA),即期刊前两年发表论文的PSA的平均值,其值越小表示期刊影响力越大[21]。PSA是由同一年度同一类型文献的总被引频次在各自学科的排序决定的,被引频次值越大,其百分位数越小[22]。aPSA属于学科标准化指标,具有跨学科评价作用。
图2 JCR-2020指标及其分类
3.1.2.3 统计学处理方法
采用SPSS 18软件进行统计学处理。采用Kolmogorov-Smirnov(K-S)检验方法对数据的正态性进行分析,采用Spearman相关检验方法分析各指标之间的相关性,采用多个独立样本的Kruskal-Wallis检验方法分析不同期刊集合之间某一指标的差异程度,采用Nemenyi检验方法对任意两个集合的期刊某一指标差异进行分析。
3.2 结果与分析
3.2.1 JCI排名前30期刊及其基本情况
JCR-2020共发布了20932种WoS核心合集期刊(包括7275种ESCI期刊)的数据和指标,其中232种期刊未给出JCI。在20700种期刊中,JCI的最大值为77.64,平均值为0.74,中位值为0.58。JCI排名前30(Top 30)的期刊及其基本情况见表1(为了与JCR-2020对应,表1中使用的是期刊的简称)。入选Top 30的期刊全部为英文期刊,其中美国15种,英格兰13种,意大利和俄罗斯各1种。30种期刊中,25种来自SCI,2种为SCI和SSCI共同收录,1种为SSCI和A&HCI共同收录,1种来自A&HCI,还有1种来自ESCI (A&HCI和ESCI期刊无影响因子),为俄罗斯的NeizvestnyiDostoevskii(英文名:UnknownDostoevsky),其JCI达8.33,排在JCR-2020收录的20932种期刊的第21位。
表1 2020年JCI 排名前30的期刊及其基本情况
3.2.2 JCI与其他指标的相关度
JCR中期刊评价指标主要包括影响因子、即年指标、论文影响分值、特征因子、JCI、aJIFP,其中JCI、aJIFP为学科标准化指标,可用于科技期刊的跨学科评价。表2给出了2019年版JCR收录的9090种SCI期刊(剔除了任一指标缺值的期刊)各指标的相关性检验结果。该结果揭示了在跨学科背景下各指标之间的相关度。JCI、aJIFP和aPSA 3个跨学科评价指标之间的相关系数达到最大值,显示出这3个指标跨学科评价的统一性。表3给出了8个学科期刊各指标的相关性检验结果。可以看出,同一学科内JCI与aJIFP和aPSA之间也具有极高的相关度,仅数学期刊中JCI与影响因子的相关度超过了JCI与aPSA的相关度,有机化学期刊中JCI与影响因子的相关度超过了JCI与aJIFP的相关度。
表2 SCI来源期刊各指标间的相关系数
表3 不同学科内期刊JCI与其他评价指标的相关系数
3.2.3 SCI、SSCI、A&HCI和ESCI期刊的JCI比较
SCI、SSCI、A&HCI和ESCI 4个数据库来源期刊(4组期刊)的JCI统计学特征值的比较见表4。K-S检验结果显示,4组期刊的JCI均不呈正态分布,因此,中位数更能反映4组期刊JCI的集中趋势。由表4可知,JCI最大值来自SCI期刊,其JCI的离散系数也是最大的,说明SCI期刊的JCI离散程度最大。SSCI期刊的JCI中位数最大,离散系数最小。
采用非参数检验的Kruskal-Wallis检验对SCI、SSCI、A&HCI和ESCI 4组期刊的JCI进行统计学分析,结果显示,4组期刊的JCI差异有统计学意义(χ2=5638.984,P<0.001),任意两组期刊JCI比较结果如下:SCI和A&HCI期刊相比,JCI差异无统计学意义(P=0.800);其他任意两组期刊相比,差异均有统计学意义。与SCI、SSCI、A&HCI期刊相比,ESCI期刊的JCI最大值、平均值、中位数和秩均值均明显小于其他期刊,这符合Clarivate对ESCI期刊的定位,与传统WoS期刊相比,ESCI属于SCI、SSCI和A&HCI数据库的“候补”期刊。
表4 SCI、SSCI、A&HCI和ESCI期刊JCI统计学特征值比较
3.2.4 JCI与其他期刊评价指标的离散程度比较
将影响因子、JCI、即年指标、aJIFP、论文影响分值、特征因子、aPSA等指标有空值的期刊全部剔除,剩余的SCI期刊共9050种,JCI的离散系数为1.338,大于aJIFP和aPSA的离散系数,小于影响因子、即年指标和特征因子的离散系数。也就是说,不同学科期刊的JCI差异比aJIFP和aPSA明显,而特征因子、即年指标和影响因子的学科差异比JCI明显(表5)。
3.2.5 主要国家和地区期刊JCI及其他指标比较
JCR-2020中SCI来源期刊共9500种,来自83个国家和地区,期刊数量最多的10个国家依次是:美国(3077种)、英格兰(2042种)、荷兰(772种)、德国(658种)、瑞士(300种)、中国(不包括港澳台地区,下同;252种)、日本(239种)、法国(170种)、俄罗斯(148种)和波兰(136种)。期刊数≥50的国家和地区JCI及其他主要评价指标见表6。期刊数≥50的国家共19个,JCI平均值≥1.00的国家只有3个,分别是英格兰、丹麦和美国,排在第4位的是荷兰。中国期刊JCI平均值为0.90,排在第5位(亚洲第1);韩国期刊的JCI平均值为0.68,排在第9位(亚洲第2);日本期刊的JCI平均值为0.55,排在第13位(亚洲第3);新加坡期刊的JCI平均值为0.52,排在第14位(亚洲第4);印度期刊的JCI平均值为0.32,排在第18位(亚洲第5)。总的来看,我国期刊数量位居全球第6,aJIFP和影响因子均值分别排在全球第1和第2位,JCI和aPSA均值均排在第5位。这些指标相比于本课题组前期统计的我国期刊PR8指数(全球排名第9)[23]均有明显提升。因此认为,近年来我国科技期刊数量不断增加,质量和影响力稳步提升。这说明2013年中国科学技术协会等六部委联合实施的“中国科技期刊国际影响力提升计划”[24]和2019年七部委联合推出的“中国科技期刊卓越行动计划”[25]为我国科技期刊国际影响力提升发挥了重要作用,为培育世界一流科技期刊作出了重要贡献。
表5 JCI与其他期刊评价指标离散系数的比较
表6 期刊数≥50的国家JCI及其他评价指标均值和排序
3.2.6 我国科技期刊JCI的特征
3.2.6.1 我国期刊JCI概览
在JCR-2020中,我国SCI收录期刊共252种,JCI平均值为0.90,比2019年(0.80)增长了12.5%,中位值为0.78。影响因子平均值为4.419,比2019年(3.144)增长了40.6%,中位值为3.165。相比之下,JCI的增长幅度明显小于影响因子,间接反映了国内学术界对影响因子的重视程度。
全球期刊的JCI最大值为77.64,平均值为0.74,中位值0.58;我国期刊的JCI最大值为6.35,平均值为0.90,中位值为0.78。由此可知,我国期刊JCI最大值与全球期刊相比有较大差距,但平均值和中位值都明显高于全球期刊,影响因子平均值也明显大于全球平均值(3.639)。整体来看,我国科技期刊学术影响力超过了全球平均水平。
3.2.6.2 JCI Top 20期刊的主要评价指标
我国JCI Top 20期刊的主要评价指标见表7。JCI排在前3位的期刊是FungalDiversity、Light:Science&Applications和MolecularPlant,与本课题组创建的精确百分位数指标aSPA的排序完全相同。影响因子常年排在国内期刊首位的CellResearch,其JCI排名第4。值得一提的是,ElectrochemicalEnergyReviews首次获得的影响因子就超越了CellResearch,创造了国内期刊影响因子“首发即夺冠”的神话,其JCI排在国内期刊第11位。另外,JCR首发的JCI Top 20的我国期刊还有InfoMat(第5)、NPJFlexibleElectronics(第15)和Opto-ElectronicAdvances(第20),表现均异常突出。但这4种期刊有一个共同特点:发文量较小(2020年发文量分别为30、87、33和36篇),ElectrochemicalEnergyReviews发表的论文全部为综述,InfoMat的综述论文占比达56.32%。由于综述论文往往更容易获得较高的被引频次,发表综述较多的期刊同样容易获得较高的影响因子,而JCI计算中,对被引频次按照文献类型进行了标准化处理,发表综述论文多的期刊,其JCI并不会获益,因此,上述2种期刊的影响因子排序优于JCI。
表7 我国JCI Top 20期刊的主要评价指标
3.2.6.3 JCR首发期刊的JCI特征
JCR-2020中,首发(新增)期刊共15种,全部为英文期刊,多集中在工程、材料和食品科学领域,其中11种期刊的JCI超过全球期刊JCI的平均值。同样有11种期刊的影响因子超过全球SCI期刊影响因子的平均值,10种期刊直接进入Q1区,5种进入Q2区。需要说明的是,UndergroundSpace(2015)、FoodQualityandSafety(2016)、Energy&EnvironmentalMaterials(2017)、Opto-ElectronicAdvances(2017)、ElectrochemicalEnergyReviews(2018)、SyntheticandSystemsBiotechnology(2019)为2015—2019年中国科协等六部委实施的“中国科技期刊国际影响力提升计划”和“中国科技期刊卓越行动计划”高起点新刊项目资助的期刊,在我国创办高起点科技期刊中发挥了很好的示范作用。唯一的不足是,这些期刊的发文量相对偏小(表8)。
3.3 结论和讨论
3.3.1 JCI与影响因子相比具有明显的优越性,尤其是在跨学科期刊评价
与期刊影响因子相比,JCI作出了多方面改进,如对参与JCI计算的文献被引频次按照学科领域、文献类型、出版年进行了标准化处理,统一了JCI分子和分母的文献类型(仅包括研究论文和综述),引证时间窗口扩展为3年,文献被引频次由年度计数变更为累计计数等。最根本的改变是实现了学科的标准化,使得JCI应用于跨学科期刊评价具备了科学性和合理性。
aJIFP和aPSA是前期已确定的较为理想的跨学科期刊评价指标。实证研究结果显示,在不区分学科的情况下,JCI与aJIFP和aPSA均具有极高的相关度,相关系数达0.911和0.948,明显高于JCI与影响因子、特征因子、论文影响分值和即年指标的相关度。在跨学科期刊评价方面,JCI、aJIFP和aPSA三者表现出高度的统一性。在同一学科内(本研究选择了8个学科),JCI与影响因子具有较高的相关度,但依然低于JCI与aJIFP(有机化学例外)和aPSA(数学例外)的相关度。目前,JCI已经成为JCR的常规指标,和影响因子同步更新。在期刊的跨学科评价方面,JCI与影响因子相比具有明显的优越性,有望得到推广应用。
表8 JCR-2020首发的我国科技期刊的JCI及其他评价指标
3.3.2 JCI客观反映了我国科技期刊的进步和发展
研究结果显示,在SCI收录期刊数超过50种的19个国家和地区,我国期刊数量位居全球第6,低于美国、英格兰、荷兰、德国和瑞士;期刊影响因子平均值全球排名第2,仅次于英格兰而高于美国,aJIFP平均值位居全球第1;JCI和aPSA平均值均排在全球第5位,低于美国、英格兰、荷兰和丹麦。近年来,我国政府高度重视“培育世界一流科技期刊”,在“中国科技期刊国际影响力提升计划”和“中国科技期刊卓越行动计划”等的支持下,我国科技期刊得到突飞猛进的发展,但aJIFP和影响因子排序显然被高估。刘雪立等[23]2019年统计了全球主要国家和地区期刊的JIPR8,中国SCI收录期刊的JIPR8平均值和中位值均排在全球第9位。在中国科技期刊高速发展的背景下,期刊评价指标排序的提升是必然的,但是提升到第1、第2似乎不太现实。因此认为,期刊JCI排序较为客观地反映了我国科技期刊的进步、发展及目前所处的国际地位。
3.3.3 JCR-2020首发的我国期刊表现异常突出
JCR-2020首发的我国期刊无论是JCI还是影响因子,表现均异常突出,Q1区期刊竟占了2/3,另外1/3全为Q2区期刊,尤其是ElectrochemicalEnergyReviews,首次获得的影响因子就创造了“国内期刊影响因子第一”的神话,Energy&EnvironmentalMaterials和Opto-ElectronicAdvances表现也不同凡响,让国人看到了“培育世界一流科技期刊”的曙光。
4 结语与展望
本研究从理论上详细分析了JCI作为学科标准化指标的合理性,并以JCR-2020中20932种期刊(包括SCI、SSCI、A&HCI和ESCI等WoS核心合集收录的全部期刊)为研究对象,全方位论证了JCI应用与学术期刊跨学科评价的效果,并应用JCI对我国期刊在全球的地位进行了评价。JCR推出的JCI这一学科标准化期刊评价指标,为全球学术期刊的跨学科评价提供了一个新的方案。但是,JCI的设计依然存在重要缺陷,即在对被引频次进行标准化处理的过程中,没有对论文被引频次的偏态分布进行校正,导致某些期刊个别异常高被引文献对JCI贡献过大。因此,JCI依然需要被优化。本课题组计划根据文献[26-28]提出的标准化方法对JCI进行优化,使JCI更加完美。