改进Z指数的跨学科期刊评价*
2021-04-14陈卫静张宇娥
陈卫静,张宇娥
0 引言
学术期刊作为科学研究成果展示的重要载体,对其影响力的研究一直是科学计量学领域的一个重要研究方向,产生了影响因子、H指数、G指数、标准化特征因子、SJR、SNIP等期刊评价指标。随着科学的发展,学科领域之间的交叉融合趋势越来越明显,大量交叉研究开始涌现,许多专业期刊刊载的论文内容或多或少涉及其他学科的知识,但由于不同学科的期刊种类、发文量、引用行为差异悬殊,无法直接通过这些指标反映不同学科领域的期刊质量。综合考虑期刊的学科差异和引用行为差异,实现跨学科领域的期刊评价,成为当前学术期刊评价研究的重要难题。针对跨学科期刊的评价问题,目前学界已有不少学者展开相关研究,其主要集中在两个方向。
(1)期刊层次的标准化。主要通过对期刊评价指标进行学科标准化处理,包括影响因子百分位、标准化特征因子。顾欢[1]分析影响因子百分位与SNIP指标的跨学科评价效力,认为在影响力较大和较小期刊中,影响因子百分位和SNIP排序结果的一致性较高,但在影响力中等偏下的部分期刊中,两种指标排序无相关性,两种指标在跨学科期刊评价中都有自身的局限性。牛晓峰[2]探讨不同影响因子百分位对期刊的评价效力,认为5年影响因子百分位对期刊的评价效力更高。方红玲[3]探讨特征因子百分位用于跨学科期刊评价的可行性,认为特征因子百分位与SNIP、SJR和影响因子百分位等指标的相关性较高,具有跨学科期刊评价效力。P.Owlia等[4]提出标准化影响因子,并认为该指标可用于跨学科期刊的评价。
(2)论文层次的标准化。主要通过对论文被引频次进行学科标准化处理后再参与指标计算,主要为PRP指数。刘雪立[5]、李华[6]等探讨PRP指数用于跨学科评价的可行性。刘雪立等基于论文被引频次的百分位数构建期刊JIPR8指数,认为JIPR8指数在跨学科期刊评价中的稳定性好,对优秀和一般期刊的区分度也较好。李华等认为PRP指数使用的精英论文集界定方法对期刊发文量大小太过依赖,评价结果更加偏好发文量大的期刊,建议通过改进精英论文集的界定方法改进PRP指数,并认为改进后的指数能基本实现跨学科期刊的评价。
现有研究主要是基于期刊被引频次量的表现维度,通过指标的标准化实现跨学科期刊影响力的评价,并未考虑期刊被引频次分布特征对期刊影响力的影响。Z指数将能够反映数量因素的被引频次、质量因素的平均被引率和被引频次分布特征的被引集中度指标有机地整合在一起,是一个新型的更高阶的3D能效指标。但Z指数没有考虑学科差异对评价对象的影响,无法通过直接比较Z指数反映不同学科领域的期刊质量,因此改进Z指数,构建更全面、能综合学科、数量、质量、被引频次分布特征的4D综合性指标,在跨学科期刊评价的理论和实践上具有重要意义。
1 Z指数的内涵及研究进展
1.1 Z指数的内涵
Z指数是Prathap[7]为弥补P指数不能体现论文引文分布特征的缺陷于2014年提出的一个新的综合性评价指标。Z指数的计算方式为:
其中,C为总被引频次,N为论文量,Ck为第k篇论文的被引频次,η为被引集中度。与P指数相比,Z指数新增考虑了评价对象的被引分布一致性情况,可以看作是一种数量-质量-连续性(Quantity-Quality-Consistency)的3D效能评价指标。在P指数相同的情况下,论文被引集中程度越高,引文分布变化的一致性越低,即大量的引用集中在少数几篇论文上,Z指数越低;反之,Z指数越高。
在对Z指数通过被引集中度这一指标反映期刊影响力科学性的探讨上,虽然Egghe[8]认为引文分布越不均衡的期刊影响力越高,但多数研究更倾向于引文分布越均衡的期刊影响力应该越高[9-10]。而且根据Prathap本人对Z指数的后续跟踪研究发现,无论是对被引频次完美的一致性分布情况,还是对被引高度集中的引文分布情况,Z指数都表现出了稳健的评价效果[11]。
1.2 Z指数的研究进展
国内外对Z指数的研究总体不多,国外研究主要由Prathap完成,如运用Z指数评价太阳能电池研究领域中影响力较高的国家、机构、学者和期刊[12];利用Z指数从机构、学者等角度评价印度的科研情况[13]。国内针对Z指数的研究刚刚起步。何晓庆等[14-16]通过分析Z指数的内涵和计算原理,实证分析Z指数用于学者评价、期刊评价和机构评价的合理性与有效性,认为Z指数优于H指数和P指数,更具有评价的全面性和合理性。张学梅[17]将Z 指数与代表作评价方法相结合,分析不同Z 指数计算方法对学者评价的影响。李长玲等[18]、牌艳欣等[19]通过改进Z 指数,用于学科研究热点的识别。沈军威等[20]探讨Z指数用于中文社科学术期刊评价的效力。俞立平等[21]分析Z指数的特点,并针对Z指数存在的问题进行改进,提出Zn指数用于期刊评价。
1.3 Z指数的不足
根据Z指数的计算公式,被引频次对Z指数的影响较大,而不同学科、不同发表年份的论文引用行为差异显著,如生命科学领域的被引频次远远高于数学领域的被引频次,早年发表论文的被引频次一般高于近年发表论文的被引频次,因此无法直接通过比较Z指数反映不同学科领域的期刊质量。国内外鲜有学者对Z指数的跨学科期刊评价进行研究,本文针对该问题,引入学科规范化引文影响力,考虑不同学科、不同年份论文对被引频次的影响,尝试改进Z 指数的计算规则,选取引用行为差异较大的图书情报领域、材料科学领域、电子信息领域的期刊进行实证研究,为Z指数和跨学科期刊评价研究提供新的思路和方法。
2 基于学科规范化引文影响力的Z 指数改进研究
学科规范化引文影响力(CNCI)是一个排除出版年、学科领域与文献类型作用的无偏影响力指标,可利用它进行不同规模、不同学科的论文集比较。一篇文献的学科规范化引文影响力(CNCI)是通过其实际被引次数除以同文献类型、同出版年、同学科领域文献的期望被引次数而获得的。当一篇文献被划归至多个学科领域时,则使用实际被引次数与期望被引次数比值的平均值。一组文献的CNCI是该组每篇文献CNCI的平均值。如果CNCI值为1,说明该组论文的被引表现与全球平均水平相当;CNCI值大于1,表明该组论文的被引表现高于全球平均水平;小于1,表示低于全球的平均水平。学科规范化引文影响力作为一个相对指标,以某一学科领域、某一出版年、某一文献类型的期望被引频次作为分母标准化论文的被引频次,一方面可有效避免学科领域差异及论文发表年份对被引频次的影响;另一方面可以利用该指标衡量论文的学术影响力,学科规范化引文影响力值越高,论文的学术影响力越强,其在评价论文学术影响力方面与被引频次指标具有同等功效。因此,本文基于学科规范化引文影响力改进的Z指数为ZCNCI指数,其计算公式为:
其中CNCIT为期刊上所有论文的CNCI值之和,反映了期刊的数量因素,即总体发文量和被引情况;代表期刊论文的平均被引情况,反映期刊论文的平均质量因素;代表期刊的被引集中度,反映期刊的被引分布情况,其中CNCIsk为某期刊中第k篇论文的CNCI值,反映期刊中某篇论文的学术影响力。
根据ZCNCI指数的计算规则,ZCNCI指数保留了Z指数综合反映评价对象数量、质量、引文分布情况的优势,仍是一个3D效能评价指标。但与Z指数不同的是,ZCNCI指数采用学科规范化引文影响力这一相对指标代替Z指数中的被引频次这个绝对指标表征评价对象的学术影响力,可以有效克服不同学科领域、不同发表年份对被引频次的影响,从而实现跨学科领域期刊的评价比较。
3 实证研究
根据改进的ZCNCI指数计算公式,需要获得期刊中每篇论文的CNCI 值,结合数据处理量及难度,以及考虑到高影响力期刊对学科发展的重要作用,本文重点研究ZCNCI指数对跨学科领域高影响力期刊的评价效果。结合不同学科领域的引用行为差异,本研究基于JCR学科分类,以仅属于材料科学综合领域、仅属于电子电气工程领域和图书情报领域的期刊为例,分别选择三大学科领域中影响因子排名前20 的期刊作为实证研究对象。考虑到材料科学领域中ANNUAL REVIEW OF MATERIALS RESEARCH期刊为年度出版且论文量较少,为避免论文量过少带来的评价偏差而将其剔除,因此本文实际的分析对象为三大领域的59种期刊,具体如表1所示。
表1 本文选择分析的59种期刊列表
考虑到引用数据的滞后性,限定数据的统计时间窗为2014-2018 年,论文类型限定为Article、Review。统计论文量、总被引频次、学科规范化引文影响力、引文分布一致性等指标分别计算其Z指数及ZCNCI指数。依据期刊ZCNCI指数降序排列的部分期刊的数据统计结果如表2所示。
表2 部分期刊的指标统计结果
3.1 ZCNCI指数期刊评价的效用性分析
ZCNCI指数源于Z指数,Z指数源于P指数,运用Z指数和P指数进行期刊评价的有效性已被论证。为考察ZCNCI指数进行期刊评价的效果,首先分析同一学科内期刊ZCNCI指数与Z指数、P指数之间的相关关系,如表3所示;其次分析不同学科间ZCNCI指数与Z 指数、P 指数之间的相关关系,具体如表4所示。可以看出,无论从学科内还是学科间来看,ZCNCI指数与Z指数、P指数的相关性均较高;从学科内来看,电子电气工程和图书情报领域的ZCNCI指数与Z指数、P指数的相关系数均在0.9以上;从学科间来看,ZCNCI指数与Z指数、P指数的相关系数分别为0.760和0.580。综合看,利用ZCNCI指数进行期刊评价具有一定的科学性和有效性。进一步对比分析ZCNCI指数和Z指数,可以发现:
(1)ZCNCI指数延续Z指数综合反映期刊数量因素、质量因素和被引分布特征的优势,对P指数相同或相差不大但引文分布大不相同的期刊具有较好的显示度和区分度。59种期刊的ZCNCI指数、P指数及引文分布一致性指标情况见图1所示。相较于变化较为平滑的P指数曲线,在引文分布特征差别较大时,59种期刊的ZCNCI指数曲线波动性更强,对这种差异表现得更敏感,更能显示评价对象之间的不同。以IEEE TRANSACTIONS ON SIGNAL PROCESSING和PROCEEDINGS OF THE IEEE2 种期 刊为 例 ,2 种 期刊 的 ZCNCI指数、P 指数及引文分布一致性指标如表5 所示。2 种期刊的P 指数基本相同,但从各自的引文分布特征来看,期刊1 的引文分布一致性指标高于期刊2,ZCNCI指数敏感地捕捉到这一差异,使得期刊1在ZCNCI指数上与期刊2具有更好的区分度和显示度。
表3 学科内ZCNCI指数与Z指数、P指数的相关性
表4 学科间ZCNCI指数与Z指数、P指数的相关性
图1 ZCNCI指数反映引文分布情况的分析
表5 2种期刊的指标分布情况
(2)相较于Z指数,ZCNCI指数考虑了不同学科领域之间、不同年份的引用差异,能够直接利用ZCNCI指数实现不同学科领域期刊之间的比较。59 种期刊涉及3 个不同的学科领域,3个学科领域59种期刊的ZCNCI指数和Z指数排名情况如图2 所示。可以看出,3 个学科领域的59 种期刊在两种排名方法中的分布差异较大,Z指数排名中图书情报领域的期刊排名普遍靠后,电子电气工程领域和材料科学领域的期刊排名普遍靠前,这主要是因为相较于材料科学领域和电子电气工程领域,图书情报领域的总体被引频次偏低,而Z指数受被引频次的影响较大。ZCNCI指数考虑了学科间的引用行为差异,采用学科规范化引文影响力指标,一方面使图书情报领域中质量较好但绝对被引频次偏低的期刊排名靠前,另一方面使绝对被引频次相对偏高但质量一般的材料科学领域期刊的排名后移。以Z指数排名靠前的20种期刊为例,20种期刊均属材料科学领域和电子电气工程领域,但若利用ZCNCI指数作为期刊排序依据,排名靠前的20种期刊中有图书情报领域的期刊5 种,5 种期刊均属图书情报领域,有效地解决了跨学科领域的期刊评价问题。
图2 3个学科领域59种期刊的ZCNCI指数和Z指数排名
3.2 ZCNCI指数进行跨学科期刊评价的适用性分析
为考察ZCNCI指数在跨学科期刊评价方面的适用性,分析其与SNIP、标准化特征因子等现有跨学科期刊评价指标之间的相关性。ZCNCI指数与标准化特征因子的相关系数较高(0.714),但与SNIP指标、影响因子百分位的相关系数偏低,分别为0.349和0.268。究其原因有二:
(1)与SNIP指标相比,ZCNCI指数与SNIP指标的计算原理不同,SNIP指标旨在从篇均引文数的角度减少不同学科领域间期刊引用行为的差异,从而实现不同学科领域间期刊的直接比较[22],本质上属于一种间接的期刊评价指标;而ZCNCI指数直接着眼于论文的学术影响力,从学科的整体被引角度衡量某篇论文的相对影响力,从而实现期刊影响力的跨学科比较,评价方式更为客观准确。且相对于ZCNCI指数的计算更简便和公开透明,SNIP指标复杂的计算方法和标准化的不透明性,使得其评价效果的权威性有待进一步商榷。
(2)与影响因子百分位相比,影响因子百分位通过表征期刊影响因子在学科的相对位置实现不同学科期刊之间的比较,本质上仍是基于影响因子的比较分析。且相对于ZCNCI指数,影响因子百分位指标的缺点更为明显,其一方面受学科规模影响较大,可能导致大学科的差期刊被低估,而小学科的差期刊被高估;另一方面因其过分强调影响因子排序而会掩盖影响因子数值的差异程度,忽略期刊之间影响力的真实差距。相对于影响因子百分位,ZCNCI指数是一个反映了期刊的数量因素、质量因素和被引分布特征的综合指标,其包含的信息量远高于影响因子,由此可能导致两者之间的相关性偏低。但ZCNCI指数作为一个有参数性质的统计指标,则可以有效克服影响因子百分位的缺陷,在保证实现期刊跨学科比较的基础上,真实地体现期刊影响力之间的差异。
4 结语
针对Z指数不能实现跨学科领域期刊评价的问题,本文在Z指数研究的基础上,考虑不同学科领域间引用行为的差异,借鉴学科规范化引文影响力指标,改进Z 指数的计算方法,构建了ZCNCI指数,并进行了实例验证。实验结果证明,一方面ZCNCI指数延续了Z指数综合反映期刊数量因素、质量因素和被引分布特征的优势,且与Z指数、P 指数的相关性较高,是一个新的集数量、质量、引文分布特征、学科差异因素于一身的4D效能指标。另一方面,与现有的SNIP、标准化特征因子、影响因子百分位等跨学科期刊评价指标相比,ZCNCI指数与标准化特征因子的相关性较高,且克服了SNIP指标评价的间接性和计算复杂、不透明,影响因子百分位受学科规模影响较大和无法反映期刊之间真实差距的缺陷,在跨学科期刊评价中的综合表现最好。综合来看,ZCNCI指数具有一定的期刊评价效力,在跨学科期刊评价中具有一定的可行性。
表6 ZCNCI指数与其他跨学科期刊评价指标的相关性
本文虽然从学科规范化的视角改进了Z 指数,为跨学科期刊评价和Z指数研究提供新的思路,但仍存在不足:一是仅以高影响力期刊为例进行实证研究,未考虑指标在中低影响力期刊中的适用性;二是忽略了引证期刊质量差异的影响,同等地看待每一条引用,未考虑来自高质量期刊引用的重要性;三是未考虑自引因素造成的评价偏差等。Z指数作为一种更高层次的新型综合性学术评价指标,具有很好的应用前景,但目前国内外对Z指数的研究仍处于起步阶段,对Z指数进行积极探索和深入研究,进一步丰富科学评价领域的理论与方法,具有深远的理论和实践意义。