基于离散度计量的期刊学术影响力评价

■李秀霞 邵作运 郝玉珊

1) 曲阜师范大学传媒学院, 山东省日照市烟台路80号 2768262) 曲阜师范大学图书馆, 山东省日照市烟台路80号 276826

期刊学术影响力评价一直是科学计量学领域的一个重要方向，也是科技期刊研究的热点问题。随着知识经济的快速发展，科学研究和科技创新不断增多，期刊评价在科研活动中占据着越来越重要的地位。有效的学术期刊评价对提升期刊学术质量、引导作者正确投稿以及提高科研管理水平等都起到积极的作用。

目前，国内外学界对期刊学术影响力的评价研究内容广泛，评价方法多样，主要包括同行评议法[1]、文献计量法[2]、网络计量法[3]、替代计量法[4]、综合评价法[5]等。其中，文献计量法中的期刊影响因子(Journal Impact Factor，JIF)是应用最为广泛的一种期刊评价方法。由于文献引用呈幂律分布，引用仅限于少数文献，而JIF受高被引论文的影响比较严重，因此，JIF的应用从一开始就受到很多人的质疑，JIF的改进研究也一直没有停息过，典型的改进指标有5年JIF[2]、他引JIF[6]、JIF百分位[7]等。有研究发现，JIF不适用于期刊的跨学科评价[8]，为了解决期刊评价的跨学科问题，2010年荷兰Moed教授[9]提出了基于Scopus数据库的篇均来源期刊标准影响指标(Source Normalized Impact per Paper，SNIP)，实现了期刊的跨学科评价。SNIP从篇均引文数的角度减少了不同学科领域期刊引用行为的差异[10]。上述指标有效改善了期刊评价的效果，对期刊评价研究起到重要的推动作用。

上述期刊评价方法主要是根据学术成果的高频引用数据来评价期刊的学术影响力，均未考虑引文数据分布的离散度对期刊学术水平的影响。离散度分析是测度一组数据集中与分散程度的方法，以离散度的计量为基础，其计量方法有方差法(或标准差法)、变异系数、泰尔系数、Gini系数、GLC曲线法等。离散度主要应用于经济领域国民收入分配的差异性问题的研究，近年来逐渐被引入到教育、医疗、人力资源管理、图书情报等领域，用于分析财产、资本、市场、资源等分配的均衡程度。离散度计量在学术评价中的应用研究在国外刚刚起步，代表性研究是2017年Lando等[11]基于GLC曲线提出的一种对JIF改进的指标Stabilized-JIF，该指标是将离散度计量引进期刊评价的首次尝试；2018年Cockriel等[12]在Stabilized-JIF指标的基础上，基于Gini系数提出平均离散指数(Mean Dispersion Indices，MDI)，并在期刊评价中取得良好的效果。国内将离散度计量应用于学术评价的相关研究有：在各学科方向上学术成果的数量均衡性研究[13]、期刊载文信息量和影响力分布的离散度研究[14]、学术成果的空间集聚性研究[15]等，但鲜有将离散度分析应用于期刊评价的研究。

JIF指标虽因自身的不足而被质疑，但却一直用于期刊影响力评价，也没有对评价对象的学科差异性给予区分；SNIP指标更是以实现期刊的跨学科评价为目标而设计的，实现期刊的跨学科评价是期刊评价研究的新趋势。但无论是学术人员，还是图书馆期刊管理人员、服务人员，还是学术评价机构，他们更关注的是一个学科内部期刊之间学术影响力的差异性，也只有在同一学科下期刊的学术影响力才有可比性，因此，研究适合学科内部期刊评价的方法更具有应用价值，应该是期刊评价研究的另一个发展方向。为此，本研究拟将经济学领域的离散度分析法引入期刊评价中，提出一种适于学科内部期刊评价的新方法。离散度的计量是将期刊文献的全部引文数据考虑在内，不仅方法上具有较强的包容性，实践中对期刊评价结果也具有较强的解释力。本研究可为实现学科内部期刊评价提供新的研究视角和方法，对科学评价理论体系的拓展具有重要的理论价值。

1 研究方法

本研究选取泰尔系数计量期刊被引数据的离散度，并将其与JIF结合，构建基于泰尔指数和JIF的期刊影响力评价指标(Journal Evaluation Index Based on Impact Factor and Theil Index，简称为JIF-T指标)。泰尔系数是基于信息理论中的熵概念来评估一组数据的离散性。一种期刊在一定时间内所有文献的被引频次对应一组数据，用泰尔系数计算一组期刊文献被引频次的离散度，能够反映期刊引文数据分布的均衡性，在衡量期刊引文数据均衡性的基础上分析期刊的学术影响力，所得到的评价结果将更加科学合理。

泰尔系数的计算公式有多种，本研究根据泰尔系数“测度居民收入差异程度”的思想，借鉴文献[11]Stabilized-JIF指数和文献[12]MDI的构建方法，给出在学科内测度期刊学术影响力的评价指标，其计算公式为

JJIF-T=JJIF/T(1)

式中：JJIF-T为一定时间窗口内某期刊的JIF-T指标；JJIF为一定时间窗口内某期刊的JIF；T为反映期刊论文被引频次离散度的泰尔系数。

(2)

式中：fi(i=1,2,…,n)为某期刊中第i篇论文的被引频次；F为期刊所有论文的总被引频次；P为某期刊的载文量。T的取值范围为0～lnP，T值越接近0，表明该期刊论文被引频次的分布越发散，各论文的被关注度越接近；反之，T值越大，该期刊论文被引频次的分布越集中于少数论文，论文的被关注度差异越大。

JIF-T指标实现了引文离散度与JIF的融合。JIF反映了期刊论文总体被认可和被利用的程度，离散度则反映了期刊论文被认可和被利用的离散程度，在等量引用的水平上，期刊论文被引数据分布越均衡，即T值越小，期刊学术水平越高；反之，期刊论文被引数据分布越集中于少数论文，即T值越大，期刊学术水平越低。同时，JIF-T指标将期刊论文被引的所有数据都考虑在内，具有更大的包容性。而且，选取泰尔系数计算离散度，同时考虑了期刊中每篇论文被引频次占期刊总被引频次的比例和期刊的载文量，对高载文量、低被引现象进行了有效控制，使评价结果更加公平、合理。因此，从构建原理来看，JIF-T指标比JIF指标更科学。

2 实证研究

2.1 数据获取

为分析JIF-T指标在同一学科期刊评价中的效果和优势，本研究选取5个不同学科的期刊，分别是：图书情报学期刊、新闻传播学期刊、医学信息学期刊、统计概率学期刊和机械工程学期刊。

实验数据主要来源于Web of Science(WoS)数据库《期刊引证报告》(JournalCitationReports，JCR)。JCR完整而全面地统计了学术期刊各方面的数据，其中包括各国学者使用期刊的庞大指数谱系，以及期刊论文类型的统计数据，本研究利用JCR一方面为了获取上述5个学科的期刊，另一方面是为了从中得到各期刊的JIF、期刊论文的被引频次和期刊载文量。

首先，确定各学科所包含的期刊。在JCR中输入上述5个学科的名称，得到不同学科的期刊列表，分别从中选取20种期刊(表1～表5)。选取原则是：在确保期刊能够同时被WoS数据库和Scopus数据库收录的前提下，根据JCR中对期刊的分区，在各分区中随机抽取，以确保实验结果具有代表性和说服力。

其次，记录(1)式、(2)式中有关量对应的数据。在JCR中，输入期刊名和对应年份，即可得到某期刊的JIF和期刊前两年的载文量P，以及前两年某期刊中第i篇文献在统计年(数据记录时间为2018年6月30日)的被引频次fi(i=1,2,…,n)，累加得到某期刊前两年所有文献在统计年的总被引频次F，根据fi和F的值计算每篇论文的被引频次在总被引频次中所占的比例fi/F，以此作为计算每种期刊JIF-T值的实验数据。

最后，为进行对比实验，在Scopus数据库中获取上述100种期刊的SNIP值(表1～表5)，获取时间与期刊论文被引频次的获取时间相同。Scopus数据库由荷兰著名的Elsevier出版公司于2004年推出，是目前世界上最大的文摘和引文索引数据库之一[16]，该数据库给出了SNIP、SJR、CiteScore、h指数等不同的期刊评价结果。

表1 20种图书情报学期刊及其对应的3种评价指标值

表2 20种新闻传播学期刊及其对应的3种评价指标值

表3 20种医学信息学期刊及其对应的3种评价指标值

表4 20种统计概率学期刊及其对应的3种评价指标值

2.2 结果分析

为了说明JIF-T指标的有效性，将其与期刊的JIF、SNIP指标值进行对比。JIF是指某期刊前两年发表的论文在统计当年的总被引频次除以该期刊在这两年内发表的论文总数；SNIP是指在3年引文窗口中某一来源出版物中的每篇论文的平均被引频次与该学科领域的“引文潜力”之间的比值，而“引文潜力”是指一篇文章在指定的学科领域中所达到的预计平均被引频次[17]。

2.2.1 JIF-T与JIF、SNIP评价结果的一致性分析

将5个学科100种期刊的JIF-T评价排名与期刊的JIF、SNIP排名进行Spearman相关性分析(表6)。

表5 20种机械工程学期刊及其对应的3种评价指标值

表6 5个学科JIF-T指标与JIF、SNIP指标的相关性

注:**表示在0.01水平(双侧)上显著相关。

5个不同学科的JIF-T指标与JIF、SNIP指标的相关性虽然有所差异(图书情报学期刊的JIF-T指标与其他指标的相关度最高，统计概率学期刊的JIF-T指标与其他指标的相关性最低)，但总体来看，JIF-T指标均与JIF、SNIP呈显著相关，与JIF的相关系数超过0.71，与SNIP的相关系数超过0.66，由于JIF-T指标是在JIF基础上的改进，所以其与JIF的相关性(平均相关系数为0.8508)稍高于与SNIP的相关性(平均相关系数为0.757)。JIF一直是国际上评价期刊影响力的通用指标，SNIP则是近年来基于消除期刊评价的学科差异而提出的期刊评价指标。JIF-T指标与JIF、SNIP的显著相关性说明JIF-T指标的评价结果与JIF、SNIP的评价结果具有较高的一致性。综合JIF-T指标的科学性、包容性、合理性分析，说明JIF-T指标用于期刊学术影响力评价是可行的。

2.2.2 JIF-T与JIF、SNIP评价结果的差异性分析

将各学科20种期刊在不同指标下的得分由低到高排布，得到得分趋势图(图1)。

图1 各学科20种期刊在不同指标下的得分趋势分布。(a)JIF-T；(b)JIF；(c)SNIP

(1) JIF-T指标的灵敏度分析。由图1可知，三组曲线的变化趋势有所不同，JIF-T指标的变化趋势最为明显，SNIP指标的变化趋势最为缓慢。选中每个学科20种期刊的得分曲线，在Excel中插入散点图，在散点图上添加趋势线，进行直线拟合，得到每条拟合直线的斜率，统计发现，三组趋势线斜率的均值分别为：JIF-T指标为0.22668(JIF-T)、 0.1261(JIF)、0.08154(SNIP)，三组趋势线的拟合优度R2值均在0.91以上。可见，JIF-T指标的变化最为明显，而JIF、SNIP两指标变化不大，SNIP指标变化最小，说明JIF-T指标在期刊评价中具有最高的灵敏度。

(2) JIF-T指标的区分度分析。为进一步分析图1中每个学科20种期刊在3种指标下的得分特点，借用变异系数(C)计算JIF-T、JIF、SINP指标的差异性。变异系数是衡量一组数据中各观测值变异程度的统计量，具体计算公式为

C=(SD÷MN)×100%(3)

式中：SD、MN分别为一组数据的标准偏差、平均值。

计算3种指标对应的三组数据的C值，每组数据对应5个学科的20种期刊，分别计算每个学科期刊的C值，最后取平均值，得到3种指标对应的C值分别为：CJIF-T=0.655、CJIF=0.429、CSINP=0.361，即CJIF-T>CJIF>CSINP，且CJIF-T约是CSINP的两倍。可见，对于同一个学科来说，由JIF-T指标得到的期刊评价结果差异性最大，SNIP指标得到的期刊评价结果差异性最小，说明JIF-T指标在期刊评价中具有最高的区分度。

(3) JIF-T指标的学科差异性分析。对比图1每组曲线中5条曲线的间距，发现SNIP指标对应的一组曲线中，5条曲线的间距最小。这与SNIP指标的构建基础有关，SNIP指标在平均被引频次的基础上对不同学科间的数据库进行了标准化处理，减少了不同学科期刊引用行为的差异[16]，因此，SNIP指标适合从更高的视域对不同学科期刊进行统一评价，图1中SNIP指标对应曲线的高度集聚性也说明该指标具有跨学科评价的特征。

JIF-T指标对应5条曲线的间距最大，可见，对不同的学科期刊，JIF-T指标得到的评价结果具有较大的差异性，说明JIF-T指标不适合对不同学科期刊进行统一评价。笔者认为，因为不同学科期刊文献的研究内容、研究方法、受众范围等均有较大的差异，所以，由同一指标对不同学科期刊进行评价，得到的结果没有可比性。例如，1种在图书情报学中影响力居于首位的期刊，不能说其在新闻传播学中也具有最高的影响力。即使利用相同的指标(如JIF)评价不同学科的期刊，对比排名时也要限制在一个学科内进行。国内的CSSCI来源期刊排名以及国际的JCR期刊排名，都是以学科为单元给出。可见，JIF-T指标具有较高的灵敏度和更强的区分度，是实现学科内部期刊影响力评价的可用指标。

3 结语

本研究在前人研究的基础上，提出一种基于泰尔系数的期刊论文被引离散度计量方法，并与JIF评价指标结合构建JIF-T指标，该指标从期刊引文数据分布的离散度和学术成果的利用率两个视角反映期刊的学术影响力，理论上相对科学合理；同时，JIF-T指标将期刊的所有引文数据都考虑在内，具有更大的包容性。通过对5个学科(包括社会科学和自然科学)100种期刊(每个学科各选20种)的影响力评价，发现与JIF、SNIP评价指标相比，JIF-T指标在同一个学科内具有更高的灵敏度和区分度，是适于在学科内部进行期刊学术影响力评价的一个指标。

JIF-T指标仅从反映期刊论文被引频次的JIF、期刊载文量、引文数据的离散度层面体现期刊的学术价值和影响力。由于影响期刊学术水平的因素很多，如期刊论文被引的时间异质性、期刊论文的合著关系、施引文献和施引期刊的学术水平等，因此，JIF-T指标在期刊影响力评价中仍会存在评价误差。后期研究中将综合考虑多种影响因素，通过科学的方法对不同影响因素进行赋权，以实现对学术期刊更加科学合理的评价。