时序动态视角下的学术影响力评价方法及实证研究

舒予+张黎俐

〔摘 要〕[目的/意义]论文发表时间和所属学科的不同会对论文在后续的引文产生稀释效应的影响，发生在不同时间的引文也代表了不同的学术价值。从时序动态的视角设计一种学术影响力的评价指标，消除稀释效应的影响并能够体现不同时期的引文价值。[方法/过程]引入参考文献集合的篇均被引次数作为论文集合的基准值，消除由于发表时间和所属学科不同造成的稀释效应，进而再对不同统计时间点的被引次数赋予不同的权重，用以表征发生在不同时期的引文的不同价值。[结果/结论]以四川大学为例，选取ESI学科和研究人员作为评价对象进行实证研究，结果表明这一指标可以对学术影响力发展趋势不同的研究实体进行有效的区分。

〔关键词〕时序动态；学术影响力；评价方法；实证研究

DOI：10.3969/j.issn.1008-0821.2017.11.012

〔中图分类号〕G304 〔文献标识码〕A 〔文章编号〕1008-0821（2017）11-0074-07

An Empirical Study on the Evaluation of Academic Influence from the Perspective of Time Series

Shu Yu Zhang Lili

（Library，Sichuan University，Chengdu 610065，China）

〔Abstract〕[Purpose/Significance]The difference between the time of publication and the discipline of the study will cause an effect on the dilution of the citations in the following citations.This paper designed an evaluation index of academic influence from the perspective of temporal dynamics，which could eliminate the influence of dilution effect and can reflect the value of citation in different periods.[Method/Process]The Average number of citations per paper of the reference set was choosen as a benchmark to eliminate the dilution effect caused by the publication time and different discipline，furthermore，different weights were given to the citations that happen on different statistical time points，which could be used to characterize the different values of citations in different periods.[Result/Conclusion]Taking Sichuan University as an example，this paper selected the ESI discipline and the scientific research personnel as the evaluation object to carry on the empirical research，the results showed that this index could effectively distinguish the different research entities with different academic development trends.

〔Key words〕time series dynamics；academic influence；evaluation method；empirical study

學术影响力的评价则是科研绩效评价中的一个主要组成部分，在学科、高校乃至国家层面的科研评价体系中发挥了极其重要的作用[1-2]。文献计量分析为学术影响力的测度提供了相应的定量指标，是对同行评议等定性评价方式的重要补充[3-4]。基于文献计量分析方法设计的定量评价指标可以分为综合性指标和单一指标两种方式[5]。综合性指标包括h指数、g指数、p指数等，而单一指标主要从论文的产出、质量、利用率等各个方面进行单一维度的评价[6-7]。综合性指标和单一指标在科研绩效评价中都得到的广泛的应用，但是往往忽略了对文献老化过程中引文变化规律的描述，由于论文的施引文献发生的年度代表了在不同时期被利用的情况，自然也就具有不同的价值，例如一位科研人员的论文引用文献逐年上升，而另一位科研人员的论文引用文献却逐年下降，显然这两位科研人员学术影响力的发展态势是不一样的，因此需要从时序动态的视角设计学术影响力的评价指标，使之能够真实的反映出文献在不同时期的引用文献的价值。学术影响力的动态评价指标多集中在综合性指标的改造上，Sidiropoulos A以与论文发表年度的时长呈反比的系数为权重，降低早期发表的论文的引文数量，再以修正后的引文数量定义了一种当代的h指数[10]，韩毅针对时间因素的稀释效应和凝聚效应，在P指数的计算框架下构建了Pt1和Pt2指数，分别用以评价不同发表时间和不同老化速度的文献价值[5]，此外高志等对各种学术影响力的动态评价方法也做了深入的对比与分析[11]，并针对科学家个人学术影响力随时间变化的计算方法进行了研究[12]。endprint

综合性指标的优点在于可以用一个指标将研究实体在不同角度的科研绩效综合起来表征，在一定程度上体现了研究实体的整体面貌，但是在某些时候，我们又希望学术影响力的评价指标能够从某一个独立的角度展现研究实体的科研绩效，这样更有利于我们对研究实体在某一个具体的方面存在的问题进行分析，而综合性指标显然无法达到这一目的。以h指数为例，h指数是论文产出和学术质量的综合表征，但是却无法告知我们研究实体在学术质量这一单一维度上的表现，Van Raan便指出不应该用“一个音符”对研究人员或者研究团队的学术表现进行阐述[8]，Glnzel也指出设计多个评价指标可以从不同的角度更加充分地反映学术的实际绩效[9]。事实上，学术影响力的内涵是多样的，不仅意味着学术的传播面和活跃度，也是学术质量的一种表征，同时还体现了学术成果的重要性，例如论文数量、论文总被引次数可以描述研究实体学术的传播度、辐射面，论文的篇均被引次数可以描述研究实体学术的质量，论文的被引率可以描述研究实体学术上的转化率、利用率，高被引论文、热点论文等又可以描述研究实体在前沿研究上的学术影响力。基于这种考虑，本文从篇均被引次数这一单一的维度出发，引入时间因素，设计一种时序动态视角下的学术影响力评价指标，以期将研究实体学术质量的发展趋势有效地描述出来。

1 时序动态视角下学术影响力评价指标的设计

研究实体（如科研人员、研究团队，机构、机构的某一学科或者机构下属的二级单位等）的学术成果通常可以用其发表的论文集合体现，现假设某一研究实体的论文集合中文献数量为N，截至到统计时间点（比如进行被引次数统计的当天）时，被引用的总次数为C次，那么该研究实体的学术影响力可以用论文集合的篇均被引次数Cpp=CN表征。显然C是由发生在不同时间节点的引文数量C1，C2，…，组成的，即C=∑iCi ，例如一篇当前被引用总次数为10的论文，其被引总次数可能是由来自2015年的2次被引和2016年的8次被引组成的。由于不同时期的引文数量所代表的价值是不一样的，例如两篇被引次数相同的论文，一篇引文量逐年上升，另一篇引文量逐年下降，其表征的学术价值显然是不同的。因此为了区分其价值的差异，我们希望能够为不同时间节点上的引文数量赋予不同的权重系数λ1，λ2…，λi，…，最终该研究实体的总被引次数可以表示为各时期引文数量的线性加权，即=∑iλiCi，进而将研究实体学术影响力表征为

但是注意到，论文集合在某一个时间点的引文数量Ci往往又是由不同时期发表的论文在该时间点的被引次数组成的，即Ci=∑jCji ，不同发表时间j的论文在时间点i上的被引次数Cji是不具可比性的，例如一篇2010年发表并在2015年被引用15次的论文与另一篇2012年发表并在2015年被引用12次的论文，其学术影响力是无法比较的，韩毅称这种导致不可比性的影响因素为稀释效应，并根据发文时间对Cji进行简单平均作为修正稀释效应的加权[6]。如果把这种稀释效应推广至更一般的情况，即这些论文还来自不同学科，于是Ci可进一步地描述为Ci=∑i∑kCj，ki ，其中Cj，ki表示第j年发表的来自学科k的论文在第i年的引文数量，显然论文发表时间和论文所属学科的不同都會对引文数量产生影响，因此Cj，ki之间是有明显差异的，彼此之间同样是不具可比性的，这样由Cj，ki累加得到的各时间点上的被引次数Ci是非标准非规范的，在此基础上对Ci赋予权值也就缺乏合理性，并且严格来说直接把不同的Cj，ki相加也是没有任何意义的，例如一位科研人员在2010年发表了一篇计算机方向的论文，在2015年被引用10次，在2012年发表了一篇数学方向的论文，在2015年被引用6次，那么这两篇论文在2015年的被引用总次数C2015不能简单的看作是C2015=10+6，因为2015年的被引次数来自发表于不同的时期且属于不同的学科的两篇论文，其被引次数10次与6次是在不同的尺度下测度得到的，直接取和10+6是没有任何实际意义的。对于这种情况我们考虑引入学科的篇均被引次数对Cj，ki进行修正，消除不同发文时间和不同学科对引文带来的差异性，这样既保证了对各时期的被引次数Ci进行赋值的合理性，还能使得这样设计的评价指标可以消除学科之间的引用差异，实现对不同学科的学术影响力的横向比较。基于上述考虑，我们设计的时序动态学术影响力评价指标分为以下两步完成：

Step 1.对于发表于不同年代、属于不同学科的文献在同一个统计时间点上的引文标准化处理。

假设论文集合中属于学科k发表于第j年的所有论文在第i年的被引总次数为Cj，ki。其中，k=1，2，…，K，表示待评价论文集合共涉及K个学科；j=1，2，…，J，表示将该论文集合中最早发表的论文时间作为统计时间节点的第1年，最晚发表的论文时间作为第J年；i=1，2，…，I，表示将该论文集合中最早发表的论文时间作为统计被引次数的时间节点的第1年，将统计被引次数的时间节点的最后一年记为第I年。

我们首先按照发表时间和所属学科将论文集合中的论文划分到不同的组，每一组的论文均发表于相同年份、属于相同学科，然后对每个组的论文引入一个对应的参考文献集合，例如，可以选择为第j年发表的属于学科k的全球论文，显然同一组的论文在后续时间段被他人引用应当具有相同的共性，因此用该参考文献集合的论文篇均被引次数作为基准值可以修正由于论文之间发表年份不同、所属学科不同带来的稀释效应的影响。设第j年发表的属于学科k的论文的篇均被引次数为ej，ki，于是第j年发表的属于学科k的论文在任意一个统计时间点i的被引次数j，ki可以修正为：

需要说明的是，由于通常选择的学科划分是ESI学科，按照论文与ESI学科的对应规则，一篇论文只对应一个ESI学科，但是如果学科选取的Web of Science的学科划分方法，则会出现一篇论文对应多个学科的情况，为此我们是这样考虑的：将修正论文被引次数的基准值ej，k取作论文对应的相应学科的论文篇均被引次数的平均值。例如，一篇2012年的论文在2015年的被引次数为15次，这篇论文对应Mathematics、Mathemitics，Applied和Mathemitics，Interdisciplinary Application 3个学科，而这3个学科2012年的论文篇均被引次数分别为3.46、4.89和6.81，那么则将3个学科2012年的论文篇均被引次数的平均值作为修正这篇论文被引次数的基准值，即e=（（3.46+4.89+6.81））/3=5.05，这篇论文在2015年修正后的被引次数则为15/5.05=2.97，这样把论文集合中2012年的每篇论文在2015年修正后的被引次数加起来，则为论文集合中2012年的论文在2015年的修正后的被引次数。不失一般性，如果论文集合中的每篇论文均对应一个学科，那么这样的处理方法则与上述Step1的方法是一致的。endprint

Step 2.对于发生于不同时间的引用，其引文的加权处理。

可以看到，在上一步我们将不同年代发表的文献在后续各统计时间节点上的引文做了标准化的处理，得到的标准化引文数据既保证了对于发表于不同年代、属于不同学科的文献在某一个时间点的被引用次数的价值都是等同的，同时也保证在第二步对于不同时间点的被引次数的加权是合理科学的。从（1）式可知，传统的论文集合篇均被引次数Cpp=∑I1Ci/N是论文集合在某一时间段的各统计时间节点上的篇均被引次数的线性加权，并且认为每一统计时间节点的权重是相等的，而DAI则可以看作是该论文集合在各统计时间节点上修正后的篇均被引次数的线性加权，并且对每一统计时间节点赋予了不同的权重，这样便可以对在不同时期学术影响力表现不同的研究实体进行有效的区分。

2 实证分析

2.1 针对机构ESI学科的学术影响力评价

为验证我们设计的DAI指标的合理性，以四川大学的化学、物理、计算机科学等18个ESI学科作为评价对象，利用DAI指标对各ESI学科的学术影响力进行评价。考虑到引文有一定的滞后性，在近年发表的论文其引文还可能存在较大幅度的增长，目前还不能完全体现其真实的价值，因此文献发表时间限定为2009-2013年。

在InCites数据库中可以下载到四川大学各ESI学科论文的列表（下称ESI学科论文列表），论文列表中包含该学科各论文的标题、作者、来源期刊等信息，但是InCites数据库并不提供这些论文在随后各年的被引用次数，所以需要再在Web of Science数据库中以Sichuan Univ*作为检索地址，并限定检索年份为2009-2013年检索四川大学的科研人员在这一期间发表的所有文献，通过Web of Science提供的“创建引文报告”功能下载到这些文献的所有引文列表（下称WoS论文列表），列表中包括了被引文献的标题、作者、发表时间、来源期刊以及在随后各年的被引用次数。然后依据ESI学科论文列表中的每一篇论文的标题在WoS论文列表中找到同一篇论文并由此获得该论文在随后各年的被引用次数。按照这一步骤，可以获得所需的四川大学18各ESI学科在2009-2013年发表的论文及其在随后各年的被引用次数。计算过程通过python和matlab编程实现。下面以计算机科学学科为例对DAI指标的计算方式进行介绍：

Step 1.首先对该学科每一年发表的论文在随后各年被引次数进行修正。例如，2009年计算机科学学科发表的论文在随后各年被引用次数C2009j（其中j=2009，2010，…，2016）见表1。

而2009年发表的计算机科学学科全球的论文截止到2017年4月的篇均被引次数为e2009=9.41。于是该学科2009年发表的论文在随后各年被引次数则按照下式进行修正：

修正后的各年被引用次数见表2。

同理，可得计算机学科在其它年份发表的论文在随后各年的修正被引用次数，见表3。

此时，表中各列都是修正后的标准化数据，也就是说论文由于发表时间不同而造成的稀释效应已经被消除，从而在不同发表年份的论文在同一时间节点被引用的次数（即是同一列的数据）已经修正到了统一的尺度下，因此可以保证表中数据按列相加的合理性。按表3各列相加，可得计算机科学学科2009-2013年发表的论文在2009-2016各年份修正后的被引用次数，而2009-2013年计算机科学学科论文数量为204篇，因此再用修正后的被引次数除以论文数量即可得计算机科学学科2009-2013年发表的论文在2009-2016各年份修正后的篇均被引次数，见表4。

Step 2.对各统计时间点的修正篇均被引用次数进行线性加权。取在第i年被引用次数所对应的动态权重为e0.4*ki，其中i=2009，2010，…，2016，ki是第i年距离2009年的时间间隔，例如k2010=2010-2009=1，显然这一权重设计意味着越靠近当前时期的引文具有越高的权重，从而可以用以突出近期学术影响力较好的研究实体。于是计算机学科的动态学术影响力DAI指标值为：

DAIcomputer=0.0047*e0.4*0+0.0289*e0.4*1+0.0646*e0.4*2+0.1161*e0.4*3+0.1928*e0.4*4+0.2861*e0.4*5+0.2833*e0.4*6+0.1950*e0.4*7=14.88

同理，可以计算其它17个学科的DAI指标值。为与其它指标对比，同时也分别计算了这18个学科的篇均被引次数Cpp、MNCS值、总引用次数、论文总篇数、h指数，并按DAI指标值降序排序。见表5。

根据表5的计算结果可以看到，DAI指标比h指数的区分度更高，说明DAI指标作为一种单一性指标与h这种综合性指标相比，区分度更高，也更能展示研究实体在篇均被引次数这一单一维度上的细节。DAI、Cpp和MNCS 3个指标在某些学科的排序上出现了不一致，例如分子生物学与遗传学学科的DAI指标值高于临床医学学科，但是前者的Cpp和MNCS均低于后者，这说明虽然在被引次数的累积上前者低于后者，但是前者被引次数的累积大多出现在近期，后者被引次數的累积大多出现在早期，DAI指标通过对不同时间的引文进行了加权处理，从而突出了在近期学术影响力表现较好的分子生物学与遗传学学科。总体来说，心理学/精神病学、农业科学、药理学与毒物学3个学科不仅在近期有较高的影响力，在整个统计时间段的学术影响力也高于其它学科。

从表5的计算结果同时也可以看到，DAI、h指数、MNCS等指标均可用于描述研究实体的学术影响力，但是描述研究实体学术影响力的细致程度有所不同。h指数并未区分不同学科论文的被引次数，因此不能将由于学科引用差异性造成的学术影响力的差异刻画出来，而DAI指标包括MNCS指标均考虑到了论文的所属学科在引用上的差异性，并利用学科论文篇均被引次数消除了这种差异性，这是DAI指标或者MNCS指标区分度高于h指数的原因，并且也更为合理科学。而DAI指标和MNCS指标相比，又进一步地考虑到了论文被引时间的差异同样也反映了不同的学术影响力，因此DAI指标相对于MNCS指标在描述研究实体的学术影响力（特别是在描述学术影响力的发展趋势）方面又要更为精准细致。endprint

进一步地，引入Pearson相关系数分析6个指标值的相关程度，见表6。

从表6可以看到，DAI、Cpp和MNCS 3个指标与论文被引总次数和论文总篇数2个指标之间的相关性均较低，说明DAI、Cpp和MNCS具有较相似的特性，主要体现的是研究实体的学术质量，与研究实体整体上的学术影响力和学术产出能力没有太大的关系。DAI、篇均被引次数和MNCS 3个指标中，DAI与Cpp相关性较低，但与MNCS却高度相关，说明DAI指标确实能够像MNCS一样，消除学科之间由于引用规律的不同而造成的差异性。

2.2 针对个人的的学术影响力评价

为进一步探讨DAI指标的性质下面选取来自四川大学的12名学者作为评价对象，对其学术论文的影响力进行评价分析，进而对比DAI和MNCS 2个指标的不同。12名学者分别来自8个不同的院系，学术论文涉及化学、物理、计算机科学、数学、临床医学等19个ESI学科。

2.2.1 DAI指标“突出当前引用”的性质

计算12名学者的DAI和MNCS指标值，并以DAI指标值高低排序，见表7。

从表7可知，序号为2、3、4、6、7、8的学者在DAI和MNCS 2个指标值上的排序发生了较大的变化。选取学者2和学者4做进一步的对比，分析二者DAI和MNCS指标值排序出现差异的原因。由于学者的MNCS值是他们在2009-2013年5年的MNCSi值的平均值，因此首先对两位学者在2009-2013年5年的MNCS值进行分析，见表8。

由表8可知，学者4在2009年、2010年、2012年和2013年4年的MNCS值都高于学者2，因此使得学者4五年的总MNCS值也高于学者2。从上文的分析中可知，DAI是对论文集合在各统计时间节点上的修正篇均被引次数进行的加权平均，因此以学者2和学者4在2009年发表的论文集合为例，两个学者的论文集合在各统计时间节点上的修正篇均被引次数形成的趋势图如图1所示。

由图1可知，学者2在2009-2013年这5年修正篇均次数低于学者4，但是从2014年后的3年均高于学者4，由于各学者在2009年的MNCS值与其论文在2009-2016年总共8年累积的被引次数有关，显然，学者4在论文的被引次数在累积量上高于学者2，因此使得学者4在2009年的MNCS2009也高于学者2。但是学者4论文的被引次数大多来源于早期的、远离当前的引用，而学者2的引用累积虽然低于学者4，但是在近期的引用量却明显高于学者4，由于DAI指标具有“突出当前、遗忘过去”的作用，因此放大了学者2在近期引用高于学者4的“优势”，而忽略了学者2在早期引用低于学者4的“劣势”。总体来看，学者2虽然在被引次数的累积量上低于学者4，导致其MNCS值低于学者4，但是学者2的引用大多聚集在近期，学者4的引用大多聚集在早期，因此DAI突出了近期引用表现出色的学者2，这说明DAI能够将近期学术影响力不同的学者进行有效的区分。

2.2.2 DAI指标“突出主要研究方向”的性质

从上式可以看到，这种标准化处理本质上是将各学科在某一年份的论文的相对影响力（即MNCS值）按照该学科论文产出份额的归一化。对上式进一步分析还可以看到，对学科k第i年发表的论文的被引次数Cj，ki的修正首先是采用该学科在第i年的一个参考论文集合（本文中选择为该学科全世界的论文）的篇均被引次数作为这一论文集合的篇均被引次数的一个比较基准值，在此基础上对这一标准化的值（实际上就是该学科的MNCS值）按照该论文集合占总论文集合的比例赋予一个权重，保证了比例较大的某一论文集合的学术影响力能够对整个论文集合的学术影响力起到更大的作用。因此，影响研究实体DAI指标值的因素有两个：一是该研究实体论文在不同时期引文数量，靠近当前的引文越多，DAI指数越高；二是该研究实体中主要的学科论文的相对影响力（即该学科的MNCS值），主要学科论文的相对影响力越高，DAI指数也越高。

为此我们以学者7和学者8为例作进一步的阐述。学者7的论文共涉及生物学与分子生物学、材料科学等6个ESI学科，学者8的论文共涉及生物学与分子生物学、材料科学等6个ESI学科，两位学者各个学科上的论文MNCS值分别见表9和表10。

从表9和表10的对比可以看到，学者8的MNCS值高于学者7的重要原因在于他在生物学与分子生物学学科的论文表现较好（MNCS值为2.15，明显高于2位学者的其他11个学科论文的MNCS），这一学科的MNCS值极大的拉高了他整体的MNCS值，使得学者8的MNCS值最终高于学者7，但是生物学与分子生物学学科并非学者8的主要研究方向（在他发表的所以论文中生物学与分子生物学学科论文仅占3.3%），根据DAI的性质，这一较小比例论文的学术影响力并不能对学者8的DAI值产生较大的影响。实际上，学者7和学者8的主要研究方向均为化学学科（在他们发表的论文中化学学科各占76.1%和81.3%），但是2位学者在化学学科的表现却不尽相同，学者7在化学学科的MNCS（1.7）明显高于学者8的MNCS（1.25），根据DAI的性质，2位学者的DAI值受到其主要研究方向（化學学科）的论文的MNCS值影响，这使得学者7的DAI高于学者8。这说明DAI指标体现的是研究实体主要研究方向上论文的表现。

3 结 论

本文我们设计了一种时序动态的学术影响力评价指标，将待评价的论文集合中的论文按照发表时间和所属学科的不同划分为不同的组别，对每一个组别的论文引入一个对应的参考文献集合，引入参考文献集合的篇均被引次数作为该组别论文的基准值，消除了由于发表时间和所属学科不同造成的稀释效应，进而再对不同统计时间点的被引次数赋予不同的权重，用以表征发生在不同时期的引文的不同价值。通过实证研究可知，这一指标受到两个因素的影响：一是论文集合在后续各时间段的引文分布，靠近当前的被引次数越高，DAI指标值越高；二是论文集合中主要学科的论文相对影响力，占较大份额的学科论文相对影响力越高，DAI指标值越高。这说明DAI指标可以对主要研究方向上学术发展趋势不同的研究实体进行有效的区分，有助于决策者更好地了解到各个研究实体整体层面更为细致和精准的学术表现。endprint

参考文献

[1]King D A.The scientific impact of nations[J].NATURE，2004，430（6997）：311-316.

[2]Garfield E.CITATION ANALYSIS AS A TOOL IN JOURNAL EVALUATION - JOURNALS CAN BE RANKED BY FREQUENCY AND IMPACT OF CITATIONS FOR SCIENCE POLICY STUDIES[J].SCIENCE，1972，178（4060）：471.

[3]Bornmann L，Daniel H D.Functional use of frequently and infrequently cited articles in citing publications.A content analysis of citations to articles with low and high citation counts.Proceedings of ISSI 2007：11th International Conference of the International Society for Scientometrics and Informetrics，Vols I and II，2007：149-153.

[4]Daniel H D.Publications as a measure of scientific advancement and of scientists' productivity[J].LEARNED PUBLISHING，2005，18（2）：143-148.

[5]韓毅，夏慧.时间因素视角下科研人员评价的Pt指数研究[J].中国图书馆学报，2015，（6）：73-85.

[6]花芳.学科基准化的科研绩效定量评价方法及指标研究[J].图书情报工作，2014，（3）：78-84.

[7]Moed H F.New developments in the use of citation analysis in research evaluation[J].ARCHIVUM IMMUNOLOGIAE ET THERAPIAE EXPERIMENTALIS，2009，57（1）：13-18..

[8]Van Raan A.Comparison of the Hirsch-index with standard bibliometric indicators and with peer judgment for 147 chemistry research groups[J].SCIENTOMETRICS，2006，67（3）：491-502

[9]Glnzel，wolfgang.On the opportunities and limitations of the H-index[J].Science focus，2006.

[10]Sidiropoulos A，Katsaros D，Manolopoulos Y.Generalized Hirsch h-index for disclosing latent facts in citation networks[J].SCIENTOMETRICS，2007，72（2）：253-280.

[11]高志，张志强.个人学术影响力的动态评价方法研究综述[J].情报杂志，2015，（11）：40-43，78.

[12]高志，张志强.科学家个人学术影响力随时间变化的计算方法研究[J].现代情报，2017，37（5）：66-71.endprint