单篇论著评价指标的综合比较研究

李盛庆 叶鹰

摘 要：文章以h指数、学术迹、影响矩等文献计量指标作为学术化评价指标，用补充计量指标（Altmetric indicators）作为社会化评价指标，对应用物理学、环境科学、经济学、历史学四个学科的各60篇单篇论著的评价效果进行综合比较研究。结果表明各评价指标均具有独立意义。在揭示h指数、学术迹、影响矩等学术化评价指标之间存在显著相关性的同时，发现社会化评价指标与学术化评价指标之间没有显著相关性，不可能用补充计量指标替代学术评价指标。

关键词：h指数；学术迹；影响矩；学术评价；学术指标；补充计量指标

中图分类号： G250.252 文献标识码： A DOI：10.11968/tsyqb.1003-6938.2016014

A Synthetic Comparative Study of Academic and Altmetric Indicators Acting on Single Publication

Abstract Applying h-index， academic trace and impact torque as academic indicators， Altmetric score as social indicators， comparative studies were done with 240 articles， 60 from each of the four fields of physics applied， environmental sciences， economics， and history. The results show that each indicator has its independent meaning. There are obvious correlations among h-index， academic trace and impact torque， but no obvious correlation between academic indicators and altmetric indicators is found， so it is impossible to substitute academic indicators by altmetric indicators.

Key words h-index； academic trace； impact torque； academic assessment； academic indicator； altmetric indicator

1 引言

随着社会媒体的出现，文献信息在社会媒体中的传播和影响随之形成，讨论某论著社会影响的补充计量指标开始出现，补充计量学（Altmetrics，国内翻译已有多种，如补充计量学、选择性计量学、替代计量学、社媒计量学等，其含义应为补充传统计量，故建议采用补充计量学）应运而生[1]。由于补充计量一开始就主要针对单篇论著，并已被一些出版机构所采用，所以构成评价单篇论著的社会化指标。

正如本课题组前期研究所指出[2]：任何伟大的发现或发明，都必然要落实到具体的论著或专利里。因此，应当把学术评价更多地聚焦于针对单篇论著或专利的评价，这对那些具有深远影响的作品尤其重要。如果评价是针对作者，则也应通过其作品来进行评价，该评价不是以数量多少论英雄，只要有单篇论著产生了学术影响力，就应该承认作者对学术的贡献。

在已有的学术评价指标中，由Garfield创立的影响因子（Impact Factor， IF）[3]无疑是影响最大的一个，但该指标针对期刊设计，而期刊是文献集合，故IF不适用于单篇论著。从信息计量学涵义看，IF本质上是CPP（Citations per publication），针对单篇论著就退化成引文C，也就失去其独立意义。2005年，h指数[4]被发现，并很快成为影响巨大的评价指标[5]，其不仅能用于评价学术主体，而且通过基于施引文献的施引h指数可用于评价以单篇论著为代表的学术客体[6-7]。随后，学术迹[8]和影响矩[9]先后被提出，为单篇论著的评价增添了新测度[10]，构成评价单篇论著的学术化指标。

由于补充计量学发展很快，已形成新热点[11-14]，令人产生有替代传统计量的错觉，因此厘清学术化传统评价指标与社会化补充计量指标之间的关联非常必要和重要。目前，美国国家信息标准组织（American National Information Standards Organization）已拟订补充计量标准的草稿[15]。由庆斌等[16]利用主成分分析的方法基于补充计量数据构建论文影响力模型，该模型与引文评价模型在高学术影响力论文的评价上具有一致性。Hammarfelt[17]分析了Swedish universities 2012年出版的期刊和图书在社会媒体中的分布情况和影响力，指出补充计量在人文科学的研究成果评价中能够发展成为一个有价值的工具。Zahedi 等[18]从Web of Science数据库中随机选取20，000篇文献，分析这些文献在社会媒体中的出现和分布情况，指出Mendeley中含有大量的补充计量数据，发现Mendeley readership counts与citation indicators的spearman相关系数r = 0.49。Alhoori等[19]研究补充计量在国家层面的影响力评价问题，发现通过补充计量能对所有国家的研究成果进行评估，发现国家层面的补充计量指标与几个传统计量指标有显著相关关系。Costas等[20]发现补充计量指标与引文指标存在正相关性，但相关性较弱，补充计量指标仅能作为引文指标的补充工具。Ortega[21]研究了补充计量指标和传统文献计量指标在作者层面上的相关性，发现相关性很弱，补充计量指标还不能成为引文影响力评价指标的替代物。然而，这些研究以及国内新近发表的研究[22]均未系统阐明学术化评价指标与社会化评价指标的关联。

因此，本文考虑以h指数、学术迹、影响矩等文献计量指标作为学术化评价指标代表，用补充计量指标作为社会化评价指标代表，对单篇论著的评价进行系统的综合比较研究。

2 方法与数据

2.1 方法

学术化文献计量指标的根基是发表量P（包括论文和专利）和引用量C，由此可构造出CPP（Citations per publication，影响因子为其特例）、以CPP为核心的皇冠指数（Crown Indicator， CI），以及进一步产生的h指数、学术迹、影响矩等指标[23]。

2.1.1 单篇论著的h指数

Schubert把单篇论著的h指数定义为该篇论著的被引文献中至多有h篇论文被引用了h次，具体数学表达式如下[6]：

设TC是按被引次数降序排列的序列，（1，2，…r，…z）表示论文的序次，TCr 是论文r的被引总数，则有以下序列：

TC=（TC1 ，TC2，...TCr，...TCz） （1）

式（1）中TC1 ≥TC2≥...TCr≥...TCz

h指数的数学含义是：

h=max{r：r≤TCr} （2）

2.1.2 单篇论著的学术迹

Ye和Leydesdorff定义学术迹为学术矩阵（Academic Matrices）的迹，而学术矩阵是引文曲线按发文的被引量排布构成的三阶矩阵[8]，唐继瑞和叶鹰将学术迹应用于单篇论著的测度，单篇论著学术迹的具体数学公式如下[2]：

用P= Pc + Pt + Pz 代表单篇论著的评价论文总数，C = Cc + Ct + Ce 代表单篇论著评价论文的被引总数，其中Pc 是h核中的评价论文量，Pt 是h尾中的评价论文量， Pz 是零引（未被引）评价论文量，Ch = Cc + Ce = h2 + e2 是h核中评价论文的引文量， Ct = t2 是h尾中评价论文的引文量， Ce =e2 是超引区评价论文的引文量、e为e指数[24]，结合I3思想[25]，设 xc=Pc/（Pc+Pt+Pz）， xt=Pt/（Pc+Pt+Pz）， xz=Pz/（Pc+Pt+Pz）， yc=Cc/（Cc+Ct+Ce）， yt=Ct/（Cc+Ct+Ce）， ye=Ce/（Cc+Ct+Ce） 分别作为相应权重，则有：

I3X=xcPc+xtPt+xzPz=X1+X2+X3 （3）

式（3）中xc+xt+xz=1

I3Y=ycCc+ytCt+yeCe=Y1+Y2+Y3 （4）

式（4）中yc+yt+ye=1

于是可用两个向量 X=（X1， X2， X3） 、 Y=（Y1， Y2， Y3） 来标记所有发文量和引文量分布，构成如下学术矩阵：

V=Y■ Y■ Y■X■ X■ X■Z■ Z■ Z■= X Y Z=（Y X Z）T （5）

其中Zi=Yi-Xi（i=1，2，3）属人为设计。

该矩阵的迹就是学术迹（用于测量学术客体时即影响迹）：

T=tr（V）=Y1+X2+Z3 （6）

经过演算[2]，T值的计算可以归结为式（7），以方便后面编程计算。

T=■+■ （7）

2.1.3 单篇论著的影响矩

影响矩通过考察单篇论著的影响规模和影响时效两个层面来测评其影响力，单篇论著的影响矩M则定义为影响学者力A和影响跨度D的乘积[9]：

M=A×D=A×■（t■×■）=■×■（t■×c■） （8）

其中tj是论著自发表以来所经历年限，Cj为对应年限施引文献被引数，C为施引文献集总被引量，A被直接规定为引用该论著的施引作者总数。

2.1.4 单篇论著的补充计量指标

补充计量指标用于评价单篇论著的社会影响力，目前主要来源于提供补充计量服务的机构，其计算公式尚未完全公开。本文的补充计量数据来源于Altmetric.com公司提供的数据，主要考虑到其收录的补充计量数据相对完备，具体有Altmetric score（由Altmetric.com公司给特定媒体分配一定权值计算得到）和通过主成分方法计算的Score（主分）两个指标。

通过主成分方法计算Score（主分）的原理及具体计算步骤如下[26]：

（1）原始数据的标准化

原始数据为n个样本、p维向量组成的矩阵X，对矩阵元素xij进行标准化得到标准化矩阵Z=[zij]n×p ：

z■=■（i=1，2，...，n；j=1，2，...，p） （9）

其中， ■ 、s■ 分别表示矩阵x的第j列数据的均值和标准差，计算公式如下：

■=■ （10）

s■■=■ （11）

（2）计算标准化矩阵Z的协方差矩阵S=[sij]p×p：

s■=■∑■■（z■-■）（z■-■）（i，j=1，2，...，p）（12）

其中， ■ 、■ 分别表示矩阵Z中第i、j列数据的均值，计算公式为：

■=■，j=1，2，...，p （13）

（3）计算协方差矩阵S的特征值λi及相应的正交化单位特征向量αi

解矩阵S的特征方程S-λI■=0 得p个特征根，其中前m个较大的特征值λ1≥λ2≥···≥λm就是m个主成分对应的方差，λi对应的单位特征向量αi就是主成分Fi关于原p维向量Xj的系数。

（4）确定主成分的个数

单个主成分的方差贡献率为：

g（i）=λ■∑■■λ■■（i=1，2，...，m） （14）

m个主成分的累积方差贡献率为：

G（m）=∑■■■ （15）

当累积方差贡献率G（m）大于80%时，就认为足够反映原来变量的信息，对应的m就是抽取的前m个主成分。

（5）计算主成分载荷

主成分载荷1（Fi，Xj）反映主成分Fi与原变量Xj之间的相互关联程度，在SPSS软件中主成分分析结果中，“成分矩阵”反应的就是主成分载荷矩阵。

1（F■，X■）=■a■（i=1，2，...，m；j=1，2，...，p） （16）

ai表示λi相对应的正交化单位特征向量。

（6）计算第i个主成分的得分

F■=∑■■a■Z■（i=1，2，...，m） （17）

（7）计算m个主成分的综合主分值F

F=∑■■■ （18）

2.2 数据

为了综合考虑各指标的学科差异，我们选择2010年部分学科（文科2个、理科2个）的论著作为分析对象。另外，由于各学科论著在Altmetric Explorer平台上的收录情况不一样，为了比较的便利，最后每个学科各取60个样本数据。数据的收集和处理过程如下：

（1）以Web of Science平台为基准，在核心合集（SCI-EXPANDED， SSCI， A&HCI;， CPCI-S， CPCI-SSH）范围内对2010年的文献进行查找，在初次检索的基础上进行精炼，文献类型选择“ARTICLE”，再按学科PHYSICS APPLIED（应用物理学）、ENVIRONMENTAL SCIENCES（环境科学）、ECONOMICS（经济学）、HISTORY（历史学）进行精炼，分别下载四个学科领域被引次数排前250的全记录数据。

（2）利用（1）中数据的DOI字段信息在Altmetric Explorer平台上利用“article identifiers”途径批量提取单篇论著的补充度量数据（每次取50条记录），将各学科补充度量得分排在前60的数据作为最后的样本数据。在导出的数据中，包含了Altmetric score和15种媒体（Reddit threads、Bloggers、Tweeters、Google+ authors、F1000 reviews、Pinterest posts、News outlets、Q&A; site users、Facebook walls、Weibo users、Peer review sites、Wikipedia pages、Policy documents、Mendeley readers、CiteULike readers）对各篇论著的计量数据。

（3）利用（2）中得到的四个学科的样本数据，逐条在Web of Science平台核心合集范围内查找每篇论著的施引文献，利用WoS数据库的导出功能下载每一篇论著相应施引文献的全记录数据。

（4）利用自编Python程序，提取每一篇论著相应施引文献数据中的被引频次（TC字段信息）、作者信息（AF字段信息，AF字段相比AU字段更能避免重名问题）、出版年（PY字段信息）。

（5）对（2）中得到的15种媒体工具收录的补充度量数据，利用SPSS软件中的主成分分析功能计算各篇论著的综合主分值Score。

为了提高数据处理的效率，本文所有参数的计算都写成Python程序，通过相应程序可以算得论著的施引文献篇数P、施引文献的被引次数C、施引文献的篇均被引次数CPP（Average citations per item）、h指数、学术迹（Academic trace）、影响矩（Impact torque）。

已有研究多用先取Altmetric数据再取WoS数据的流程，本文则用在WoS数据基础上取Altmetric数据再经WoS获得最终数据的程序，是对数据处理方法的更新和改善。

3 结果

四个学科各60篇论著代表性指标的分布图见图1，为使线条清晰，学术化评价指标和社会化评价指标各取几个典型，略去P、C、CPP、影响矩、Altmetric score五个指标。其中横坐标为60个样本数的标记号，纵坐标为指标数值，为区别不同数值幅度，左纵标用于学术迹，右纵标用于h index和Score（主分）。

利用SPSS软件对四个学科60篇论著各评价指标进行Spearman相关分析，所得相关系数见表1～表4（经K-S检验，各指标不符合正态分布）。

4 讨论与分析

从表1～表4可见学术化评价指标之间相关性明显，而与社会化评价指标之间的相关性大多不显著甚至负相关。这里，侧重于讨论h指数、学术迹、影响矩、补充计量指标之间的关联及差别。

4.1 h指数的独立性及其与其他指标的相关性

h指数已经成为被广泛认可的高影响力评价指标，在其基础上已扩展出一系列h型指标（如g指数等）。h指数在评价单篇论著时通过考察单篇论著施引文献的数量和质量，从中选取施引文献中h核的数量作为评价参数，这是一种简单而又很巧妙的指标。从表1～表4可以看出，h指数与传统的P、C、CPP指标具有较强相关性，可以认为h指数表征了P、C、CPP指标的大部分特征。h指数和其他h型指标在评价其他客体时具有较强相关性，在实际测度过程中，我们也发现h指数和g指数在评价单篇论著时也具有较强相关性。因此，可将h指数和各种h型指标作为同类评价指标。

4.2 学术迹的独立性及其与其他指标的相关性

学术迹指标在测量单篇论著的学术影响力时综合考察单篇论著的施引文献数量与质量分布，将施引文献分成三个部分：h核、h尾和零被引部分，并结合I3指数思想构建学术矩阵，最后通过矩阵的迹来度量论著的学术影响力。从表1～表4可以看出，学术迹与传统的C、CPP指标具有较强相关性，在环境、应用物理、经济三个学科中学术迹与P指标具有中等强度相关性，在历史学样本中学术迹与P指标没有显著相关性。另外，学术迹指标与h指数有较强相关性，这也说明学术迹指标是建立在h指数之上的一种拓展。作为新近发展的学术评价指标，与纯粹被引数和h指数等相比，学术迹具有覆盖信息全面的优势并体现出作为独立指标存在的必要性，可望为后续研究提供参考。当然，学术迹的构建相对复杂，但通过程序计算则不成问题。

4.3 影响矩的独立性及其与其他指标的相关性

影响矩是类比物理概念力矩（Torque） 建立的测度量，通过综合单篇论著的影响规模和影响时效两个参量来测评其影响力，其实质为论著影响力与时间跨度的累积，论著影响力又是通过引用该论著的作者数来定义。从表1～表4可以看出，影响矩与传统的P、C指标具有较强相关性，在环境、应用物理、经济三个学科中影响矩与CPP指标具有较低强度相关性，在历史学样本中影响矩与CPP指标没有显著相关性。另外，影响矩指标与h指数有较强相关性，但相对于学术迹指标，其与h指数的相关性系数要小一些。影响矩与学术迹指标在环境、应用物理、经济三个学科中具有中等强度相关性，在历史学样本中影响矩与学术迹没有显著相关性。影响矩指标可以部分消除作者自引、团体互引等问题，并考虑影响力在时间上的累积效果，是一个比较独特的指标。影响矩指标的问题主要在于其与经典指标之间的理论关联尚未建立。另外，从图1中环境学科和经济学科影响矩指标的波动来看，其相比其他指标有较大幅度的震荡，其指标细节方面还有待改进。

4.4 补充计量指标的独立性及与其他指标的相关性

补充计量指标由提供Altmetrics服务的机构通过搜罗传统网络媒体、社会媒体、在线参考工具等媒介中用户对论著的收录、转发、评论、阅读、收藏等行为数据，再通过一定的赋权，综合计算得到每篇论著的补充计量指标，是一种评价论著社会影响力的新指标，现已被一些出版机构所使用。因Altmetrics数据来源广泛，数据源性质不同，数据生成的模式不同，部分研究者采用基于主成分的方法提取综合主成分值作为补充计量指标。本文将两个指标都纳入了比较体系，从表1～表4可以看出，补充计量指标Altmetric Score与P、C、CPP、h指数、学术迹、影响矩在四个学科的样本数据中均没有显著相关性，这说明Altmetric Score指标是一种显著不同于现有指标的新指标。在置信度（双测）为 0.01 时，补充计量指标Score（主分）在物理学科的样本数据中与P、影响矩指标有中低程度显著相关性，在其他情况与其他指标均没有显著相关性。因此，可以认为补充计量指标现阶段其作用仍只能定位在补充测度论著社会影响力的地位。正是基于此种考虑，本文在数据收集时，先是从WoS数据库中选取高被引论文，再去Altmetric Explorer中采集Altmetric Score得分排前60的论著数据，而现有的研究一般是先在Altmetrics工具中采集数据[16，26]，再在WoS等数据库中比对传统指标，导致最终相关性分析的结论有所差别。基于主成分分析方法得到的综合主成分值，在本文四个学科论著的分析中，效果也不太明显，主要原因在于本文的样本数据并不能很好地满足使用主成分分析方法所需要的条件。比如：应用物理学科样本的Kaiser-Meyer-Olkin值为0.464、主成分的累积贡献率81.2%，环境学科样本的Kaiser-Meyer-Olkin值为0.578、主成分的累积贡献率74.8%，经济学科样本的Kaiser-Meyer-Olkin值为0.373、主成分的累积贡献率80.7%，历史学科样本的Kaiser-Meyer-Olkin值为0.465、主成分的累积贡献率81%，部分学科样本数据的Kaiser-Meyer-Olkin值过低，不适合主成分方法的计算。另外，从各学科论著在Altmetric Explorer所收录15种媒体工具的分布情况来看，绝大部分数据产生于Mendeley readers，其他大部分媒介只有少量分布，而Mendeley本身就是学者们广泛使用的文献参考工具，因此在本文的样本数据中使用主成分分析方法得到的综合主分值去评价论著的社会影响力还有很大局限。

利用SPSS因子分析功能的方差最大正交旋转选项，可得各指标的方差正交旋转分布（见图2）。

从图2中，明显可见h指数和学术迹、Altmetric score和Score（主分）两两较为接近，而学术化评价指标和社会化评价指标之间则较为疏远，这表明学术化评价指标和社会化评价指标各有不同的评价指向，不可能用补充计量指标替代学术评价指标。引言中提及已有研究揭示补充计量指标与引文指标等传统学术指标存在弱相关，而与已有研究相比，由于更新了数据处理方法并考虑了多学科多指标，本文获得的证据和论断均更强。

5 结语

综上所述，在测量单篇论著的学术影响力时，h指数、学术迹、影响矩、补充计量指标都能从各自的角度取得一定的评价效度，也表现出各自的独立性。h指数反映出高被引和优质论著的特征点；学术迹体现了单篇论著被引文献数量与质量的综合面；影响矩考察单篇论著影响的作者规模与影响时效；补充计量指标则关注在公共网络媒介中测度单篇论著的社会影响力。

由于所选四个学科分别代表了基础科学、应用科技、社会科学、人文学科，本文结论应当适合各学科；在更新了数据处理方法和多学科多指标考量下，本文论断不可能用补充计量指标替代学术评价指标。又因任何单一评价指标都会有不同程度的局限，综合应用多种指标可以提供多维度的参考，故建议在评价单篇论著时同时应用多指标测度，以真正实现综合评价。

参考文献：

[1] Torres D， Cabezasá，Jiménez E. Altmetrics：New Indicators for Scientific Communication in Web 2.0[J].Comunicar， 2013， 21（41）：53-60.

[2] 唐继瑞， 叶鹰. 单篇论著学术迹与影响矩比较研究[J].中国图书馆学报， 2015， 41（2）： 4-16.

[3] Garfield， E. Citation Indexing： Its Theory and Applications in Science， Technology and Humanities[M]. New York： Wiley，1979.

[4] Hirsch， J. An index to quantify an individuals scientific research output[J]. Proceedings of the National Academy of Sciences of the USA， 2005， 102（46）： 6569-16572.

[5] Ball， P. Index to aims for fair ranking of scientists[J]. Nature， 2005， 436（7053）： 900.

[6] Schubert， A. Using the h-index for assessing single publications[J]. Scientometrics， 2009，78（3）： 559-565.

[7] 杨建林，严明. 单篇期刊论文h指数的实证研究——以图书情报学为例[J]. 图书情报工作， 2010， 54（12）： 145-148.

[8] Ye， F. Y. and Leydesdorff， L. The “Academic Trace” of the Performance Matrix： A Mathematical Synthesis of the h-Index and the Integrated Impact Indicator （I3）[J]. Journal of the Association for Information Science and Technology， 2014， 65（4）： 742-750.

[9] 王术， 叶鹰. 影响矩作为测度单篇论著影响力的评价指标探讨[J].大学图书馆学报， 2014，32（5）： 12-18.

[10] 薛霏， 叶鹰. 大学的学术矩阵和学术迹探讨[J]. 大学图书馆学报， 2014， 32（1）： 25-29.

[11] 邱均平，余厚强.论推动替代计量学发展的若干基本问题[J].中国图书馆学报，2015（1）：1-11.

[12] 刘春丽. altmetrics：从理论假说、术语提出到内涵的重新界定[J].图书情报工作，2015（6）：82-89.

[13] 魏思廷. 结合替代计量学的数字图书馆知识服务新模式[J].图书情报知识，2015（2）：87-92.

[14] 邱均平，张心源，董克. Altmetrics指标在机构知识库中的应用研究[J].图书情报工作，2015（2）：100-105.

[15] Mazov N A， Gureev V N. Alternative approaches to assessing scientific results[J].Herald of the Russian Academy of Sciences， 2015， 85（1）： 26-32.

[16] 由庆斌，韦博，汤珊红.基于补充计量学的论文影响力评价模型构建[J].图书情报工作，2014（22）：5-11.

[17] Hammarfelt B. Using altmetrics for assessing research impact in the humanities[J]. Scientometrics， 2014， 101（2）： 1419-1430.

[18] Zahedi Z， Costas R， Wouters P. How well developed are altmetrics？ A cross-disciplinary analysis of the presence of ‘alternative metrics in scientific publications[J]. Scientometrics， 2014， 101（2）： 1491-1513.

[19] Alhoori H， Furuta R， Tabet M， et al. Altmetrics for Country-Level Research Assessment[M].The Emergence of Digital Libraries–Research and Practices. Springer International Publishing， 2014： 59-64.

[20] Costas R， Zahedi Z， Wouters P. Do “altmetrics” correlate with citations？ Extensive comparison of altmetric indicators with citations from a multidisciplinary perspective[J]. Journal of the Association for Information Science and Technology，2014：1-17.

[21] Ortega J L. Relationship between altmetric and bibliometric indicators across academic social sites： The case of CSIC's members[J].Journal of Informetrics，2015，9（1）： 39-49.

[22] 刘晓娟，周建华，尤斌. 基于Mendeley与WoS的选择性计量指标与传统科学计量指标相关性研究[J].图书情报工作，2015（3）：112-118.

[23] 叶鹰. 国际学术评价指标研究现状及发展综述[J]. 情报学报， 2014， 33（2）： 215-224.

[24] Zhang， C.T. The e-index， complementing the h-index for excess citations[J].PLoS ONE， 2009， 4（5）： e5429.

[25] Leydesdorff， L.and Bornmann， L. Integrated impact indicators compared with impact factors： an alternative research design with policy implications[J].Journal of the American Society for Information Science and Technology， 2011， 62（11）： 2133-2146.

[26] LI S S， Fred Y. Evaluating journals yearly impact with altmetric indicators[J].Chinese Journal of Library and Information Science， 2015， 8（2）： 25-38.