基于ESI高被引论文信息科学与图书馆学领域PlumX与引文计量对比分析

秦奋 高健

摘要：替代计量学（Altmetrics）作为基于社交网络数据的计量指标，其与传统文献计量学引文计量的相关性成为研究人员关注的重要方向。本文选取ESI图情领域高被引论文作为数据源，通过运用SPSS软件相关性分析、主成分分析等方法，對比分析PlumX指标数值与ESI高被引论文引用量之间的关系，以期得到指标之间的相关性和差异性。

关键词：Altmetrics;ESI;信息科学与图书馆学;高被引;论文;PlumX;SPSS

DOI：10.3969/j.issn.1008-0821.2019.03.018

〔中图分类号〕G250.252〔文献标识码〕A〔文章编号〕1008-0821（2019）03-0157-09

随着互联网大数据时代的到来，人们获取信息的方式变得更加多元化，学术研究的方式也从单纯的依靠纸本资源发展到电子资源，从通过参加学术活动交流以了解行业信息到数据库课题定制推送、信息推荐共享等方式获取最新研究动态。可见，新兴功能软件及社交媒体越来越成为人们获取资源信息的便捷途径。从而学术评价的形式和方式也逐步从传统的引文计量向多元化指标评价体系转变。

传统引文计量一直以来作为学术评价的主要方式，存在着一定的问题：①引文统计滞后性。文章引用是学术评估的传统形式，即同行评审论文被其他同行评审论文引用，并发表在具有高影响因子的期刊中。但是，一位研究人员从有想法之时开始到在同行评审期刊中发表，大约需要2～5年时间。从发表之时，直到获得临界引用规模，还需要3～5年时间，这使得单纯通过引文数据来评估文章的水平具有明显的滞后性，不利于文献的传播和利用;②作者引用的文献并不一定为其最有用的文献，而可能选取对其发文有利的相似文献;③学科偏倚性。如计算机领域的学术成果多以会议文献为主，其引用数相对较低，但这并不足以表征其实际科研水平。Lutz Bornmann等指出科研人员的引文习惯影响引文的质量，从而影响到引文分析在对学术评价中的作用[1]，Gorraiz J等认为引文只能表征一个研究课题的受众程度，并不能等同于学术期刊的影响力[2]，杨思洛认为引文分析存在着片面性与计数不合理性，国内大量的学者依赖于引文分析，刻意的引用影响了对文献及期刊评价的客观性[3]。因此，单一的引文计量并不能完全客观地评价学术水平，需要新的计量方式对其进行补充。

Altmetrics替代计量学作为近年来国外学术研究的主要课题，通常基于更为广泛的社交网络上的数据，并将其作为参与评价科研水平的一部分，打破将出版的学术刊物及其引用作为评估科研水平的唯一依据，其对学术评价体系的改变有着重要的影响力。很多学者尝试将Altmetrics指标与Citation指标进行对比分析，如将Mendeley和CiteULike参考工具类指标与引文数进行对比分析，认为其更具有广泛性和时效性[4-5];Waltman L等通过学术期刊的文章收录情况，对比F1000推荐和引用的关系[6];Shema H等将Blog数据融入到引文计量分析中，创新性地提出博客引文可以作为学术评估的一种依据[7];Costas R等也尝试将Altmetrics多指标与Citation指标进行对比，认为其对发现高被引期刊有一定的指导作用[8];Luis Ortega认为Altmetrics可以作为文献计量学的补充工具来评估学术维度[9]。国内学者也逐渐开始关注Altmetrics，有的学者将其运用到机构知识库中[10-12]，也有尝试将其运用到学术评估[13]和期刊利用统计中[14]，但是相关研究仍多为综述性研究[15-18]，针对性的探索研究相对较少。可见，将Altmetrics部分指标与citation指标进行对比分析是近年来研究的主要方向，但是鲜有将Altmetrics工具研究应用到科研评估中。目前，国外比较成熟的Altmetrics的工具包括：Altmetrics.com、PlumX、Impactstory以及PLOS的ALMs。其中包含指标最多、涉及范围最广的工具为PlumX[19]。José Luis Ortega通过共时法，对来自PlumX 6个维度数据以及引用数据进行生命周期分析，推断不同指标对文章的影响力[20-22];Meschede C等将PlumX和Altmetric.com作为研究对象，通过不同来源数据对比分析，找出两者之间的相关性，以此佐证替代计量学指标可以作为传统文献计量学的补充[23];Torres-Salinas D等将PlumX中18个指标运用到评估学术书籍，并衡量不同指标之间的互补程度[24];刘春丽以PlumX为例，研究了Altmetrics工具与机构知识库的整合效果[25]。但是，值得注意的是，针对PlumX的文献研究数据鲜有针对学科进行研究，事实上，Altmetrics指标对于不同学科的影响是不同的，并不能一概而论。因此，本文拟将PlumX运用到某一学科的文献计量中，不仅有利于分析影响文献的主要因素，更有利于评估学科的影响因素。

1数据来源

目前，人文社科领域学术成果的评估并没有一个公认的计量方式[26]，传统的引文计量对于该领域有一定的局限性[27]，替代计量学作为补充性工具对人文社科领域的影响较理工科领域更明显。因此，本文选取替代计量学评价指标最为全面的PlumX作为工具，PlumX Metrics是Plum Analytics的全面的、项目级别的度量，它提供了在线环境中人们与单个研究成果（文章、会议记录、书籍章节等）交互的方式的洞察力。2017年2月，Plum Analytics宣布加入Elsevier，Plum Analytics和Scopus平台以集成PlumX度量作为Scopus上文章级度量的主要来源（以及其他Elsevier平台和产品），取代了之前由Altmetrics.com提供的计量学。为了支持相似分析，并帮助理解所涉及的大量数据，它们被分成5类：使用率（USAGE）、捕获数指标（CAPTURES）、提及数（MENTIONS）、社交媒体（SOCIAL MEDIA）以及引用数（CITATIONS），见表1。使用率（USAGE）是研究者在引用之后想知道的第一个统计数，其作为一种信号来表征是否有人在阅读文章或以其他方式进行研究。Taylor & Francis最近发布了他们的年度开放访问调查，这是他们对2012年发表文章的作者所做的一项调查。60%的受访者表示，使用和下载统计数据对于评估未来10年的研究价值将变得非常重要。

目前，研究日益走向开放的网络，网络指标来衡量社会的影响可能有一个更广泛的受众的环境。其中，捕获数（CAPTURES）可以是引用的先导指标。研究人员可以从大量的在线工具中选择来帮助他们进行科研的管理，包括文摘和文献数据库、社会书签网站、参考文献管理软件。这些工具中提供了订制和跟踪其用户与所提供的内容的交互，并据此评估与特定研究成果的接触或使用;社交媒体（SOCIAL MEDIA）可以很好地衡量某项研究的进展情况。通过追踪社交媒体的度量，你可以考量研究人员是如何促进他们的工作的，这有助于早期的职业研究者来开展学术研究;提及数（MENTIONS），如新闻文章或博客文章的研究，提到是一种告诉人们真正参与研究的方式。可见，PlumX的指标通过收集所有类型的学术研究成果，汇集适当的研究指标来指导科学研究者进行学术活动。

本文选取科睿唯安集团Web of Science平台核心合集2008-2017年SSCI收录的文章，筛选出信息科学与图书馆学（INFORMATION SCIENCE& LIBRARY SCIENCE）领域中文献98 433篇，其中被ESI（Essential Science Indicators）收录高被引文章431篇。数据采集日期为2018年9月。通过DOI输入PlumX网站（https：//plu.mx/plum）获取PlumX指标，找出引文量与替代计量学指标的相关性关系。

2数据分析

2.1引文分析

引文分析主要包括两个层面：一是引文本身以及引文所承载的相关特征信息的直接计量问题，也就是有关引文的作者、主题、期刊、年代、国家、机构等的分布规律;二是引文以及引文所承载的相关特征信息之间的关系的定性与定量分析，也就是与引文网络相关的问题，包括引文之间的藕合、共引以及形成的特定网络的特性等问题[28]。本文选取ESI收录信息科学与图书馆学领域（INFORMATION SCIENCE& LIBRARY SCIENCE）高被引文章431篇，其被引频次的数据来源于WoS平台，因此以WoS平台被引数据为依据具有参考性，具体其文献被引情况见表2，该被引数据为逐年引用，如2008年文献分别在2008-2017年每年的被引次数。通过数据可见，人文社科专业的文献发表后的第2年为被引增长率最快的一年，被引次数基本为逐年上升，并未出现文献老化引起的被引数量下降趋势。

2.2PlumX指标

本文依据SSCI平台收录的ESI数据库信息科学与图书馆学领域（INFORMATION SCIENCE & LIBRARY SCIENCE）领域高被引文章DOI号，输入PlumX网站（https：//plu.mx/plum），得到相应的PlumX指标见表3。

不同的指标来源数值差距比较大，使用数方面，摘要浏览的数值影响最大，其次是全文的浏览和链接;捕获数方面，文献参考软件Mendeley数值影响最大，其拥有200多万用户，作为数据来源的主要来源活跃程度较Citelike高，这也表征文献在学术平台上使用情况的人数较多;提及数方面，Twitter与Facebook研究的主要指标数值较高，有研究人员认为该指标在人文社科领域的活跃度比较明显，多数学者通过社交软件进行学术交流[29-30];引用数方面，数值影响最大的为Scopus引用，其次是Crossref以及Pubmed Central。Scopus数据库是目前全球规模最大的文摘和引文数据库，该数据库提供引文数据，并且2010年开始，Elsevier公司由英格兰高等教育拨款委员会（EFCE）牵头，联合多所知名高校开启雪球指标计划，逐步将替代计量学的指标融入到Scopus数据库论文度量指标。2018年其将涉及范围更为全面的PlumX作为其替代计量学的工具。

3引文量与PlumX指标相关性分析

本文选取2008-2017年ESI收录信息科学与图书馆学领域（LIBRARY AND INFORMATION SCIENCE）专业高被引相关文献431篇作为数据来源，通过PlumX网站（https：//plu.mx/plum）获取使用数、捕获数、提及数、社交媒体以及引用数指标，运用SPSS20.0软件中的相关性分析、因子分析等方法，对引文量和PlumX多指标进行相关性分析，具体结果见表4。

3.1引文量与各指标相关性分析

通过表4可见，ESI被引频次与使用数和捕获数相关系数分别为0.725和0.718，在0.05的水平上显著相关，说明文献的阅览和下载以及文献管理软件对文献引用有一定的影响，数据主要来源于EBSCO和Mendeley。Mendeley软件用户量庞大，主要用户为高校及研究所的科研人员，因此科研人员的行为对引用量有正相关性。ESI被引频次与引用数的相关系数为，说明两者之间是极强相关。PlumX中的引用数据主要包括Scopus、CrossRef和PubMed Central等引用数据，其中影响最大的是Scopus引用数据，说明WOS平台与Scopus平台虽然数据来源不同，但是其对文章引用数的表征一致。ESI被引频次与提及数和社交媒体的相关系数小于0.4，相关性较弱，说明ESI高被引论文与提及数和社交媒体没有必然相关性。ESI处理的数据仅限于ISI收录的期刊论文（科技论文、评述论文、会议论文以及研究报告）。编辑信件、更正通知、摘要、图书、图书的章節以及未被ISI索引的期刊论文，均不被考虑在内[31]。而社交媒体（Twitter、Facebook、Google+等）和提及数（News、Blogs、Wikipedia等）指标则是基于社会网络的学术评价方法，其底层数据源并不支持WOS数据库。通过利用PlumX工具收割社交网络工具以及文献管理系统中涉及某一研究成果的相关信息（下载量、引用次数、浏览次数、评论、转发等），通过对这些数据进行聚类分析和统计计算，测量该研究成果的指标[32]。由此可见，两者之间的数据来源范围和数据计算方法均没有共通性，相关性也相对较弱。社交媒体和提及数的相关系数为0.991，在0.01的水平上显著相关。说明社交媒体的传播与在线学术讨论的次数互相影响力比较高。

通过数据可见，PlumX的指标间都有一定的相关性，使用数、捕获数和引用数具有较强的相关性;与社交媒体及提及数相关性较弱，相关系数并不大，但是通过Facebook、Twitter和社交媒体的相互作用，对学术文献的推广有一定的积极意义。

3.2综合指标分析

本文运用SPSS软件将ESI引文数，PlumX指标中的“使用数”、“捕获数”、“引用数”、“提及数”和“社交媒体”的数值进行因子分析，见表5。通过数据可见，KMO数值为0.772，其值大于0.7，证明所选样本可以使用因子分析法;Bartlett球形检验的值为305.137（自由度为15），伴随概率值为0.000<0.01，达到了显著性水平，说明拒绝零假设而接受备择假设，即相关矩阵不是单位矩阵，适合进行因子分析。由碎石图可见，其中两个因子数值大于1，且累计方差率也达到了较高的比例，用其反映学术水平说损失的信息量不多，所以本文认为这两个公因子能够反映学术水平。

如图2所示，旋转后的因子负载矩阵可以明显地看出两个主因子的分布，第一主因子主要包括使用数、捕获数和引用数，可见使用数、捕获数和引用数对ESI引用的作用比较明显;第二主因子主要包括提及数和社交媒体。可见，PlumX的5个指标可以归纳为两个主要公因子：第一是基于传统文献使用方式的论文传播情况，包括文献的下载使用、文献管理软件的使用以及引文数量的影响;第二是以新兴媒体行为为代表的大众媒体对学术论文的影响，包括Twitter、Facebook、Blogs和Wikipedia等。综上所述，两个因子从不同角度表征了文献的影响力，可以作为综合指标来评估论文的影响力。

4结论与展望

本文筛选WoS平台ESI图情专业高被引论文作为数据源，运用替代计量学指标中涵盖数据范围最广的PlumX工具作为依据，探求引文量与替代计量学相关性，以此来验证替代计量学是否能作为传统引文计量学的补充指标，弥补引文分析存在的滞后性、偏倚性等弊端。通过研究得到以下结论：

替代计量学并非对传统文献计量学引文指标的纯粹补充，其能测度引文指标无法涵盖的领域，例如文献管理软件应用、学术视频的影响力、学术博客的社会影响力等。替代计量学也并非全盘否定基于引文的传统指标，而是从学术追踪和交流等方面进行计量。PlumX作为替代计量学重要的指标，不仅涵盖了新兴网络传媒对文献传播的影响分析，还融入传统文献计量学引文数的重要指标，其在评价论文水平方面具有一定的意义。

ESI高被引论文引用数与使用数和捕获数有一定的相关性，说明研究人员的推广对文章的引用起到的作用较大。而ESI高被引论文引文数与社交媒体和提及数没有明显的相关性，说明高被引论文并不依赖社会媒体宣传度，且通过SPSS分析可见，两者具有明显的侧重性，因此引文量与社交媒体平台相互独立性，将两者结合评估学术水平将更全面客观。ESI高被引论文引用数和PlumX指标引用有高度相关性，说明PlumX能够包含引用数据的指标。因此，PlumX不仅拥有替代计量学指标及时性、便捷性的特点，更有效地填补了传统引文分析的弊端，能够作为补充性指标对该领域的学术水平进行综合评价。

目前替代计量学领域的实证研究数据主要来自于外文文献，鲜有针对国内文献的替代计量学研究。通过研究可见，本文研究的PlumX指标的数据获取主要依靠文章DOI号，DOI注册服务是由IDF批准的全球9个RA（DOI注册机构）进行运行和推广。2007年3月，中国科技信息研究所和万方数据公司于联合申请，由IDF批准成立了我国首个RA，并建立运行了“中文DOI”（http：//www.chinadoi.cn）服务。现阶段，中文DOI已推出DOI多重解析服务，与国外的Springer，Elsevier等大型出版商以及SCI、EI等文摘数据库通过DOI进行被引文献、施引文献的相互链接以及资源统计。随着国内科研水平的不断提高，中文DOI服务的不断发展，替代计量学的相关研究必将成为中文文献研究的主要方向。

但是，本文仍存在一定的不足。主要在两个方面：第一，样本的选择相对较少，虽然考虑到引文周期的因素，时间跨度为10年以上，但是由于学科的特殊性，使得数据量不够充分;第二，替代计量学指标数据与引文量在学术文献评价中所占比重并没有一个确切的数据支持，这一方面将在后续的研究中进一步讨论和探索。

替代计量学对于促进科学交流的网络化是必然趋势，既是提高科学交流效率的需要，也是网络时代科学家交流偏好变化的产物。本文希望通过探求替代计量学指标PlumX与引文量之间的关系，找到综合评价学术评价的合理方式，丰富学术评价体系，更全面地提供学术评价的方法，为进一步提高科研水平提供理论支持。

参考文献

[1]Bornmann L，Daniel H.What Do Citation Counts Measure？A Review of Studies on Citing Behavior[J].Journal of Documentation，2008，64（1）：45-80.

[2]Gorraiz J，Gumpenberger C，Schlgl C.Usage Versus Citation Behaviours in Four Subject Areas[J].Scientometrics，2014，101（2）：1077-1095.

[3]楊思洛.引文分析存在的问题及其原因探究[J].中国图书馆学报，2011，37（3）：108-117.

[4]Bornmann L.Alternative Metrics in Scientometrics：A Meta-analysis of Research Into Three Altmetrics[J].Scientometrics，2015，103（3）：1123-1144.

[5]Peters I，Peters I，Bar-Ilan J，et al.Coverage and Adoption of Altmetrics Sources in the Bibliometric Community[J].Scientometrics，2014，101（2）：1145-1163.

[6]Waltman L，Costas R.F1000 Recommendations as a Potential New Data Source for Research Evaluation：A Comparison With Citations[J].Journal of the American Society for Information Science & Technology，2014，65（3）：433-445.

[7]Shema H，Bar-Ilan J，Thelwall M.Do Blog Citations Correlate with a Higher Number of Future Citations？Research Blogs As a Potential Source for Alternative Metrics[J].Journal of the American Society for Information Science & Technology，2014，65（5）：1018-1027.

[8]Costas R，Zahedi Z，Wouters P.Do“Altmetrics”Correlate with Citations？Extensive Comparison of Altmetric Indicators with Citations from a Multidisciplinary Perspective[J].Journal of the Association for Information Science & Technology，2014，66（10）：2003-2019.

[9]Ortega J L.Relationship Between Altmetric and Bibliometric Indicators Across Academic Social Sites：The Case of CSICs Members[J].Journal of Informetrics，2015，9（1）：39-49.

[10]邱均平，張心源，董克.Altmetrics指标在机构知识库中的应用研究[J].图书情报工作，2015，（2）：100-105.

[11]王聪，刘春丽.Altmetrics在我国高校机构知识库应用分析[J].情报杂志，2016，35（12）：116-120.

[12]刘春丽.Altmetrics工具与机构知识库的整合与效果——以PlumX为例[J].图书情报工作，2015，59（24）：39-46.

[13]赵蓉英，郭凤娇，谭洁.基于Altmetrics的学术论文影响力评价研究——以汉语言文学学科为例[J].中国图书馆学报，2016，42（1）：96-108.

[14]陈铭.期刊利用统计与Altmetrics的兴起[J].图书与情报，2014，（1）：12-17.

[15]邱均平，余厚强.论推动替代计量学发展的若干基本问题[J].中国图书馆学报，2015，41（1）：4-15.

[16]王睿，胡文静，郭玮.常用Altmetrics工具比较[J].现代图书情报技术，2014，（12）：18-26.

[17]卫垌圻，谭宗颖.Altmetrics国内外研究中的问题与挑战[J].图书情报工作，2015，59（2）：93-99.

[18]赵蓉英，魏明坤，汪少震.Altmetrics的发展动态探析[J].情报科学，2017，（2）：171-176.

[19]杨柳，陈铭.常用替代计量学工具之比较研究[J].情报理论与实践，2015，38（9）：114-119.

[20]Ortega J L.The Life Cycle of the Altmetric Impact：A Longitudinal Study of Six Alternative Metrics from PlumX[J].Journal of Informetrics，2017，12（3）.

[21]Ortega J L.To Be or Not to Be on Twitter，and Its Relationship with the Tweeting and Citation of Research Papers[J].Scientometrics，2016，109：1-12.

[22]Ortega J L.Reliability and Accuracy of Altmetric Providers：A Comparison Among Altmetric.com，PlumX and Crossref Event Data[J].Scientometrics，2018，116（3）：2123-2138.

[23]Meschede C，Siebenlist T.Cross-metric Compatability and Inconsistencies of Altmetrics[J].Scientometrics，2018，115（4）：1-15.

[24]Torres-Salinas D，Robinson-Garcia N，Gorraiz J.Filling the Citation Gap：Measuring the Multidimensional Impact of the Academic Book At Institutional Level with PlumX[J].Scientometrics，2017，113（4）：1-14.

[25]刘春丽.Altmetrics工具与机构知识库的整合与效果——以PlumX为例[J].图书情报工作，2015，59（24）：39-46.

[26]Trowler，Paul.Academic Tribes and Territories[M].Open University Press，2001.

[27]Nederhof A J.Bibliometric Monitoring of Research Performance in the Social Sciences and the Humanities：A Review[J].Scientometrics，2006，66（1）：81-100.

[28]梁永霞.引文分析学的知识计量研究[D].大连：大连理工大学，2009.

[29]Holmberg K，Thelwall M.Disciplinary Differences in Twitter Scholarly Communication[J].Scientometrics，2014，101（2）：1027-1042.

[30]Hellqvist B.Referencing in the Humanities and Its Implications for Citation Analysis[J].Journal of the American Society for Information Science & Technology，2010，61（2）：310-318.

[31]王颖鑫，黄德龙，刘德洪.ESI指标原理及计算[J].图书情报工作，2006，50（9）：73-75.

[32]Piwowar H.Introduction Altmetrics：What，Why and Where？[J].Bulletin of the American Society for Information Science & Technology，2013，39（4）：8-9.

（责任编辑：郭沫含）