Altmetrics在学术评价中的可用性研究综述*

刘晓娟，赵卓婧，宋婉姿

（北京师范大学政府管理学院，北京 100875）

Altmetrics在学术评价中的可用性研究综述*

刘晓娟，赵卓婧，宋婉姿

（北京师范大学政府管理学院，北京 100875）

Altmetrics的出现为学术评价工作的变革提供新思路，然而由于多种因素，其在学术评价中的可用性仍存在质疑。国内外诸多科研人员针对此问题展开探索，主要包括Altmetrics指标的覆盖率、对文献价值的反映能力、基于Altmetrics指标的评价体系、标准化和可用性影响因素。在对相关研究充分调研分析的基础上，提出现有研究在构建Altmetrics理论体系和用户使用动机方面还比较欠缺，以期为该领域进一步发展提出建议和指导。

替代计量学；学术评价；可用性

1 引言

2010年，Priem等发表Altmetrics联合宣言，正式提出Altmetrics，并指出“Altmetrics是一种新型计量学的创造与研究，主要基于社交网络对学术研究的分析和传播”[1]。Altmetrics的出现为学术评价工作提供了新思路，科研人员希望其能够协助解决当前学术评价中存在的问题，认为其具有可对论文以外的其他学术成果进行评价，所测度的影响力可从学术影响力扩展至社会影响力，阅读、下载、转发等轨迹数据较单一的引文数据具有更加全面评价结果和更具时效性的优点。同时，“Altmetric.com”“ImpactStory”等工具在实践中也逐渐得到不断推广和应用。然而，作为一种新兴的计量方法，Altmetrics的研究尚处于探索阶段，其可靠性、操作性和适用性仍存在争议。如Man认为基于网络的指标容易通过重复注册等方法进行虚构，对Altmetrics的价值提出质疑[2]；Brown以“喜欢”指标为例，指出因每一个“喜欢”标记所处的语境不同，因此数据集间的比较没有实际意义[3]。

由此可见，Altmetrics蕴含巨大价值的同时，也存在诸多阻碍其实际应用的现实问题。在这种情况下，对Altmetrics进行准确界定、有效性验证、适用性分析等成为科研人员的关注点。2014年10月，英国萨塞克斯大学召开主题为“In Metrics We Trust?”的研讨会，对Altmetrics的价值、潜在作用和研究评估中无意识的不当操作结果进行讨论[4]。此外，NISO执行董事Carpenter表示，“如果Altmetrics要突破目前的测试和概念验证阶段，学界须将注意力集中在给出一套公认的定义、计算方法和数据共享实践上。组织和科研人员若想利用各种指标，应充分理解并确保对指标含义的统一认识，并提供准确衡量的有效方法”[5]。

基于以上背景，本文对当前关于Altmetrics可用性的研究进行梳理，从现有研究中进一步明确Altmetrics的可用性，以及Altmetrics指标可用性的影响因素，为Altmetrics的广泛应用提供支撑。

2 Altmetrics指标的覆盖率

指标的覆盖率，即指标值非0的文献在总文献中所占的比例，是指标能否被广泛使用的关键所在。文献引用受相关标准和规范的约束，这在一定程度上保证被引量的覆盖率。相较于被引量，Altmetrics指标的来源广泛、约束少，平台的普及程度不一，不同类型的指标可能在覆盖率上存在较大差异，大部分指标的覆盖率偏低。Altmetrics的概念及集成工具的出现距今不到8年，社交媒体和在线学术交流于近十年才获得迅速发展，因此Altmetrics指标的普及程度、对旧文献的关注程度、指标数值的积累程度都存在一定的不足。

多项研究发现除Mendeley平台阅读量外，其他指标的覆盖率都相对较低，且文献出版时间和所属学科会导致覆盖率的差异。如近期出版的文献具有更高的覆盖率，生命科学与生物医学、人文社会科学类的文献覆盖率略高于其他学科。Hammarfelt基于人文社会科学的文献研究发现，Mendeley阅读量的覆盖率最高，其次为Twitter，学术博客引用量、Facebook提及量、微博提及量等其他指标的覆盖率较低[6]。Haustein发现在文献计量学领域，同属于在线学术交流平台阅读量的Mendeley指标的覆盖率明显高于CiteULike和Connotea[7]。Alperin针对拉丁美洲国家的文献进行分析，发现很多指标的覆盖率都非常低，只有Mendeley、Twitter和Facebook指标的覆盖率超过2%[8]。

3 Altmetrics指标对文献价值的反映能力

本文将指标对文献价值的反映能力称为指标的价值效度，代表该指标在评价文献价值时所具备的有效性。目前，部分学者认为Altmetrics更多地反映学术成果的可见度、受欢迎程度、网络传播能力，这些学者指出在社交媒体上受到欢迎并不代表文献的学术价值高。大量基于数据集角度对Altmetrics指标价值进行的实证分析包括指标与被引量的相关关系、指标对未来被引量的预测能力及指标数据的积累动机。总体上看，现有研究普遍认为Mendeley阅读量、维基百科等学术网站的引用数据能够在一定程度上反映文献的学术价值，但Twitter等大众媒体上的提及量则更倾向于反映文献的社会影响力。

3.1 Altmetrics指标与被引量的相关性

被引量方法目前在Altmetrics的相关研究中应用最广泛。若Altmetrics指标与被引量有相关关系，则说明其可以在一定程度上反映文献的学术价值。

Mohammadi[9]、Knight[10]、Zahedi[11]、宋丽萍[12]、Peters[13]、Rosenkrantz[14]等基于不同数据集均得出Mendeley阅读量和被引量存在中度相关关系；Thelwall等发现Mendeley阅读量指标在计算期刊影响力方面，其结果比被引量更稳定[15]；Schlögl等发现文献的ScienceDirect下载量、Mendeley阅读量和Scopus被引量三者间彼此存在中度相关关系，并证明文献阅读量和使用数据均能反映文献的学术价值[16]；Waltman等发现F1000平台上的推荐量与被引量存在弱相关关系[17]； Bornmann[18]、Haustein等[19]发现Twitter提及量与被引量接近无相关关系，甚至呈现负相关性。

Alhoori等发现Altmetrics指标对35个国家的科研评价提供了一定的支持，并将Twitter提及量、主流媒体提及量、Facebook提及量等5个Altmetrics指标与传统计量指标比较，发现在国家层面上，Altmetrics指标总量与出版量、被引量、h指数、GERD值（研发支出总量）均有明显相关关系[20]。

3.2 Altmetrics指标对被引量的预测性

Thelwall认为如果Altmetrics指标能够预测被引量，则表示该指标具有一定的学术价值[21]。Altmetrics指标通常能够及时地反映文献价值，将文献早期的Altmetrics分值（Altmetric Attention Score）与后期的被引量进行相关性分析或回归分析，可以探究Altmetrics指标对被引量的预测作用。2006年，Brody等发现较短时间内的使用数据能在一定程度上预测被引量[22]；Shema等发现在学术博客中被提及的文献，未来能获得更多的被引量[23]；Eysenbach发现文献在Twitter平台上的提及量可以解释部分被引量，且通过3天的推文提及值可预测高被引文献[24]；Peoples等使用广义线性回归模型分析发现Twitter提及量对被引量的预测作用强于近五年的期刊影响因子[25]。

3.3 Altmetrics指标的数据产生动机

Altmetrics指标数据的产生动机会对指标的价值效度造成直接影响，只有了解在社交媒体等数据开放存取空间中的目的，明确科研活动轨迹的主要产生群体，才能更加准确地评断Altmetrics指标对科研评价的作用。部分现有研究试图通过表面的指标数据，分析指标数值背后的增长动机。这类研究一般借鉴文本挖掘的分析思路，从语义层面探究Altmetrics指标的价值。Jamali等针对社会科学博客上期刊论文的被引用动机进行分析，发现很多博文对文献的引用动机是出于对相关话题感兴趣，想要利用该文献来支撑个人观点，并认为这种引用动机所带来的引用量能够体现文献的价值[26]；Thelwall等发现大部分推文主要阐述文献的表征信息，没有对文献的内容进行解释，并且提及量主要是由于自动转发引起的，所以该研究认为此种数据的产生几乎无法反映文献的学术价值[27]；Na也针对推文的引用动机进行研究，其基于推文文本的分析发现，大部分推文并没有传达对于科研文献的深入批判性思考和讨论，不能直接反映文献的学术价值，但是推文对一些有趣的研究能够起到推荐传播的作用[28]。

4 基于Altmetrics指标的评价体系

Altmetrics指标种类较多，有些指标的数据来源类似，从而导致不同指标在反映文献价值方面可能存在交叉重合，具有相似的维度，目前相关研究主要使用主成分分析、相关性分析等方法，基于实际数据集探讨具体指标价值效度的重合。刘春丽利用PLOS ALM数据，对20个Altmetrics指标进行分类和聚类分析，发现异类指标间的指标在价值上具有交叉性，而同类指标内的指标在价值上具有重复性[29]。刘晓娟等基于PLOS ALM平台上的动态数据集，对各类Altmetrics指标进行相关性分析以探究各项指标价值的重合程度，结果发现Altmetrics指标间的重合普遍存在，其中使用数据、在线学术交流阅读量类别内指标的重合最明显[30]。Bollen等通过对39个学术影响力计量指标进行主成分分析，将指标最终归结到两个维度，即是否及时、学术价值或受欢迎程度[31]。Ortega也对多个Altmetrics指标进行了相关性分析和主成分分析，并从指标性质上对指标价值的重合做解释[32]。

在对指标价值效度的倾向和重合性分析的基础上，有研究尝试将Altmetrics指标归类，构建基于Altmetrics指标的评价体系。目前应用较广泛的是Altmetric.com，其通过对各指标定义权重进而计算学术成果的Altmetrics分值，定义了一种多指标的综合使用方式。Haustein等提出应从获取、评价、应用三个层次构建基于Altmetrics的评价体系[33]。王贤文等分析不同类型Altmetrics指标对文献价值评价的时效性差异，提出结合各指标的作用时间，构建一个连续、动态和复合的单篇论文评价体系，对科学论文进行全面实时的价值评估[34]。但也有学者反对将各指标整合，如Holmberg认为Altmetrics指标数据来源广泛，能够从不同角度反映学术成果的影响力，这种多样性是Altmetrics的优势，若将各指标整合，则会消除这种优势[35]。

5 Altmetrics指标的标准化

对于不同学科或出版时间的文献，Altmetrics指标的数据可能有所差异。Bornmann对Altmetrics各项指标分析后，提出若要将其作为学术评价方式，必须解决标准化问题[36]。目前，相关研究主要集中在对Twitter和Mendeley指标的跨学科及跨时间标准化方面。

在学科标准化方面，一些科研人员借鉴引文的标准化方法。Bornmann等从期刊层面提出对Twitter指标进行标准化，认为该方法适用于覆盖率较低的指标标准化，并选用80%以上的发表文献被推文覆盖的期刊，将期刊文献推文提及量的排名进行标准化后，映射到[0，100]，得到期刊的TP值，TP值越大说明受Twitter指标关注程度越高，并且该研究通过实证检验发现TP指标可被用于生物健康学、生命和地球科学、计算机科学、物理学、工程学等多个学科[37]。Haunschild等将学科内指标均值设为分母对Mendeley阅读量进行标准化，并提出MNRS指标[38]。

指标值基于文献年龄标准化方面的研究较少，主要由于Altmetrics指标对于文献年龄的关注从以年为基础转变为以月、天为基础，而且不同指标的积累周期存在差异。如Twitter提及量一般只需要1个月，而Mendeley阅读量的积累则需要长达几年的时间，目前指标的积累周期仍需实证调研。Thelwall等提出消除出版时间对文献的影响，以同时期同期刊中2篇文献的均值作为参照对象，观察消除时间影响后被引量与Altmetrics指标值的相关关系，发现两者关系会随时间的推移而消除或逆转[39]。Watson对比单篇文献的被引量和下载量，并按文献年龄对其标准化，发现二者的相关系数在标准化前后分别为0.74和0.62[40]。

6 Altmetrics指标可用性的影响因素

对Altmetrics指标进行实证分析时，考虑学科、文献年龄等因素可能所带来的影响，有助于深入理解Altmetrics指标的特点，为其应用提供具体参考。

6.1 学科

一些研究已经注意到Altmetrics指标在不同学科上的差异。Costas等研究证实社交媒体指标在科学出版物中不常见且密度较低，而在人文社会科学与医药生命科学有较好表现[41]；Holmberg等对10个学科科研人员的Twitter使用行为进行分析，发现生物化学、天体物理学、化学信息学和数字人文学的科研人员多利用Twitter进行学术交流，而经济学、社会学、历史学等的科研人员则处于边缘状态[42]；Waltman等证实Mendeley为使用最广泛的社交媒体平台，该平台不同学科中文献覆盖率的差异类似于传统引文数据库，而Twitter平台侧重于医药学和社会科学，其他指标平台（如学术博客、Facebook等）更侧重于交叉学科[17]；Bornmann等分析发现Mendeley平台上人文社会科学的研究成果在学术表现方面具有多面性，出版渠道趋于多样化，相较于传统指标能够更加全面地反映学术成果的影响力[43]；Barthel等研究表明社会科学在Twitter上更容易受到关注，在所有学科中普遍存在引用指标与浏览指标的相关性高于引用指标与分享数、评论数、喜爱量、读者量、群组量等Web 2.0指标的相关性特征[44]。

6.2 文献年龄

一般而言，Altmetrics指标更偏向于新文献，但也因指标来源平台的性质而存在差异。在线学术交流平台阅读量、学术分享网站等指标积累需要一定周期，而大众社交平台提及量则在短时间内能够获得快速增长，更倾向于关注新出版文献。

Maflahi等认为Mendeley阅读量需要积累的过程，因此，Mendeley可以用来计量旧文献的影响力，并且对于新文献而言，未来阅读量可能还有较大的增长幅度[45]；Wang等对Web of Science平台上文献的使用数据进行分析，发现使用数据偏向于新发表文献，且对于旧文献而言，被引量高则更容易被使用[46]；Cronin等分析发现Twitter平台上热点论文的推送和转发始终呈病毒式增长[47]；郭飞等研究发现热点论文在Twitter上的传播一般在10—30天达到峰值[48]；余厚强等对文献在新浪微博提及量指标进行特征和规律分析，发现指标覆盖率极低，且偏向于新文献[49]。

6.3 开放获取

也有研究表明开放获取论文比非开放获取论文容易产生高指标量值。Alhoori等证实了开放获取文献的Altmetrics指标与被引量的相关性高于非开放获取文献[50]；葛梦蕊等发现开放获取与Altmetrics指标的关系会随着文献出版时间的推移而逐渐减弱[51]；Wang等对《自然》中文献的使用数据积累过程进行分析发现，读者对于开放获取文献的关注力更持久[52]；此外，Wang分析了期刊在使用数据及社交媒体提及数据上的差异，发现开放获取期刊的文献在下载量上具有较大优势，且这种优势会持续、稳定地保持一段时间[53]；Mounce对Altmetrics在开放获取论文的评价中给予高度肯定，认为开放获取论文影响力的形成与拓展依赖于论文本身，而非期刊的声誉和高影响因子，Altmetrics可作为大型开放获取期刊遴选论文的过滤机制[54]。

6.4 数据质量

数据质量是Altmetrics指标数据可用性的基础。NISO的Altmetrics委员会在工作第一阶段便重点讨论数据质量问题，并于2015年成立专门的Altmetrics数据质量工作组，为数据的收集、加工整理、传播和再利用提供指导。NISO认为Altmetrics的数据质量主要在一致性、可复用性、正确性三个方面存在问题[55]。

Priem等通过对PLOS ALM上2万多篇论文的Altmetrics数据进行分析，发现数据质量存在问题，并认为这些问题主要是因网络服务的快速变化而引起的[56]；刘晓娟等基于PLOS ALM数据集的研究发现，在线交流平台阅读量指标的稳定性较好，而社交媒体提及量指标的稳定性普遍较差，对文献的关注持续度不足[30]；Bornman认为目前很多Altmetrics的相关网站和机构均为商业化，其利益关系可能会引起指标值偏差，而在线出版物通常存在不同版本，在使用Altmetrics指标对这些研究成果计量时会产生模糊度和冗余度，对评价结果的有效性和可信度造成不同程度的干扰[57]。

6.5 用户群体

Altmetrics数据并不是单纯的数字。与引用行为类似，每个Altmetrics指标的每一次数值变化都隐含着某种行为动机，代表用户群体对该学术成果的态度，有助于进一步确定指标数据的价值。一般认为社交媒体平台的受众多为年轻群体，学术博客网站、在线交流平台等主要面向科研人员。

Mohammadi等分析Mendeley平台上用户群体的学科及学历信息，认为Mendeley阅读量能够体现文献对于非创作用户的教育价值[58]；Ortega对不同学术类网站进行分析发现，Academic.edu平台中人文社会科学的学者较多，ResearchGate平台中生物学者占比最大，从交流行为上看，人文社会科学、自然资源领域的科研人员互动频繁，而生物学领域的学者们较为被动[59]；其在另一篇文献中指出，Twitter中作者的粉丝会带动推文的转发，使得文献的Twitter指标高于非Twitter用户作者，粉丝的数量会间接影响文献的被引量[60]。

6.6 国家

在线学术交流以及社交媒体平台在全球范围内呈现不均衡的发展趋势，其中发达国家有诸多优势[61]，如DOI等技术的普及，或某些平台在不同国家的流行度和可用性。要关注Altmetrics能为发展中国家研究成果的评价带来怎样的积极影响，尽可能地削减阻碍科学交流的因素，避免两极分化。Alperin的调研显示，很多发展中国家的文献并非英文文献，或者对于文献并没有统一的标识DOI[62]；Araújo等以巴西的图书情报类期刊为研究对象，结果表明大部分科学产出未被国际性数据库收录，意味着DOI的默认缺失，同时也减少了这些论文获得Altmetrics数据的机会[63]。

6.7 学术政策

国家层面的学术政策可能会对Altmetrics指标的使用带来影响。如英国建立卓越科研框架，基于同行评议、案例研究和指标对高校进行评价，并选用5个Altmetrics指标；意大利的AIHD项目以参加人文信息与数字文化协会的意大利学者为研究对象，构建人文学科数字出版物传统评价机制的补充性模型和方法，有助于推动Altmetrics的应用[64]；美国国家科学基金会考虑将Altmetrics纳入科研评价中，并在学者声誉考评中引入视频、报告等新型学术成果类型；美国细胞生物学会提出DORA宣言，建议在科研评估中充分利用在线出版和在线学术交流的优势[65]；2014年，欧洲科学及指标设计和开发者网络会议重点讨论科技指标的社会学特征，及逐渐增加的指标数据可获得性，并从各维度对Altmetrics指标进行评测[66]。这些政府项目或学术活动均肯定了Altmetrics，在一定程度上推动了Altmetrics的应用。

7 总结

综上所述，大部分研究主要是针对一个或多个Altmetrics指标，采取一系列数理统计方法，基于数据分析进行实证研究，分析视角在一定程度上借鉴引文的前期研究。（1）从指标覆盖率来看，目前Mendeley平台的覆盖率相对较高，其他指标的覆盖率较低。（2）从指标对文献价值的反映能力来看，多个研究探讨Altmetrics指标与被引量的相关性。如发现Mendeley的阅读量与被引量呈弱相关；也有学者将Altmetric得分与被引量进行相关性分析或回归分析，来探讨Altmetrics指标对被引量的可预测性。（3）在基于Altmetrics指标的评价体系方面，目前主要采用主成分分析和相关性分析来探讨多个指标效度的重合，并尝试通过指标分类以进一步构建基于Altmetrics指标的评价体系。（4）关于Altmetrics指标的标准化，相关研究主要集中在对Twitter和Mendeley指标的跨学科及跨时间的标准化方面。（5）从Altmetrics指标可用性的影响因素来看，不同平台侧重的学科不同，Altmetrics指标更偏向于新文献，开放获取论文比非开放获取论文容易产生更高的指标量值，不同平台上指标数据的质量也不同，同时发现社交媒体平台的受众多为年轻群体，学术博客网站、在线交流平台等主要面向科研人员，不同国家在语种、技术方法方面的差别会影响Altmetrics的可用性，学术政策的出台会促进Altmetrics的发展。

Altmetrics的研究已经取得一系列成果，但也存在一些不足。

（1）目前很多研究主要依据指标数据的实证分析，而缺乏理论研究。仅靠数据驱动，而缺乏系统的理论支撑是Altmetrics指标面临的主要问题，同时也会阻碍该领域的长期发展。根据本文的调研发现，目前只有Haustein尝试引入引文理论（规范理论、社会构建理论和概念符号理论）和社会理论（社会资本、注意力经济和印象管理）来解释社交媒体上的各种行为和现象，这可以认为是构建理论体系的尝试[67]。

（2）对于Altmetrics数据的本质和产生机制缺乏深入探索。引文评价中存在的引用动机问题，在Altmetrics中依然存在，只有深入挖掘数据产生的具体对话语境，了解数据背后的真相，才能在评价科研影响力和质量上作出相对正确的判断[68]。这其中最重要及最基本的，即为发现不同类型的用户出于何种目的在社交媒体上留下科研活动轨迹。然而社交媒体平台及其用户群体是全新和多样的，其对科研产出操作行为的情境和使用动机都是不明确的。一方面，可以抓取轨迹数据深入分析数据制造者的特征，例如地理分布、职业状态和人口统计特征等；另一方面，需要通过用户调查访谈了解用户的意图，获得更深层次、更准确的数据。这些数据将有助于理解和解释各种社交媒体事件，并验证它们在科研评价中的有效性。

Altmetrics指标的产生机制导致其面临很多质疑和不可回避的问题，但其价值也很明显。网络出版的普及和在线社交媒体的盛行，确保Altmetrics存在的必要性，也为其发展提供广阔空间。多种类型的Altmetrics指标不仅能够反映文献发表初期的网络环境影响力，而且反映其在不同生命阶段的影响力，而这种影响力是传统文献计量指标所无法体现的。总之，应充分认识和利用Altmetrics的优势，正视和解决Altmetrics目前的问题，不断探索各项指标的适用能力，明确多项指标对于文献价值反映上的重合及偏重，推动指标的标准化，构建Altmetrics指标的综合使用体系。

[1]PRIEM J,TARABORELLI D,GROTH P,et al.Altmetrics:a manifesto [EB/OL].[2017-07-10].http://altmetrics.org/manifesto.

[2]MAN K C.Altmetrics:too soon for use in assessment[J].Nature,2013,494(7436):176.

[3]BROWN M.Is Almetrics an acceptable replacement for citation counts and the impact factor?[J].Serials Librarian,2014,67(1):27-30.

[4]In metrics we trust?Prospects &pitfalls of new research metrics[EB/OL].[2017-8-10].http://www.sussex.ac.uk/spru/newsandevents/2014h/conferences/metricsworkshop.

[5]Why a NISO effort to standardize Altmetrics?[EB/OL].[2017-07-10].https://svpow.com/2013/06/22/why-a-niso-effort-to-standardisealtmetrics/.

[6]HAMMARFELT B.Using Altmetrics for assessing research impact in the humanities[J].Scientometrics,2014,101(2):1419-1430.

[7]HAUSTEIN S,PETERS IBAR-ILAN J,et al.Coverage and adoption of Altmetrics sources in the bibliometric community[J].Scientometrics,2014,101(2):1145-1163.

[8]ALPERIN J P.Geographic variation in social media metrics:an analysis of Latin American journal articles[J].Aslib Journal of Information Management,2015,67(3):289-304.

[9]MOHAMMADI E,THELAWALL M.Mendeley readership Altmetrics for the social sciences and humanities:research evaluation and knowledge fl ows[J].Journal of the Association for Information Science &Technology,2014,65(8):1627-1638.

[10]KNIGHT S R.Social media and online attention as an early measure of the impact of research in solid organ transplantation[J].Transplantation,2014,98(5):490.

[11]ZAHEDI Z,COSTAS R,WOUTERS P.How well developed are altmetrics?A cross-disciplinary analysis of the presence of ‘alternativemetrics’ in scientific publications[J].Scientometrics,2014,101(2):1491-1513.

[12]宋丽萍,王建芳,王树义.科学评价视角下F1000、Mendeley与传统文献计量指标的比较[J].中国图书馆学报,2014(4):48-54.

[13]PETERS I,KRAKER P,LEX E,et al.Research data explored:an extended analysis of citations and altmetrics[J].Scientometrics,2016,107(2):723-744.

[14]ROSENKRANTZ A B,AYOOLA A,SINGH K,et al.Alternative metrics (“Altmetrics”) for assessing article impact in popular general radiology journals[J].Academic Radiology,2017,24(7):891-897.

[15]THELWALL M,FAIRCLOUGH R.Geometric journal impact factors correcting for individual highly cited articles[J].Journal of Informetrics,2015,9(2):263-272.

[16]SCHLÖGL C,GORRAIZ J,GUMPENBERGER C,et al.A comparison of citations,downloads and readership data for an information systems journal[J].Research Trends,2014(37):14-18.

[17]WALTMAN L,COSTAS R.F1000 recommendations as a potential new data source for research evaluation:a comparison with citations[J].Journal of the Association for Information Science and Technology,2014,65(3):433-445.

[18]BORNMANN L.Alternative metrics in scientometrics:a metaanalysis of research into three altmetrics[J].Scientometrics,2014,103(3):1123-1144.

[19]HAUSTEIN S,PETERS I,SUGIMOTO C R,et al.Tweeting biomedicine:an analysis of tweets and citations in the biomedical literature[J].Journal of the Association for Information Science and Technology,2014,65(4):656-669.

[20]ALHOORI H,FURUTA R,TABCT M,et al.Altmetrics for country-level research assessment[M]//The Emergence of digital libraries-research and practices.[S.1.]:Springer International Publishing,2014:59-64.

[21]THELWALL M.A brief history of altmetrics[J].Research Trends,2014(37):3-4.

[22]BRODY T,HARNAD S,CARR L.Earlier web usage statistics as predictors of later citation impact[J].Journal of the American Society for Information Science and Technology,2006,57(8):1060-1072.

[23]SHEMA H,BAR-ILAN J,THELWALL M.Do blog citations correlate with a higher number of future citations? Research blogs as a potential source for alternative metrics[J].Journal of the Association for Information Science and Technology,2014,65(5):1018-1027.

[24]EYSENBACH G.Correction:can tweets predict citations?Metrics of social impact based on twitter and correlation with traditional metrics of scientific impact[J].Journal of Medical Internet Research,2011,13(4):e123.

[25]PEOPLES B K,MIDWAY S R,SACKETT D,et al.Twitter predicts citation rates of ecological research[J].PloS One,2016,11(11):e0166570.

[26]JAMALI H R,MAHMOOD.Citing journal articles in social sciences blogs[J].Iranian Journal of Information Processing Mana gement,2015,30(3):853-873.

[27]THELWALL M,TSOU A,WEINGART S,et al.Tweeting links to academic articles[J].Cybermetrics:International Journal of Sciento metrics,Informetrics and Bibliometrics,2013(17):1-8.

[28]NA J C.User motivations for tweeting research articles:a content analysis approach[M]//Digital libraries:providing quality information.[S.1.]:Springer International Publishing,2015:197-208.

[29]刘春丽.基于PLOS API的论文影响力选择性计量指标研究[J].图书情报工作,2013(7):89-95.

[30]刘晓娟,宋婉姿.基于PLOS ALM的Altmetrics指标可用性分析[J].图书情报工作,2016(4):93-101.

[31]BOLLEN J,DE SOMPEL V H,HAGBERG A,et al.A principal component analysis of 39 scientific impact measures[J].PloS One,2009,4(6):e6022.

[32]ORTEGA J L.Relationship between altmetric and bibliometric indicators across academic social sites:the case of CSIC’s members[J].Journal of Informetrics,2015,9(1):39-49.

[33]HAUSTEIN S,BOWMAN T D,COSTAS R.Interpreting “altmetrics”:viewing acts on social media through the lens of citation and social theories[J].Eprint Arxiv,2015.

[34]王贤文,方志超,王虹茵.连续、动态和复合的单篇论文评价体系构建研究[J].科学学与科学技术管理,2015(8):37-48.

[35]HOLMBERG K.Classifying Altmetrics by level of impact[C]//ISSI.[S.1.]:[s.n.],2015.

[36]BORNMANN L.Validity of altmetrics data for measuring societal impact:a study using data from Altmetric and F1000 prime[J].Journal of Informetrics,2014,8(4):935-950.

[37]BORNMANN L,HAUNSCHILD R.How to normalize twitter counts?A first attempt based on journals in the twitter index[J].Scientometrics,2016,107(3):1405-1422.

[38]HAUNSCHILD R,BORNMANN L.Normalization of Mendeleymendeley reader counts for impact assessment[J].Journal of Informetrics,2016,10(1):62-73.

[39]THELWALL M,HAUSTEIN S,LARIVIÈRE V,et al.Do Altmetrics work?Twitter and ten other social web services[J].Plos One 2013,8(5):e64841.

[40]WATSON A B.Comparing citations and downloads for individual articles at the Journal of Vision[J].Journal of Vision,2009,9(4):1-4.

[41]COSTAS R,ZAHEDI Z,WOUTERS P.Do “Altmetrics” correlate with citations? Extensive comparison of Altmetric indicators with citations from a multidisciplinary perspective[J].Journal of the Association for Information Science and Technology,2015,66(10):2003-2019.

[42]HOLMBERG K,THELWALL M.Disciplinary differences in twitter scholarly communication[J].Scientometrics,2014,101(2):1027-1042.

[43]BORNMANN L,HAUNSCHILD R.Overlay maps based on Mendeley data:the use of altmetrics for readership networks[J].Journal of the Association for Information Science &Technology,2016,67(12):3064-3072.

[44]BARTHEL S,TÖNNIES S,KÖHNCKE B,et al.What does twitter measure?Influence of diverse user groups in Altmetrics[C]//Proceedings of the 15th ACM/IEEE-CS Joint Conference on Digital Libraries.[S.1.]:ACM,2015:119-128.

[45]MAFLAHI N,THELWALL M.When are readership counts as useful as citation counts?Scopus versus Mendeley for LIS journals[J].Journal of the Association for Information Science and Technology,2016,67(1):191-199.

[46]WANG X,FANG Z,SUN X.Usage patterns of scholarly articles on Web of Science:a study on Web of Science usage count[J].Scientometrics,2016,109(2):917-926.

[47]CRONIN B,SUGIMOTO C R.Beyond bibliometrics:harnessing multidimensional indicators of scholarly impact[M].[s.1.]:MIT Press,2014.

[48]郭飞,游滨,薛婧媛.Altmetrics热点论文传播特性及影响力分析[J].图书情报工作,2016,60(15):86-93.

[49]余厚强,邱均平.新浪微博替代计量指标特征分析[J].中国图书馆学报,2016,42(4):20-36.

[50]ALHOORI H,RAY CHOUDHURY S,KANAN T,et al.On the relationship between open access and Altmetrics[C]//iConference 2015 Proceedings.[S.1.]:[s.n.],2015.

[51]葛梦蕊,何开煦.替代计量学与OA资源的相关性研究[J].图书情报知识,2016(5):84-92.

[52]WANG X,MAO W,XU S,et al.Usage history of scientific literature:nature metrics and metrics of nature publications[J].Scientometrics,2014,98(3):1923-1933.

[53]WANG X,LIU C,MAO W,et al.The open access advantage considering citation,article usage and social media attention[J].Scientometrics,2015,103(2):555-564.

[54]MOUNCE R.Open access and Altmetrics:distinct but complementary[J].Bulletin of the American Society for Information Science and Technology,2013,39(4):14-17.

[55]NISO.Outputs of the NISO Alternative assessment metrics project[EB/OL].[2017-07-14].http://www.niso.org/apps/group_public/download.php/17090/NISO%20RP-25-2016%20 Outputs%20of%20the%20NISO%20Alternative%20Assessment% 20Project.pdf.

[56]PRIEM J,PIWOWAR H A,HEMMINGER B M.Altmetrics in the wild:Using social media to explore scholarly impact[EB/OL].[2017-07-10].https://arxiv.org/html/1203.4745v1.

[57]BORNMANN L.Do Altmetrics point to the broader impact of research?An overview of benefits and disadvantages of Altmetrics[J].Journal of Informetrics,2014,8(4):895-903.

[58]MOHAMMADI E,THELWALL M,HAUSTEIN S,et al.Who reads research articles?An Altmetrics analysis of Mendeley user categories[J].Journal of the Association for Information Science and Technology,2015,66(9):1832-1846.

[59]ORTEGA J L.Disciplinary differences in the use of academic social networking sites[J].Online Information Review,2015,39(4):520-536.

[60]ORTEGA J L.To be or not to be on twitter,and its relationship with the tweeting and citation of research papers[J].Scientometrics,2016,109(2):1353-1364.

[61]MOED H F.Altmetrics as traces of the computerization of the research process[EB/OL].[2017-07-10].https://arxiv.org/ftp/arxiv/papers/1510/1510.05131.pdf.

[62]ALPERIN J P.Geographic variation in social media metrics:an analysis of Latin American journal articles[J].Aslib Journal of Information Management,2015,67(3):289-304.

[63]ARAÚJO R F,MURAKAMI T R M,DE LARA J L,et al.Does the Global South Have Altmetrics?Analyzing a Brazilian LIS Journal[C]//ISSI.[S.1.]:[s.n],2015.

[64]TAMMARO A M.Altmetrics in the humanities:perceptions of Italian scholars[C]//Libraries in the Digital Age (LIDA) Proceedings.[S.1.]:[s.n.],2014.

[65]American society for cell biology.San Francisco declaration on research assessment[EB/OL].[2017-07-14].http://www.ascb.org/files/SFDeclarationFINAL.pdf.

[66]HICKS D,WOTERS P,WALTMAN L,et al.The Leiden Manifesto for research metrics[J].Nature,2015,520(7548):429-431.

[67]HAUSTEIN S.Grand challenges in Altmetrics:heterogeneity,data quality and dependencies[J].Scientometrics,2016,108(1):413-423.

[68]刘春丽.altmetrics:从理论假说、术语提出到内涵的重新界定[J].图书情报工作,2015,59(6):82-89.

Abstract:The emergence of Altmetrics puts forward new ideas for the change of academic evaluation work.However,due to various factors,its’ usability in academic evaluation is still questioned.Many researchers had explored this issue,including the coverage of altmetrics indicators,the ability to re fl ect the value of papers,the construction of the academic evaluation system,the standardization of altmetrics indicators and the in fl uence factors of usability.According to the abundant related studies,we pointed out that the research on construction of Altmetrics’ theoretical system and user motivation are still lacking,in order to make suggestion and guidance for its usage and further development.

Keywords:Altmetrics;Academic Evaluation;Usability

Review of the Usability of Altmetrics in Academic Evaluation

LIU XiaoJuan,ZHAO ZhuoJing,SONG WanZi
(School of Government,Beijing Normal University,Beijing 100875,China)

G250

10.3772/j.issn.1673-2286.2017.08.006

* 本研究得到ISTIC-EBSCO文献大数据发现服务联合实验室基金项目“Altmetrics在学术评价中的可用性研究——以社交媒体网络类指标为例”资助。

刘晓娟，女，1980年生，博士，教授，研究方向：科学计量学、数字资源管理，E-mail：lxj_2007@bnu.edu.cn。

赵卓婧，女，1995年生，硕士研究生，研究方向：科学计量学，E-mail：15510491012@163.com。

宋婉姿，女，1991年生，硕士研究生，研究方向：科学计量学，E-mail：201321230060@mail.bnu.edu.cn。

2017-07-15）