辩证思维视角下Altmetrics在科研成果评价中的应用研究

摘要：开放科研环境下，科研成果的产出形式及传播方式都发生了变化，而与之相适应的科研成果评价方式也呈现出多元趋势。Altmetrics基于学术社交网络及开放存取平台提取的社会评价指标，对全面评价科研成果社会影响力提供了重要参考，但由于Altmetrics自身的特点在科研成果评价中需要谨慎的使用。文章在阐述Altmetrics理论背景的基础上，依据Altmetrics指标来源归纳了Altmetrics指标类型，并在分析Altmetrics优劣势的基础上从辩证思维视角对Altmetrics在科研成果评价中的应用提出建议。

关键词：科研成果；Altmetrics；科研评价；开放科研环境

中图分类号：G353.1   文献标识码：A

DOI：10.13897/j.cnki.hbkjty.2023.0033

0 引言

开放数据环境下科研主体、科研方法以及科研成果的传播载体都呈现出了多样的趋势。尤其是Web2.0的出现，加速了学术交流的传播，Nathan ［1］认为开放的数据环境能够让科研工作者通过在线合作和网络社区分享，推进科学进程。在这样的科研环境下，科研成果的产出形式及传播方式都发生了變化，而与之相适应的科研成果评价方式正在发生变化。

传统的科研成果评价方法，在经历行政审批评议、同行评价两个阶段后已发展到以定量指标为主的评价阶段。定量评价阶段最早始于指标定量评价方式，指标定量是首先为评价对象制定量化的指标标准，然后再由专家对照标准对科研成果进行打分，但由于交叉科学的迅猛发展，定量指标的设定过程及权威性越来越受到人们的质疑。随着各数据库平台技术的发展，以引证分析、词频分析等为主的文献计量手段逐步应用到科研成果评价中，并迅速成为国内外科研成果评价的主流。目前，文献计量评价已成为国内外数据库系统的主要服务功能之一，比如Web of Science、Scival、ESI、DI、JCR等涵盖多种类型科研成果评价的综合数据平台。这些平台的收录和引证也已成为我国现阶段科研成果评价的主要依据［2］。但随着开放科研环境的到来，单纯依托某一数据库平台的引证数据已经不能全面反映科研成果的利用和引用情况，在这种情况下，Altmetrics应运而生，并广泛应用于Nature、Elsevier、Wiley等主流出版商平台的科研成果评价体系中。

从目前对Altmetrics的研究现状来看，越来越多的研究者加入到本领域的研究，同时也出现了越来越多的相关成果，涵盖了Altmetrics工具［3-5］、方法［6-8］和应用［9-10］研究，这在一定程度上显示了Altmetrics在科研成果评价中的应用具有巨大的潜力。但针对Altmetrics应用于科研成果的评价研究缺乏辩证的系统研究。

1 Altmetrics的理论背景

Altmetrics作为科研成果评价的计量指标最早是由北卡罗来纳大学Jason Priem在2010年Twitter上提出的，并在同年10月与其他学者联合发布了《Altmetrics：A Manifesto》宣言［11］。Altmetrics提出后引发了学术界的很大关注。国内最早对Altmetrics开展研究的是中国医科大学图书馆的刘春丽［12-13］，她在2012年最早将Altmetrics引介到国内，并将Altmetrics译为“选择性计量学”，随后对Altmetrics译名做了全面而深入的辨析和考证，并考察Altmetrics的早期理论假说、术语提出的方式和过程，提出Altmetrics是对传统引文方法的补充，而不是替代，Altmetrics测量的重点是科学研究的关注度和影响力。邱均平等［14］和由庆斌等［15］先后从不同的角度综述了Altmetrics，并分别翻译为“替代计量学”和“补充计量学”。其中邱均平等明确提出狭义的替代计量学主要研究的是区别传统文献计量指标的网络在线数字计量指标及其应用，广义的替代计量学研究在线新型科学交流体系和面向学术成果的全面影响力评价指标体系。虽然目前对Altmetrics并没有一个统一的定义，但Altmetrics是一个开放的在线评价方法，其在科研成果评价中应用的意义得到了研究者的重视。

Altmetrics产生的原因在于认识到传统指标在捕捉与科研成果产出相关的所有活动和影响方面的能力有限，并试图通过整合更广泛的在线数据源来解除这些限制。长期以来，文献计量学一直依赖引文分析来衡量学术成果的质量和影响，但它因局限性和偏见而受到批评。例如，引用受出版地点、学科、时间和作者国籍的影响。此外，引用仅反映了部分学术影响，缺乏研究的使用、传播和反馈。相比之下，Altmetrics试图通过整合各种在线数据源，如社交媒体、博客、新闻媒体等来补充和拓宽文献计量学的视角。这些来源提供了广泛的利益相关者，如研究人员、从业者、政策制定者、社会大众等各方的实时关注和参与。

随着越来越多的研究人员使用数字平台来共享、协作和交流他们的科研成果，这些平台生成了大量的交流数据，这些数据已超出传统指标的衡量范围。Altmetrics的出现更好地反映了这种学术交流带来的变化，补充和拓宽了文献计量学的视角。但Altmetrics方法和指标在不断发展，在科研成果评价中的应用仍然存在很大的挑战，比如人们担心在线数据的可靠性和有效性以及Altmetrics评价指标存在的潜在偏见和误用。所以在Altmetrics的应用中需要意识到其局限性，并继续开发和改进Altmetrics指标的计量方法。

2 基于不同来源的Altmetrics指标类型

Altmetrics指标是超越传统引用指标跟踪科研成果影响范围的指标。本部分基于Altmetrics指标来源的不同，归纳主要的Altmetrics指标类型包括社交媒体指标、新闻报导指标、在线讨论覆盖率指标、书签和参考文献管理指标和政策指标五种类型。

2.1 社交媒体指标

社交媒体指标是指科研成果在Twitter、Facebook、LinkedIn等社交媒体平台上被提及次数、分享次数、点赞和关注量。这些指标衡量的是科研成果在社交媒体上的影响力。值得注意的是，虽然社交媒体指标可以为科研成果的影响力评价提供有价值的参考，但它们并不是研究成果本身质量或有效性的可靠指标。此外，社交媒体指标通常会受到偏差和限制的影响，例如使用特定平台的用户的人口统计数据或者确定向特征用户显示推送内容的算法。因此，社交媒体指标在科研成果评价中应与传统计量指标结合使用，以提供更完整、更准确的研究成果影响评价。

2.2 新闻报导指标

新闻报导指标是指依托传统媒体或网络媒体对科研成果的报导所产生的可量化数据。主要的新闻报导指标包括：新闻文章量、媒体管道、访问量、分享量等。比如THE VERGE 作为一家知名的科技新闻网站，涵盖了科技行业的新闻、评论和分析等内容，是提供Altmetric 新闻提及次数的可靠来源［16］。新闻报导指标是研究人员了解他们的科研成果在传统研究社区之外的影响和传播的重要工具。值得注意的是，新闻报导指标与其他Altmetrics指标一样，并不代表科研成果本身的质量。新闻报导的范围和质量会受到多种因素的影响，包括科研成果的新闻价值、研究资金的可用性以及研究人員的公共关系网络等因素。

2.3 在线讨论覆盖率指标

在线讨论覆盖率指标是指科研成果通过在线讨论平台或是博客文章、博客评论和其他在线平台提及的数量。研究人员或研究机构可以使用这些指标来确定其科研成果的知名度和公众参与度。主要指标包括浏览量、分享次数、评论量以及影响者参与度。比如scienceforums论坛，研究人员可以浏览不同主题下的文章和讨论，也可以通过注册账户在论坛上发表自己的文章和评论，与其他用户进行交流和讨论［17］。通过分析在线讨论覆盖率指标，研究人员或是研究机构就可以评估其科研成果的影响力和影响范围。

2.4 书签和参考文献管理指标

书签和参考文献管理指标指一篇研究文章或其他科研成果在书签网站（如Mendeley或CiteULike）上被保存、共享或引用的次数。这些指标包括书签次数、查看次数、下载、引用和分享次数。比如Mendeley既是一个学术社交平台，也是一个参考文献管理软件［18］。当某个用户在Mendeley中将自己的文章添加到个人库后，其他人就可以在Mendeley上保存或引用该用户的文章，比如这篇文章被保存到了多少个用户的个人库中，被引用了多少次，以及被多少个用户标记为“喜欢”。通过这些Altmetrics指标，研究人员或机构能够了解他们的科研成果如何被使用以及被谁使用。

2.5 政策指标

政策指标是指衡量科研成果对政策制定产生的影响力的指标。这种影响力可以通过计算科研成果在各种政策相关材料（如政府报告、政策文档和其他政策相关材料）中被引用或参考的次数来确定。通过政策指标可以衡量科研成果在制定政策及辅助决策方面的广泛认可度和影响力。比如Policy Common 作为共享和讨论政策文档和政策研究成果的社区，提供了超过350多万份有关政策文档和政策研究成果的Altmetrics数据［19］。目前政策指标已越来越多的用于评估科研成果对公共政策的影响。此外，研究人员也可以使用政策指标来确定政策相关材料中更有可能被引用的研究文章和主题的类型，并相应地调整他们的研究重点。所以说，通过政策指标来评估科研成果可以为研究人员或研究机构提供有价值的信息，以提高其研究的影响力并有效地分配资源。

3 Altmetrics应用于科研评价的优势及劣势分析

3.1 Altmetrics的优势分析

首先从指标获取的时效性方面来看，传统文献计量指标都是基于文献出版后一段时间才能获取相关的引用信息，依靠传统文献计量指标进行科研成果评价最理想的时间周期是成果出版的2-3年。但Altmetrics计量指标则不同，每小时每天每周都可以成为测量周期，能够实时监测科研成果被关注、被引用以及被讨论或被报导的情况。其次，从指标来源方面来说，传统文献指标主要来源于各出版类型文献之间的相互引用关系，限制于正式出版物，指标获取来源主要是来自于各正式的数据库平台；但Altmetrics覆盖的来源包括Blog、News、Twitter、Facebook等各类社交及开放数据平台。再次，Altmetrics扩展了不同主体的评价维度。对于科研成果的作者而言，Altmetrics能够帮助作者及时了解读者的评价，同时通过讨论及关注能够提升其社交影响力，扩大作者的知名度；对于读者而言，Altmetrics能够在更开放的环境中参与作者文章的讨论，甚至可以与作者直接沟通，更有利于研究成果的改进和创新；对于出版机构而言，科研成果位于一个易于使用的基于Web的平台，它允许用户浏览和传播每一个学术内容的所有Altmetrics计量指标数据，更有利于提升出版机构的影响力，提升出版质量；对于研究机构而言，Altmetrics能够从更广大的范围揭示机构的学术水平和社会影响力，开放网络中的讨论及关注更能够提升社会关注度，扩大机构的知名度。

3.2 Altmetrics的劣势分析

Altmetrics与任何其他评价方法一样，既有优势也有劣势。首先，Altmetrics的数据源来自社交媒体和新闻媒体等，由于网络用户范围、用户类型的多样性以及社交网络自身的引导性和偏向性，导致数据缺乏一定的可靠性或准确性，因此很难比较和解释不同研究的结果。其次，数据采集缺乏标准化，目前用于收集、分析和解释Altmetrics数据的方法标准化的缺失会导致数据中的差异和不一致。比如Altmetrics数据动态性既有时效性的优势，也有时间窗的受限和挑战。在使用Altmetrics时，时间范围设定和控制对评价结果影响很大。再次，数据的覆盖范围有限，目前Altmetrics数据仅适用于一小部分研究成果，并没有涵盖整个学术领域，这可能导致对研究影响的扭曲看法，并限制Altmetrics在科研成果评估中的有用性。所以，虽然Altmetrics为科研成果评价提供了有价值的参考，但需要科学、谨慎的使用。

4 Altmetrics应用于科研成果评价的建议

4.1 Altmetrics指标数据获取的情境化

Altmetrics指标数据获取的情境化是指在应用于科研成果评价时需要考虑的影响因素，包括科研成果的类型、受众、评价目标等因素。例如，一篇在社交媒體上被广泛分享、新闻提及次数多的文章可能被认为在公众参与度和兴趣度高的领域更有影响力，说明这篇文章具备较高的社会影响力。但同时要了解Altmetrics的优势和局限性，这些指标并不能反映文章的学术影响力，学术影响力更多的是需要通过传统计量指标（如引用）或是同行评议的定性指标去体现。所以，采用Altmetrics指标数据评价科研成果时，一定要考虑特定的情境，按情境的需要结合使用传统计量指标和同行评议进行综合评价。

将Altmetrics数据置于情境中并理解其优势和局限性对于在科研成果评价的有效性和准确性至关重要，能够更全面地获取科研成果的多元评价。

4.2 考虑Altmetrics指标数据时间窗口的影响

Altmetrics数据会随着时间的变化而变化，因此在使用Altmetrics数据评价科研成果时，需要重点考虑时间窗口的选择对评价结果的影响。例如，在科研成果出版后的第一个月内获得大量社交媒体提及的作品可能在一年后具有不同的影响。所以在采集Altmetrics指标数据时，要考虑不同时间段（例如每月、每季度或每年）的数据，以全面了解科研成果的影响力变化是如何随时间范围的不同而发生变化的。在对科研成果的影响力评价时，也需要考虑科研成果的生命周期，因为有些科研成果可能会产生长期影响，而另一些可能会产生短期的影响。这些变化反映在Altmetrics数据中，例如，一些著作在出版后很长时间内继续受到关注和参与，而另一些著作可能随着时间的推移而受到较少关注。所以，在使用Altmetrics数据时，需要同时考虑数据的时间范围和科研成果的生命周期。

4.3 促进Altmetrics指标使用的透明度和开放性

Altmetrics指标数据来源的多样性为科研成果评价提供了多元化的价值参考，但同时由于数据来源的多样性，使得数据的真实性和完整性缺少相应的保障，容易受到社交媒体或网络平台的纂改从而影响数据的真实和完整。促进透明度和开放性对于使用Altmetrics评价科研成果的影响很重要。Altmetrics使用的透明度是指要公开提供用于收集和分析数据的方法，包括数据来源、用于选择数据的标准以及用于分析数据的方法，公开这些方法和标准，研究人员或其他机构能够更好地理解Altmetrics的数据基础并评估数据和方法的有效性。此外，Altmetrics使用的开放性指的是数据是可以通过公开访问获取，包括获取原始数据以及数据分析的结果。开放性可以允许其他人独立验证结果，保证了评价结果的可靠性。透明度和开放性将有助于推进Altmetrics在科研成果评价中的广泛使用。

4.4 Altmetrics指标和传统计量指标相结合

鉴于Altmetrics指标与传统文献计量指标相比，存在优势，但同时存在一定的局限性。将Altmetrics指标和传统计量指标结合能够为科研成果的评价提供更全面的参考。Altmetrics指标和传统计量指标的结合可以通过多种方法实现。一是通过归一化方式将Altmetric.com、Plum Analytics和Scopus等平台提供的Altmetrics指标数据以及引文、影响因子等传统指标进行一个通用尺度的转换，然后进行横向的比较和组合。例如将Altmetrics指标数据标准化为0-100的范围，然后与传统计量指标进行比较。二是通过加权组合的方式，根据每个指标的相关性和重要性为每个指标分配权重。比如，如果评价目标侧重科研成果的学术性，就可以将传统计量指标的权重设定高于其他社交媒体提及的权重；如果评价目标侧重科研成果的社会影响力，则需要加大社交媒体提及的权重。

5 结语

随着开放科学和社交网络的不断发展，Altmetrics在科研成果评价中发挥的作用越来越重要。Altmetrics通过捕捉广泛的在线活动和互动，为科研成果评价提供了更全面的维度和视角，但也存在Altmetrics数据质量不可靠、数据范围受限、数据采集缺乏标准化等问题。所以，在使用Altmetrics评价科研成果时，需要了解Altmetrics的局限性和缺点，谨慎、科学的采集数据，并将它们与其他传统计量指标结合使用，以更全面的评价一项科研成果的学术水平以及学术影响力。Altmetrics领域目前在国内的相关研究仍然处于初期的探索阶段，为充分理解和发挥其潜力，需要研究人员、机构、政策制定者等利益相关者的共同努力，进一步改进收集和分析Altmetrics指标数据的方法、扩大数据的覆盖面以充分发挥Altmetrics在科研成果评价中的潜力。

参考文献

［1］Nathan Ingraham. Open science movement uses online collaboration and social sharing to speed up the scientific process［EB/OL］.［2022-12-20］.http：//www.theverge.com/2012/1/18/2715752/open-science-movement-online-collaboration.

［2］于会萍，郭少坤，田永超，等.基于多元文献计量指标的大学学术竞争力研究［M］.长春：吉林大学出版社，2018.

［3］金路，郭胜伟.Altmetrics：基于社交网络的新测度工具［J］.科技视界，2018（19）： 90-93.

［4］Wang X， Lv T， Hamerly D. How do altmetric sources evaluate scientific collaboration？ An empirical investigation for Chinese collaboration publications［J］. Library Hi Tech， 2020， 38（3）： 563-576.

［5］Babu R， Vysakh C.Citations v/s altmetric attention score： a comparison of top 10 highly cited papers in nature［J］.Library Philosophy and Practice， 2019， e2992： 5-19.

［6］孟偉花，向菲.基于情感分析的altmetrics学术质量评价方法研究［J］.图书情报工作，2016，60（11）： 107-112.

［7］韩征征，罗静.基于共词分析的国内替代计量学研究［J］.情报探索，2020（9）： 131-134.

［8］Ebrahimy S， Setareh F， HosseinChari M. Assessing the relationship between the alternative metrics of visibility and social bookmarking with citation index in PLOS Altmetrics［J］. Iranian Journal of Information Processing and Management， 2022， 31（3）： 693-693.

［9］李江波，张梁，姜春林.Altmetrics视角下的人文社会科学学术专著影响力评价研究——基于BkCI、Amazon和Goodreads的比较分析［J］.情报学报，2020，39（9）： 896-905.

［10］赵蓉英，张扬，陈婧.Altmetrics在论文影响力评价中的应用研究［J］.情报科学，2018，36（6）： 3-8，39.

［11］Priem， Jason， Dario Taraborelli， Paul Groth， and Neylon， Cameron. 2010. “Altmetrics： a Manifesto–Altmetrics.org.” Altmetrics： a Manifesto.26.［EB/OL］.［2022-12-27］.http：//altmetrics.org/manifesto/.

［12］刘春丽.Web 2.0环境下的科学计量学：选择性计量学［J］.图书情报工作，2012，56（14）： 52-56，92.

［13］刘春丽.Altmetrics：从理论假说、术语提出到内涵的重新界定［J］.图书情报工作，2015，59（6）： 82-89.

［14］邱均平，余厚强.替代计量学的提出过程与研究进展［J］.图书情报工作，2013，57（19）：5-12.

［15］由庆斌，汤珊红.补充计量学及应用前景［J］.情报理论与实践，2013，36（12）：6-10.

［16］Vox Media. About The Verge ［EB/OL］.［2023-01-21］. https：//www.theverge.com/about-the-verge.

［17］[JP2]Invision Community. Scienceforums ［EB/OL］.［2023-01-21］. https：//www.scienceforums.net/.

［18］Elsevier. About Mendeley ［EB/OL］.［2023-01-22］. https：//www.elsevier.com/solutions/mendeley.

［19］[JP2]Coherent Digital. Policycommons ［EB/OL］.［2023-01-22］. https：//coherentdigital.net/policycommons.

作者简介：

于会萍（1978），女，华北电力大学图书馆副研究馆员。研究方向：图书馆学。

（收稿日期：2023-02-07 责任编辑：孙 炜）