中文学术成果评价的Altmetrics发展及实践路径

韩 毅

进一步推动中国科学技术的发展，目前需要解决三方面的问题：一是构建有中国特色的完整科学技术体系，二是创新与引领世界科学技术的发展，三是构建科学技术的评价方法体系。前两个方面是科学技术的发展目标问题，涉及科学研究的生产及传播，主要由科学研究工作者及科学交流系统来完成；第三个方面是科学技术的价值引领问题，关乎科学研究的目标规范与价值导向，主要由科学评价系统来实现。

科研成果的社会评价历来争论较多。无论是成果的定性评价还是定量评价，依据成果数量或质量的单一评价还是集成数量质量的综合评价，都不同程度地存在一些不够完善的地方。相对来说，自然科学评价的国际标准化程度更高，而人文社会科学的文化地域特征使得其评价具有更为明显的独特性。在当前非正式交流强劲回归情境下，如何在复杂情境中开发具有融合性的评价方法与技术就成为必须解决的核心问题［1］。Altmetrics的提出为非正式交流渠道科研成果评价提供了新的契机，然而，其工具及方法主要针对西方学术环境。如何开发合适的工具与选择合适的方法进行中文非正式交流环境下科学成果评价就成为当前科技评价的重要问题。本文正是基于此来讨论中文学术成果的Altmetrics实践路径问题。

一、相关研究工作

随着科学正式交流功能的不断异化，寻找由出版商主导的正式交流之外的以科研人员为主导的科学交流渠道一直是科学工作者的朴素愿望。网络技术的发展，尤其是自媒体技术的普及，为该愿望的实现提供了新的契机。国外的一项调查研究发现：人文社会科学研究者正在频繁使用多种社交软件（如Google Scholar、ResearchGate、LinkedIn、Facebook、Google＋、Twitter、ResearcherID和 Mendeley等）来交流思想，这一趋势也在自然科学研究者中蔓延［2］。这种以科学工作者为主导的非正式交流回归要求科研评价工作必须把非正式交流内容纳入到科研成果评价体系中，在 2010年，Altmetrics就应运而生了［3］。

Altmetrics一经提出就成为科学计量学、科学出版、社交媒体等领域的热点话题，也迅速得到自然科学权威出版物（如Nature、Science等）和生物医学领域的核心出版物（如PLoS ONE、PLoS Biology等）的青睐，与之相对应的各种评价工具也不断涌现［4］。

2013年，威尔科姆信托（Wellcome Trust）基金开展了一项旨在探索ALMs（Article Level Metrics）／Altmetrics支持组织学习及基金策略的研究项目。研究发现ALMs／Altmetrics不仅可用来探测政策制定者对科学研究的早期关注，还可以用来探索科研成果对政策制定和应用实践的影响，且效果在时间上远远优于学术引文［5］。2014年，英格兰高等教育基金委员会（HEFCE）委托一个独立评审小组探索研究杰出框架（Research Excellent Framework，REF）质量评价结果的影响因素，结果发现一些Altmetrics指标（如Google Scholar引文量、Twitter推送量等）对科研质量有重要影响［6］。

尤其值得关注的是，2013年NISO（美国国家信息标准协会）介入Altmetrics应用实践研究，一年后发布《NISO Altmetrics标准项目白皮书》，从定义、研究产出、科学发现、研究评估、数据质量和不当操纵、指标分组和聚类、利益相关者视角、使用采纳等9个方面总结了Altmetrics的标准和最佳实践成果［7］。2016年，NISO公布了最终成果《NISO Altmetrics评价指标项目成果》［8］。该项目是由美国国家信息技术协会负责，因此具有国家层面的风向标作用，一方面意味着美国科学管理层面认识到把非正式交流纳入到科技评价中的重要价值，另一方面期望通过广泛的社会调研及研究来规范与之相关的政策、技术与方法。

关于中文学术成果评价中如何引入Altmetrics问题，学者做了大量的研究工作。文献研究发现，关于中文学术成果评价的Altmetrics应用主要集中在以下几个方面：一是从普泛的方法论、工具等层面或者针对特定学科及领域讨论如何在学术成果评价中引入Altmetrics，如韩毅关于传统引文指标与Altmetrics指标融合的理论分析［1］，刘晓娟关于Altmetrics在学术评价中的可用性研究［9］，李燕波关于Altmetrics对学术生态系统的影响研究［10］，雷淑义等关于中文人文社会科学学术图书的Altmetrics评价问题［11］以及中文学术图书Altmetrics评价实践中各种方法选择问题［12］，等等；二是Altmetrics方法的指标体系构建问题，如姚莉等针对《国家哲学社会科学成果文库》的学术著作综合评价问题构建了综合性的评价指标体系［13］，何峻等将借阅频次、被摘频次、网络下载频次等纳入到中国大陆1949—2004年出版的中文图书评价指标体系中［14］，李勇等针对Altmetrics背景下期刊的多维评价指标体系构建［15］，等等；三是实证探讨应用Altmetrics指标对特定学科、特定对象的计量特征研究，如赵蓉英等关于将Altmetrics指标应用于汉语言文学学科和开源软件的学术影响力评价［16-17］，余厚强等关于中文微博Altmetrics特征研究［18］，赵洁洁等关于 Altmetrics工具应用于高校机构知识库学术功能的评价［19］，等等。

从国内外的相关研究成果看，在学术成果评价中引入Altmetrics指标已经成为不可逆转的趋势，但其理论研究与应用实践以英文学术成果为主，关于中文学术成果的Altmetrics评价相对比较薄弱。基于此，本文主要从逻辑上分析Altmetrics应用于中文环境下学术成果评价的发展与实践路径。

二、中文学术成果评价的Altmetrics实践路径

（一）解析Altmetrics相关利益者诉求

网络空间的空前繁荣，促成了中文学术出版物通过各种媒体的广泛传播，也扩展了纯电子形式学术出版物的扩散渠道。然而，在传统的水平与质量评估指标中没有或很少包含这些内容，这不仅对于学术成果本身的质量评价存在不公允之处，还会对学术成果相关联的行为归属主体产生负面影响。

以引文为基础的传统学术评价中，事实上隐含着一些基本前提，任何经同行评议而发表的学术成果都存在科学交流价值，其价值的高低取决于以引文为载体的时间维度上的知识流通速度。因此，以引文为基础的计量学评价测度的是学术成果的学术价值，是科学共同体对学术成果的认同，尽管由于客观条件的影响可能出现价值认同的异化［20-21］，但在众多引用关系的稀释中这种异化会最大程度地最小化，也即是说即使有精通引用指标与引用评价机理的人想通过作弊方式实现异化目标，其代价也必然是巨大的，尤其是评价不注重短期效应的话更是如此。

学术成果不仅标志的是对自然、社会、思维等的认识过程，评价时还应该关注这些成果对自然、社会、思维的改造过程，体现为一种学术成果的社会影响效应。随着Altmetrics的诞生，这种缺失在一定程度上可以得到改善。

然而，以网络空间为流通域的众多非正式交流体系，显然缺乏必须的同行评议过程，尽管用户在浏览、下载、转发、评论相关信息时也体现了其对相关信息的价值判断，但其同时存在不可控性及脆弱性。因此，如果把Altmetrics所计量的网络空间信息环境也纳入到科技评价范畴体系的话，如何提升其作为数据基础设施的结构鲁棒性、数据可信性、过程可追踪性就成为一种现实需求。

传统科学计量的数据基础设施建设经过几百年的发展，尽管在结构鲁棒性、数据可信性、过程可追踪性或多或少地还存在一些问题，但至少目前还能满足基本需求。因而，要解决网络空间的这些数据基础设施建设问题，最主要的是要明确利益相关者的诉求有哪些及这些诉求的强烈程度与合理程度。

根据NISO的调研结果大致可以发现，目前Altmetrics计量的利益相关者主要包括作者、作者机构、出版商、图书馆、资助机构、内容平台提供者及媒体官员等［8］。从目前各类研究进展来看，出版商与内容平台提供者显得尤为积极，其他各方还处于试用与观望阶段。

因而，在理论与实践中需要解决以下问题：Altmetrics计量的学理基础是什么，它对评价数据基础设施的结构鲁棒性有什么要求，其数据可信性的保障条件是什么，过程可追踪性的技术环境要求是什么，各个不同利益相关者在实践中的具体要求是什么，这些要求体现了怎样的计量功能，在计量过程中可能用哪些指标来反映，这些指标间呈现怎样的内在关系，它们与传统的以引文为基础的计量指标间是怎样的关系，在评价体系中的相对重要性如何鉴别与评估，如何构建统一的使用行为理论模型，等等。

只有把这些利益相关者诉求整合成可实现的有机指标体系，并厘清这些指标间的作用机理，以此为依据的数据基础设施高额投资才可能获得预期的回报，也才会有各种社会资源投入的可能。因此，中文学术成果的Altmetrics评价实践首先需要解决的就是利益相关者的基本诉求，这将是一个耗时费力的宏大工程，也是基础性的奠基工程。

（二）开发Altmetrics数据搜集与分析工具

网络科学社区的蓬勃发展、开放存取（Open Ac-cess）运动和大型预印本数据库的涌现已悄然改变科学交流的格局，非正式交流借助数字化网络化信息环境强劲回归。这些实践打破了科学交流仅囿于狭小科学共同体范围的樊篱，允许任何用户借助网络工具检索、浏览、下载和链接论文全文，提高了科学研究成果在更广泛空间传播的可能性。

随着国际开放科学和开放数据的理论和实践的迅速发展，作为在线参考文献管理软件的Mendeley在Altmetrics工具开发上做了开创性工作［22］。2010年4月，Mendeley启动“开放应用程序编程接口API”项目，旨在鼓励网络环境下的API应用创新实践，激发更多人支持、参与和推动开放科学运动。2011年6月，Mendeley举办了两次基于API的产品大赛，不仅激发了学术社交软件爱好者对API数据的再次产品开发，同时吸引了众多数据库出版商的关注，从而奠基了Altmetrics评价的数据采集基础。

2009年，作为开放存取运动主要支持者的PLoS（Public Library of Science）开发了论文层面（Article-Level Metrics）指标［23］。2011年 9月，PLoS和 Mendeley联合举办关于 API的产品大赛“Mendeley／PLOSAPI Binary Battle”，包括 PLoSImpact Explorer、Total-Impact、Reader Meter、Collabgraph等在内的 10余个产品获得了较好成绩［22］。其中，Total-Impact（目前已经更名为ImpactStory）和 PLoS Impact Explorer二者经过不断研发和完善，今天仍然是 Altmetrics应用实践的重要工具。

2011年，Altmetric.com模仿传统科技评价构建了指标加权综合得分（Altmetric Score），通过对各个数据源分配不同的权重，采用加权累积自动算法实现科研成果按得分情况进行排名，从而反映科研成果获得的关注度大小［24］。

2012年，Plum Analytics公司研发出Plum X，作为专门面向机构的Altmetrics工具可提取包括传统引文、下载、浏览、收藏、评论等多个维度的数据，并可按照机构层级聚类输出用户需要的结果［25］。

然而，到目前为止所有当前应用的各类Altmetrics工具基本上都是国外的公益机构或盈利机构开发的［26］，我国不仅没有相应的大型应用工具，即使相关的网络基础数据也仅有新浪微博数据在Altmetrics工具有所体现［18］。我国作为拥有7亿多网民的网络大国，其科技信息的网络传播不仅有利于提升国民的基本素养，其传播模式可能也与国外有所不同。因而，如何针对中文学术成果的传播特征开发具有中国特色的Altmetrics计量工具，不仅有利于反映我国科技文化的网络传播特征，也有利于识别出我国学术成果的社会影响，同时基于Altmetrics的中文环境测度要求倒逼网络数据描述框架的重构与革新，从而体现中国科学对世界的贡献并引领世界的发展。

因此，识别中文环境下Altmetrics利益相关者诉求并抽象出Altmetrics功能需求，不仅能够有利于中文环境下Altmetrics工具的开发，也有利中文环境下网络数据基础设施的建设规范设计，为开创中国的科技引领作用搭建基础性数据平台。在实践过程中，需要解决以下几方面的问题：一是数据采集的指标范畴，确定各指标范畴的结构关系；二是数据规范及互操作规则，为中文环境下的Altmetrics数据采集制定相关标准规范，为不同平台数据、中外文数据间的互操作提供技术标准；三是基于利益相关者功能需求开发各类分析工具，尤其是可视化分析工具。

（三）构建Altmetrics与传统评价方法的融合模型

科技评价作为科学职业监督及自省的一种社会自发或自觉功能，一方面须具有面向科学共同体的评估、遴选、引领功能，评估个人及机构科研绩效水平，主要表征为学术影响力评价，另一方面也需要向社会环境宣扬科技成果的社会效果，体现文明传承及社会服务功能，主要表征为社会影响力评估［1］。这两种功能在现实需求中都不可或缺，在当前非正式交流强劲回归的情境下，科学正式交流和非正式交流的两翼正在逐渐走向平衡，因而是时候把反映正式交流与非正式交流的两种评价功能有机融合起来了。

2014年，在英国伦敦举办的Altmetrics会议上，对其内涵达成以下共识：Altmetrics是对传统计量方法的补充，是取缔单一使用引文计量方法的创新，可促进科学评价方法的多元化［27］。这一理念对相关Altmetrics工具开发与实践应用产生了重要影响。在主要的计算工具中，如ImpactStory、Article Level Metrics、Plum X等均包括传统文献引用次数、浏览与下载量及Altmetrics指标。这些实践表明，Altmetrics评价是已经超越自身并与传统文献计量指标相融合的科技评价方法。

目前主要的Altmetrics数据处理方法是采用百分位数（percentiles）及“上下文语境分析＋底层定性数据”来解决计算结果表示及意义识别，在如何清除数据作弊方面也采用了诸多方法予以解决。然而，如何构建集成传统计量指标与Altmetrics计量指标的统一理论模型并没有达成共识，这不仅涉及计算方法与计算工具的设计与计算过程的可靠性问题，更多涉及到对科学交流的正式过程与非正式过程的深刻理解，尤其是后一方面的研究相当欠缺。这不仅影响到计算结果的精确性与可靠性，更体现出对科学交流过程深刻洞见及机制认知的缺失，这也是科学计量学必须解决的核心问题。

三、结语

在当前中国科技发展的崭新时期，如何引领世界科技的发展，不仅是科学技术本身的发展问题，也涉及到科学评价体系标准与方法的重构问题，尤其是后者在国际科技话语权的建构中更为重要。Altmetrics指标的提出为学术成果评价提出了新的挑战，也给中国学术成果评价方法创新提供了新的机遇。针对Altmetrics的评价现状，深入细致地研究中文环境下相关利益者的现实需求并构建具有结构鲁棒性、数据可信性、过程可追踪性的中文学术成果评价数据基础设施，开发体现中文学术成果特征的Altmetrics数据采集与分析工具，在理论上解决融合传统计量指标与Altmetrics计量指标的统一理论模型，必将成为未来一段时间的重点研究内容。

［1］ 韩毅.非正式交流回归语境下科技评价的融合路径取向［J］.中国图书馆学报，2016，42（4）：64-74.

［2］ NOORDEN R V.Online collaboration：scientists and the social network［J］.Nature，2014，512（7513）：126-129.

［3］ PRIEM J，HEMMINGER B H.Scientometrics2.0：New metrics of scholarly impact on the social Web［EB／OL］.［2017-10-06］.http：／／firstmonday.org／ojs／index.php／fm／article／view／2874／.

［4］ 王睿，胡文静，郭玮.常用Altmetrics工具比较［J］.现代图书情报技术，2014，30（12）：18-26.

［5］ DINSMORE A，ALLEN L，DOLBY K.Alternative perspectives on impact：the potential of ALMs and altmetrics to inform funders about research impact［DB／OL］.［2017-11-12］.http：／／journals.plos.org／plosbiology／article？id＝10.1371／journal.pbio.1002003＆utm＿source＝web＆utm＿medium＝pdf＆utm＿campaign＝ppu15.

［6］ The metric tide：report of the independent review of the role of metrics in research assessment and management［EB／OL］.［2017-11-06］.http：／／www.hefce.ac.uk／pubs／rereports／Year／2015／metrictide／.

［7］ NISO Alternative assessment metrics（Altmetrics）initiative［EB／OL］.［2017-11-06］.http：／／www.niso.org／topics／tl／altmetrics＿initiative／.

［8］ Outputs of the NISO Alternative assessment metrics project［EB／OL］.［2017-11-09］.http：／／www.niso.org／apps／group＿public／download.php／17090／NISO%20RP-25-2016%20Outputs%20of%20the%20NISO%20Alternative%20Assessment%20Project.pdf.

［9］ 刘晓娟，赵卓婧，宋婉姿.Altmetrics在学术评价中的可用性研究综述［J］.数字图书馆论坛，2017（8）：38-45.

［10］ 李燕波.Altmetrics对学术生态系统的影响研究［J］.图书馆工作与研究，2015（12）：19-22.

［11］ 雷淑义，吕先竞.我国人文社会科学学术图书Altmetrics评价：挑战及应用［J］.图书情报工作，2017，61（11）：133-139.

［12］ 雷淑义，吕先竞.Altmetrics视角下的学术图书影响力评价研究［J］.西南民族大学学报（人文社科版），2017，38（6）：225-231.

［13］ 姚莉，陈祖琴.《国家哲学社会科学成果文库》影响力评价体系研究［J］.西南民族大学学报（人文社科版），2016（6）：232-236.

［14］ 何峻，蔡蓉华.中文图书评价体系研究［J］.大学图书馆学报，2016，34（3）：51-58.

［15］ 李勇，邵钟钰，赵星.Altmetrics背景下的期刊多维度测评指标研究［J］.情报学报，2017，36（2）：190-196.

［16］ 赵蓉英，郭凤娇，谭洁.基于Altmetrics的学术论文影响力评价研究——以汉语言文学学科为例［J］.中国图书馆学报，2016，42（1）：96-108.

［17］ 赵蓉英，魏明坤，汪少震.基于Altmetrics的开源软件学术影响力评价研究［J］.中国图书馆学报，2017，43（2）：80-95.

［18］ 余厚强，HEMMINGER B M，肖婷婷，等.新浪微博替代计量指标特征分析［J］.中国图书馆学报，2016，42（4）：20-36.

［19］ 赵洁洁，詹华清，介凤.高校机构知识库学术评价功能研究［J］.图书馆杂志，2017（9）：20-25.

［20］ 刘玉仙，武夷山.关于引文本质的思考［J］.科学学研究，2015，33（12）：1779-1786，1882.

［21］ 曹进军.学术计量本质的异化与科研绩效的溢价现象研究［J］.情报资料工作，2017（3）：18-25.

［22］ MENDELEY.Winners of the first binary battle Apps for science contest［EB／OL］.［2017-11-12］.http：／／blog.mendeley.com／design-research-tools／winners-of-the-first-binary-battleapps-for-science-contest／.

［23］ 顾立平.论文级别计量研究：应用案例分析［J］.现代图书情报技术，2013（11）：1-7.

［24］ How is the Altmetric score calculated？［EB／OL］.［2017-11-12］.http：／／support.altmetric.com／knowledgebase／articles／83337-how-is-the-altmetric-score-calculated.

［25］ PLUM Analytics.New product Plum X gives researchers an edge.［EB／OL］.［2017-11-13］.http：／／www.plumanalytics.com／pr／plum-analytics-new-product-plumx-gives-researchers-an-edge.html.

［26］ 刘恩涛，李国俊，邱小花，等.Altmetrics工具比较研究［J］.图书馆杂志，2015（8）：85-92.

［27］ 刘春丽.Altmetrics：从理论假说、术语提出到内涵的重新界定［J］.图书情报工作，2015（6）：82-89.