卓越导向的学术论文影响力评价框架构建

王建品 李超

【摘 要】文章首先分析了追求卓越作为学术论文影响力评价价值导向的必要性，并采用基于百分位指标用于学术论文影响力卓越水平评价的原理，提出构建“两维度—三角度—两方面”的学术论文影响力评价框架。该框架改进了传统方法对学术论文总量和均量的衡量，主要采用百分位指标，强调对学术论文影响力卓越水平的评价。

【关  键  词】卓越导向;学术论文评价;影响力;百分位指标

【作者单位】王建品，商丘师范学院信息技术学院;李超，华中科技大学外国语学院。

【基金项目】国家社会科学基金重大项目“构建中国话语权的评价科学理论、方法与应用体系研究”（18ZDA325）;河南省高等学校重点科研项目“河南省高校科技发展指数研究”（22A870003）;商丘师范学院科研启动经费资助项目（7001/700227）。

【中图分类号】G312 【文献标识码】A 【DOI】10.16491/j.cnki.cn45-1216/g2.2022.04.021

学术论文影响力评价和许多科研评价工作一样，评价的价值取向、指标和方法须根据政策目标与需求、技术条件等不断调整与完善。当前，如何通过改进评价体系提高我国学术论文的影响力水平是一个重要问题。基于此，本文研究并设计了以追求卓越为价值导向的学术论文影响力评价体系，以期适应国家科技政策及科研环境的变化对学术论文评价的要求，为科技评价改革提供决策支持和理论依据。

一、学术论文影响力评价的卓越价值导向

学术论文是科学研究成果的主要载体，其国际影响力是高水平学术质量的核心表征之一，对提升国家的科技竞争力及增强国际话语权具有重要意义。然而，当前中国学术论文影响力与世界一流水平还有一定差距，且论文评价主要以数量为价值导向，过于看重论文的数量而非质量，这成为中国学术卓越发展的一項阻碍[1]。2014年，中科院学部主席团发布《追求卓越科学》宣言;2020年以来，《关于规范高等学校SCI论文相关指标使用树立正确评价导向的若干意见》《关于破除科技评价中“唯论文”不良导向的若干措施（试行）》《关于完善科技成果评价机制的指导意见》等文件相继出台，为学术成果评价改革指明了方向。

卓越导向的科研评价是当前世界各国科技评价领域的重要话题，受到学界广泛而持续的关注。20世纪80年代以来，多数国家的教育领域纷纷实施面向卓越计划的项目，以此促进国家教育和科研竞争力的提高，如英国的“卓越科研评估框架”、德国的大学卓越计划、法国的“卓越大学计划”、澳大利亚的“卓越科研评估”、芬兰的“研究卓越中心”等[2]。中国自1995年实行的“211工程”、“985工程”和“双一流”建设以资助一批高水平大学的建设，追求学术和教育的卓越，获得了人才和科技资源的竞争优势。

学术论文影响力评价实质上是对学术论文的价值进行判断，具有一定的社会属性。社会发展阶段不同，其社会属性则有所不同，学术论文的价值判断标准也会不同[3]。因此，对学术论文的影响力进行评价，其核心问题就是根据社会的评价需求确定价值导向的问题。在当前科技政策及科研环境下，迫切需要建立新的学术论文评价体系，以引导我国的学术论文影响力在世界上取得更大进步。基于此，本文提出了学术论文影响力评价的卓越导向。

二、学术论文影响力评价的方法及指标

1.学术论文影响力评价的主要方法

学术论文影响力评价的方法主要有三种。同行评议，是用于保持质量标准、改进性能和提供可信度的重要方法[4]。但当有大量科研单元需要评估时，同行评议便会显现其局限性，如高成本以及主观因素难以控制。此时，基于引文分析的定量评价是最常用的评估方法，它通过文献计量指标提供的定量信息能够帮助专家做出更合理的评议，是同行评议方法的重要补充，特别是在宏观或中观层面，二者的结合使用将成为主流[5]。随着社会环境、国家政策的改变，基于社交媒体数据的Altmetric指标作为一个全新的方法引入学术论文影响力评价之中。实质上，Altmetrics指标是文献计量学与网络技术相结合的产物，它的提出并回应了科技政策对科研影响力评价的需求及当前科学交流方式的变化。

2.学术论文影响力评价的主要指标

基于文献计量的学术论文影响力评价主要基于以下几个指标。一是总和类指标。这类指标的特点是计算简单、意义直观，从文献计量指标发展的初始阶段一直到现如今，此类指标仍在普遍使用，总发文量、总被引频次是评价机构等的重要指标。因为论文的总量指标与论文的内容、发表时间、作者或机构等因素直接相关，而这些因素存在明显的学科差异。为实现不同学科、不同类型和出版时间的文献的对比，产生了一系列基于均值的标准化指标，如篇均被引频次等。二是百分位指标。2011年，Bornmann等提出，由于引文的高度倾斜，应避免采用平均值的方法来实现领域的标准化，而提出采用百分位指标来衡量引用绩效，并称之为接近理想的方法[6]。之后，百分位方法很快得到了计量学界的关注。2013年，Fred Y. Ye和Loet Leydesdorff提出了在I3基础上引入h指数，并考虑论文集合的发文和引文分布特征的h核发文指数、h核引文指数的学术评价指标体系[7]。该体系中的X1衡量的是论文集合的h核发文能力，Y1衡量的是论文集合的h核引文能力。

当前，基于科学计量学的学术论文影响力评价指标和方法取得了很大进展，这为本研究奠定了基础、提供了思路，但在卓越性评价方面有待进一步深入研究。现有的学术论文评价主要基于传统简单的总量、均量指标，如基于被引频次、期刊影响因子等，此类评价是了解评价对象影响力的常规内容，但无法详细地了解评价对象的卓越性表现。而且，近年来百分位指标获得了广泛的关注和应用，其在学术论文卓越性评价中具有重要价值，然而相关研究较为分散，缺乏系统、有针对性的学术论文卓越影响力综合评价研究。

三、学术论文卓越影响力评价框架

1.框架构建的基本原理

本文认为，就评价卓越性而言，可以将评价原理从“谁的平均水平更好”转移到“谁最好”，这是由引文分布的不均衡性所决定的。Basu等根据一个国家高被引科研人员的数量，提出引文质量指数，结果发现该指数比传统的篇均被引频次更能够揭示一个国家研究的卓越性[8]。Rodriguez-Navarro等研究了诺贝尔奖成果数量与各国和各机构传统文献计量指标之间的关系，发现将传统均值类文献计量指标作为研究卓越的指标是无效的[9]。可以看到，学术论文影响力的卓越水平应该在引文分布函数的上尾部显现。因此，在卓越导向的影响力评价中，需要关注的是论文集合中引文分布的高端，而不是比较平均值或中位数。基于此，百分位指标自然就成为衡量学术论文影响力卓越水平的最重要指标。

2.框架构建的思路

学术论文影响力的评价分为单篇论文的影响力评价和集合层面论文影响力评价，本文的关注点主要是集合层面学术论文的影响力评价，即将各个论文集合作为不同的整体，对各论文集合整体的影响力进行评价和比较。这是微观、宏观和中观学术评价的重要组成部分，如基于文献计量的期刊、学者、机构、地区或国家的影响力评价都属于此类评价。

构建框架时主要考虑两点：第一，基于引用的学术论文集合的卓越影响力可以有两个立脚点，一是整体的被引次数，如果某集合的总被引次数比较大，足以表明其卓越性;二是论文集合中高被引论文的数量或比例情况。第二，Web2.0时代的学术论文影响力内涵较Web1.0时代有了深化与发展，学术论文的影响力不仅要反映社会公众对学术论文价值的认可程度，还要反映其对社会、经济、教育等的影响。因此，学术论文卓越影响力评价中不仅应包括基于引用的学术影响力，还应包括基于Altmetrics指标的社会影响力。

3.框架及指标体系

根据评价的基本思路，本文从学术影响力、社会影响力两个维度，整体影响力、顶级影响力、核心影响力三个角度，以及规模、效率两个方面设计了卓越导向的学术论文影响力评价框架，在每个角度、每个方面都有相应的指标，如表1所示。

（1）整体影响力

整体影响力指的是被评论文集合中所有论文的影响力总水平。本文采用总被引频次表示整体影响力的规模，采用百分位平均值表示其效率。其中，总被引频次指某集合中所有论文被引频次之和;百分位平均值指该集合中所有论文百分位数的平均值。这两个指标均测度的是论文集合的整体影响力，总被引频次反映了整体影响力的规模，百分位平均值反映了整体影响力的效率。

（2）顶级影响力

将所有被评价机构的所有论文按被引频次从大到小排序，若某机构排在前面的论文数越多或比例越大，说明该机构论文集合影响力的卓越性越强。本文将论文集合中被引次数较高论文所反映的影響力称为顶级影响力，采用被引次数较高的论文数量或比例来表示，即采用TOP百分位指标来衡量。因评价的需求不同，可以根据论文的百分位指标值将论文进行等级划分。根据研究的目的，在相关研究的基础上，本文将学术论文集合中的TOP 50按照等级进行展示，分为“TOP1”“TOP1-5”“TOP5-10”“TOP10-25”“TOP25-50”5个百分位等级，分别指代被引频次排在TOP1%、TOP1%-5%、TOP5%-10%、TOP10%-25%和TOP25%-50%的论文。然后通过各等级中的论文数量和占比分别从规模和效率两个角度进行分析，描述被评对象在各等级上的发展态势和格局。

（3）核心影响力

通过顶级影响力可以对论文的卓越影响力进行分等级的分析和评价，但其划分标准具有一定的主观性，而且最后的评价结果不是一个确定的综合指标。对此，本研究在借鉴前人研究基础上提出了核心影响力指标。核心影响力是论文集合中那些最具影响力、最为重要的论文及其影响力，采用h指数衡量核心影响力的规模，h核发文指数和h核引文指数衡量核心影响力的效率。

在进行论文集合的影响力评价时，由于发文量和引文量较大，需要采用不同的评价指标给出不同角度的评价信息，但本文主要关心的是论文集合的卓越影响力，故可用h指数、h核发文指数X1和h核引文指数Y1进行评价，放弃h尾信息[10]。这里的h指数、h核发文指数X1和h核引文指数Y1是从h核的角度，并基于百分位的思想对学术论文卓越影响力进行评价，本文称之为核心影响力评价，也是卓越影响力评价的角度之一。其中，h指数对影响力的测度关注的是重要论文的引用数量，这些高引用论文集合可能是被评价对象对科学进步影响最大的产出，可以称之为“核心集合”。因此，h指数具有从规模角度测度核心影响力的能力。

但由于h指数在进行论文集合的核心影响力比较时，不考虑论文集合的规模，为消除规模差异，本文引进h核发文指数X1和h核引文指数Y1作为核心影响力的效率指标。从h核发文指数和h核引文指数的数学本质来看，它们分别衡量的是论文集合中h核发文和h核引文的相对分值，因此具有从效率角度测度核心影响力的功能。

（4）社会影响力评价指标的设计

由于本文的社会影响力评价是针对论文集合层面，考虑Altmetrics指标在实际应用中可获取性等问题。本文认为，一个论文集合的社会影响力可以从两个角度来评价。一是从整体角度，一方面表现为总体被提及次数多，另一方面表现为消除集合规模大小的不同，采用平均值的方法进行效率方面的比较。二是从顶级角度，显示高分论文在各集合中的分布数量及比例。本文主要从整体和顶级两个角度设计相应指标是合理的，因为在大多数论文社会影响力较低或无社会影响力的情况下，有影响力已经是一种卓越。本文集合层面学术论文影响力指标包括AAS、Mendeley读者数、总提及次数、代表性指标，每种指标均从整体和顶级两个角度来进行分析。

（5）单篇论文百分位指标的获取

本文的单篇论文百分位指标采用的是InCite中每篇论文的“学科领域百分位”指标。在具体计算过程中，论文参照集合的选择决定了单篇论文的百分位等级。InCite中的论文百分位指标是指某文献在全球同学科、同出版年、同文献类型的文献集合中，按被引频次从高往低排序所得到的位置，称为“学科领域百分位”。尽管InCites数据库的学科领域百分位在计算中由于学科分类等的误差，还存在一定的不确定性，但对于百分位等级来说，其不确定性与参与评价的文献数量之间成反比关系。也就是說，百分位的等级受参与评价的文献数量的影响，参与评价的文献数量越少，百分位等级的不确定性则越大。对于InCites数据库来说，其内部的基础数据主要来自WOS，因此学科领域百分位是依靠WOS平台上的大量数据建立的，并对学科领域的百分位进行了标准化处理。

四、结语

本文尝试构建卓越导向的学术论文影响力评价框架，摒弃了传统方法对学术论文总量和均量的衡量，主要采用基于百分位的指标，兼顾学术影响力和社会影响力，聚焦对学术论文影响力卓越水平的评价，以期引导科研的卓越发展。随着人工智能和信息技术的发展，学术论文卓越影响力评价可以考虑引用内容的相关信息，未来研究有待在此方面有所突破。

|参考文献|

[1] 徐芳，李晓轩. 跨越科技评价的“马拉河”[J]. 中国科学院院刊，2017（8）：879-886.

[2] 朱佳妮. 追求大学科研卓越：德国“卓越计划”的实施效果与未来发展[J]. 比较教育研究，2017（2）：46-53.

[3] 索传军. 论学术评价的价值尺度：兼谈“唯论文”问题的根源[J]. 中国社会科学评价，2021（1）：122-131+160.

[4] 王国豫，朱晓林. 同行评议与“外行”评议[J]. 科学学研究，2015（8）：1121-1126+1133.

[5] 邱均平，张裕晨，周子番. 新时代我国科研评价体系重构中必须处理好八大关系[J]. 中国图书馆学报，2021（1）：47-60.

[6] Bornmann L， Mutz R. Further Steps Towards an Ideal Method of Measuring Citation Performance： The Avoidance of Citation （Ratio） Averages in Field-normalization[J]. Journal of Informetrics， 2011（1）：228-230.

[7] Ye F Y， Leydesdorff L. The“Academic Trace” of the performance matrix： a mathematical synthesis of the h-index and the integrated impact indicator （I3）[J]. Journal of the Association for Information Science and Technology，2014（4）：742-750.

[8] Basu A. Using ISI' s "Highly Cited Researchers" to obtain a country level indicator of citation excellence[J]. Scientometrics， 2006（3）：361-375.

[9] Alonso Rodríguez-Navarro. Measuring research excellence： Number of Nobel Prize achievements versus conventional bibliometric indicators[J]. Journal of Documentation， 2011（4）：582-600.

[10] 薛霏，鲁特·莱兹多夫，叶鹰. 学术评价的多变量指标探讨[J]. 中国图书馆学报， 2017（4）：63-73.