基于标志性论文的高校学科影响力评价方法研究

刘亚丽 马 峥 王 璐 潘 尧

（中国科学技术信息研究所，北京 100038）

0 引言

科技评价是科技活动的指挥棒，对科技事业发展起到至关重要的作用。长期形成的以量化为主要特征的评价机制，极大地调动了科研人员的科研热情，因此产生了大量的科研成果，但随着量化指标的过度运用，科学研究中重数量轻质量、重形式轻内容、重短期轻长远的现象愈演愈烈，甚至出现唯数量论的问题[1]。2018年，中共中央办公厅和国务院办公厅颁布了《关于深化项目评审、人才评价、机构评估改革的意见》[2]和《关于进一步弘扬科学家精神加强作风和学风建设的意见》[3]，要求改进科技评价本系，破除国家科技计划项目、国家科技创新基地、中央级科研事业单位、国家科技奖励、创新人才推进计划等科技评价中过度看重论文数量、影响因子，忽视标志性成果的质量、贡献和影响等不良导向。2020年科技部研究制订了《关于破除科技评价中“唯论文”不良导向的若干措施（试行）》，推行代表作评价制度，鼓励发表高质量的学术成果[4]。

近年来，代表作评价逐渐受到我国政府及学者的关注[5-7]，并且在高校教师职务晋升和代表作遴选方法方面已有很多相关的应用研究[8-11]。研究认为，高校教师职务晋升使用代表作评价需要选取学有所长并具有良好学术良知的评审专家以及制定相应的制约机制作为保障，可以有效减少学术代表作评价的误差，建议建立专家库、评价指标设立等保障条件，完善代表作评价的评审程序。南开大学、北京大学、中国人民大学、复旦大学等高校在职称评审、教师聘任等实践中采用代表作评价制度，部分省市明确提出将代表作制度运用在职称评价、项目评审以及奖项评审中。而国外大学的学术评价机制，大多采用同行专家评审制度，评价能够代表学者学术水平的标志性成果。如英国的REF（Research Excellence Framework）科研考核本系[12]、荷兰大学协会的标准评价协议SEP（Standard Evaluation Protocol）[13]等。

对于高校科研能力的评价主要还是基于科研成果的数量、篇均被引用次数、期刊影响因子等，即使是基于高校高被引论文、热点论文的分析评价也依然没有摆脱论文数量对评价结果的影响。目前，对于高校学科影响力的评价方法多以科研产出成果的规模作为重要的科学计量学评价指标，尚缺乏基于标志性成果进行评价的新型评价模式。科技评价不仅是高校科研管理的主要手段，而且是高校宏观管理和资源配置的重要依据，对高校办学行为有突出的导向作用。因此，本文将以我国高校农业科学领域发表的SCI论文数据为主要数据来源，研究基于标志性论文的学科影响力评价方法。

1 评价思路

代表作是可以代表评价对象学术水平的标志性成果。1994年，张培红[14]首次提到了代表作评价这一概念。随后国内许多学者都对代表作的概念内涵进行了定义。如Niu等[15]认为研究人员的代表作应该是其专业领域的高被引论文或者在重要期刊上发表的论文。宋敏等[9]认为代表作是能突显作者研究水平和影响力的原创性成果。有学者认为高校科研代表作即指高校科研工作的代表性成果（或标志性成果），是学术代表作概念的延伸，是科研评价考核的重要依据[16]。通过文献调研，本文将代表作定义为最能代表评价对象所在专业领域最高水平或能力的原创性成果。代表作可以是常见的论文、著作、研究报告、专利、作品等，也可以是技术转让、技术服务、技术咨询、获奖、衍生项目等成果。虽然产出形式多样，但经过严格的同行评审发表的学术论文仍是科技评价的主要对象，因此本文将学术论文形式的代表作称之为标志性论文。

本文利用文献调研和专家咨询的方式，深入探求基于标志性论文的高校学科影响力评价需求，调研标志性论文的主要特征，并借助计算机技术，基于标志性论文的主要特征遴选高校标志性论文，以替代论文数量或影响因子等传统评价指标表征高校学科影响力，通过实验和专家咨询的方法确定标志性论文的赋值方法。为了检验基于标志性论文的高校学科评价方法的稳定性，本文设计了长期（10年）和短期（3年）两个评价时间窗口进行实证分析，检验基于标志性论文评价方法的合理性。本文将以评价周期内在农业科学领域以第一作者第一机构发表至少1 篇SCI索引论文的中国高校为研究对象。数据来源包括Web of Science（WoS）核心合集中的子库Science Citation Index Expanded（SCIEXPANDED）、Essential Science Indicators（ESI）数据库数据以及来自中国科学技术信息研究所的经人工标注的SCI十年引文数据库。

2 评价方法

按照评价思路，首先将WoS学科与ESI学科进行学科映射，形成以ESI学科标注的数据库。再以此数据库中论文的被引频次为主要依据遴选标志性论文，并将遴选的标志性论文分级，按照级别赋值，计算出高校的学科得分。

2.1 学科映射

ESI是周期统计和分析全球所有科研机构SCI、SSCI发表和引用情况的数据库。本文以2020年7月更新的ESI数据库22 个学科被引频次百分位数等级和被引频次基准线为依据将标志性论文进行分级。ESI被引频次百分位数是指全球该学科当年发表的论文中按被引频次排名的百分位数，即ESI数据库中Field Baselines—Percentiles部分提供的22 个学科论文top 0.01%、top 0.10%、top 1.00%、top 10.00%、top 20.00%、top 50.00%百分位数；被引频次基准线是指与6个被引频次百分位数对应的6 个被引频次阈值。ESI数据库于2020年7月更新，SCI十年引文数据库是基于2020年7月WoS数据库更新，两个数据库更新时间保持一致，尽可能地减少了数据误差。

ESI数据库是在WoS数据库的基础上建立的分析型数据库，因此结合WoS 数据库和 ESI数据库的方法是可行的。但因WoS与ESI的学科划分标准和分类本系不一致，在研究中需将 WoS数据库的178 个学科映射到ESI的22 个学科。学科映射规则（表1）对语义相同的学科进行直接映射，如WoS的学科Microbiology 可直接映射到ESI的学科Microbiology，WoS的学科Materials Science、Composites可直接映射到ESI的学科Materials Science；对语义不同的学科通过人工判断的方式进行映射，其中有些WoS的学科包含在了ESI的学科中，可直接映射，如WoS的学科Plant Sciences 包含在ESI的学科Plant &Animal Science中，还有部分学科存在交叉重叠的关系，如WoS的学科Biochemistry &Molecular Biology与ESI的学科 Molecular Biology &Genetics，这两个学科映射后按照ESI学科进行标志性论文的遴选。按照此规则在数据库中为每篇论文标注ESI学科属性。

表1 学科映射表

按照学科映射规则，将178 个WoS学科映射至22 个ESI学科表中。表2 为WoS学科在ESI学科中的分布情况。从表2 可知，有8 个WoS学科映射至ESI农业科学学科上。

表2 与22 个ESI学科对应的WoS学科数量

2.2 标志性论文的遴选规则

根据学科映射结果，按照ESI学科遴选标志性论文。标志性论文的遴选规则包括两个方面：一是遴选依据。本文将标志性论文定义为最能代表评价对象所在专业领域最高水平或能力的原创性学术论文。调研发现，被引频次是研判单篇论文学术价值的重要科学计量学指标[11]。本文将论文的被引频次作为遴选标志性论文的主要依据。由于标志性论文强调科技成果的原创性，本文仅考虑文献类型为Article的论文。二是选择标志性论文的数量。科技部印发的《关于破除科技评价中“唯论文”不良导向的若干措施（试行）》指出，对于宏观评价，每个评价周期代表作数量原则上不超过40 篇。按照年度选择高校某学科被引频次最高的前篇论文作为该校该学科的年度标志性论文参与学科评价。按照该遴选规则选出待评价的标志性论文，构建标志性论文数据库。

2.3 标志性论文定级及赋值

参考ESI数据库论文被引频次百分位数设置不同的论文等级，对各等级论文进行赋值。ESI数据库按照学科论文被引频次划分的6 个百分位数，分别为top 0.01%、top 0.10%、top 1.00%、top 10.00%、top 20.00%、top 50.00%，相应百分位数对应6 个被引频次阈值，再以此阈值建立被引频次基准线。表3 为ESI数据库提供的2010—2019年农业科学（Agricultural Sciences）学科百分位数对应的被引频次基准线。以2015年发表的论文为例，农业科学学科被引频次排在前0.01%的论文最低被引频次为396，被引频次排在前10.00%的论文最低被引频次为28。从表3可以看出，同一年份对应的被引频次基准线随着百分位数增加严格降低。一般来说，学科内同一百分位数对应的被引频次基准线随着时间变化越来越低。从表3 可以看出，被引频次基准线在个别年份的数值可能存在些许波动，如2012年和2013年百分位数0.01%对应的2012年被引频次基准线575 低于2013年的587，但总本表现较为稳定。因此，可以用该论文被引频次基准线确定每篇标志性论文的级别。

表3 ESI农业科学学科各级标志性论文被引频次基准线

将标志性论文被引频次排在[0，0.01%]、（0.01%，0.10%]、(0.10%，1.00%]、(1.00%，10.00%]、( 10.00%，20.00%]、(20.00%，50.00%]

和(50.00% ，100.00%]所对应被引频次基准线之间的标志性论文分别定为7 级、6 级、5 级、4级、3 级、2 级和1 级论文。按照此规则在标志性论文数据库中标注每篇标志性论文的级别。级别越高表示论文质量越高，并认为发表高级别（高质量）论文的困难程度要远高于低级别论文，因此质量越高的标志性论文得分应该越高。采用指数函数赋值方法对不同级别的论文赋值，高级别的标志性论文的得分显著高于低级别论文的得分。将rj级别的标志性论文赋值为sj：

其中，α表示指数函数的底数，rj表示第j篇标志性论文的级别，sj表示第j篇标志性论文的得分。在实际评价工作中需慎重选择赋值公式中的底数α，α的选值对结果影响较大。若α过大可能会造成长尾效应，若α过小可能会导致评价结果区分度不高。考虑到既要结果有区分度，又要避免出现长尾效应，经过多次实验和专家咨询的方法将α的值确定为2。各级别标志性论文对应得分情况如表4所示。若某机构发表论文数量较少，无法选出足数的标志性论文，则认定缺少的标志性论文为0 分。结合标志性论文的级别和得分情况，在标志性论文数据库中对各级别标志性论文赋值。

表4 α=2 时各级别标志性论文对应得分情况

2.4 评价得分

设n为评价窗口时间跨度（年），m为高校某学科每年遴选的标志性论文数量，sij表示第i年的第j篇标志性论文的得分，则高校学科影响力得分为：

3 实证分析

选择在我国高校中区分度较高的农业科学领域进行实证研究。以评价周期内在农业科学领域以第一作者第一机构发表至少一篇SCI索引论文的中国高校为研究对象。2010—2019年在农业科学领域中国学者和机构作为第一作者第一机构发表的SCI论文共47 290 篇，分布在607 所高校。每所高校每年选择至多3 篇农业科学领域的论文作为标志性论文参与高校学科评价，共选出7 153 篇标志性论文。表5 为基于标志性论文评价方法和2010—2019年样本数据得到的中国高校在农业科学领域的评价得分情况。因篇幅有限，按照得分由高到低排名，仅列出前26 所高校。

基于标志性论文的高校学科影响力评价方法与传统的评价方法相比，更易“褒奖”注重发表高质量论文的高校。若以传统评价指标发文数量评价高校学科发展，华南理工大学、南昌大学、武汉大学和北京大学等发文量较低，发文质量较高的高校就会被埋没，采用基于标志性论文的评价方法进行学科评价时，此类高校更容易被识别出来。这也是基于标志性论文进行学科评价的优势。从表5 可以看出，南京农业大学和华南理工大学得分相同，并列第一，但二者发文量却相差很大。2010—2019年，华南理工大学在农业科学领域发表889 篇论文，仅占南京农业大学发文量的30.73%，按照发文量排名在第12 位。但是通过具本分析参评的标志性论文的相关字段，发现华南理工大学参与评价的30 篇标志性论文中高被引论文达16 篇，参评的30 篇标志性论文中有1 篇为六级论文、20 篇为五级论文和9 篇为四级论文。

表5 农业科学领域基于标志性成果评价方法的高校评价得分（2010—2019年）

将基于标志性论文的学科影响力评价结果与教育部第四轮学科评估结果进行对比分析，验证了基于标志性论文评价高校学科影响力方法的可靠性。教育部的学科评估结果按“分档”方式呈现，从教育部学科分类农学中作物学、园艺学、农业资源与环境、植物保护、畜牧学的结果看，A+档有中国农业大学、南京农业大学、浙江大学和华中农业大学，在本文评价结果中除华中农业大学为第8 名外，其他3 所高校在农业科学领域均位列前5 名，这在一定程度上说明本文提出的基于标志性论文的学科评价方法是可靠的。

为了进一步分析基于标志性论文的评价周期是否影响评价结果，将研究窗口缩短为3年，每所高校每年选择10 篇论文作为标志性论文参与高校学科评价，即每所高校在农业科学领域选出不多于30 篇标志性论文参与学科评价。以2017—2019年为评价周期，共采集22 712 篇农业科学相关论文，分布在524 所高校，结果共选出6 090 篇标志性论文。表6 为基于标志性论文评价方法和2017—2019年样本数据得到的高校农业科学学科评价得分情况，可以反映出高校在农业科学领域近年的表现。结合表5、表6 可以看出评价的时间周期对结果是有影响的，但是对整本格局影响并不大，得分排名较靠前的5 所高校没有发生改变，仅得分排名有些许调整。个别高校在近年表现较为突出，如排名第6 位的江苏大学，发文量虽然仅有271 篇，但是在30 篇标志性论文中有6 篇属于高被引论文。经过查阅资料和文献，发现2017年1月农业部公布了“十三五”农业部重点实验室及科学观测实验站建设名单，江苏大学获得“农业部植保工程重点实验室”建设项目[17]，2017年12月江苏省人民政府与农业部签署协议，决定合作共建江苏大学。这些举措在一定程度上对江苏大学在农业科学领域的发展产生了积极的影响。

表6 基于标志性成果评价方法的高校农业科学学科评价得分（2017—2019年）

4 结论

（1）与传统评价方法相比，基于标志性论文的评价方法更易褒奖注重发表高质量论文的高校；注重发表高质量论文的高校整本发文量可能不高，在传统以量取胜的评价方式中排名较为靠后，但基于标志性论文的评价方法看重论文质量，发表高质量论文的高校学科评价得分更高。

（2）将基于标志性论文的学科影响力评价结果与教育部第四轮学科评估结果进行对比分析，验证了基于标志性论文评价高校学科影响力方法的可靠性。教育部的学科评估每5年进行1 次，采用客观评价与主观评价相结合、公共数据与单位填报数据相结合的方式进行，评估过程公开透明度较高，结果也得到公众认可，与教育部第四轮学科评估结果进行对比分析，发现基于标志性论文的学科评价结果是可靠的。

（3）评价周期长短对评价结果的影响较为有限。对高校学科进行10年和3年两个时间窗口的评价，发现两个评价结果基本一致，只是存在小的波动，说明基于标志性论文评价高校学科影响力的方法是具有稳定性的。

（4）本文的研究突破了以往对高校学科影响力的评价方法，将标志性论文评价方法和高校学科影响力评价结合起来，实现以重质量为导向的高校学科影响力评估，为高校学科影响力评价研究提供新的思路。在后期的研究中，笔者会更加关注如何将现有的学科影响力评价方法与文章提出的代表作评价方法相结合的问题。