跨学科学术评价指标PR8和FNII的构建及实证研究——以河南省高校哲学社会科学评价为例

刘雪立,盛丽娜,董建军,方红玲,付中静,王 燕,周志新

(新乡医学院期刊社/河南省科技期刊研究中心，河南 新乡 453003)

跨学科学术评价指标PR8和FNII的构建及实证研究
——以河南省高校哲学社会科学评价为例

刘雪立,盛丽娜,董建军,方红玲,付中静,王 燕,周志新

(新乡医学院期刊社/河南省科技期刊研究中心，河南 新乡 453003)

对学者及机构科学研究水平的跨学科评价，国内外至今仍未有建立令人信服的指标体系。以学术论文被引频次在学科内的百分位数排序为基础，建立了论文被引频次的百分位数位置指标PR8值；以被引量和下载量为基础，建立了学科标准化影响力指标(Field Normalization Impact Indicator，FNII)，用以实现学者和机构的跨学科评价。以河南省高校哲学社会科学为例，分别使用PR8值和FNII对河南省高校哲学社会科学研究绩效进行评价，并筛选出河南省哲学社会科学50强学者。采用PR8值和FNII对高校不同学科研究绩效进行评价，并筛选出各学科20强学者(本文仅给出管理学学科的评价结果)。

百分位数指标；学科标准化影响力指标；跨学科评价；学者评价；大学评价

《中华人民共和国高等教育法》规定，本科及其以上高等教育在中国社会职能分工中的责任和义务是：培养高级专门人才和开展科学研究工作。据此，自2000年始《中国大学评价》课题组对中国大学评价设了人才培养、科学研究两项一级指标[1]。其中，对各高校科学研究水平评价的具体方法受到诸多质疑。大多数学者认识到对论文数量和论文被引频次简单相加不可取，针对不同高校不同学科研究绩效评价的问题至今仍没有令人信服的办法。目前研究比较成熟的是同一学科内的研究绩效评价，如美国汤森路透的基本科学指标(Essential Science Indicators，ESI)数据库，把科学研究分为22个学科进行研究绩效评价，以某机构某学科论文被引频次全球排名前1%作为学科入选ESI的条件[2]。InCite数据库中提供了更多学科分类体系，如WoS 的250多个学科、ESI 中22个学科、OECD 中48个学科、澳大利亚ERA(Excellence in Research for Australia)和英国RAE(Research Assessment Exercise)、中国国务院学位委员会和教育部2011 年制定的《学位授予和人才培养学科目录》中的12个学科门类，77 个一级学科[3-4]，目的都是基于不同学科的差异把科研绩效评价局限在某一学科内。目前关于跨学科研究绩效评价的焦点和热点集中在对学科标准化方法的探索上[5-7]，2015年版《期刊引证报告》(Journal Citation Reports，JCR)新增加的两个指标之一：影响因子百分位(Journal Impact Factor Percentile，JIFP)[8]，也是为了实现SCI来源期刊的跨学科评价。本研究从文献计量学角度，针对不同学科间论文量和被引频次的差异，设置了PR8(8个百分位数区段排序)和学科标准化影响力指标(Field Normalization Impact Indicator，FNII)两个评价指标，目的是对不同学科的学者和不同属性的大学或研究机构科学研究能力进行评价，并以河南省高校哲学社会科学研究为例，详细介绍大学、学科和学者研究绩效评价方法。

1 指标设计

1.1 PR8的设置

PR8属于百分位数位置指标，是基于论文被引频次降序排列所处的百分位数位置赋值的。2012年，LEYDESDORFF[9]在PR100的基础上，建立了一个百分位数等级分数指标，称为综合影响力指标(Integrated Impact Indicators，I3)，期待能够替代影响因子进行期刊评价。但他的研究没有对位置指标和影响因子的期刊评价效果进行比较，实际上，他定义综合影响力指标主要想实现学术期刊的跨学科评价[10]。2011年，BORNMANN和MUTZ[11]把百分位数排序位置(Percentage Rank Position，PRP)指标细分为6个等级，称作PR6。美国国家自然科学基金会将这6个等级分别赋予不同的权重(分别赋予6分、5分、4分、3分、2分和1分)[12]，用以评价不同学科领域论文的重要性和影响力。2014年，VINKLER[13]对PRP进行了一系列详细的计算，说明PRP指标在不同学科领域期刊和论文评价中的作用。最新研究认为，使用百分位数来标准化被引频次可以比算术平均数更好地用于对不同学科领域论文学术影响力的比较[14]。本研究即根据PR6的设置方法做一改进，即将某学科论文被引频次降序排列，对被引频次最高的前0.01%(Top0.01%)篇论文赋予8分，对被引频次最高的前大于0.01%～0.1%(Top0.1%)篇论文赋予7分，对被引频次较高的前大于0.1%～1%(Top1%)篇论文赋予6分，对被引频次较高的前大于1%～5%(Top5%)篇论文赋予5分，对被引频次较高的前大于5%～10%(Top10%)篇论文赋予4分，对被引频次较高的前大于10%～25%(Top25%)篇论文赋予3分，对被引频次较高的前大于25%～50%(Top50%)篇论文赋予2分，对被引频次较低的后50%篇论文赋予1分。计算时，相同被引频次的论文如果被赋予了不同的分值，那么这些相同被引频次论文的PR8值均取所赋予分值的均值，数值计算时均遵照四舍五入的方法。这样各高校发表的所有论文，均在各自学科内有一个自己的PR8分值。将不同高校发表所有论文的PR8分值之和相比，即可看出不同高校间科学生产率的差异；同理，将不同高校相同学科论文的PR8总分值作对比，即可看出不同高校某学科研究绩效水平；将不同学者间论文的PR8总分值作对比，即可得出不同学者科学研究能力的差异。

1.2 FNII的设置

被引量和下载量是反映学术论文影响力的两个基础指标。有研究显示[15]，论文被引量和下载量并不完全一致。另外，由于不同学科规模及学科性质差异很大，导致不同学科论文被引量和下载量也存在较大差异，因此，直接比较不同学科论文的被引量和下载量是极不科学的。本研究即按照学科不同对论文进行分类，然后对每篇论文的被引量和下载量做标准化处理。具体方法为：按学科将每篇论文的被引量由高到低排序，将学科被引量最高者赋值为1，第i篇论文赋值(Ci)，Ci被定义为：

同样方法对论文下载量做标准化处理，第i篇论文下载量分值记为Di，则：

根据实际评价时的重要程度，设计论文被引量和下载量的权重比为8:2，那么第i篇论文的FNII的计算公式即为：

FNIIi=Ci×0.8+Di×0.2

按上述方法计算出所有论文的FNII，将不同高校发表所有论文的FNII分值之和相比，即可看出不同高校间科学研究的能力差异；同理，将不同高校相同学科论文的FNII总分值作对比，即可看出不同高校各学科科学研究水平的差异；将不同学者间论文的FNII总分值作对比，即可得出不同学者科学研究能力的差异。

2 实证研究

本研究以河南高校哲学社会科学为例，以CSSCI论文为基础，以CSSCI对论文的学科分类为依据，使用CNKI数据库的被引量和下载量，对河南高校的哲学社会科学研究水平进行评价。本研究选取的论文发表时间窗口为2005—2014年，时间跨度为10年；所有资料检索日期为2015年6月至8月，数据核对日期为2015年10月。

2.1 研究对象

在中华人民共和国教育部发展规划司网站(http://www.moe.gov.cn/)下载全国普通高等学校名单，选择河南省公办本科高校为研究对象。

2.2 方法

(1)数据资料的获取。进入中文社会科学引文索引数据库(http://cssci.nju.edu.cn)，选择“高级检索”中的“来源文献检索”，“作者机构”内勾选“第一机构”，并逐一输入河南各高校名称，发文年代选择2005—2014年，即得10年各高校发表的CSSCI论文，将结果下载后，保留“来源篇名”“来源作者”“第一机构”“学科分类”等内容，整理至Excel内为Excel 1。本研究以CSSCI数据库中的学科分类为依据。

(2)被引量和下载量的获取。进入中国知网(www.cnki.net)，点击“期刊”内的“高级检索”，在“单位”栏内输入各高校名称，“来源类别”内选择“CSSCI”，年代选择为2005—2014年，将得到的检索结果(包括“篇名”“作者”“刊名”“年/期”“被引”“下载”)复制至Excel内为Excel 2，即得到各大高校10年发表的各篇CSSCI论文的被引量和下载量。

(3)数据整合与分析。整合Excel 1和Excel 2，保留检索各篇论文的篇名、第一作者、刊名、发表年代、学科分类、第一机构、被引量、下载量等，并做分类处理。

3 实证研究结果

3.1 一般结果

本研究共纳入河南省34所公办本科高校，2005—2014年共发表CSSCI论文17543篇，截止至检索日期共被引用115101次，篇均被引6.6次；总下载量为5801872次，篇均下载量为330.8次。34所高校的17543篇论文来自6281位学者，涉及26个论文学科，包括法学，管理学，环境科学，教育学，经济学，军事学，考古学，历史学，马克思主义，民族学，人文、经济地理，社会科学总论，社会学，体育学，统计学，图书馆、情报与文献学，外国文学，文化学，心理学，新闻学与传播学，艺术学，语言学，哲学，政治学，中国文学，宗教学。

3.2 河南省34所高校社会科学研究绩效

河南省34所高校社会科学研究论文产出量及学术影响力比较见表1。由表1可以看出，河南省34所高校社会科学研究绩效差异明显，河南大学、郑州大学和河南师范大学为河南省社会科学研究论文的主要产出机构，3所大学10年发表CSSCI论文数占河南省所有高校发展论文总数的53.90%(9455/17543)，被引量占59.02%(67929/115101)，说明3所高校无论是论文数量还是质量都遥遥领先于省内其他高校，社会科学研究实力雄厚；3所高校的层次也很明显，河南大学为领头羊。3所高校之后呈现“断崖式”下降，处于第4名的郑州航空工业管理学院论文量10年仅660篇。10年发表论文数500～1000篇者共6所高校，分别为郑州航空工业管理学院、河南财经政法大学、信阳师范学院、洛阳师范学院、南阳师范学院和河南理工大学；10年发表论文数不足100篇者9所高校，分别为平顶山学院、河南工程学院、河南城建学院、安阳工学院、华北水利水电大学、河南中医学院、河南牧业经济学院、河南警察学院、信阳农林学院。这可能与不同高校专业设置差异密切相关。

由表1也可以看出，使用PR8和FNII分别对机构排序的结果一致性较好，使用SPSS 20.0统计学软件的Spearman等级秩相关分析后发现，二者相关系数为0.989(P=0.000)。

表1 河南省高校哲学社会科学研究论文产出量及学术影响力比较

3.3 河南省34所高校哲学社会科学研究学者评价

34所高校的17543篇论文来自6281位学者，对6281位学者按PR8分值排序和FNII排序的五十强分别见表2和表3。由表2和表3可知，共有28位学者均在五十强内，其中来自河南大学者11位，来自郑州大学者8位，来自河南师范大学者4位，来自郑州航空工业管理学院者2位，来自新乡医学院(刘雪立)、洛阳理工学院(沈光亮)、信阳师范学院(张新光)各1位。本结果表明了河南大学和郑州大学在河南省哲学社会科学人才储备方面的优势地位。另外，诸如新乡医学院、洛阳理工学院等高校，虽然整体哲学社会科学院研究实力不强，但不乏其内有部分学者在其学科领域内有较大影响力。28位学者共涉及18个学科(同一作者可涉及多个学科)，其中涉及最多的学科为历史学和图书馆、情报与文献学(各有7位学者)，其次为6位学者涉及的经济学和各有4位学者涉及的法学、政治学。可见，河南省优秀学者所在的研究领域相对集中。

需要指出的是，本研究选取的研究时间是2005—2014年，时间跨度较大，在这个时期内调入河南的和从河南调离的，以及在外省攻读研究生分配到河南高校工作的，可能数据不全，导致部分学者的贡献值可能被低估。另外，由于本研究仅计算了第一作者，作为通讯作者的硕士生导师或博士生导师的实际贡献会被低估。

表2 河南省高校哲学社会科学PR8分值排序的50强学者

表3 河南省高校哲学社会科学按FNII分值排序的50强学者

3.4 分学科评价

使用PR8和FNII还可以进一步对不同学科领域的学者和高校影响力进行比较,现以管理学为例进行分析。

河南省34所高校管理学领域论文产出量及学术影响力见表4，以PR8和FNII分别排序的20强学者见表5和表6。

表4 河南省高校管理学领域论文产出量及学术影响力比较

注：信阳农林学院统计期内未有管理学CSSCI论文产出。

表5 河南省高校管理学领域PR8分值排序20强学者

表6 河南省高校管理学领域FNII分值排序20强学者

续表6

3.5 各学科的强势高校

使用PR8或FNII还可以实现对不同学科领域各高校的评价，以了解不同学科各高校的研究绩效。现以PR8为例对不同学科领域各高校影响力进行排序，得出河南省哲学社会科学各学科领域五强高校(见表7)。由表7可知，在26个学科中，河南大学有18个学科排名第1，郑州大学有6个，河南科技大学(军事学)和郑州航空工业管理学院(统计学)各1个。在26个学科中，河南大学和郑州大学均有25个学科跻身前5位。这些资料再次印证，河南省哲学社会科学领域由河南大学和郑州大学一统天下，另一方面也说明，河南省社会科学研究资源过度集中于河南大学和郑州大学。

表7 26个学科领域河南省五强高校

4 讨论

4.1 关于指标的设计依据

中国管理科学研究院以武书连为组长的《中国大学评价》课题组，自1997年开始在核心期刊按年度发表《中国大学评价》并向社会公布大学排行榜以来，其评价指标一直在改进，但其中有关科学研究的评分方式受到诸多质疑。《中国大学评价》提出的科学研究中有关论文的引用分仅是数据的简单相加，没有考虑学科间的引用差异问题。泰晤士高等教育增刊与汤森路透数据库联合推出的《2011 Times Higher Education World University Rankings》中，在利用“论文及论文被引”反映科学研究质量时，将论文、论文被引按照学科进行归一化处理，以反映不同学科领域之间论文及引用量的变化，避免“传统上在某一学科领域从事高水平科研活动拥有高论文量及高被引论文的大学获得不公平的优势”[16]。为了进一步提高国内大学排行榜的科学性和公信力，建议进行“分类型、分层次、分学科的大学评价”以及“倡导评价指标体系和原始数据更多公开。包括：评价指标公开，评价指标的含义确定，采集数据的渠道明确，数据计算方法明确，原始数据尽可能多地公开，上述相关信息很容易在其网站上查到等[17]。”本文从文献计量学角度正视不同学科间规模及引文习惯的差异，设计了两个跨学科评价指标——PR8和FNII。

4.2 FNII的优势和局限性

被引量是评价论文学术影响力的重要指标，但不同学科规模、活跃度、引用习惯等存在较大差异，因此不同学科之间论文被引量差异明显，故单纯以绝对量来衡量不同学科间论文学术影响力极不科学。本研究选择了“相对学科最高值”的方式，即将论文被引量与学科最高论文被引量的比值作为标准化后的论文的被引指标。该值应该是≤1的数值，其值越大，说明论文被引频次距离学科最高论文被引频次的距离越近，论文在学科内的影响力也就越大；当其值为1时，说明该篇论文的被引频次即为该学科被引频次的最高值，也即是说，该论文在其学科内影响力最大。

除被引量外，下载量也是衡量论文影响力大小的常用指标。一般论文在数据库内即可免费查看其摘要，读者通过阅读摘要后，认为论文有价值时才会下载全文。论文下载量一般是在论文刊发后2年即达到高峰[18]。因此，论文下载量比被引量能更及时地反映论文被关注的程度。自2008年始的中文核心期刊评选指标内，也增加了下载量这一指标[19]。但是，下载量和被引量一样，在学科间都不具有可比性，因此，本文也计算了论文下载量的相对学科最高值。与被引量一样，该值也是≤1的数值，其值越大，说明论文的下载量距离学科最高论文下载量的距离越近，论文在学科内的影响力也就越大。

FNII的构成中，被引量和下载量的权重设计为8:2，这也是我们总结长期在文献计量学方面的研究后得出的结果。下载量虽然时效性较强，但有些下载可能只是占有性下载，下载者并没有直接利用[20]，而被引量则说明论文确实被读者利用，并产生了实际影响力。另外，中文核心期刊评价体系中被引量和下载量的权重分配也是我们参考的一个方面。

FNII既对论文被引量和下载量进行了学科领域的标准化，又考虑到了反映论文被使用情况的被引量和论文受关注度的下载量，因此能够较为客观地评价不同学科间论文的学术影响力。FNII用于学科评价时，将各自学科内发表论文的FNII值相加，FNII值大的学科其科研水平就强。相反，FNII值小的学科其科研水平相对较弱；将FNII用于高校评价时，将某高校发表所有论文的FNII值相加，FNII值大的高校其科研水平就强。相反，FNII值小的高校其科研水平相对较弱；同样方法适用于不同学科学者的评价。

任何一种指标都不是完美的，FNII也有其自身的不足，例如：如果某一学科内某篇论文的被引量或下载量异乎寻常地高，会造成其他论文的实际影响力被低估；不同学科论文被引量或下载量离散度差异较大时，也会影响学科间论文实际影响力的比较。另外，由于种种原因没有产生被引或下载的论文，其计算FNII时该项为0，那么该文的实际价值就被忽略，故在学者或机构评价时其实际影响力可能被低估。还需要指出的是，FNII计算时同时需要被引量和下载量的数据，这要求数据库功能较为强大。目前国内仅有CNIK提供了每篇论文的下载量，这在部分程度上限制了FNII的应用范围。

4.3 PR8的优势和局限性

将同一学科内的所有论文按被引频次降序排列，根据论文被引频次的百分位数位置赋值，得到的PR8一定程度上弥补了FNII的不足。该指标属于位置指标，不受学科离散度的影响，更符合统计学原理。另外，在PR8赋值时，对于被引频次是0的论文也给予1分的分值，赋值的原因为：①被引频次是0未必就代表其学术水平差，也可能是由于论文偏向实用性，虽然被很多学者认可并应用于实践，但学术论文写作时可能不会被引用；②有些论文有“沉睡期”，可能其先进性并未被现在的读者所认可，若干年后才会迎来被引的爆发期，这种现象被Van Raan命名为“科学中的睡美人”[21]；③CSSCI选刊严格，而能入选CSSCI期刊都有严谨的审稿制度，作者的论文可以被CSSCI期刊录用，其本身就说明论文达到了某一学术水平，故这部分论文在研究绩效评价中不应该被忽视。

将不同学科内论文的PR8值相加，即可进行学科间学术影响力的比较；将不同高校发表论文的PR8值相加，即可进行高校学术影响力的比较；同样方法适用于不同学科学者研究绩效评价。

当然，PR8指标也有其局限性。由于其按照论文被引量的百分位数位置赋值，百分位数等级的设置会对论文PR8指标产生一定影响。另外，同一百分位数区间内(如90%～75%)论文的被引频次可能存在较大差异，但赋值相同，因此该指标不十分精细，个别高被引论文可能会被低估，同样，个别低被引的论文也可能会被高估。

通过以上分析，认为在大学和学者评价中，FNII和PR8评价结果高度相关但又不完全吻合，发文量少而被引量和下载量高者，其FNII表现突出；发文量大而被引量和下载量偏低，其PR8优势明显。因此，联合应用FNII和PR8进行大学、学科和学者研究绩效评价是科学可行的。

[1]武书连,吕嘉,郭石林.2010中国大学评价[J].科学学与科学技术管理,2010(4):5-13.

[2]刘雪立，周晶，盖双双.C9 高校学科建设的绩效评价与预测——基于ESI 和InCites 数据库[J].中国科技论坛，2016(5)：130-135.

[3]刘雪立，张诗乐，盖双双.基于论文产出的科研绩效评价——ESI 和InCites 应用研究综述[J].现代情报，2016,36(3)：172-177.

[4]张灵阁，韩明杰，赵勇，等.英澳新三国高等学校科研评价体系的比较及启示[J].中国科技论坛，2017(1)：179-185.

[5]VINKLER P.Comparative rank assessment of journal articles[J].Journal of informetrics,2013,7(3)：712-717.

[6]陈仕吉，史丽文，李冬梅，等.论文被引频次标准化述评[J].现代图书情报技术，2012(4)：54-60.

[7]张学梅，李华.跨学科领域期刊评价指标PRP指数及其改进研究[J].情报理论与实践，2016,39(2)：50-53.

[8]俞立平．影响因子百分位指标的特点研究[J]．图书情报工作，2016,60(10)：103-107.

[9]LEYDESDORFF L.Alternatives to the journal impact factor:I3 and the top-10%(or top-25%)of the most-highly cited papers[J].Scientometrics,2012,92(2):355-365.

[10]LEYDESDORFF L,BORNMANN L.Integrated impact indicatorscompared with impact factors：an alternative research design with policy implications[J].J Am Soc Inf Sci Technol,2011，62(11):2133-2146.

[11]BORNMANN L，MUTZ R.Further steps towards an ideal method of measuring citation performance：the avoidance of citation averages in field-normalization[J].J Informtr，2011，5(1):228-230.

[12]National Science Board.Science and engineering indicators:2010[EB/OL].[2012-06-01].http://www.nsf.gov/statistics/seind10/pdf/seind10.pdf.

[13]VINKLER P.The use of thepercentage rank position index tor comparative evaluation of journals[J].J Intormetr,2014，8(2):340-348．

[14]刘雪立,周晶,盖双双,盛丽娜,付中静,董建军,方红玲.基于被引频次分布特征的影响因子缺陷矫正——位置指标应用于期刊评价的实证研究[J].图书情报工作,2016,60(9):1-8.

[15]LIU X L，FANG H L，WANG M Y.Correlation between download and citation and download-citation deviation phenomenon for some papers in Chinese medical journals[J].Serials review,2011,37(3)：157-161．

[16]Change for the better the 2011-12 rankings even more accurate and comprehensive[EB/OL].http://www.timeshighereducation.co.uk/world-university-rankings/2011—2012/analysis-rankings-methodology.html.

[17]汤建民.大学排行榜的改进之策[J].高教发展与评估,2016,32(4):1-5.

[18]方红玲.我国科技期刊论文被引量和下载量峰值年代——多学科比较研究[J].中国科技期刊研究,2011,22(5)708-710.

[19]刘雪立.中文核心期刊评价指标体系:演进·问题·建议[J].编辑学报,2014(01):92-95.

[20]刘雪立，方红玲，苗媛，等.五种综合性眼科学期刊论文下载量与被引量的关系及部分论文的量引背离现象[J].中国科技期刊研究,2010,21(5)629-632.

[21]VAN RAAN J.Sleeping beauties in science[J].Scientometrics,2004,59(3):467-472.

TheBuildingandEmpiricalResearchonPR8andFNII： ——AnExampleofPhilosophyandSocialScienceofHenanProvinceinChina

Liu Xueli，Sheng Lina，Dong Jianjun，Fang Hongling，Fu Zhongjing，Wang Yan，Zhou Zhixin

(Periodicals Publishing House of Xinxiang Medical University，Xinxiang 453003，China)

There has not yet established a convincing indicator system at home and abroad for interdisciplinary evaluation of scholarly and institutional scientific research.Based on the percentile ranking of citations of academic papers in the discipline，the PR8 indicator was established.Based on the citations and downloads of the papers，the field normalization impact indicator(FNII)was established，aiming to achieve interdisciplinary evaluation of scholars and institutions.Taking the philosophy and social science of Henan province as an example，we used the PR8 and FNII to appraise the performance of philosophy and social science research of Henan universities respectively，and screen out the top 50 scholars of philosophy and social sciences in Henan province.The PR8 and FNII were used to evaluate the performance of different disciplines，and the top 20 scholars were selected(Only the evaluation results of management discipline are given in this paper).

Percentile indicator；Field normalization impact indicator；Interdisciplinary evaluation；Scholar evaluation；University evaluation

国家社会科学基金项目“影响因子缺陷的多维度矫正与学术期刊跨学科评价研究”(15BTQ061)，河南省高等学校哲学社会科学基础研究重大项目“河南省高校哲学社会科学研究绩效评价和发展对策”(2015-JCZD-013)。

2017-02-16

刘雪立(1965-)，男，河南许昌人，教授/编审，硕士生导师，新乡医学院期刊社社长，河南省科技期刊研究中心主任；研究方向：科学计量学与科学评价，文献计量学与期刊评价。

G301

A

(责任编辑 沈蓉)