高校科研评价系统的比较及应用研究

李 蓓，周柯为，李燕峰，吴令珂

（1.中南大学 生命科学院，湖南 长沙410013；2.中南大学 统战部，湖南 长沙410083；3.华南理工大学 经济与贸易学院，广东 广州510006）

当前，如何在高校坐标系中找准自己的定位，挖掘自身科研优势、在激烈的竞争中脱颖而出、有针对性地提出科学的发展规划是每所学校面临的重要课题［1-2］。越来越多的高校开始引进科研绩效分析工具，较为典型的有InCite、SciVal套件等，国内也相继出现了如“中国高校基本指标数据库与诊断系统”（以下简称“诊断系统”）及“中国高校科研成果统计分析数据库”（以下简称“成果分析数据库”）等科研评价工具，用以支持高校科研管理与决策。本文从科学成果评价的角度分别从数据来源、学科分类、时间范围、重要计量指标等方面对三种科研评价系统进行比较，分析这三个数据库的特色及其优势，并以中南大学为实例，将科研产出、影响力、相同指标数据进行对比，为高校科研管理工作及设计综合性评价体系提供参考。

一、评价系统介绍

（一）SciVal

SciVal是爱思唯尔于2014年推出的新型学术绩效评价工具，是原有产品SciVal Spotlight和SciVal Strata整合升级后的新产品。它集成了Spotlight和Strata的强大分析能力，同时还增加了更多的评价指标，提高了计算的复杂度［3］。现包括5大板块：Overview（成果概述）、Benchmarking（对标分析）、Collaboration（合作伙伴的拓展）、Trends（研究趋势的预测）、My SciVal（我的SciVal）。该平台包含全球220余个国家超过4 600家大学及科研机构的数据，全面支持科研绩效分析、院校之间的横向比较、以及拓展国际合作［4］。SciVal以帮助高校决策者制定、评价和执行交叉学科科研策略为目的，基于Elsevier旗下的Scopus文摘与引文数据库，采用近5年的数据，从跨学科的角度揭示科研绩效的产出，通过共引聚类原理和可视化技术，把这些评价指标展现在使用者面前。目前，Scopus和Scival已经为泰晤士国际大学排名、QS国际大学排名、US News大学排名以及上海交通大学Ranking等全球知名的国际大学排名机构提供统计数据库源和评价指标。

（二）中国高校基本指标数据库与诊断系统

中国高校基本指标数据库与诊断系统是山西瀛珈数据科技有限公司研发的产品，专注于高等教育数据的收集、组织、挖掘与分析，为高校健康持续发展提供数据支撑、系统工具和决策参考。诊断系统包括高校诊断、学科诊断、人才遴选、双一流学科潜力分析四个模块。指标呈现为一、二、三级，共有10个一级指标、36个二级指标、160余个三级指标，分别从基础资源、学科建设、人才引进、人才培养、科研成果、经费投入、社会服务、排行排名等方面出发进行评价，评价维度广泛，与评价单一的学术影响力不同，该数据库适用于综合评价。

（三）中国高校科研成果统计分析数据库

中国高校科研成果统计分析数据库是CNKI在中国知网总库基础上研发的为高校科研管理人员提供评定高校科研成果的定量分析工具。它由五大部分组成，包括概览、全国高校、全国作者、本校分析与对比分析，其中概览是从地区、学科、年度、高被引论文、热点文献、热词进行分析的。该数据库能够从地区、高校、作者、学科等维度对高校方面进行统计与分析，提供基于发文量、被引频次、下载量等多项统计指标及综合指标，并能实现任意高校间对比分析等功能，满足高校科研管理、建设一流大学和一流学科的需求。

二、功能比较

从不同评价系统的介绍可以看出，这三类数据库的总体目标是一致的，即为高校及学术研究机构的科研管理和决策提供服务，但在功能设置上区别较大。这三种数据库的具体功能比较见表1。

表1 三种科研评价工具的功能比较

（续上表）

（一）数据来源

数据来源及其分布决定科学评价的准确性、可靠性及全面性，不同的数据来源会导致统计数据存在差异［5］。SciVal使用Elsevier旗下的文献研究工具Scopus作为数据来源。Scopus是全球最大的文摘与引文数据库，包含45.5万条记录（其中70%有摘要），并收录全球5 000家出版商的近19 500个条目，数据来源庞大。与SciVal相比，国内开发的科研评价数据库诊断系统主要以各类政府网站、科研数据库作为数据来源，如教育部、财政部网站、中国学位与研究生教育信息网、ESI数据库、Web of Science数据库等，数据来源广泛，评价维度也更为全面，但也可能存在数据收集不及时的问题。成果分析数据库与诊断系统较为类似，它使用CNKI的中国知网总库作为数据来源，统计了972所普通本科院校的国内学术期刊论文、WOS期刊论文、博士硕士学位论文、国内会议论文、CPCI-S论文、CPCI-SSH论文、国内外专利、基金项目、奖励等成果。从它们的数据来源可以看出，三类数据库解决的问题是有差异的，SciVal是基于论文发表为基础的分析系统，主要统计分析收录在Scopus数据库中的外文文献、专利等；成果分析数据库的核心在于统计中文文献的发表情况及其在各类核心期刊中的分布；诊断系统特点在于对各校各专业人才、项目、精品课程、论文论著产出的统计，为高校多方面的表现提供意见。

（二）学科分类

细致具体的学科类别更加接近真实学科结构，使得对学科科研绩效的评价更为准确，并可进一步深入挖掘学科优势。SciVal的学科分类有三种：Scopus的学科领域分类法All Science Journal Classification（ASJC），包含27个学科领域以及334个细分学科；Quacquarelli Symonds（QS）分类，它涵盖6个学科领域和63个科目；Times Higher Education Classification（THE）分类，它涵盖ASJC的11个主题领域。值得一提的是，SciVal对论文的学科归属，是通过文后引文的学科分布对文献进行分数化处理（fractional），然后给予不同权重，再分配到多个学科领域进行的，这样可以更加准确地分析这篇论文以及它对多学科领域做出的贡献。但工具本身不提供与教育部学科分类体系的映射，需要手动进行匹配。科研成果数据库采用教育部专业分类法，设13个学科大类，103个一级学科，359个二级学科进行评价，实现了高校及其学者成果的分学科统计，支持高校对学科发展水平分类评价和同类比较研究，也支持高校对人才评价、人才引进和寻找学科专家的需求。诊断系统在进行科研成果分析时，以ESI数据库与Web of Science数据库为来源的三级指标既可以使用ESI学科分类法，也可以使用教育部专业分类法进行检索。

（三）指标体系设计的区别

三种评价系统的评价指标设计层次不同，而期刊论文的数量与质量是科研评估的重点，因此选取其中的论文评价指标进行比较。从论文发表的角度来看，三种数据库的指标体系也有差异（见图1）。SciVal评价系统中包括科研产出数、归一化影响因子、总被引次数、篇均被引次数、被引量前10%论文数、Citescore10%期刊论文数、浏览数、浏览数前10%期刊论文数、篇均浏览量、浏览的归一化影响因子等。其中归一化影响因子（FWCI）是SciVal特有的指标，是文献实际被引量与（学科）领域内的平均被引量的比值，可用以衡量科研质量。通过对学科和发表时间的归一化，可以在不同学科构成背景下观察科研影响力的按年趋势。FWCI一般以1.00为分界线，大于1.00表示科研产出影响力高于世界平均水平，小于1.00则低于世界平均水平。

成果分析数据库关于论文发表情况的统计分为两类：国内期刊论文与发表在Web of Science（WOS期刊）上的论文。其中国内期刊论文又分为学术期刊、核心期刊与全部期刊，采用发文量、被引频次、篇均被引、高被引论文、热点论文、各大核心期刊收录论文等指标。论文所在的期刊分区是论文质量的一大证明，一般来说，论文的期刊分区越高，论文的水准也越好。该数据库统计了WOS期刊中不同JCR分区的论文数。这使得科研评价工作者对发表的论文层次高低有把握，而不是一概而论。从图1可以看出，成果分析数据库关于论文的评价指标多且细。从指标设置来看，诊断系统注重于评价高校的综合能力，适用于高校科研管理人员。相对前两个科研评价工具而言，诊断系统关于论文发表情况的指标较少，更多地集中在评价学校基础资源、师资力量及其他科研成果方面的表现。论文评价指标共设置了7个，分别是SCI收录论文、SSCI收录论文、CSSCI收录论文、CSSCI重要论文、Science，Nature和CELL论文、ESI高被引及热点论文，可以看出，诊断系统主要是对高层次论文进行统计。

图1 三大科研评价工具论文评价指标体系

诊断系统与成果分析数据库有较多的指标类似，如SCI收录论文、ESI高被引论文、国家自然科学基金数、专利授权数等（见图2）。由于数据来源的差异，SciVal的指标设置与其他两个科研评价工具大相径庭。

图2 诊断系统与成果分析数据库相同指标

三、实证对比研究

为了更直观地展现这三种评价工具的特性和共性，本研究收集了中南大学在各评价工具中的表现，从科学论文产出、影响力和相同指标数据差异进行比较，分析这三种科研评价工具的适用性。

通过SciVal中Overview模块，以2013-2018年为时间单位，可得到科研产出（Scholarly Output）、总被引（Citation Count）、篇均被引（Citation per Publication）、归一化影响因子（Field-Weighted Citation Impact）、h5指数、前10%高被引文献占比、前10%期刊文献占比、国际合作文献比例等。SciVal可以从文章标题、摘要以及关键词中提取具有特质性的关键词，并通过领域内的专业词表进行抽取，进行学科研究通过对中南大学2013-2017年发表的文献进行统计分析，得出可视化结果（见图3），可以发现，中南大学在锂化合物、电池、锂合金、二次电池等主题成果丰硕，也印证了中南大学材料工程、冶金等学科的优势。

图3 中南大学2013-2017年研究主题可视化分析

还可以通过Benchmarking模块，与其他类型的院校进行评价与比较，有助于揭示学校的科研影响力，找到自己的优势，明确差距和不足。在Trends模块中，研究者可以准确掌握学科领域研究热点，无论是对于学者的学术研究，科研管理者有效开展科研管理工作，还是决策者实行学科规划，都是极其重要的。由于数据来源的差异，两个国内科研评价工具指标设置与SciVal迥异，且指标种类丰富，涉及广泛，因此单独整理了每个评价工具提供的所有指标，并选用了两个中文评价工具共同拥有的指标进行对比分析。从表2可知，两个数据库相同指标的数据有一定差异。诊断系统中SCI、SSCI收录论文数均比成果分析数据库少，而发明专利授权数比成果分析数据库高出3倍多，其他指标如高被引论文、热门论文数则相差无几。研究认为可能存在以下几个问题：数据收集具有滞后性、论文发表署名单位使用其他写法等。可见两个数据库评价的侧重点有所不同，成果分析数据库指标设置侧重学术论文评价，对学术论文进行了细致全面的分类，而诊断系统侧重于对高校概况性、发展性的评估。

表2 两个国内科研评价工具相同指标数据对比（2018年）

四、总结与讨论

通过以上功能对比和实证研究可以看出，国内研发的诊断系统与成果分析数据库与同国际接轨的SciVal工具存在一定差异，但都有各自的特色，具体如下：

（一）数据来源

三种评价系统的数据来源不同。成果分析数据库的中文文献发表数据主要来源于CNKI，英文文献发表数据主要来自Web of Science，诊断系统的数据来源与成果分析数据库有重合的地方，数据来源较为广泛，多为各类政府机构网站、科研数据库，但论文发表数据与成果分析数据库论文数量差异较大。专利数量差异也比较大，SciVal主要提供的是外文文献发表数据，来源于Scopus，论文数据量是多于另外两个评价系统的。SciVal囊括了从论文产出、引用影响力到合作评估、卓越性度量等多达30多种评价指标，多数都是Snowball雪球指标，即为多所国际高校认证的标准化指标。指标的设定层次丰富，如高被引文献数量，就包括了前1%、前5%、前10%和前25%，另外加上8 500多所科研机构和220个国家的预置数据。

（二）特色功能

每个评价工具都有其特性，与两个中文数据库相比，SciVal最大的特色是使用了归一化影响因子。归一化影响因子可以消除学科和发表年份之间的差异，是对影响因子（IF）的一大改进，所以很多学校现在选用SciVal作为学科评估的工具。值得一提的是，SciVal提供了基于社交媒体的数据，如大众媒体的浏览量、提及量等，成果分析数据库也提供了论文的下载量等指标。这些社交媒体指标可以作为学术影响力的补充对科研单位的社会影响力进行评价，使得评价更加全面。此外，SciVal提供了主题词分析，具有竞争优势发掘功能，可以分析出研究机构哪些研究领域具备竞争优势或潜在竞争力，掌握研究机构的研究趋势，并通过文章的作者关系掌握合作研究的情况，发掘有潜力的合作伙伴等。诊断数据库的一大特点是将国内高校进行分类整合，可以较方便地选择与本校级别相同或优于本校的高校进行比较，观察两校具体学科的优劣势。系统不仅给出了高校某一指标的具体表现、在全国高校占比、排名信息，还可以将某一类型的高校（可自主设置）的均值进行比较。用户还可以根据自身需求设置诊断指标体系或使用系统内部自带的评价体系（如邱均平评价体系）进行自身及对标竞争高校的实时观察。成果分析数据库的特点是论文评价指标丰富，国内期刊论文成果统计了国内主流核心期刊发文量，并提供他引频次、学科H指数、学科影响因子等指标，对WOS数据也做了较为详细的分级，提供的指标有SCI论文数量、SSCI论文数量、A&HCI论文数量、ESCI论文数量、Q1区论文数量、Q2区论文数量、Q3区论文数量、Q4区论文数量、高被引论文数量、热点论文数量。为科研管理人员根据不同的评价目的选择不同的评价指标提供了便利。

（三）用户体验

通过试用三种数据库，从用户体验来说，明显感觉两种中文数据库提供的界面主要是通过表格方式来显示学校数据，也可以提供折线图和柱状图。而SciVal可以通过图表、数据、仪表盘等和20多种指标结合，快速可视化呈现机构和学科的科研绩效、科研趋势等。在实现各领域科研绩效比较时，除了进行二维纵向比较外，还可以进行三维指标比较，界面简洁、数据可视化效果强大。从操作难易度上比较，SciVal是英文界面，操作上比两个中文评价工具要难。从受众群体来看，诊断系统的学校基础指标较为全面，评价维度较广，受众群体偏向高校管理人员。SciVal和成果分析数据库关于论文评价更为细致。通过以上功能对比和实证分析可以看出，SciVal系统的优势集中体现在：高质量的数据源、多种学科分类体系、基于共引聚类的数据分析技术和对比优势，更直观的可视化分析技术，侧重于对学科未来发展趋势的预测。两种中文数据库的优势在于界面友好，学科分类体系便于统计，提供更多的基础性指标，指标分层有自己的特色，并且价格优势明显。用户可根据自身需求选择相应的科研评价工具及其指标，使得评估工作更合理、更科学。