国际国立科研机构学术影响力评价方法研究

杨国梁，W.B.Liu, 李晓轩，刘智渊

（1.中国科学院科技政策与管理科学研究所，北京 100190；2.中国科学院研究生院，北京 100039；3.肯特大学商学院,坎特伯里 CT2 7PE）

国际国立科研机构学术影响力评价方法研究

杨国梁1，2，W.B.Liu3, 李晓轩1，刘智渊1

（1.中国科学院科技政策与管理科学研究所，北京 100190；2.中国科学院研究生院，北京 100039；3.肯特大学商学院,坎特伯里 CT2 7PE）

本文旨在建立一套对不同国家的国立科研机构学术影响力的评价方法。首先，以3E理论和“阶梯理论”为指导，提出了国际国立科研机构学术影响力的评价模型和指标体系；其次，以国际上不同国立科研机构为对象进行验证，发现选取的86个国立科研机构具有可比性，并且指标体系有较好的效度。

国立科研机构；学术影响力；排名

Abstract:This paper intends to build an index system of evaluating the academic influence of national research institutes in the world.Firstly,the evaluation logic model and index system of the academic influence evaluation of national research institutes were proposed，based on the 3E Theory and the Ladder Theory.Secondly,according to the empirical analysis of different national research institutes,this study compared 86 national research institutes selected in this research,and proved the validity of the proposed index system.

Key words:national research institutes； academic influence； ranking

引言

16世纪中叶到17世纪末，第一次科学技术革命期间，意大利佛罗伦萨科学社、英国皇家学会、法兰西皇家科学院、德国柏林科学院相继建立，标志着近代科学成为一种社会建制。以此为开端，逐渐形成了现代高度建制化的各种国立科研机构［1］，主要包括国家（中央政府）直接设立的科研院所，或中央政府部门所属的科研机构。国立科研机构承担着国家经济社会发展、国家安全以及科学前沿探索等方面的科技创新工作。国立科研机构与高校、企业一起构成国家创新体系中的重要组成部分。通过国立科研机构学术影响力评价可以促进国立科研机构对自身发展状况以及相互之间的了解；有利于国立科研机构之间的交流与合作；可以促进公众对国立科研机构发展的关注和监督。

目前，随着全球化时代的到来，科技评价越来越受到世界各国科研组织的广泛重视。通过科技评价分析自我发展态势并与竞争对手比较，已成为国际科技战略管理的重要基础。如今国际上纷纷开展相关的评价工作，包括创新能力和科技竞争力分析、大学排名、国际竞争力排名等［2-17］。美国国家科学基金会每两年度出版的《科学与工程指标》系列报告，分析美国科学和工程研究以及教育状况，将美国和世界范围内的人才、研发能力、高技术行业等进行对比分析，是关于美国大学、企业、联邦政府以及国际科学和工程组织进行研发的最全面信息源。欧盟委员会公布的《欧洲科技指标》，对欧盟国家的研发水平、创新能力和科技竞争力进行全面分析，并与世界其他国家和地区进行对比，为科技政策和措施的制定提供支持。自1983年《美国新闻与世界报道》发布美国大学排名以来,美国已有几十个机构发布了形形色色的美国大学排名。世界各国也开始对本国的大学排名,《泰晤士报》于1986年发布了英国大学排名,《明镜》周刊于1989年发布了德国大学排名,《麦克林》杂志自1991年起开始进行加拿大大学排名,《钻石周刊》自1993年起开始发布日本大学排名。此后,这些国家中又有多家机构相继发布各类排名。但很少有专门针对各国国立科研机构学术影响力的评价和排名。

国际国立科研机构学术影响力涉及国立科研机构赖以履行其使命的研究水平、竞争能力以及对科学和社会的实际影响等若干方面。国立科研机构必须从国家战略需求出发，开展定向基础研究、战略高技术创新与系统集成以及事关经济社会全面协调可持续发展的重大公益性创新，为社会提供相关公共品和服务，从而满足国家和社会的需求。由于国立科研机构在满足不同国家战略需求方面缺少一个统一的衡量标准，难以比较，因此本文所探讨的学术影响力主要集中在国立科研机构学术研究水平这一层面。

国际国立科研机构学术影响力评价与其他科技评价如大学评价、国家和区域科技竞争力评价等有相似的地方，但有很大不同。主要体现在不同国立科研机构在定位、使命以及组织设计等多方面有很大差异。比如，国立科研机构从所属关系上来看，大致可分为：（1）国家大型综合性科研机构，即由若干研究所、实验室和研究组等组成的全国性、综合性的大型科研机构，如法国的国家科研中心、马普学会以及中国科学院等；（2）部门所属专业性综合科研机构，如美国能源部所属国家实验室等。因此，如何设计针对国际国立科研机构学术影响力的评价模型和指标体系，使之满符合不同国立科研机构特点，是一个需要深入研究和探讨的问题。

1 评估模型

国立科研机构自身的科学水平是其学术影响力的基础和来源。国立科研机构的学术影响力评价应从机构自身的科学水平入手。由科学水平所产生的学术影响力的广度和深度主要取决于机构所发表的研究成果，以及成果被他人重视、认可和引用的情况。一般说来，研究成果发表得越多、被他人引用得越多，就越能说明此机构在学术领域产生的影响越大。同时，研究成果的产生需要人力、财力和物力的投入，从科研机构的投入产出效率可以看出机构本身的运行情况。

本文按3E理论进行评估模型的设计。对于国立科研机构来说，其自身的科学水平是学术影响力的基础和来源。因此，国立科研机构学术影响力评估模型可以从三个方面考虑：

①科研成果的产出数量。国立科研机构的成果产出指研究开发活动所产生的直接成果，形式包括公开发表的学术论文、出版学术专著（编著、译著、教材）、科研项目、专利申请与授权等，这些产出形式都能体现科研机构在科学上的贡献。

②科研成果的投入产出效率。科技活动的开展离不开科技人（拥有的科技人员）、财（投入的科技经费）、物（占有的科研设施）的投入等。而国立科研机构往往是由中央政府直接进行财政拨款，预算有相应的限度，因此国立科研机构需要在有限的资源约束下，尽可能的提高机构整体的运行效率，增加机构自身的成果产出数量和质量，这也是科研机构扩大自身学术影响力的一个重要方面。

③科研成果的质量。是否拥有高影响、高质量的科研成果是机构自身学术影响力的重要体现和来源。科研成果的影响体现在机构所发论文的引用情况、专利的引用情况、所获的各类奖励、研究人员在各类学术组织任职情况、各类期刊编委任职情况等。有学术影响力的科研成果是科研机构研究质量的重要体现。高质量的科研成果对外界的影响可以分为国内层面和国际层面，由于本文主要探讨国际国立科研机构的学术影响力问题，因此国际层面的科研成果的影响是本文重点考察的内容。国际层面的影响包括国际论文引用情况、国际重要科学组织的任职情况以及国际重要奖励情况等。

从以上三个方面可以概括得出国立科研机构学术影响力评价的基本框架，即机构学术影响力由科研成果的产出、效率和效果来反映。其中，产出方面的学术专著、科研项目等信息，效率方面的科研经费和科研设备等信息难以采集。因此在实际应用中，部分信息会有所缺失。根据以上针对国立科研机构学术影响力分析的基本框架，构建评价指标体系。

此外，为了清晰描绘国立科研机构科研发展的格局和态势，本文进一步提出国立科研机构学术影响力分析与排名指标数据表达的“阶梯理论”。所谓“阶梯理论”就是指同类科研产出（效率、效果）应遵循质量越高其重要性就越大的基本理念进行阶梯形分层采样，质量越高的科研产出（效率、效果）应被赋予越高的权重，并逐次降低，从而体现不同质量科研产出（效率、效果）的层次，有利于描述科研机构在本项产出（效率、效果）上的发展态势和格局。

各科研机构往往处于不同的发展阶段，有的机构已经是世界顶尖的研究机构，有些则还处于逐步提高的过程之中。处于不同阶段的科研机构，科研产出（效率、效果）也相应的处于不同状态。如果某项指标仅仅采用最顶级的表现形式（比如：高质量论文采用Top0.1%高被引论文表达），则难以反映那些发展态势较好，发展速度较快，但还没有顶级产出或影响的成果的研究机构；如果某项指标只是采用较为宽泛的标准（比如：高质量论文采用Top10%高被引论文表达），那么又难以体现顶尖研究机构与普通研究机构的区别。再之最顶级的指标通常随机性很强，单独用必然给最终评价结果带来较大的随机性。因此，可以说“阶梯理论”稳定，有效地描述各类科研机构发展状态，处于各阶段的科研机构的科研产出（效率、效果）在科学发展的“阶梯”上的有不同的分布。

2 指标体系

评价指标的选取是国立科研机构学术影响力评价的基础。一般来讲，国立科研机构学科领域涵盖面广，涉及了从基础研究、应用研究到高科技研发等不同科研过程。不同学科，不同研发过程有其自身特点。不区分学科特点、缺乏对科研功能特点的深入分析而对科研机构进行学术影响力分析和排名可能会由于可比性弱导致评价结果缺乏公信力。

不同国家的国立科研机构的机构使命、立法环境、资助渠道、统计口径等存在显著差异。例如：科研经费统计口径不一致且完整性不够，如MPG、RIKEN经费数据中既包括总经费又包括各学科经费分布、外部争取经费等；某些机构如RAS、CSIC仅提供部分年份总经费数据；有的机构明确标明统计来源而有的不提供等。此外，某些机构，如DOE、NIH因肩负国家防御、环境治理等任务，其投入经费的产出有相当部分体现在文献计量指标之外。此外，大科学装置价值，交换留学生、联合试验室、合作研究项目数、研究生总数、高质量研究生数及每博士学位人员博士学位产出指标、外争经费、承担的外部项目等指标因在选定样本只有几个机构提供部分数据，因此难以进行评价数据采集。

根据以上对国立科研机构学科差异和评价数据可获得性的分析，本文在基于3E理论对国立科研机构学术影响力的系统分析和“阶梯理论”的指导之下，建立了不同学科的3E指标体系（E1：产出；E2：效率；E3：效果）并设置了各指标权重，权重设置方式为各一级指标等权。学科分类采用ESI标准的22个学科分类（见表1）。

表1 ESI学科分类表

指标体系分为自然科学（含社会科学）学科指标体系和反映机构工程领域研究的指标体系，各一级指标见表2，下级指标在“阶梯理论”的指导下进行设计。

表2 3E指标体系一级指标列表

各指标定义和采集口径如下：

机构人员：机构人员以机构的官方网站或年报中提供的与科研相关的人员数据。

SCI论文：以SCI扩展版数据库（含SSCI，下同）为准，通过ISI Web of Knowledge平台检索获取。

高质量论文：TOP0.1%、TOP1%、TOP10%论文数据根据ESI 2009年5月发布的ESI7引文基线统计得到。

SCI引文总量：各机构SCI论文被引数量的总和。按ESI数据库中21个学科（不含多学科）类分别统计各样本机构SCI论文被引频次，多学科数据分别划分到其余的21个学科。通过ISI Web of Knowledge平台检索获取。

篇均被引频次：机构引文总量除以SCI论文数量。

EI指标：通过EI数据库平台检索获取。

专利指标：以德温特专利数据库（Derwent Innovations Index,DII）为基准采集。

期刊编委任职：SCI收录172个学科TOP1%、TOP5%、TOP10%的刊物编委数据根据Thomson发布的 《2007年期刊引用报告》(2007 Journal Citation Reports)，按期刊影响因子从高到低排序得到，并按Thomson公司2008年10月发布的ESI-JCR学科归类表进行归类。

国际一级学术组织任职：以科技部内部研究资料“《国际一级科学组织及国际标准化组织（ISO）名称》”为基础，检索各一级学术组织的主席和副主席。

获奖：在学科分类基础上，采用各学科的跨学科加学科奖和跨学科奖作为评价指标。奖励列表采用Wikipedia（http://www.wikipedia.org） 给出的 List of prizes,medals,and awards。

此外，经由以上方法构建的指标体系中的指标内容和结构是否全面、科学，还需要进行信度和效度检验。基于现实的情况，本文将指标体系与其他类似的知名研究报告采用的指标体系进行了比照分析，结果显示采用的指标具有较高的相容性。

3 计算方法

（1）学科排名。学科排名是国立科研机构学术影响力评价的一个重要基石。21个学科中，每个学科分别计算其产出（E1）、效果 （E3）两类指标的得分。E1和E3得分的计算方法为，其所属的一级指标分别以最大值为标准进行归一化处理并按等权加和。另外，E1与E3加和后得到各学科的综合得分，并以E1和E3的综合得分进行学科排名。

（2）综合排名。在学科排名基础上，按各学科产出（E1）等权加和以及效果（E3）等权加和后，得出机构整体的产出（E1）和效果（E3），效率（E2）指标采用机构整体投入和产出进行测算得到机构E2得分，三者加和得到各机构的综合得分，并以综合得分进行机构学术影响力排名。

（3）数据可靠性分析。为了对评价数据的可靠性进行分析，本文采用两种数据可靠性分析方法：随机扰动法和最大区间法。随机扰动法是指针对特定数据项，采用随机扰动的方式（扰动幅度为±10%，±5%等），计算学科排名（E1，E3）结果的变化幅度，其思想是看在其他数据不变的情况下，考察某些数据在一定范围内变化后，对最后的指标值以及排名结果会造成的影响。该方法的运用的出发点，主要是考虑到数据搜集过程有遗落，缺失或者重复等不可避免的情况下，产生的影响有多大。最大区间法是在样本机构学科排名（产出指标和效果指标）结果不变的前提下，计算各样本机构各项指标变动的最大范围区间，其思想是在其他数据不变的情况下，考察某些数据在不对最终排名结果产生影响的前提下，其值域的最大范围，以体现本项数据的最大误差范围。

4 实证结果

本文针对ESI各学科中的SCI论文总量，或引文总量，或篇均引文排在前100名的国际上所有类型的研究机构进行搜寻和筛选，选出了26个国家86个国立科研机构进行学术影响力评价。美国入选机构最多，达到12个。美、日、德、加、法5国入选机构占了全部86个入选机构的50%。在86个样本机构之中，有20个机构覆盖了ESI全部21个学科（不含多学科），占总数的23%，覆盖16~20个学科的机构数为25个，占总数的29%，覆盖11~15个学科的机构数为18个，占总数的21%，其余23个机构覆盖10个学科以下（含10个），占总数的27%。总体而言，86个入选机构绝大多数覆盖了21个学科（不含多学科）的全部或多数学科。由此可见，从学科情况的分析结果来看86个样本机构具有可比性。

此外，本文针对ESI21个学科领域 （不含多学科），分别得到了以上86个机构的E1、E3指标的学科排名，并以E1、E3指标学科排名以及E2指标机构排名为基础，得到了机构的学术影响力总体排名（见表3）。以农业学科E1指标为例，美国农业部、法国农业科学研究院、西班牙科学研究委员会、丹麦兽医和食品管理局、加拿大农业及农业食品部等机构排名结果处于前几位，说明E1指标具有合理性。

表3 农业学科学术影响力排名前七位的机构

5 结论与讨论

本文提出了国立科研机构学术影响力的三个方面的构成要素，即科研产出、效率和效果。同时，按“阶梯理论”对指标结构进行了设计，这样经过若干阶梯的提升而得到了有较好系统性的指标体系，一方面体现了科学研究的质量的重要性，另一方面不同研究水平都能得到体现，可以平衡不同阶梯指标的数据的随机性。在此基础上，提出了国立科研机构学术影响力评价的指标体系，此指标体系基于学科领域，在学科分析的基础上进行综合排名。

本文是对国际国立科研机构学术影响力评价的一次尝试，还有一些问题需要进一步探讨：

（1）评价假设。国立科研机构评价是基于学科排名且各学科均同等重要的假设前提，E1和E3指标评价结果存在学科覆盖面越宽的机构占优的倾向，即某个单项学科优秀但学科覆盖面相对较窄的机构排名会相对靠后。

（2）样本差异性。国际国立科研机构大体可分为两类：一类以美国农业部为代表的，部委特色和行业特色明显的机构。这类机构一方面表现为论文不是机构的主要产出，另一方面是机构的学科（行业）特色明显，其相关（行业）学科论文总数占到总论文数的半数以上。另一类机构是综合性的机构（如法国科研中心、马普学会、中科院等），研究领域覆盖学科相对全面、完整的机构。

（3）数据完整性。尽管理论上对科研机构学术影响力已建立了相对科学完整的指标体系，但除了基于科学计量学数据库的指标易获得并具有连续性和可比性外，其他指标需要通过其他途径获得。由于样本所在国家经济体制差异、统计口径不同以及网页提供信息差异等导致相当部分的指标数据采集不完整而无法使用，例如各机构的经费数据。因此实际可获取并具有可比性的指标主要是反映基础研究成果的科学计量学指标。

［1］科技革命与中国的现代化——关于中国面向2050年科技发展战略的思考［M］.北京：科学出版社,2009.

［2］ Campbell,D.F.J.The Evaluation of University Research in the United Kingdom and the Netherlands,Germany and Austria.In P.Shapira,S.Kuhlmann(eds)Learning from Science and Technology Policy Evaluation ［M］.Edward Elgar,2003.98-131.

［3］ Lyall,C.,Bruce,A.,Firn,J.,Firn,M.and tait,J.Assessing end-use relevance of public sector research organizations ［J］.Research Policy,2004,33（1）:73-87.

［4］ Jordan,G.B.and Streit,D.Recognizing the Competing Values in Science and Technology Organization:Implications for Evaluation.In P.Shapira,S.Kuhlmann(eds)Learning from Science and Technology Policy Evaluation ［M］.Edward Elgar,2003.316-338.

［5］邱均平等.世界大学科研竞争力排行榜是怎样产生的?［J］.评价与管理,2006,4（1）:38-43.

［6］ Checkland,P.B.Towards a system-based methodology for real-word problem solving ［J］.Journal of System Engineering,1972,（3）:87-116.

［7］ Jacobs,B.Using soft systems methodology for performance improvement and organizational change in the English national health service ［J］.Journal of Contingencies and Crisis Management,2004,12（4）:138-149.

［8］ 孟 ,John Mingers,刘文斌.关于构建科技评价系统的探讨 ［J］.科研管理,2007,28（2）:1-8.

［9］ Shapira,P.and S.Kuhlmann(eds).Learning from Science and Technology Policy Evaluation ［M］.Edward Elgar,2003.

［10］浙江大学大学评价研究课题组.大学评价和学科评价:指标体系设计探讨 ［J］.评价与管理,2005,3（1）:32-42.

［11］ International Institute for Management Development.World Competitiveness Yearbook ［R］.Lausanne,2004.

［12］ OECD.Main Science and Technology Indicators ［S］.2003.

［13］ World Economic Forum.Global Competitiveness Report 2002-2003 ［M］.Oxford:Oxford University Press,2003.

［14］ National Science Board.Science and Engineering Indicators ［M］.Arlington,VA:National Science Foundation,2006.

［15］ Economic and Social Commission for Western Asia.New Indicators for Science,Technology and Innovation in the Knowledge-Based Society ［R］.United Nations,New York,2003.

［16］ European Commission.Towards a European Research Area Science,Technology and Innovation Key Figures 2003-2004 ［R］.European Commission Office SDME 11/16 B-1049 Brussels,2003.

［17］邱均平等.世界大学及科研机构竞争力排名:国际化视野下的中国科学 ［EB/OL］.http://www.sciencenet.cn/dz/upload/20074160223859.pdf,2009-01-30.

（责任编辑 迟凤玲）

Study on the Academic Influence Evaluation of National Research Institutes

Yang Guoliang1，2， W.B.Liu3， Li Xiaoxuan1， Liu Zhiyuan1
（1.Institute of Policy and Management,Chinese Academy of Sciences,Beijing 100190， China；2.Graduate University， Chinese Academy of Sciences,Beijing 100039， China；3.Kent Bussiness School,University of Kent,CT2 7PE Canterbury,UK）

G311

A

中国科学院规划战略局资助项目。

2010-01-24

杨国梁（1977-），男，河北人，中国科学院科技政策与管理科学研究所助理研究员；研究方向：科技评价与科技管理。