科学基金资助绩效评价的文献计量分析

蔡乾和，陶 蕊

（1.河北联合大学 文法学院，河北 唐山 063009；2.科技部科技评估中心 评估三处，北京 100081）

科学基金资助绩效评价的文献计量分析

蔡乾和1，陶 蕊2

（1.河北联合大学 文法学院，河北 唐山 063009；2.科技部科技评估中心 评估三处，北京 100081）

以文献计量评价方法，尝试性地对科学基金资助在促进知识创新方面的绩效进行了评估，发现采用文献计量方法对国家科技资助的绩效评价具有较强的适用性和说服力。研究分析表明，25年来科学基金资助促进了我国基础研究SCI论文数量上的快速增长，对推动我国基础研究的知识创新起着十分重要的作用，但在带动与引领我国SCI论文影响力总体水平的提升作用尚显不足。

科学基金；资助绩效；基础研究；文献计量方法

国家自然科学基金（以下简称科学基金）自设立以来，坚持支持基础研究，逐渐形成了由研究项目、人才项目和环境条件项目三大系列组成的资助格局。25年来，科学基金资助经费稳步增长，对基础研究的支持力度不断加大。科学基金资助对我国基础研究的贡献究竟如何，成为政府、基金委、科技界乃至公众关注的焦点。因而，2010年，财政部与基金委联合开展实施了“国家自然科学基金资助与管理绩效国际评估”研究项目，采用“国内准备，国际评估”的组织模式，对科学基金的战略定位、资助绩效、管理绩效和影响等四个方面进行系统性评估。其中，资助绩效涵盖了科学基金在促进知识创新、学科发展、人才培养，以及解决国家重大科学需求等诸多方面的绩效。

本文以汤森－路透（Thomson Reuters）公司提供的Web of Science权威引文数据为依据，利用文献计量分析方法来探索与研究如何评价科学基金资助在促进知识创新方面的绩效及其适用性。这种探索既有助于了解科学基金资助绩效评价的量化途径，也为将量化分析方法应用于国家科技资助渠道的绩效评价提供有益借鉴。

一、科学基金资助促进知识创新的绩效分析

科学基金作为支持基础研究的资助渠道，在促进知识创新的绩效评价上，同行评议（peer review）或案例分析等定性方法是常用的评价方法，直接的量化评价则存在一定的困难。但是，科学基金资助的SCI论文产出一定程度上反映其促进知识生产与创新的绩效，这为本文进行文献计量学的量化评估提供了可能性和依据。下面从SCI论文产出、影响力、国内外比较等角度对科学基金资助的SCI论文进行计量学分析。

科学基金资助SCI论文产出及贡献率分析。从SCI论文产出的数量①来看，科学基金资助的SCI论文最早出现在1987年，当年仅有2篇。随后，科学基金资助的SCI论文数量增长较快。2000年，科学基金资助的SCI论文超过2000篇；到2008年已经有14，508篇，同2007年相比，年增长率超过30%；2009年，根据SCIE数据显示，科学基金资助SCI论文增长至44，953篇。按照近5年的快速增长趋势，2010年，科学基金资助的SCI论文估计在5.5万～5.7万篇左右（如图1）。

图1 国家自然科学基金资助的SCI论文产出数量变化情况（数据来源：汤森－路透提供）

从高质量的SCI论文产出来看，以2009年为例（如表1），在高影响因子、世界权威性综合期刊杂志（如Science、Nature和PLOS②）中，中国大陆作者在Nature上发表的论文受科学基金资助的占据半数以上。而在Science、PLOS上发表的论文，受科学基金资助的论文所占比例达1／4以上。

从贡献率来看，依照经济学关于贡献率指标的一般计算方法推断，当投入量趋于稳定（或固定值）时，贡献率的大小实际相当于某一单位产出量对于整体产出量的比例。从中国大陆整体的产出量变化来看（如图2），1987年，SCI收录中国论文4880篇，占世界总数的0.7%，列世界第24位；2000年，中国的SCI论文突破20，000篇，列世界第8位；2008年，中国的SCI论文达95，506篇，占世界总数6.64%，位于美国、英国和德国之后，列第4位；而2009年，SCI收录中国大陆论文占世界总量的10.1%，居世界第二位，仅次于美国。

表1 2009年中国大陆作者在Science、Nature和PLOS发表论文情况

图2 SCI收录中国大陆论文数量及占世界比例变化趋势

相应地，科学基金资助的SCI论文对比中国大陆的总体产出量：1987年，科学基金资助的SCI论文占中国总数的0.04%；2000年超过10%；2008年则达到15.2%；2009年则达到38.2%，超过1／3（如表2）。也就是说，到2009年，平均每3篇中国大陆发表的SCI论文中就有1篇受科学基金资助，结合科学基金在中国基础研究投入所占的比重长期以来趋于稳定（占20%左右），依照上述贡献率的测算方法可以看出，科学基金资助对我国基础研究知识创新的论文产出方面有较高的贡献率，发挥了非常重要的作用。

以上数据分析表明，无论是从科学基金资助的SCI论文产出数量，还是从贡献率来看，科学基金资助在推动我国基础研究的知识创新方面发挥了重要作用。

二、科学基金资助的SCI论文影响力及国内外比较分析

在考察科学基金对于基础研究知识创新的产出及贡献率的同时，有必要基于国际上相关基准数据和指标，对科学基金资助的SCI论文的影响力进行“质”的分析。当前，衡量论文影响力的评价指标通常包括总被引用频次（Total Citations）和被引用率、篇均影响力（Citation Impact）、高被引论文分布特征、h指数③（h Index）、平均百分位④（Mean Percentile）等多角度的引文分析指标。以下从这几方面指标进行分析：

表2 中国大陆SCI论文增长与科学基金资助SCI论文产出情况比较

从总被引用频次来看，截至2010年9月，科学基金资助的SCI论文总被引用频次为74543次，篇均被引用率为1.66次，超过了全球平均水平（1.37次）。而从被引用率的国内国际比较来看（如图3），全球80%左右（中国大陆60%左右）的SCI论文都有被引用，趋于稳定，而科学基金资助的SCI论文被引用率波动相对较大。其中，1993年以后至2001年，科学基金资助的SCI论文被引用率同全球水平相比较低，但总体上较中国大陆要高（自1998年以后）；而1988年至1993年，以及2004年以后，科学基金资助的SCI论文被引用率超过全球水平。需要说明的是，2007年以后，无论是全球、中国大陆还是科学基金资助的SCI论文被引用率下滑，其原因是论文发表后普遍需要一段时间的积累才能够达到一定的被引频次。因此，科学基金资助的SCI论文被引率总体上处于较高水平，说明科学基金资助的SCI论文学术认同度较高。

从篇均影响力来看，篇均影响力表示平均每篇论文的被引用频次，一般来说越早发表的论文获得的被引用频次有可能越高。自1987年以来，中国大陆的SCI论文篇均影响力基本趋于5～10之间，例如，1999～2009年，中国大陆SCI论文累计达649，689篇，共被引3，404，466次，篇均被引次数为5.24，与发达国家相距甚远，也远低于10.06的世界平均水平。而科学基金资助的SCI论文篇均影响力，1999年以前波动较大，其中1990年的篇均影响力高达30频次以上，其原因是该年度科学基金资助的37篇SCI论文中有几篇被引频次极高带来的影响；1999年以后篇均影响力趋于平稳，但仍比中国大陆的总体情况略高（如图4）。可以认为，科学基金资助的SCI论文在国内来看水平较高，但由于中国总体水平同发达国家有差距，所以与国际上的同类论文相比还有一定差距。

图3 国家自然科学基金资助论文与中国大陆和全球论文的被引用率发展趋势

图4 国家自然科学基金资助论文与中国大陆发表论文的篇均影响力对比

从高被引论文的分布来看（如表3），以2009年为例，科学基金资助的SCI论文数为44，953篇，其中被引频次在全球前1%的论文数有321篇，占该年度科学基金资助论文总数比例为0.71%；前50%的论文数有9601篇，占比21.38%。这一数据说明，从全球范围内来看，代表国际领先水平的被引频次较高的SCI论文中，科学基金资助的占有较小比例（0.71%），与国际上的差距还比较大。

从h指数分析来看，1986～2008年，科学基金资助的SCI论文h指数变化经历了一个先缓慢上升、后快速下降的趋势（如图5）。在2003年左右，因早期论文增长相对较慢和被引频次的不断积累在这一时期达到h指数的高峰，即该年度有近60篇科学基金资助的SCI论文被引频次不低于60次；随后几年因科学基金资助的SCI论文数增长快于被引频次的增长导致h指数下滑，进入新一阶段的被引频次累积时期。

表3 2009年科学基金资助的SCI论文的高被引论文分布情况

图5 国家自然科学基金资助论文的h指数发展趋势

从平均百分位指标来看（如图6），1987～2008年，科学基金资助的SCI论文平均来看能够排名在全球前55%左右，即其被引频次位于全球论文被引频次的中位数。也就是说在全球范围内科学基金资助的SCI论文的影响力处于中等水平。其中，1990年，科学基金资助的SCI论文的平均百分位处于40%以下，说明该年度科学基金资助的SCI论文被引频次较高，影响力也较高。这与上面的篇均影响力分析相一致。

三、文献计量方法评价科学基金资助绩效的适用性

依据科学基金资助与管理绩效评估的现实情况，选择采用文献计量方法对科学基金在促进知识创新方面的资助绩效进行评价和分析，体现了如下几方面的特点：

（1）强化了量化评价的适用性条件和优势。文献计量评价方法多应用于宏观层面和中观层面（如同质机构间的比较）的科技评价。其优点是具有客观性和国际可比性。

（2）样本空间足够大，评价系统尺度较大，能较好反映绩效和减小误差。利用文献计量指标评价科研产出能力和水平时，有一个系统误差问题，评价结果的误差与评价系统的尺度大小呈负相关，即系统的尺度越大，评价结果的误差就越小，反之，评价结果的误差就越大。基础研究的产出是知识的创造，多以论著形式体现，但论文产出更为普遍，且长时间跨度的论文产出能为文献计量分析提供足够大的样本。一般来说，“产出”带来“成效”，而“产出”和“成效”带来“影响”，三者可呈现出交叉递进关系。［1］因此，通过文献计量方法分析科学基金资助的论文产出情况，既可反映科学基金在促进基础研究知识创新方面的成效，也能一定程度上反映科学基金对我国基础研究的影响与贡献。此外，此次的评价系统是基于1986－2010年的 Web of Science收录的SCI论文数据库，以及科学基金25年来的资助情况统计数据，进行了较大尺度的文献计量分析，评价结果有效地较小了误差，客观可信。

图6 国家自然科学基金资助的SCI论文的平均百分位数变化情况

（3）有较强的可操作性。一方面，以web of science数据库为统计源，科学基金资助的SCI论文数据相对完整，便于准确分析与操作；另一方面，由于该数据库能够提供国际及中国大陆范围内的相关数据，使利用计量学方法的分析具有可比性。

四、结语

综上述，基于SCI数据库，采用文献计量评价方法从宏观层面研究与评价国家自然科学基金的资助绩效，具有合理性、可信度和适用性，可以对今后运用量化的方法来评价国家科技计划的资助绩效提供借鉴，也对国家宏观科技政策与科技管理具有参考价值。

依据文献计量评价的量化方法评估发现：一方面，科学基金资助促进了我国基础研究SCI论文数量上的快速增长，对推动我国基础研究的知识创新和SCI论文影响力的提升起着十分重要的作用。

另一方面，尽管科学基金资助的SCI论文在数量上不断增长，但科学基金资助的论文影响力在带动与引领我国SCI论文影响力总体水平的提升作用尚显不足。其表现为科学基金资助的高被引论文在总体产出中的比例还较小，这可能与科学基金管理中存在申请时评审较严，结题时因“允许失败”而对成果的评定不作严格要求有关。针对这一情况，今后在科学基金的资助与管理中，需要改革与创新机制，改善与加强结题时的质量评定和成果水平的评价工作。正如美国著名的评估学者Stuffiebeam所说：“评估的目的不在证明什么，而在力求改进”，［2］开展科学基金资助绩效评估的根本目的在于，通过绩效评估为科学基金的资助与管理决策提供可靠依据，从而提升资助绩效与管理水平。

［注释］

①本部分所涉及的相关数据均来源于SCIE数据库，文献类型包含Article、Note和Review。此外，由于早期 Web of Science数据库并未将科学基金资助列为字段搜索项，因而本部分数据分析是基于参与此次评估合作的汤森－路透公司通过数据采集和项目匹配生成的抽样数据（1986～2008年）。2008年8月以后加入了科学基金资助字段的标引，故2009年科学基金资助的论文统计数据比较完整。

②PLOS的数据包含PLOS系列的6本期刊，分别是PLOS GENETICS，PLOS NEGLECTED TROPICAL DISEASES，PLOS PATHOGENS，PLOS ONE，PLOS COMPUTATIONAL BIOLOGY，PLOS BIOLOGY，PLOS MEDICINE。

③h指数是指将一组论文按照被引频次降序排列，h指数＝n意味着有n篇论文的被引频次不低于n次。该指标是结合了论文数量与论文被引频次两方面的综合性评价指标。

④平均百分位是指，该篇论文在全球该学科当年发表的论文中按被引频次排名的百分位数。百分位数值越小，表明该篇论文为高被引论文；百分位数值越大，则反之。

［1］戚勇，李千目.科学研究绩效评价的理论与方法［M］.北京：科学出版社，2009.

［2］朱卫东，周光中等.国外科学基金绩效评估及其对我国的启示［J］.中国科技论坛，2009（7）：134－138.

［责任编辑 刘范弟］

Literature Metrology Analysis of Evaluation on NSFC Funding Performance

CAIQian－he1，TAORui2
（1.SchoolofHumanitiesandLaw，HebeiUnitedUniversity，Tangshan，Hebei063009，China；2.DepartmentNo3，NationalCenterforScienceandTechnologyEvaluation，Beijing，10081，China）

This paper attempts to evaluate NSFC funding performance in promoting knowledge innovation.It discovers that the evaluation on national S＆T funding performance by literature metrology method be suitable and persuasive.The research shows that NSFC funding promotes rapid growth of the amounts of SCI paper in basic research，and plays an important role in pushing forward knowledge innovation of basic research during the past twenty－five years.But it is insufficient for NSFC in driving and leading the high level development of SCI paper impact in our country.

NSFC；funding performance；basic research；literature metrology method

G311

A

1672－934X（2012）03－0029－05

2012－04－03

“国家自然科学基金资助与管理绩效国际评估”阶段性成果。

蔡乾和（1973－），男，湖北阳新人，哲学博士，河北联合大学文法学院讲师，主要从事科学技术的哲学与计量学研究；陶蕊（1982－），女，陕西西安人，科技部科技评估中心助理研究员，主要从事科技与公共政策的研究。