计量科学研究机构科研绩效评价与实践

2019-09-10任孝平杨云苏爽周小林杨东

技术与创新管理 2019年6期

任孝平杨云苏爽周小林杨东

摘要：开展科研院所的科研绩效评价工作，有利于管理部门科学测度科研活动绩效，为科研管理和优化资源配置提供依据。文中从绩效评价方法研究出发，结合国家级计量科学研究活动的特点和规律，提出了科研绩效评价逻辑模型和评价指标框架。评价指标除包含论文、专利等一般性科研绩效评价指标之外，还纳入了能反映计量科学研究特点的专有指标，如测量能力、国家标准等。在此基础上利用DEA方法，通过对国家计量院2012—2018年间可搜集、可比较的投入产出数据进行分析，实证性的开展了研究所科研绩效的评价分析并提出评价建议。关键词：科研绩效;指标框架;科研效率;DEA方法中图分类号：X 936 文献标识码：A 文章编号：1672-7312（2019）06-0698-05

Research Performance Evaluation on National Institute of Metrology of China

REN Xiao-ping1，2，YANG Yun2，SU Suang1，ZHOU Xiao-lin2，YANG Dong1

（1.Dept.of Science and Technology Management，National Institute of Metrology，Beijing 100029，China;2.Dept of International Evaluation and Research，National Center for Science & Technology Evaluation，Beijing 100081，China）

Abstract：Carrying out scientific research performance evaluation work of scientific research institutes is beneficial to the management department to scientifically measure the performance of scientific research activities，

and provide basis for scientific research management and optimization of resource allocation.Based on the research of performance evaluation methods，this paper proposed a logical model of scientific research performance evaluation and an evaluation index framework based on the characteristics and laws of national-level econometric research activities.In addition to the general scientific research performance evaluation indicators such as papers and patents，the evaluation indicators also include proprietary indicators that reflect the characteristics of measurement science research，such as measurement capabilities，national standards，etc.On this basis，using the DEA method，through the analysis of the collectable and comparable input-output data of the National Metrology Institute from 2012 to 2018，the evaluation and analysis of the research performance of the Institute was carried out empirically and the evaluation suggestions were put forward.

Key words：research performance;indicator system;research efficiency;data envelopment analysis method

0 引言

當前，如何合理的配置科技资源、使有限的科研经费发挥出最大的效益，是各国政府科技管理部门关注的问题。2018年，国务院印发了《关于优化科研管理提升科研绩效若干措施的通知》，提出“强化科研绩效评价，推动项目管理向重实效、重结果转变，对基础和应用基础、技术创新和产品开发项目实行绩效分类评价”[1]。可见，推动科研绩效评价、加强结果应用，是院所优化科研活动和经费管理，提升机构绩效的重要手段。

中国计量科学研究院（简称“国家计量院”），是国家最高计量科学研究机构。其下属13个研究所，科研人员占比72%，副高级以上人员占比63%，拥有博士学位人员占比31%，研究覆盖力学、声学、电学等多个学科的基础和前沿研究[2]。截至2018年底，全院SCI论文发文比例是2008年的5.7倍;计量标准数量、标准物质数量分别是2008年的1.6倍和2.1倍;国家测量CMC能力也有了大幅提升，累计参加国际比对数量较2008年增长了82%;累计获得国家级科研奖励12项。伴随科研水平和质量的不断提升，如何客观有效地评价科研绩效[3]，引导机构健康有序发展，成为管理层制定机构发展战略、优化管理亟待解决的问题。目前，国家计量院的科研评价工作尚处于比较初步的阶段，主要是基于已取得的科研成果，如基标准、国际比对、获奖、CMC能力等进行静态描述，未开展投入产出比较分析，忽视了对不同类型科研活动分类评价的问题，也缺乏对各类评价指标权重系数的设定。文中尝试通过引入投入产出模型，结合院内不同类型研究所创新资源和成果的定量数据，分析科研效益与投入的关系，评价技术效率/效益，以便更加科学、立体的评价科研绩效，为机构科研管理提供有效支撑。需要指出的是，文中着眼点在于科研活动的绩效评价，而非机构绩效评价（如美国政府绩效与结果法案GPRA评价模式）[4]。

1 国内外研究现状

国内外学者在科研绩效评价方面开展了大量从宏观到微观的研究工作。在院所机构层面，张义芳[5]研究了国外国家级科研机构绩效评价相关制度;Mario通过建立数学模型对意大利科研机构进行了绩效评价;罗莎莎[6]对公益类科研院所绩效评价进行综合研究，提出设立科研投入、科研产出、科研服务、人才团队建设、创新发展5个一级指标实施科研机构绩效评价。张凤[7]等研究了国家级科研机构的创新绩效，设计了创新产出、创新投入、创新绩效概念模型，并对多个研究所绩效的长期趋势进行了研究。此外，其他研究人员还开展了与调动人员积极性、收入分配绩效考核相关的研究[8]。在科研项目层面，William[9]基于多指标决策方法（Multicriteria decision making，MCDM），研究了科研项目绩效评价和排序的方法;刘萌[10]分析了科研项目绩效评价中存在的问题，给出了提高科研项目绩效评价水平的对策;窦元名[11]构建了财务、科学技术、效益、团队建设4个维度的指标，研究了采用平衡记分卡法（The Balance score card，BSC）对农业类科研项目实施绩效评价方法。在科研人员和团队层面，李沙金[12]针对科研人员颗粒度，阐述了若干绩效评价理念;蒋日富[13]则以统计分析的方法，分析研究了科研团队创新绩效的影响因素。

评价指标体系的构建，是科研绩效评价的关键环节之一。在指标合理性方面，业界常采用德尔菲方法[14]对指标框架进行优化。在指标权重设定方面，研究人员常利用层次分析法（Analytic hierarchy process，AHP）[15]或最优最劣法（Best-Worst Method，BWM）[16]，验证科研绩效考核指标权重设计的合理性。在科研产出质量评价方面，Salimi[17]同样采用了BWM方法开展研究工作。在投入与产出效率分析方面，常使用数据包络分析法（Data Envelopment Analysis，DEA）[18]评价生产绩效，或基于知识生产函数[19]建立科研投入产出模型。在投入与产出影响因子分析方面，刘天佐[20]等采用Tobit模型，研究了区域分布对科研投入产出绩效的影响。

综上分析，国内外学者从机构、项目等不同维度、在体系、框架、指标等不同层次上对科研绩效开展了研究，提出了具体的研究框架和解决办法。然而，科研绩效对一个有特定职能和功能的研究机构来说，是一个复杂的系统[21]。针对某一特定类型的科研机构，设计准确、可量化的评价指标体系，对实施科研绩效评价至关重要。

2 科研绩效评价逻辑模型及指标框架的构建

2.1 科研绩效评价逻辑模型

有学者在构建科研绩效评价逻辑模型时，将评价划分为评价过程和决策过程[22]2个阶段。提出将“科研绩效”评价划分为：任务实施、绩效监测和绩效评价3个阶段，并以此为基础，构建国家计量院科研绩效评价逻辑模型。

如图1所示，科技绩效评价应始于任务实施阶段。即伴随任务推进，深入研究被评对象的科研活动规律，将科研活动细分为“科研投入、科研活动、科研产出、科研效果”逻辑链条。科研投入可分为经费投入和科研人员投入2部分。其中，科研经费是产生科研绩效的基础，而科研人员是使科研经费发挥作用的关键要素。科研活动反映了各研究所在投入经费和人力之后，开展科学研究过程中的一系列活动。如：科研设备采购、科研平台建设、具体研发活动、国际合作交流、国内合作交流等。科研产出是开展科学研究得到的最直接的科研成果，往往能以定量的形式来反映，如科研论文、知识产权、测量能力、国家基标准、标准物质、标准、人才培养等。科研效果即科研产出经过积累后，发挥的作用，以及形成的具有标志性和影响力的效益，如：科研获奖、人才获奖、成果转化应用，以及其他为国民经济和社会发展中所做的贡献。

在绩效监测阶段，首先基于评价逻辑链条，结合实施主体的活动规律，形成投入指标、活动指标、产出指标和效果指标。绩效指标的构建原则为数据可搜集、可获取、可比较。指标体系构建完成后，根据各科研实施主体，收集指标值。对于实在无法获取具体数值的指标，可以结合定性评价来实施。

在绩效评价阶段，即根据各实施主体的定量化的投入数据，与定量的“产出+效果”数据进行关联分析，形成投入与产出效率/效益分析结果;定性化的证据，由于无法转换为数字并代入模型进行计算，可与定量分析结果相结合，进行补充分析。

2.2 科研绩效评价指标框架的设计

国家计量院下辖13个研究所的领域和学科截然不同，有的研究所侧重基础研究，有的研究所基础研究和应用研究并重。因此，其科研绩效的表现形式也不尽相同。基于此，研究构建了科研绩效评价一级指标（4个）、二级指标（17个）和三级指标（38个），见表1.

需要说明的是，在具体实施科研绩效评价时，各指标不仅应采集近期数据，还应尽量采集长期的产出和效果数据。数据还应具有可获取性，能够从各研究所进行汇聚，以确保评价的可操作性。

3 基于DEA的科研绩效评价

基于已构建的逻辑模型和指标框架，文中引入数据包络分析（Data envelopment analysis，DEA），利用采集的数据，尝试分析国家计量院13个研究所的科研投入产出效率/效益。

DEA方法是目前开展投入产出效率的主流方法。其主要用于评价具有多投入、多产出的同质决策单元（Decision Making Unit，DMU）之间的相对效率，是一种评价决策单元相对业绩的非参数方法。由于该方法的计算原理与投入、产出指标值的量纲无关，因此在分析时可以直接采用原始数据。

在实施国家绩效院科研绩效分析时，利用DEAP 2.1效率分析软件，以产出为向导计算13个下辖研究所的综合技术效率。数据来源为院科技年报，指标为表1中14个三級指标（其中投入指标3个，产出指标11个），时间范围为2012至2018年。数据经分析形成前6个研究所和后7个研究所科研效率变化示意图（由于变化曲线较密，故分别绘制在图2和图3中，研究所由字母替代）。

从图2和图3中的趋势可以看出，各研究所科研绩效及其变化趋势均不同。研究基于历年的科研绩效，取平均值和标准差，分析了比较典型的几个研究所的绩效。G和R的科研绩效在所有研究所中表现相对最好，D和L研究所也是院内比较有优势的研究所，其科研绩效也表现不俗。GC研究所相对于每年有限的经费投入，也获得了可观的科研产出，因此其年平均科研绩效排名也较靠前。

院内比较老牌的研究所S和H，在科研绩效排名中表现一般。分析其历年变化情况，可以发现各有一年科研绩效明显偏低（H：2012，S：2014年），因此将排名总体拉低。

NH和DL所历年科研绩效平均值排名最后，与2个研究所在2011年开展了较大的职能和人员调整有关。如，Y研究所源于NH和DL的重组。C研究所排名也比较偏后，分析其原因是N研究所成立之时，从C中抽调了相当的人力和物力影响了其发展，而这2个研究所的学科方向具有相似性。

表2中给出了2012—2018年各研究所总体技术效率，可以看出几个老牌研究所，G，R，D，GC，L，S和H的绩效均靠前，老牌研究所（DL和C）被拆分，新成立的几个研究所（Y，N）由于历史积淀不足导致排序比较靠后。

表2中最后一列将2012—2018年的总投入和总产出进行了区间科研绩效（不是按年度计算）比较计算。数据显示，按年度计算科研绩效平均值小于1的研究所，按区间计算时科研绩效被评为1.即科研绩效表现差的年份，被表现好的年份拉高了。

4 研究与实证分析的局限性

本研究中，仅依据国家计量院的科研投入和产出，设计了机构科研绩效评价指标，并非严格意义上的科研机构绩效评价，即评价过程中，未充分考虑国家级科研机构的功能定位和使命。

研究中回溯收集了2012—2018年的院科技年报数据。鉴于国家计量院内部研究所之间的调整和人员的变动等，早年的数据可能与实际情况有所出入，定量研究准确性有所不足。此外，表1中部分指标（字体未加粗）仅获取到院层面数据，难以搜集到各所的历史数据，影响了分析的全面性。

科研论文是科研的重要表现形式之一。本研究目前仅以SCI论文数量作为考核论文的指标。未来可考虑增加发文期刊影响因子、发文被引频次等指标，提升指标的内涵和评价的意义。此外，文中采用的DEA方法还有很多改进算法，如对指标赋予一定的加权系数等优化方法。未来可以就DEA方法本身进行深入研究，提升评价的准确性。

5 研究启示

国家计量院拥有知识水平较高、数量庞大的科研队伍，是国家计量科技创新的重要力量。文中设计了绩效评价逻辑模型和指标框架，采用DEA方法并基于历史数据，对国家计量院下辖13个研究所的科研绩效进行了评价，得到如下启示。

1）精细化各项科技管理工作。在文中初步研究成果基础上，应建立和完善研究所科研绩效评价体系，尽快制定绩效评价工作方案。在日常管理中，应注重各类数据的搜集与精细化管理，以充实完善评价指标年度数据。需加大数据搜集管理的信息化程度，将其嵌入日常管理中，尽量避免给研究所和科研人员增加负担。

2）实施经济影响评价。国家计量院在国际上对标的机构，如美国标准与技术研究院（National Institute of Standards and Technology，NIST）[23]，早在2007年就开始了院内同行评议工作，开展了内部项目的经济影响评价。其目的是为管理层提供NIST研究项目特性和重要性信息，并用以向政府预算管理部门和公众展示NIST科研创新活动带来的经济、社会收益。国家计量院在这方面起步尚晚，未来应尽快实施此类评价研究工作。

3）提升科技管理人员的战略思维能力。目前国家计量院非常重视通过交流、培训、借调的方式、切实提升青年科技管理人员的综合能力和管理水平。未来，应通过绩效评价与试点，引导和培育科技管理人员的战略思维能力。使其在管好科研项目的同时，积极利用各类数据和研究方法，深入总结科技管理中的经验和问题，为管理层科学、客观、合理地制定发展规划、设置重点领域、配置院内经费等提供重要的依据，同时进一步优化配置院内科技资源，以达到机构绩效可持续提升的目的。

参考文献：

[1]邱超凡.科研院所优化科研管理提升科研绩效的建议[J].科技中国，2018（12）：41-42.

[2]任孝平，陆梅，杨帆，等.不断推进计量科技自主创新——中国计量院科技创新团队介绍[J].中国计量，2015（08）：13-20.

[3]贺天伟，张景林.科研績效定量评价指标体系的初步设计[J].科技管理研究，2001（06）：58-61.

[4]Coccia M.A basic model for evaluating R&D performance：theory and application in Italy[J].2001，31（04）：453-464.

[5]张义芳.美、英、德、日国立科研机构绩效评估制度探析[J].科技管理研究，2018，38（22）：25-30.

[6]罗莎莎，刘德娟，曾玉荣.公益类科研院所绩效评价研究综述[J].农业科技管理，2018，37（06）：71-75.

[7]张凤，霍国庆.国家科研机构创新绩效的评价模型[J].科研管理，2007，28（02）：35-42.

[8]李姣姣，沈祥成，徐娥 .湖北省科研院所绩效考核体系建设的现状及建议[J].湖北农业科学，2018，57（22）：160-163.

[9]Bitman W R，Sharif N.A conceptual framework for ranking R&D projects[J].IEEE Transactions on Engineering Management，2008，55（02）：267-278.

[10]刘萌，赵蔚.科研项目绩效评价中存在的问题与对策研究[J].农业科技管理，2018，37（06）：76-78.

[11]窦元名.基于平衡计分卡方法的农业科研项目绩效评价指标体系的构建[J].安徽农业科学，2018，46（29）：141-143.