航天重大基础研究项目绩效评估指标体系研究

康磊晶，焦鑫鑫，刘 瑜

航天重大基础研究项目绩效评估指标体系研究

康磊晶1，焦鑫鑫1，刘 瑜2

（1. 中国运载火箭技术研究院，北京，100076；2. 中国航天系统科学与工程研究院，北京，100048）

航天重大基础研究项目具有基础科学问题众多、研究难度大、创新要求高等特点，在项目检查评估过程中，尚缺乏一套科学有效量化的绩效评估指标体系。在调研分析了项目绩效评估政策和方法的基础上，构建了航天重大基础研究项目绩效评估指标体系。研究形成的项目绩效评估指标体系将有力提升航天重大基础研究项目管理效益，推动项目高质量发展。

基础研究；项目管理；绩效评估指标体系

0 引 言

航天重大基础研究项目，是为系统解决长期制约航天重大装备发展的基础性、共性问题，通过理念、方法、技术的体系化研究与发展，实现装备技术与性能水平整体提升而设立的重大预研项目，具有基础科学问题众多、研究难度大、创新要求高等特点，其成果产出以理论方法、标准规范、软件平台、专利论著等为主，既不同于自然科学基础研究项目多以论文发表数量、论文质量、专利申报数量等作为评估标准，也与预研背景项目围绕明确的装备图像和技术指标要求开展自上而下的系统研发工作模式有所区别。目前，在航天重大基础研究项目的检查评估过程中，尚缺乏一套科学有效量化的绩效评估指标体系，需要通过科学设置评价指标并合理设定评价标准，构建绩效评估体系，客观评估项目研究进展和年度目标实现情况、同时研判总目标预期可实现性，提出存在的主要问题、风险点和后续工作建议，便于从技术和管理两方面及时采取措施进行改进，形成“绩效目标→绩效评估→风险识别→优化改进→绩效反馈”的闭环管理机制，有效提升项目管理效益，推动项目高质量发展。

1 基础研究项目绩效评估发展现状

20世纪80年代以来，绩效评估已成为基础研究项目管理的重要环节和有效手段，得到了美国、英国、德国、日本等发达国家的高度重视，并在各国政府制定战略规划、优化资源配置、调整国防采办、推动科技进步等方面发挥着日益重要的导向作用。

1.1 基础研究绩效评估总体情况

1.1.1 国外情况

从世界范围看，美国和英国的基础研究绩效评估起步较早，并在绩效评估的理论方法和实践上取得了大量成果，本文以美国和英国绩效评估为例，阐述国外绩效评估情况。

a）美国。

美国是世界上最早开展科技评估活动的国家，经过近百年的发展，从制度建设、评价主体、评价标准、评价方法等方面，已形成了成熟完备的科技评估体系。1993年，为提高联邦政府内部管理效率、项目绩效、服务质量和公众满意度，美国国会颁布了《政府绩效和结果法案》（The Government Performance and Result Act，GPRA），这是一部在世界各国政府实施绩效改革过程中具有里程碑意义的立法，具有权威性、持续性和强制性等特点。GPRA法案建立了一套完整的政府绩效管理体系，要求联邦政府各机构建立包括投入、资源、产出、结果、效益/成本和生产力等6大类指标的绩效评估体系，可根据不同评估对象适应性调整绩效评估指标、方法和程序。联邦各机构需对标本机构5年战略规划报告和年度绩效计划报告，形成年度绩效评估报告，通过将绩效目标与实际绩效结果对比，以促进联邦政府目标和各机构目标的实现。GPRA要求国会、审计总署（Government Accountability Office，GAO）、白宫管理与预算办公室等预算批准部门必须依据各机构的上述3份报告，审批各机构下一年度预算申请[1]。

美国国家自然科学基金会（National Science Foundation，NSF）、国防部、能源部、宇航局等联邦政府机构通过实施GPRA，达到了以评促效的目的，有效提升了机构的项目管理水平和运作效率。由于基础研究具有长期性、积累性和结果难以预见性等特点，NSF建立了适用于基础研究项目的绩效评估体系，将评估内容重点放在研究的质量、与本机构法定任务的相关性以及研究成果的国际领先水平等方面；在评估方法上以同行评议法为主，辅以文献计量学方法[2]。

b）英国。

英国的基础研究绩效评估工作主要包括2类：一类是由研究理事会组织，针对研究计划和项目开展的绩效评估；另一类是由高等教育基金理事会组织，针对大学各专业系、研究小组或者研究中心等科研群体开展的绩效评估。这两类基础研究绩效评估体系在英国基础研究导向、经费投入和研究激励中发挥着极其重要的作用：前者主要遵循英国财政部发布的“绿皮书”，依据明确的目标和计划导向，对项目的立项、进展和影响进行评估；后者主要遵循研究评估体系（Research and Evaluation，RAE），每4～7年开展一次全面评估。2014年，英国高等教育基金会将RAE改革为研究卓越框架（Research Excellent Framework, REF），评估指标包括科研成果、科研影响力和科研环境，实施以来有效促进了英国大学基础研究质量与实力提升[3]。

1.1.2 中国情况

a）立法情况。

进入21世纪，中国科技发展日新月异，科研项目数量和经费投入规模大幅增长，科技评估日益受到国家相关部委的高度重视。2003年，科技部颁布了《科学技术评价办法（试行）》，明确了科学技术项目评价实行分类评价，给出了战略性基础研究项目和自由探索性基础研究项目的评价重点、评价方法和评价程序[4]。2009年，科技部颁布了《科学技术研究项目评估通则》，为基础研究、应用研究和开发研究项目建立了技术就绪水平的评估标尺[5]。2015年，国家自然科学基金委员会修订完善了《国家自然科学基金资助项目研究成果管理办法》，要求建立项目依托单位成果管理评估制度，根据论文发表、著作出版、会议报告、获奖情况等方面，对结题项目进行绩效评价[6]。2020年，科技部、财政部、发展改革委联合印发了《中央财政科技计划（专项、基金等）绩效评估规范（试行）》，有效指导了国家自然科学基金、国家重大科技专项、重点研发计划等相关领域项目的绩效评估工作，其评估内容包括目标定位、组织管理与实施、目标完成情况与效果影响等，针对基础研究绩效评估，重点考察基础研究和科学前沿探索的定位和导向，对推进国家创新体系建设和满足国家需求的支撑作用，对促进原始创新、学科发展、人才队伍成长的作用等。

b）实践情况。

国家相关部委在注重科技评估立法的同时，积极探索实践基础研究和高技术领域的绩效评估工作，不断提升管理科学化水平。1996年，科技部以“863计划”的五大民口领域为评价对象，采用定性判断与定量分析相结合的方法，开展了总体评估、领域评估和专题评估等评估工作，从不同角度对863计划进行了总结分析[7]。此后，科技部委托第三方评估机构——国家科技评估中心，先后开展了“863计划”15年总结评估、“973计划”综合评估等工作。2011年，国家自然科学基金委首次开展基础研究总体绩效评估，从战略定位、资助绩效、管理绩效及影响等4个方面，对基金的资助与管理活动的总体情况进行评估。此后，国家自然科学基金委每年组织开展年度绩效评估，针对青年科学基金项目、面上项目、杰出青年科学基金等六类项目，建立了涵盖决策、过程、产出、效益等4个一级指标，项目立项、绩效目标等10个二级指标，以及立项依据充分性、制度执行有效性等17个三级指标的通用绩效评价体系。在评价方法上，采用客观数据定量评价和专家定性评价相结合的方法。评价程序包括数据整理分析、依托单位调研、依托单位绩效评价、项目抽样评价、典型成果调查、满意度调查、专家评价、综合评价等8个步骤[8]。

1.2 绩效评估方法

在绩效评估方法方面，主要有以下3类方法：第1类是定性评价法，是依靠相同或者相近领域专家的学识和经验，对项目绩效做出定性判断的评价方法，主要有同行评议法、问卷调查法、德尔菲法、平衡积分法等。第2类是定量评价法，是采用数学模型或者数学统计方法，通过计算对项目绩效做出定量判断的评价方法，主要有文献计量法、数据包络法、模糊综合评估法等。第3类是综合评价法，是事先构建一套定性和定量相结合的评价指标体系，再按照设计好的方法和程序，通过计算对项目绩效做出定量判断的评价方法，主要包括指标体系法、层次分析法、加权平均法、聚类分析法等[9]。综合评价法结合了定性与定量两类评价方法的优点。中国的国家自然科学基金、973计划、863计划等，在绩效评估实践过程中，均采用了定性与定量相结合的综合评价法。

针对航天重大基础研究项目，如何建立既符合基础研究规律，又符合重大项目系统性特点的绩效评估指标体系，规范项目绩效管理，有效提升项目基础研究水平、科技成果质量并促进成果转化是本文拟研究的核心问题。

2 航天重大基础研究项目绩效评估体系

2.1 航天重大基础研究项目绩效评估指标体系构建思路

航天重大基础研究项目绩效评估指标体系的优劣事关绩效评价的科学性与合理性，本文在深入调研分析和充分借鉴国内外项目绩效评估研究成果的基础上，提出航天重大基础研究项目绩效评估体系构建思路。

a）统筹性。

开展航天重大基础研究项目绩效评估，既要评估项目资源投入情况、目标实现程度、任务完成情况，又要评估基础研究水平、标准规范、数字化、成果转化、预期效益等，因此综合采用投入-产出和目标-绩效两种绩效评估模式。

b）完备性。

紧密结合航天重大基础研究项目的基础性、系统性、创新性和前瞻性特点，指标设计要充分考虑项目研究和管理全过程的主要要素，如组织要素、制度要素、技术要素、创新要素、成果要素、效益要素等。

c）可操作性。

绩效评价指标体系简单易操作，设计的指标体系层级数量不宜过多，各项指标具有代表性，释义明确，指标之间的内涵与外延无交叉，且每项指标可对比、可量化、易于专家打分或数据采集计算。

2.2 航天重大基础研究项目绩效评估指标体系研究

基于上述思路，构建了航天重大基础研究项目绩效评估指标体系框架（如图1所示），该指标体系纵向贯穿了项目的全周期运行过程，包括4个一级指标，即项目投入、项目运行、项目产出、项目效益；横向覆盖了项目研究及管理的主要要素，包括17个二级指标。

图1 航天重大基础研究项目绩效评估指标体系框架

2.3 指标权重确定

在对各项评估指标赋权时，常用的方法包括德尔菲法、层次分析法、集值迭代法、熵值法等，其中集值迭代法可操作性强，且可以很好地处理多指标权重系数确定的问题，因此本文采用集值迭代法进行权重计算[10,11]。

其中

以某航天重大基础研究项目为例，该项目正处于实施阶段，邀请25位领域专家，采用极值迭代法对各项指标的权重进行判断。通过对各位专家遴选的各自认为最重要的5个指标、10个指标和15个指标情况进行统计计算，并作取整处理，得到处于实施阶段的项目绩效评价指标权重，见表1所示。

表1 航天重大基础研究项目绩效评价体系

Tab.1 Performance Evaluation Index System for Major Basic Research Project of Aerospace

序号一级指标二级指标指标释义指标权重（实施阶段） 1项目投入研究人员投入匹配性（ω1）研究团队现有人员当量与年度研究目标所需人员的匹配程度，以研究团队现有人员当量与实现年度研究目标所需人员当量的比值表示6% 2研究经费投入匹配性（ω2）年度研究经费投入与年度计划经费的匹配程度，以年度研究经费实际投入与年度计划经费的比值表示6% 3项目运行目标与任务完成情况（ω3）研究任务完成情况与年度目标的匹配程度，以年度实际完成计划数与年度计划总数的比值表示8% 4核心基础科学问题研究完成率（ω4）核心基础科学问题攻关完成情况与年度计划的匹配程度，以实际完成研究的核心基础科学问题数量与应完成研究的核心基础科学问题总数的比值表示8% 5指南编制、专题研究项目立项符合性（ω5）指南编制、专题研究项目立项与总目标和年度目标的匹配程度，包含指南编制、专题研究项目立项定位的基础性，对总目标和年度目标的支撑程度，以及各项流程的科学性和规范性，由同行专家定性评估5% 6专题研究项目验收情况（ω6）专题研究项目按时完成率及质量达标率情况，其中按时完成率权重为2%，以年度通过验收的专题研究项目数量与应验收的专题研究项目数量的比值表示；质量达标率权重为2%，以验收结果为“良”及以上的专题研究项目数量与通过验收的专题研究项目数量的比值表示4% 7风险评估开展情况（ω7）风险辨识的准确性与应对措施的有效性，由同行专家定性评估4% 8管理制度健全性与机制运行有效性（ω8）管理制度体系的完备性、规范性、有效性，对研究目标实现的支撑作用，由同行专家定性评估4% 9项目产出基础研究理论与方法的创新性（ω9）基础研究理论与方法等成果的创造性、新颖性、独特性的程度，由同行专家定性评估8% 10基础研究理论与方法的先进性（ω10）基础研究理论与方法等成果与国内外同领域、同学科的成果相比，各项指标的先进程度，由同行专家定性评估8% 11标准规范研究先进性（ω11）标准规范成果与国内外同领域的成果相比，其中涉及的技术、要求等的先进程度，由同行专家定性评估6% 12数字化研究先进性（ω12）数字化成果（模型、样机、软件、平台）与国内外同领域的成果相比，模型/样机的置信度水平以及软件/平台架构的先进程度和可扩展性程度等，由同行专家定性评估6% 13成果转化应用率（ω13）成果转化应用情况，截止到本年度，以各年度累计转化应用的成果数与累计取得的成果总数的比值表示8% 14人才培养情况（ω14）项目实施对高水平人才培养的贡献度，以团队拥有的国家级领军人才和高级职称以上人员数量与团队总人数的比值表示5%

续表1

序号一级指标二级指标指标释义指标权重（实施阶段） 15项目产出知识产权情况（ω15）知识产权获取情况，以发表的SCI论文、EI论文、国家发明专利（受理/授权）、专著数量总和与项目取得的全部知识产权成果数量的比值表示4% 16项目效益对国防基础研究水平与能力提升的带动作用（ω16）研究成果对提升相关领域国防基础研究能力和学科专业水平所起的带动和示范作用，由同行专家定性评估6% 17对国防技术和装备能力提升的带动作用（ω17）研究成果对推动国防相关领域科技进步和提升装备综合性能水平所起的带动和示范作用，由同行专家定性评估4%

需要说明的是，项目处于不同的研究实施阶段时，其指标权重会有所不同，本文研究的项目正处于实施阶段，因此，项目投入、项目运行和项目产出的指标权重相对较高，项目效益的指标权重相对较低。后续，在项目结题验收后，项目投入、项目运行的指标权重将会降低，项目产出、项目效益的指标权重将会加大。

3 结束语

本文在深入调研分析国内外基础研究项目绩效评估政策和方法的基础上，结合航天重大基础研究项目的特点，研究构建了覆盖项目实施全周期的绩效评估指标体系，提出了各项指标的定量评估模型和定性评估准则。本文的研究成果具有较强的可操作性和可推广性，对于航天重大基础研究项目的绩效评估工作具有重要指导意义。

[1] 刘云, 赵勇强, 唐珊. 国防科技计划绩效评估体系构建[J]. 兵工学报, 2009(30): 5-13.

Liu Yun, Zhao Yongqiang, Tang Shan. Research and construction on perfomance evaluation system of defense science and technology program[J]. Acta Armamentarii, 2009(30): 5-13.

[2] 龚旭, 夏文莉. 美国联邦政府开展的基础研究绩效评估及其启示[J]. 科研管理, 2003, 24(2): 1-8.

Gong Xu, Xia Wenli. Performance evaluation and enlightenment of basic research conducted by the US federal government[J]. Science Research Management, 2003, 24(2): 1-8.

[3] 赵立雨. 基础研究绩效评估的国际比较及启示[J]. 科技进步与对策, 2011, 28(24): 140-143.

Zhao Liyu. International comparison and enlightenment of basic research performance evaluation[J]. Science and Technology Progress and Policy, 2011, 28(24): 140-143.

[4] 国家科技部. 科学技术评价办法（试行）（国科发计字〔2003〕308号）[EB/OL]. http://www.most.gov.cn/tztg/t20031106_8902.htm, 2003-09-20.

Ministry of Science and Technology. Science and technology evaluation methods (trial implementation) (GKFJZ (2003) 308)[EB/OL]. http://www.most.gov.cn/tztg/t20031106_8902.htm, 2003-09-20.

[5] 中国标准化研究院. 科学技术研究项目评估通则GB/T 22900-2009[S]. 北京: 中国标准化研究院, 2009.

China National Institute of Standardization. General rules for evaluation of scientific and technological research projects GB/T 22900-2009[S]. Beijing: China National Institute of Standardization, 2009.

[6] 王力. 国家自然科学基金项目绩效评价指标体系构建[J]. 中国科技信息, 2017(Z1): 130-132, 134.

Wang Li. Construction of performance evaluation index system of NSFC projects[J]. China Science and Technology Information, 2017(Z1): 130-132, 134.

[7] 欧阳进良, 张俊清, 李有平. 我国科技评估与评估实践的分析与探讨[J]. 中国科技论坛, 2010(5): 5-9.

Ouyang Jinliang, Zhang Junqing, Li Youping. The analysis of Chinese practice of S&T evaluation[J]. Chinese Science and Technology Forum, 2010(5): 5-9.

[8] 国家科技评估中心. 国家自然科学基金2021年度绩效评价报告[EB/OL]. https://www.nsfc.gov.cn/Portals/0/fj/fj20220413_01.pdf. 2022-04-13.

National Science and Technology Assessment Center. 2021 annual performance evaluation report of NSFC [EB/OL]. https://www.nsfc.gov.cn

/Portals/0/fj/fj20220413_01.pdf. 2022-04-13.

[9] 陆娇, 毛开云, 赵晓勤. 国际科技评估方法与实践[M]. 北京: 科学出版社, 2017.

Lu Jiao, Mao Kaiyun, Zhao Xiaoqin. Methods and practice of international science and technology assessment[M]. Beijing: Science Press, 2017.

[10] 李德顺, 许开立, 李春晨. 基于集值迭代的多专家主观权重确定方法的研究[J]. 金属矿山, 2009(9): 42-50.

Li Deshun, Xu Kaili, Li Chunchen. Multi-expert determination of subjective weight based on setvalued iteration[J]. Metal Mine, 2009(9): 42-50.

[11] 刘小花, 詹庆东. 基于整合BSC和集值迭代法的高校图书馆战略绩效评估[J]. 图书馆, 2012(1): 92-95.

Liu Xiaohua, Zhan Qingdong. Strategic performance evaluation of academic library based on integrated BSC and value iteration methods[J]. Library, 2012(1): 92-95.

Research on Performance Evaluation Index System of Major Basic Research Project of Aerospace

Kang Lei-jing1, Jiao Xin-xin1, Liu Yu2

(1. China Academy of Launch Vehicle Technology, Beijing, 100076; 2. China Aerospace Academy of Systems Science and Engineering, Beijing, 100048)

Major basic research project of aerospace is characterized by numerous basic scientific problems, such as the high difficulty for investigation and the high requirements for innovation. However, there is no scientific, effective and quantitative index system of performance evaluation for the project. Based on investigating the performance evaluation policy and the frequently-used methods at home and abroad, a performance evaluation index system of major basic research project of aerospace is constructed. The proposed index system will effectively promote the management benefits and the high-quality development of aerospace basic research projects.

basic research; project management; performance evaluation index system

2097-1974(2023)01-0135-05

10.7654/j.issn.2097-1974.20230127

V57

A

2022-10-21；

2022-10-23

康磊晶（1971-），女，研究员，主要研究方向为科研管理。

焦鑫鑫（1986-），男，高级工程师，主要研究方向为科研管理。

刘 瑜（1984-），女，博士，研究员，主要研究方向为绩效评估、技术/制造成熟度评估。