中国科学院知识创新工程评估方法

文/中国科学院知识创新工程评估方法研究课题组

中国科学院 北京 10 0 8 64

中国科学院知识创新工程评估方法

文/中国科学院知识创新工程评估方法研究课题组*

中国科学院 北京 10 0 8 64

2010年，按照国务院常务会议要求，中科院认真开展了知识创新工程评估工作，形成了《知识创新工程（1998—2010年）评估报告》。本文介绍了知识创新工程评估的方法，包括评估的逻辑模型、指标体系以及主要评估模块的具体评价方法。重点介绍了针对评估对象特点的评估模型选择，系统的评估组织和环节设计及基于客观事实与数据的自评估方法。

中国科学院，知识创新工程，评估方法

知识创新工程是我国面向21世纪迎接知识经济时代挑战、实施科教兴国战略、探索国家创新体系建设的重大战略举措。2010年，知识创新工程三期结束之际，国务院常务会议要求中科院做好知识创新工程评估工作，总结经验，深化改革，科学定位。2010年4—10月，中科院认真组织开展了知识创新工程评估工作，形成了《知识创新工程（1998—2010年）评估报告》。本文介绍了知识创新工程评估的方法，包括针对评估对象特点的评估模型选择、系统的评估组织和环节设计以及基于客观事实与数据的自评估方法。

1 针对评估对象特点的评估模型选择

知识创新工程是由中科院实施的旨在为我国建设国家创新体系而进行的先行探索。从评估对象的角度看，知识创新工程评估不是单一的科技计划评估，也不是单纯的科研机构评估，而是具有科技政策、科技计划、科研机构评估的三重属性。从国际科技评价实践看，评估方法和评估模式的选择必须针对不同评估对象的特点。一般而言，重大科技计划是跨部门、跨机构、跨领域组织的，如美国的纳米科技计划、欧盟框架计划等，由各利益相关体代表组成的独立的评估组开展评估，重点关注计划设置的合理性、资金使用的规范性和有效性、产出效果以及未来发展的建议等。科研管理和执行机构的评估，通常根据各自的使命、定位以及科研活动的特点开展评估。以基础研究为主的机构，更加注重研究的质量和水平，如美国国家科学基金会（NSF）通过亮点工作遴选的方式展示其资助的成效，德国马普学会利用国际同领域最优秀的专家指导并评估其研究工作。以应用研究为主的机构，具有明确的目标和需求导向，科技评价围绕指定目标或路线图展开，如日本产业技术综合研究所围绕各领域的发展路线图，采用内部评估与外部评估结合、专家评估与定量指标监测结合的方法进行评估，确保其科研活动沿着路线图前进。

知识创新工程评估一方面要考虑到其科技政策、计划的属性，在评估中应关注其目标的执行和完成情况，同时作为国家创新体系建设的试点，还应从实践探索中总结经验、分析问题，为未来发展提供建议。另一方面，还要考虑其科研机构的属性，关注中科院使命、定位的实现情况，同时，要体现中科院建制化、规模化的科研组织的特点，既要评估科技创新贡献，又要评估体制机制的改革探索。此外，知识创新工程实施的13年，正值国际政治、经济格局迅速变化的时代，对其评估还必须兼顾其特定的时代背景。因此，知识创新工程评估给现有的评估理论和方法带来了极大的挑战，既要集成已有的多种评估方法，也要根据评估对象的特点和评估需要，发展新的评估方法。

根据知识创新工程评估目的及评估对象的特点，构建了基于战略导向的“目标-过程-结果”的评估模型（图1）。首先，知识创新工程具有明确的战略导向，即为国家创新体系建设探路，这是整个评价的出发点和落脚点。其次，知识创新工程作为国家创新体系建设的先行探索，既要全面评价知识创新工程试点目标完成情况，也要判断知识创新工程实施过程中采取的重大举措及其有效性，既要总结取得的成绩和经验，也要剖析存在的问题和不足，明确未来努力的新方向，为国家创新体系建设提供借鉴。基于此，知识创新工程评估重点回答3个问题：一是知识创新工程是否达到了预定的目标？二是采取了哪些措施促进了目标的达成？三是效果和影响如何，是否符合中科院的使命、定位和知识创新工程的目标？归纳为目标完成情况评估、重大改革举措有效性评估、效果和影响与使命定位的一致性评估3大方面。

根据以上评估模型，将各部分指标进一步分解（表1）。

图1 知识创新工程评估的模型

2 系统的评估组织和评估环节设置

知识创新工程是历时13年的一个巨大的系统工程，本次评估在评估组织和环节上进行了系统设计，使得评估模型和评估指标有效落实，确保评估工作的科学、完整和公正。

表1 知识创新工程评估的指标体系

2-5-5期刊、图书出版2-5-6科教基础设施建设2-6-1党建工作2-6党建工作、创新 2-6-2创新文化文化与制度建设 2-6-3制度建设2-7-1院士队伍建设2-7学部建设 2-7-2咨询评议工作2-7-3科学传播、学术及出版工作2-7-4学部国际合作3-1对知识创新系统的贡献3实施效果与影响 3-2对国家创新体系的贡献3-3在国际科技界的影响4-1基本经验4经验与问题 4-2问题与不足4-3规律性认识5未来展望 5-1下一步工作考虑

2.1 多层面的自评与总结

本次评估设计了多层面的自评与总结，包括研究所自评、科技创新基地自评、重要方面工作自评。这些自评为知识创新工程评估提供了底层的关键事实和数据。其中，研究所是中科院组织开展科研活动、探索实践改革举措的基本单元，研究所自评为遴选重大创新成果和判断研究所整体发展态势提供了支撑。研究所通过填写规范化的自评表评估其在规划部署与科技布局、人才战略、重大创新成果及影响等方面的表现，并提供关键的事实和数据。

科技创新基地是知识创新工程三期的重大改革举措，也是中科院发挥整体优势开展重大创新活动的组织形式。科技创新基地自评为知识创新工程评估筛选重大创新成果、总结经验、诊断问题等提供了基础。各科技创新基地以事实和数据为基础，自我判断目标完成情况、总结重要举措和经验等，并提出重大创新成果和管理创新案例。

重要方面工作是科研管理的关键环节和关键方面，是科技创新的基础和保障，为评估知识创新工程相关目标完成情况、分析重大改革举措及其有效性提供支撑。由院机关各部门组织具有丰富管理经验的专家开展自评与总结。

2.2 内外结合的专家评估

在自评的基础上，利用专家评估判断整体发展态势、遴选重大创新成果、总结经验、发现问题。专家评估包括内部专家评估和外部专家评估，评议意见是知识创新工程评估结果判断的主要依据。

内部专家评估主要基于研究所的自评，判断全院研究所发展情况。研究所自评材料在ARP平台交流，院、局/所领导共201位专家进行评议，判断全院研究所的发展态势，遴选发展最好、进步最快以及在规划部署和科技布局等8个方面表现突出的研究所。同时，为总结经验、发现问题、创新思维、谋划未来，组织院所两级主要负责人150人左右，围绕中科院发展的重要和关键问题开展了解放思想深化改革研讨。

外部专家评估主要对中科院以科技创新基地为主线的整体创新工作进行评议，并遴选重大创新成果。首先，在科技创新基地自评的基础上，按照基础研究领域、战略高技术领域、生命科学与技术领域和资源环境科技领域分别组织，共邀请了132位专家通过会议、函评等多种方式进行交流评议，然后由国家各相关部门领导和重要科技战略专家、经济与管理专家为主构成的咨询评议委员会进行综合评议。

2.3 基于历史数据的回溯分析

在知识创新工程实践中，中科院形成了院评价研究所、研究所评价所内研究室（组）、研究室（组）评价个人的周期性、多层次的评估体系，积累了大量的评估材料和数据。如构建的院所两级发展态势监测体系，积累了大量反映科研活动关键点、关键环节的数据，为本次评估工作提供了丰富、准确的历史数据，实现评价指标的纵向可比。本次评估以中科院管理创新和评估研究中心为主，基于定量数据监测，分析了中科院整体创新能力变化情况，并开展了国立科研机构学术影响力的比较研究。

2.4 外部评论的整理与分析

知识创新工程受到了国内外科技界的广泛关注，外界对知识创新工程的评论是知识创新工程实施效果和影响的重要证据。以国家科学图书馆为主，系统梳理了国内外与知识创新工程相关的研究、讨论和评述。

3 基于客观事实与数据的自评估方法

本次评估属于自评估，为保证评估的客观性，借鉴了美国科研机构基于绩效与结果法案（GPRA）自评估等的经验，结合评估对象的特点发展了多种新的评估方法，从而使本次评估成为基于客观事实和数据的自评估。以下从评估模型所确定的目标完成情况评估、重大改革举措评估和效果与影响评估3方面进行介绍。

3.1 目标完成情况评估方法

目标完成情况评估是知识创新工程评估需要首先回答的问题。知识创新工程的目标凝练是一个整体设计而又动态提升的过程。知识创新工程实施期间，中科院根据国际科技发展态势和国家战略需求的变化，不断凝练科技目标，形成了不断调整优化、不断提升创新目标的动态机制。在这种动态提升过程中，不变的是沿着“三个基地一个库”的方向发展，即“具有国际先进水平的科学研究基地”、“培养造就高级科技人才基地”、“高技术产业发展基地”和“科学思想库”。因此，目标完成情况评估围绕这4个方面展开。但如何把相对宽泛的目标进行科学、客观的表达，并兼顾其动态提升的特点，需要发展新的评估方法。本次评估从“发展态势变化”和“成果”两个维度，并在国际国内背景下进行横向和纵向的标杆评比，评估目标完成情况。以“科学研究基地”为例，包括重大创新成果评估和科技创新能力评估。

3.1.1 重大创新成果评估方法

重大创新成果是科学研究水平和贡献的直接表达，也是知识创新工程“科学研究基地”目标完成情况的直接证据。中科院是我国的战略科技力量，是自然科学和高新技术的综合研究与发展中心，其研究领域涵盖了基础研究、战略高技术、资源环境和生命科学与技术等，为我国科技进步、经济社会发展、国家安全等各方面都做出了基础性、战略性、前瞻性、系统性的贡献。创新成果的评价应充分体现中科院的特点，既不能简单以论文或专利来衡量，也不能简单罗列成果案例。

为此，发展了重大创新成果评价的“山脉模型”。中科院的科研活动集中在事关我国全局和长远发展的11个战略领域，重大创新成果评估以这些战略领域为主线构成了“山脉”，在每个战略领域，结合其特点，按照“技术发展链”、“创新价值链”、“学科布局链”等多种方式把该领域13年来标志性的创新成果串联起来，而这些标志性的成果构成了山脉中的“山峰”。如纳米、先进制造和新材料科技领域，按照国际先进水平的基础研究、在重要领域得到应用、向企业转化、进入工业示范和应用的创新价值链描述了该领域一系列重大创新成果。此外，为了更好地理解创新成果的价值和意义，揭示知识创新工程发挥的作用，在每个战略领域遴选1—2个创新成果进行深入的案例分析。按照科研活动的过程，围绕4个问题进行描述：创新成果研究的背景和意义是什么？中科院如何发挥自身优势，取得重要突破？创新成果在科学或技术上的主要突破和贡献是什么？创新成果取得的效果和影响是什么？

重大创新成果的遴选，充分利用多种途径的专家评议，以获得广泛共识为基础。（1）在知识创新工程13年的评估实践中专家遴选并获得院充分认可的成果。（2）利用第三方同行专家评选或认可的成果，如科技进展、科技奖励评选、Science等权威期刊的亮点综述等。（3）对知识创新工程三期取得的成果采用了多层筛选的机制，首先由各研究所和科技创新基地自评，遴选出各研究所和各领域的创新成果；其次，根据科技创新基地布局，按照基础研究领域、战略高技术领域、生命科学与技术领域和资源环境科技领域分头组织，共邀请了132位专家通过会评、函评等多种方式，遴选出各领域的创新成果；最后由科技创新基地咨询评议委员会对科技创新基地进行综合评议，识别全院最有影响的创新成果。科技创新基地咨询评议委员会主要由外部专家构成，既包括战略专家，也包括经济专家和管理专家等，涉及科技部、财政部、教育部等多个部门。

3.1.2 科技创新能力评估方法

发展态势和水平及其国际地位的判断，是判断知识创新工程目标完成情况的另一个维度。科技创新能力是衡量发展态势和竞争力的重要方式。中科院是一个综合性的国立科研机构，研究领域覆盖范围广、下属研究单元多，哪些是科技创新能力的关键要素，如何通过定量定性方法表达科技创新能力的水平和国际地位，需要新的评估方法予以支撑。

结合中科院组织结构的特点，科技创新能力从领域、学科和研究所3个层次进行评估。“领域”的科技创新能力情况按照重要基础研究领域、战略高技术领域、生物科学与技术领域、资源环境科技领域，从科技布局、人才队伍、平台建设、科研任务和产出等方面描述了中科院4大领域的发展态势。

“学科”层面的科技创新能力，通过国际比较刻画中科院主要学科的国际地位。为此，发展了“国际国立科研机构学术影响力学科比较分析”的定量评估方法。基于“3E”理论，选取了26个国家与中科院可比的86个国立科研机构，从“产出（E1）”和“效果（E3）”两个维度，遴选21个学科领域的论文、专利、重要国际组织任职、重要国际奖励4类指标，以所属一级指标最大值为标准进行归一化处理并按等权加和，E1与E3加和后得到各学科的综合得分，以此进行排名。按照这种方法对86个机构在1994—1998年和2004—2008年两个时间段的21个学科领域进行分析。国际国立科研机构学术影响力学科比较分析的方法，提供了标杆评比的工具，清晰刻画了知识创新工程前后中科院学科发展水平的变化，以及中科院各学科的国际地位变化情况。

在研究所层面，为了监测研究所发展态势、创新能力和贡献，为院所两级提供决策参考，中科院发展了科技创新能力指数的定量工具，自2004年开始对全院研究所进行监测。创新能力指数包括发展科技生产力能力、革新科技创新组织体制能力、领导科技创新能力、加快成果转移转化与规模产业化能力、有效吸纳国际创新资源能力5个方面。其中，发展科技生产力能力指数采用了类似GDP指数的方式，根据政策导向和实践经验，对研究所优秀科技人才、重要科研任务、科技平台建设和科技产出指标确定各自的“价格”，并赋予一定的权重，计算各研究所各项指标的“总量”。发展科技生产力能力指数的构建，使全院研究所发展态势可定量化表达，实现了横向和纵向可比，为动态表达创新能力变化提供了客观证据。

3.2 重大改革举措评估方法

科技计划和科研机构评估中通常都涉及对管理的评估，但更多是对日常管理工作的规范化、合理性进行评估。知识创新工程的重大改革举措与此有很大不同，它们是新的体制机制探索、新的制度创新，有破有立，对其评估必须基于特定的时代背景，并从经验总结的角度开展。既需关注这些改革举措的现实价值，又应分析其历史意义。基于此，重大改革举措评价主要采用回溯分析的方法，从举措实施的背景、措施的内容和取得的效果3个维度进行评价。

重大改革举措评估的一个关键是要识别影响科研活动的核心要素及其内涵。从管理学角度，管理包括4项基本职能，即计划、组织、领导、控制。从科技创新角度，创新要素主要包括支持创新的人、财、物及将其有效组合的机制。中科院作为建制化的创新组织，根据科技管理和科研活动的基本规律，结合自身管理工作特点，凝练了影响科技创新和支持知识创新工程目标实现的几个关键方面，包括规划部署与科技布局、人才队伍建设、体制机制改革与管理创新、国内外合作交流、创新基础设施建设，党建工作、创新文化与制度建设以及学部建设等。重大改革举措即围绕这几个关键方面进行梳理。

重大改革举措评估由中科院长期负责相关工作、具有丰富管理经验的管理专家进行自评与总结。首先通过研讨会的形式，遴选各方面的改革举措，特别是获得第三方认可的举措，如聘用制度和“三元”结构工资制度等被其他单位借鉴的改革措施。其次，采用回溯分析的方法，围绕3个问题进行评价：（1）该举措的背景和拟解决的问题是什么？（2）该举措主要内容是什么？（3）该举措的实际效果和影响如何？以人事制度改革为例，为了提高科研人员的积极性和主动性，实现科技队伍的动态更新，以聘任、薪酬激励和培训为主线，进行了人事制度改革和创新。系统梳理了岗位聘任制度、“三元”结构工资制度、职工培训和干部任用制度改革的发展脉络，利用客观数据和第三方反馈或评价验证了改革取得的效果。

3.3 效果与影响评估方法

知识创新工程效果和影响，关键要看是否达到知识创新工程的目的、任务要求，是否符合中科院的使命、定位。因此，效果和影响评估是整体上评估知识创新工程的贡献，围绕对国家创新体系建设的示范作用、对我国经济社会发展的推动作用、对我国科技影响力提升的带动作用展开。

效果和影响评价采用了“层次模型”，形成了由院内及院外、由国内到国际的多层次、多角度评价。首先分析探索建设国家知识创新体系路子的贡献，这是对中科院内部影响的评估，包括明确使命和定位、探索现代院所制度、与其他创新体系之间的联合合作等。其次评价对国家创新体系建设所发挥的作用，通过创新成果对经济社会发展的贡献、创新能力建设的示范和体制机制创新经验的扩散予以支撑。最后从提升国际影响的角度评价，主要引用国际杰出专家学者的评论作为直接证据，如德国马普学会副主席Harnack教授、发展中国家科学院执行主席Hassan等。层次模型较清晰地刻画了知识创新工程的效果和影响，但作为一个探索性强、辐射面广的系统工程，其效果和影响还需要通过更长的时间、更广的空间予以体现，现有评估还是初步的，有其局限性。

4 结论

知识创新工程评估是我国国立科研机构开展自评估的积极探索，其独特性为评估的理论和方法带来了新的挑战。以上所介绍的根据知识创新工程的特点构建的“目标-过程-结果”的评估模型，明确了知识创新工程评估的重点，即目标完成情况、重大改革举措的有效性、效果和影响与使命定位的一致性评估，较好地指导了整个评估工作。本次评估在评估组织和环节上进行了系统设计，使知识创新工程评估与日常管理工作很好地衔接，保证了评估工作的顺利开展和客观事实与数据的获取。基于客观事实和数据，并针对不同评估内容的需要，综合运用多种评估方法，发展了重大创新成果评价的“山脉模型”、重大改革举措评价的回溯分析以及影响与效果评价的“层次模型”等评估方法，保证了评估工作的客观性、科学性、可靠性和公正性。实践证明，知识创新工程评估为探索我国国立科研机构评价积累了经验，也为丰富科技评价的理论和方法提供了新的案例。

1中国科学院.中国特色国家创新体系建设的成功实践——知识创新工程（1998—2010年）评估报告.北京：科学出版社，2012.

2中国科学院.关于中国科学院开展《知识创新工程》试点的汇报提纲.1998年6月.

3中国科学院科技评价研究组.关于我院科技评价工作的若干思考.中国科学院院刊,2007,22（2）：104-114.

4 European Commission.Ex-post evaluation of the Sixth Framework Programmes.http://ec.europa.eu/research/ evaluations/index_en.cfm?pg=fp6.

5 21st century nanotechnology research and development act.http:// www.gpo.gov/fdsys/pkg/PLAW-108publ153/html/ PLAW-108publ153.htm.

6 Evaluation-The procedures of the Max Planck Society.http:// www.mpg.de/197344/evaluation2010en.pdf.

7 National Science Foundation.FY2011 Performance and Financial Highlights.http://www.nsf.gov/pubs/2012/nsf12002/nsf12002.pdf.

8 Osamu Nakamura,et al.Using roadmaps for evaluating strategic research and development:lessons from Japan's Institute for Advanced Industrial Science and Technology.Research Evaluation,2008,17(4):265-271.

9杨国梁，Liu W B,李晓轩等.国际国立科研机构学术影响力评价方法研究.中国科技论坛,2010,6:137-142.

AbstractAccording to the requirement raised in the Executive Meetings of the State Council,Chinese Academy of Sciences（CAS）conscientiously carried out the evaluation of Knowledge Innovation Program（KIP）in 2010 and finished the report entitled“The Evaluation Report of Knowledge Innovation Program(1998—2010)”.In this study,we present the KIP evaluation methodology including the evaluation model,index system and the specific evaluation methods of the main modules.Particularly,the main emphases are put on the evaluation model selection in light of the characteristics of evaluated objects,systematic evaluation organizations and evaluation process design,as well as the self-evaluation approaches based on the facts and data.

KeywordsChineseAcademy of Sciences,Knowledge Innovation Program,evaluation methodology

Evaluation Methodology for Knowledge Innovation Program of Chinese Academy of Sciences

KIP Evaluation Methodology Research Group,CAS
（ChineseAcademy of Sciences 100864 Beijing）

10.3969/j.issn.1000-3045.2012.04.012

*课题组主要人员：潘教峰、李晓轩、石兵、周长海、代涛、关忠诚、周建中等。执笔人：代涛。E-mail: daitao@casipm.ac.cn

修改稿收到日期：2012年7月4日