创新研究群体项目绩效评价及其对科技评价的启示

高 杰，苏 竣，谢其军

（1.ISTIC-Taylor &Francis Group 学术前沿观察联合实验室，北京 100038；2.清华大学公共管理学院，北京 100084；3.清华大学科教政策研究中心，北京 100084）

1 研究背景

当今时代，各国都在不断建立和完善自己的科技评价理论体系和相关工作流程，以期达到促进科技创新与全球治理、资源合理配置与激励兼容的效果。科技评价作为科技管理与决策支撑的重要手段，对国家科技进步与全面创新的作用越来越强，同时关于改进优化科技评价制度的政策法规与研究报告也愈来愈多。在科技评价理论体系与工作实践中，对科研项目与科技创新人才团队的评价，一直都是不可或缺的关键内容。

2016 年5 月30 日，习近平［1］总书记在全国科技创新大会、两院院士大会、中国科协第九次全国代表大会上的讲话中强调，要改革科技评价制度，建立以科技创新质量、贡献、绩效为导向的分类评价体系，正确评价科技创新成果的科学价值、技术价值、经济价值、社会价值、文化价值。《中共中央关于坚持和完善中国特色社会主义制度 推进国家治理体系和治理能力现代化若干重大问题的决定》提出，要完善科技人才发现、培养、激励机制，健全符合科研规律的科技管理体制和政策体系，改进科技评价体系，健全科技伦理治理体制。这些都体现了国家对于科技评价工作的重视，以及改进相关评价体系、改革相关管理制度的决心。同时，国内科学界与社会各界也展开了对于科学合理、公正公开的科技评价的理论探讨与相关工作实践，近年也出现了“负责任的科技评价”的提法与相关研究。

中外很多学者一直都在进行有关科技项目、科技评价的评价指标体系、评价理论与评价方法的研究，如Hedler 等［2］认为元评价（meta-evaluation）和元分析（meta-analysis）是不同的研究方法，提出元评价是一种定性方法，在评估前评价（prior evaluation）时非常有用，而元分析的定量方法更适用于首次评价（first evaluation），并在其研究中构建了社会项目元评价模型。还有不少学者探讨将文献计量、科学计量、引文分析、知识计量等多种方法与范式纳入科技评价体系中来，融合进行综合性的、科学合理的、负责任的科技评价，例如，高杰等［3］利用CiteSpace 软件工具绘制知识图谱分析科技人才与科技机构的合作情况，对合作网络密度与节点中心度进行可视化分析；李政等［4］探索提出了一种较为新颖的基于突变理论的科技评价方法，构建了颠覆性技术预测模型；韩毅［5］提出要注重非正式文本与交流平台的学术影响力、综合影响力评价，认为替代计量学（Altmetrics）的诞生在一定程度上为科技成果的社会影响力评价提供了新的范式与工具，Altmetrics 的计量结果与传统以引文为基础的科技评价是相互补充关系，两者融合进行综合评价是必由之路。

许多学者基于中国情境，结合国内外科技评价的理论与实践进行中国科技评价理论与实践发展的梳理与探索，如吴忠谦［6］在研究中选取了国际上4种主流的、典型的国家科技竞争力评价方法进行比较分析，为开展国际科技竞争力评价提供理论参考；汪雪锋等［7］对中国有关科技评价研究的40 年发展进行了阶段划分和主题重点演化的梳理与分析，为国家的科技评价改革与发展提供了理论贡献与参考借鉴；郑祥慈等［8］梳理了中国情境下科技评价、第三方评价的内涵与发展情况，提出了构建新型的科学、公平、公正的第三方评价体系等具有建设性的政策建议；郑晓娟［9］结合新时期中国创新驱动发展战略的背景与实际，梳理了中国科技评价发展的历程，分析总结了科技评价中存在的问题与新需求，并提出对科技评价体系改革的建议与思考；杜鹏等［10］认为中国科技评价体系存在的问题的重要源头之一，在于科技共同体的自治能力与影响作用不够，而问题解决的关键途径之一为，在科学家治理中纳入职业化、专业化的市场治理；汪建等［11］基于科技管理中科技项目评价数据与前人研究，构建了有中国特色的科技项目元评价模型；杨飞等［12］就澳大利亚研究理事会（Australia Research Council，ARC）支持的卓越中心（Centers of Excellence，COE）项目运行实施情况与评价指标体系等进行梳理分析，得出一些对我国科技评价与管理的启示。笔者高杰等［13-14］所在研究团队（以下简称“本研究团队”）也曾就中国有关创新群体（creative research group，CRG）项目，与澳大利亚卓越中心项目、德国合作研究中心（Collaboration Research Center，CRC）项目等先进发达国家的类似人才团队项目在目标定位、管理规定、科技评价与验收方式等方面进行比较分析，并给出相应的思考启示与政策建议。

本研究团队成员大多作为工作与研究人员参与过国家自然科学基金项目年度绩效评价工作，有着一定的理论积累、数据收集与实践经验，因此，本研究试图将科研项目与科技创新人才团队的科技评价结合起来，以国家自然科学基金资助体系中规格水平最高的人才类项目——创新研究群体项目（以下简称“创新群体项目”）作为研究对象，通过梳理分析其年度绩效评价工作的流程与实践，以点带面地探析中国在开展科学合理、负责任的科技评价工作中所出现的理论实践问题与经验思考。

2 创新研究群体项目的绩效评价

根据《国家自然科学基金创新研究群体项目管理办法》，创新群体项目支持优秀中青年科学家为学术带头人和研究骨干，共同围绕一个重要研究方向合作开展创新研究，培养和造就在国际科学前沿占有一席之地的研究群体。促进与支持基础研究发展是国家自然科学基金的整体属性，而创新群体项目作为国家自然科学基金资助体系下鼓励科学前沿探索的人才类项目，具有较高水平的科技创新突破与人才团队培养的双重目标任务与项目属性，项目考核与评价的重点除了前沿探索、取得预期目标或成果外（同时允许失败），对于项目人才与团队的培养则是结题验收与科技评价的重中之重，包括要看团队是否实现了整体发展与跃迁，团队成员是否成为科技骨干、知名学者专家，是否实现了合格科研人员、硕博研究生的培养等内容。

所谓科技人才项目的评价，是指在国家政策引导下，结合项目目标需求、科技创新的特性与科技人才的特点等情况，运用科学合理的方式，对科技人才项目的价值和贡献作出判断与评价的过程［15］171。科技人才项目评估要遵循客观公正、需求导向、分裂评估与合理使用等原则，评估工作主要可分为事前评估、事中评估与事后评估3 个阶段［15］174。参考其他科技人才项目评价工作阶段（事前、事中、事后）划分，创新群体项目的绩效评价工作包括对部分在研项目与结题项目的抽查，以及专家对抽查项目打分评价、对该类项目进行总体评价判断的工作。本研究将创新群体项目的绩效评价工作分为评价筹备阶段、函评会评阶段以及绩效评价报告撰写修订发布阶段，其中函评会评阶段，特别是会评与报告的撰写发布阶段在工作内容与时间上比较接近，可并作一起进行梳理分析，国家科技评估中心（以下简称“评估中心”）承担了2015 年度国家自然科学基金及创新群体项目的绩效评价工作，本研究以其中的创新群体项目绩效评价为例进行分析。

2.1 评价筹备阶段

2.1.1 调研访谈

评估中心组织工作与研究人员赴创新群体项目依托单位（包括浙江大学、清华大学等高校和有关科研机构）进行调研，组织项目负责人与专家进行会议访谈。对专家观点的初步整合，多数专家认为创新群体最大的特点是，基于同一个目标把一群具有不同学科背景或者研究方向的人才聚集在一起开展联合攻关，推动内部不同团队间的融合发展。创新群体“含金量”高，是一种无形资产，增加了科研团队整体的软实力，该类项目的顺利运行有助于交叉学科的融合、团队整体与个人的提升与成长，以及我国在以基础研究领域为主要代表的原始创新、源头创新迎来一定程度与一定数量的探索和突破。具体观点如表1 所示。

表1 2015 年度创新群体项目绩效评价前期调研专家访谈的主要观点

2.1.2 问卷调查

在前期调研与专家访谈之后，评估中心继续组织科研人员与相关专家设计有关创新群体项目绩效评价的前期调查问卷，通过国家自然科学基金委（以下简称“基金委”）与科技部的专家库，向创新群体项目的学术带头人、研究骨干及主要成员，也即主持与参与过创新群体项目的专家学者与科研人员通过邮箱发送问卷，在线匿名填写相关内容。问卷按照学术带头人、研究骨干等人员分类选择填写，每类问卷第一部分均为人员与项目的基本信息（依托单位、基金委所隶属学部、项目持续时限等）；第二部分为程度选择题，包括对项目的管理评审过程的了解程度、申请服务与评审的满意度等内容；第三部分为建议需求类的填写题，包括对申请与评审问题的反馈、项目申请评审改进优化的建议等。经过历时近1 个多月的问卷发放与收集，共收到有效回馈问卷300余份，由评估中心人员继续整理分析。

2.1.3 绩效评价指标体系设计

评估中心按照科技项目评价规范，结合专家意见与建议，经多次开会讨论与数据材料整合，按照投入、过程、产出、效果这4 个大类的一级指标及其下属6 个二级指标和20 个三级指标的评价指标体系进行专家打分表的设计（见表2），并且注明了供专家打分与同行评议的三级指标要点。

2.1.4 总体绩效评价表设计

在开展此次科技评价工作中，评估中心准备了绩效评价工作方案，并联合基金委政策局、计划局以及相关专家设计了创新群体项目总体绩效专家评分表［16-18］，如表3 所示，除了“规范实施、科学客观、高校组织、公开透明、发挥实效”等总体评估要求之外，均特别强调了创新群体项目在学科建设与交叉融合、团队建设成长与可持续性的评价指标及评估侧重点，除去“内容目标”“成果产出”等常规评价指标外，特别强调了对创新群体在国内外合作、人才团队培养、学科建设发展、团队潜力与可持续性等方面成效的评价。

表3 2015 年度创新群体项目绩效评价专家评分表

2.2 函评会评与评价报告撰写发布阶段

在创新群体项目的随机抽样调查中，基金委向评估中心提供了8 个学部共34 个项目的材料（每个学部2～3 个项目，有在研项目也有结题项目），包括项目申请书、计划书、年度进展报告或结题报告等项目相关材料，在初次会评前1 个月发送到相关领域的大专家1）邮箱之中进行初步审阅与函评，随后在2015 年年底召开了第一次绩效评价的会评会议，各学部的专家首次对抽样项目进行打分与评价，并且对创新群体项目运行提出初步看法。

2016 年1 月底，基金委联合评估中心召开国家自然科学基金的总体年度绩效评价专家会议，有来自基金委8 个学部的首席专家以及科技管理大领域的专家等30 余人参加，就“创新群体项目绩效评价”专题对相关项目由专家进行打分，并开展同行评议。与会专家多数认为创新群体项目有助于科研人才团队的培养，有助于促进原始创新、前沿探索与交叉学科融合研究，同时其资助评审方式有助于营造符合科学规律的、宽容宽松的研究环境与氛围，而且通过评估中心对创新群体项目运行15 年来取得的各项科技成果与前沿探索成效的梳理，发现这类项目培育与孵化了众多重大科技突破与科技领军人才团队；当然，创新群体项目还有很多问题与待完善的地方，专家进行了讨论，并完成纸面评审与同行评议，由评估中心与基金委的工作人员回收进行后续整理。

3 创新群体项目特点及其对我国科技评价的启示建议

本研究以国家自然科学基金委设立的创新研究群体项目作为高水平前沿探索的科技创新人才团队项目的代表，梳理了国家科技评估中心联合基金委对创新群体项目进行绩效评价的工作流程与科技评价实践，从前期准备到以同行评议为代表的函评会评，最后到绩效评价报告等内容的撰写修订与评审发布，在此过程之中最重要的是结合项目特点与其特殊属性，以及专家通过同行评议、评估人员通过数据测算等得出各级指标与权重，经过反复测算与斟酌修改，进行评价指标体系的设计（包括抽查项目与总体项目评价表两套体系的设计）。

创新群体项目与其他科研项目的主要不同就在于，从科学研究的属性来看，创新群体多进行前沿探索研究，可允许一定程度的失败，成果方面考核较为宽松，资助金额大、资助周期长，有利于科学家在良好宽松的氛围与环境中作出符合科学规律与前沿探索突破的研究；从人才团队培养的属性来看，创新群体项目的科技评价与同行评议要重点关注整体团队的发展（是否在国际前沿占有一席之地），团队成员个体的发展（研究骨干是否成长为具有一定知名度与荣誉的科学家与专家学者、科研人员与硕博研究生是否顺利发展与毕业等），以及国内外的合作与交流情况（国内外会议交流、科研合作等内容）。因此创新群体的特点在于具有前沿探索与人才培养的双重属性，同时还具有资助力度大、周期长以及考核宽松等特点。

与传统认知的科技人才项目评价相比，创新群体项目的绩效评价提示科研人员与评价人员要注重每个项目的特质与要求，同时结合国家的最新政策精神、科技管理机构的管理规定与评价指南等内容，逐步改革、规范与优化项目的流程管理，注重同行评议在科技评价中的重要作用，并结合项目特质，运用多重手段与评价方法结合的方式，逐步拓展科技评价的范式与边界，对科研项目与科技人才团队进行分类评价与多样化评估，综合考虑其科技成果与目标任务完成情况等内容的科学价值、技术价值、经济与社会价值等多维度价值。国家自然科学基金委自2015 年开始对创新群体项目的申请与管理规定进行了微调，近5 年不断参考创新群体项目运行的情况与经验，以及吸取相关项目科技管理部门与学者的建议，逐步统一了8 个学部创新群体项目的资助期限与资助金额，特别是绩效评价与结题验收的评价指标体系也在不断改进与规范，有助于基金委管理项目与组织评议，有助于该类项目科学合理与平稳有序发展，也有助于科学合理与负责任的科技评价健康有序地开展，促进提升我国科技人才类项目的科技评价工作水平。

注释：

1）大专家指在领域内影响力较大，或在基金委相关学部承担过重大科技项目的专家。