新型研发机构公共科研平台绩效评估实证研究

马 良， 杨 照， 王苗苗， 招立伟， 刘 斌， 杨雯漪

（青岛海洋科技中心，山东青岛 266237）

0 引 言

《中华人民共和国国民经济和社会发展第十四个五年规划和2035 年远景目标纲要》［1］中强调“强化国家战略科技力量”“以国家战略性需求为导向推进创新体系优化组合”“支持发展新型研究型大学、新型研发机构等新型创新主体”。新型研发机构作为国家战略科技力量的重要组成部分，深化科技体制改革的产物，是“十四五”期间，国家打好关键核心技术攻坚战，提高创新链整体效能，实现经济社会持续高质量发展的重要载体。2019 年，科技部印发《关于促进新型研发机构发展的指导意见》［2］，指明了新型研发机构的基本内涵和发展方向：聚焦科技创新需求，开展科学研究、技术创新和研发服务，以推动科技资源的优化配置、科研创新的交叉融合以及产业转型升级。

新型研发机构作为一种融合产、学、研、金、服，市场化运作的“综合创新体”，核心功能是集聚创新资源、吸引高层次人才，采取商业化模式开展技术研发、成果转化和产业发展。其核心功能的实现很大程度上依托公共科研平台管理运行综合效能的发挥，尤其是基于科研仪器设施开放管理和科研数据共享运行在推进交叉研究、共性技术突破、新兴产业发展等方面催生的重大创新成果。科技部发布《关于促进新型研发机构发展的指导意见》中明确指出：“围绕科学研究、技术创新和研发服务等，科学合理设置评价指标，突出创新质量和贡献，注重发挥用户评价作用”。因而，探索构建兼具前瞻性、导向性、灵活性、兼容性的新型研发机构公共科研平台绩效评价指标和评估体系成为推进新型研发机构健康发展亟须探索和解决的任务，也是新型研发机构是否能够实现战略使命和发挥科技新动能的关键一环。本文基于某新型研发机构公共科研平台管理运行中推行绩效评估试点实践和经验总结，提出我国新型研发机构公共科研平台绩效评估指标体系并开展实证研究，以期为我国新型研发机构公共科研平台构建和完善复合式绩效评估体系提供参考。

1 评估指标体系构建

目前，对各类研发机构公共科研平台绩效评估的研究，在学术层面主要集中在科研仪器设施和数据开放共享等方面。在高校科研仪器设备共享评价方面，刘心蕊等［3］从设施基本情况、支撑保障、共享水平等3方面构建了高校大型科研仪器设备共享综合评价指标体系；在科学数据共享方面，董诚等［4］从机构保障能力、科学数据自身条件、对外服务能力和综合效能4 个方面提出了科学数据机构共享绩效评估指标体系。围绕绩效评价指标体系设计原则，赵红专等［5］提出了科学性、目标性、指导性、可比性、可行性5 个原则；针对新型研发机构绩效评价指标体系，杨博文等［6］从科研投入、创新产出质量、成果转化、原创价值、实际贡献、人才集聚和培养6 个方面，构建3 层次多指标评价体系；将不同指标分值进行归一化处理，王梦婷等［7］引入了正态分布概率模型；针对绩效指标权重的确定，郭百涛等［8］运用网络层次分析法计算各项指标的对应权重，从研发条件、创新活动、创新效益以及人力资源4 个维度设计产业化导向的新型研发机构共建绩效评价模型。

对高校和科研机构科研设施和仪器绩效评估实践层面，2015 年1 月，国务院发布《国务院关于国家重大科研基础设施和大型科研仪器向社会开放的意见》后，相关工作全面正式启动。2017 年9 月，科技部、发展改革委、财政部共同研究制定《国家重大科研基础设施和大型科研仪器开放共享管理办法》。2018 年，科技部牵头全面启动中央级高等学校和科研院所等单位重大科研基础设施和大型科研仪器开放共享评价考核工作。该考核评估采用的指标体系中包括设施开放率、共享率、利用率等客观评估和面向共享服务成效的专家主观评分相结合的形式。该评估每年面向中央级高等学校和科研院所等单位科研设施与仪器开放共享开展绩效评价，对评价结果为优秀和良好等次的单位给予后补助，对较差等次的单位予以通报并给予相应的惩罚措施，在推动国家重大科研基础设施和大型科研仪器的开放共享、提高科技资源利用效率方面产生了良好的经济和社会效益，也为各级各类科研机构公共科研平台设施仪器的绩效评估提供了评估原则、流程、指标等方面的范例。

1.1 评估指标及其释义

在借鉴以上研究成果和国家重大科研基础设施和大型科研仪器开放共享评价考核指标体系基础上，现结合新型研发机构的战略定位和核心目标，通过梳理提取相关指标，提出我国新型研发机构公共科研平台共享绩效评估指标体系，在某新型研发机构公共科研平台建设和运行管理实践中，借助德尔菲法对指标体系进行论证优化，最终形成包括能力建设、科研效能、开放服务3 个1 级指标，下设10 个2 级指标和27 个3级指标，见表1。

表1 新型研发机构公共科研平台共享绩效评估指标体系

1.1.1 能力建设

科研平台和设施是新型研发机构的核心支撑体系，其能力和水平主要取决于技术能力、技术团队、硬件设施和管理机制。据此下设有技术能力、技术队伍、基础条件和日常运行4 个2 级指标。

（1）技术能力。技术能力是决定科研平台能力和水平的核心要素。该指标重点考核技术体系构建、技术服务内容、技术创新实施3 方面内容。其中，技术体系构建指围绕科研设施相关技术体系建设的水平；技术服务内容指依托科研设施提供技术服务种类以及服务标准化、规范化程度；技术创新实施指围绕科研设施开展的新技术、新工艺、新方法创新等。

（2）技术队伍。技术队伍是公共科研平台的关键性能动要素之一。其中，领军技术人才指公共科研平台领域内高水平领军人才配置情况；技术团队配置指科研设施技术团队学科方向、专业领域、年龄梯次等配置完备情况；技术团队人员能力提升情况，包括技术培训、技术交流、技能认证、职称晋升等。

（3）基础条件。基础条件指公共科研平台仪器设施、实验条件相关基础环境改造等内容。基础环境改造指科研设施配套环境改造及科研场所环境装修；设施安装调试指新进／改造科研设施的安装调试；能力升级方案指围绕平台硬件条件发展制定的能力升级方案制定和实施。

（4）日常运行。日常运行主要考核公共科研平台日常基本运行体制机制建设和运转。安全管理重点考核安全管理制度建设、安全检查和安全培训的执行等；开放运行管理重点考核开放运行制度建设、运行记录档案和开放运行信息化建设实施等；内控管理重点考核人员、经费、设施管理制度体系建设和执行规范，相关审批流程规范性和档案建设情况等。

1.1.2 科研效能

科研效能是科研平台建设运行的主要目标和任务，是表征科研平台运行能力的核心指标之一。其下设置有科研任务、科研成果、科研团队和服务成效4 个2 级指标。

（1）科研任务。科研任务主要指公共科研平台承接和支撑的科技研发和技术攻关任务。科研项目指公共科研平台承接和支撑的科技研发项目，综合考量项目的数量、级别、经费等内容；纵向课题指公共科研平台承接和支撑的上级科技主管部门或机构批准立项的各类科研项目和任务；横向课题指承接和支撑的企事业单位、兄弟单位委托的各类科学研究和技术服务项目和任务。

（2）科研成果。科研成果即公共科研平台在科技研发和技术服务过程中产出的学术论文、专利、软件著作权等知识产权产品以及获得的相关奖项、称号、资质等。

（3）支撑团队。支撑团队指公共科研平台开展合作研究或技术服务的研究队伍。其中科研团队主要面向高校、科研院所等；产业团队主要面向公司、企业等。

（4）服务成效。经济效益即公共科研平台开展科技研发和技术服务产生直接或间接经济效益；社会效益即公共科研平台开展科技研发和技术服务对技术进步、社会发展、国际合作、生态环境等方面产生的效益影响。

1.1.3 开放服务

依托科研平台的科研设施面向社会开展设施共享和技术服务是新型研发机构的重要职能，围绕公共科研平台开放服务，主要设置了设施运行和用户服务2个2 级指标。

（1）设施运行。重点考核设施利用率、共享率和故障率。利用率即设备正常使用机时占比，其中，单台科研设施利用率：年使用机时／1 600；平均利用率：平台设备使用总机时／台套总数／1 600；计算集群系统统计的平均CPU利用率；共享率即设施面向新型研发机构外部单位提供服务机时占比，即对外服务机时／总机时；故障率即设备故障机时／年使用机时，故障率越低，说明设施运转状况越好。

（2）用户服务。用户服务主要包括用户满意度和用户粘合度两个方面，其中用户满意度即用户评分为满意或非常满意问卷数占总问卷数比例；用户粘合度即再次接受公共科研平台服务用户占比。

1.2 指标权重计算

绩效评估指标体系设计过程中，不仅要考虑内容的科学性、合理性，各项指标的重要性需要进行排序和区分，该新型研发机构公共科研平台绩效评估通过层次分析法，对各1 ～3 级指标赋予不同权重，实现对指标间相对重要性的量化对比。

层次分析法是美国运筹学家匹兹堡大学的T.L.Saaty教授于20 世纪70 年代提出的一种定性分析和定量分析相结合的多目标系统分析方法。层次分析法通过对各1 ～3 级指标直接的相互关联和隶属关系进行分组，构建形成一种层次化的架构，再两两比较各项指标间的相对重要性，建立判断矩阵，计算得出特征向量和最大特征值，得出各个指标占整体指标体系的权重，从而对所需解决的复杂问题做出科学准确判断［9-11］。具体实施过程如下：

（1）模型构建。首先建立自上往下的层次结构模型，以箭头标示出各级指标间隶属关系。

（2）问卷调查。根据层次分析法指标对比原则，设计调查问卷，邀请专家对判断矩阵中各评价指标进行两两比较，判断其相对重要性程度。判断准则标度引入9 分位相对重要比例标度。

（3）相对权重计算。根据专家问卷调查结果，构造判断矩阵，求解其最大特征值λmax和特征向量ω（Aω＝λmaxω），将ω标准化，从而确定某一级指标对上一级指标的影响程度，即权重W。

（4）一致性检验。为检查比较矩阵中各指标之间的权重是否符合常理，可以对权重向量进行一致性检验，检验指数如下：

通过平均随机一致性指标RI对其进行校正，得到一致性指标：

当CR＜0.10 时，说明矩阵一致性符合标准。

（5）综合权重计算。在计算得到各1 级指标相对权重w1i，各1 级指标内2 级指标相对权重w2j，2 级指标内3 级指标相对权重w3k，并确认各矩阵一致性符合标准后，可以计算得到各级指标综合权重：

1 级指标综合权重：

2 级指标综合权重：

3 级指标综合权重：

1.3 结果研判应用

在绩效评估结果研判过程中引入PSR 模型，PSR（Pressure-State-Response），即压力-状态-响应，最初由加拿大统计学家David J.Rapport 和Tony Friend（1979）提出，最初主要用于环境质量评价［12-13］，近年来逐步在经济管理、社会组织等领域得到了一系列应用，如谢小青等［14］应用PSR模型对城市创业环境进行综合评价；褚大建等［15］基于PSR模型开展公共服务治理系统性研究；时歌等［16］应用PSR模型构建新型研发机构发展机制的“压力-状态-响应”分析框架。

在新型研发机构公共科研平台绩效评估过程中，PSR模型为评估结果的研判构建了一个基于因果关系的循环分析方法，在研判一个平台的评估结果时，首先分析其建设需求和功能定位（Pressure），而后分析其绩效总分及下级指标得分，梳理其建设运行现状和问题（State）及主要原因，最后针对不同平台的评估结果和研判结论，有针对性地提出其进一步发展的对策建议（Response）。

2 评估实证分析

该新型研发机构聚焦自身重点领域和核心任务，自2017 年开始，陆续启动建设和运行7 个不同方向的公共科研平台。借鉴中央级高校和科研院所等单位科研设施与仪器开放共享评价考核工作，结合该新型研发机构建设运行发展阶段和需求实际，提出试点和统筹推行公共科研平台绩效评估制度，以“分类、量化”为基本原则，基于德尔菲法对绩效评估体系中的综合权重和相对权重进行分析，采用年初目标制定、年中进度追踪、年底全面评估的3 步走的年度目标管理模式，分成熟型、成长型、瓶颈型3 类提出绩效评估结果和应用建议。在工作实践中，为统筹、规范、快速地推进新型研发机构内不同科研平台的建设和运行发挥了重要促进和激励作用。

2.1 指标权重分析

基于层次分析法理论，团队设计“新型研发机构公共科研平台共享绩效调查问卷”。邀请相关领域方向专家分建设阶段和运行阶段两类各填写一份问卷。邀请专家10 位，发放问卷20 份，回收20 份，回收率100%。根据问卷调查结果，应用层次分析法计算得到各项指标权重和相对指标权重如下：

（1）1 级指标。分析能力建设、科研效能、开放服务3 个指标的综合权重结果（见表2），能够明显读出建设阶段和运行阶段，3 个1 级指标综合权重差异显著。建设阶段，能力建设指标综合权重为0.63，显著高于其他两项指标总和；运行阶段，科研效能指标综合权重为0.60，明显高于其他2 项指标总和。

表2 科研设施开放共享绩效评估一级指标权重

（2）能力建设。基于1 级指标综合权重的结果，分析能力建设下属技术能力、技术队伍、基础条件、日常运行4个指标的相对权重结果（见表3），得出技术能力、技术队伍两项指标相对权重在建设阶段和运行阶段差异不大，基础条件和日常运行两项指标在两个阶段的相对权重变化明显。其中，基础条件指标占比从建设阶段的33.02%降至运行阶段的17.05%，日常运行指标占比从建设阶段的12.56%升至25.57%。

表3 能力建设下属2 级指标权重

（3）科研效能。基于1 级指标综合权重的结果，分析科研效能下属科研任务、科研成果、支撑团队、服务成效4 个指标的相对权重结果（见表4），得出在建设阶段和运行阶段，4 个2 级指标相对权重基本一致，只有微弱差异。

（4）开放服务。基于1 级指标综合权重的结果，分析开放服务下属设施运行和用户服务2 个指标的相对权重结果（见表5），得出在建设阶段和运行阶段，科研效能的各项2 级指标相对权重完全一致，没有差异。

表5 开放服务所属2 级指标权重

2.2 评估工作流程

结合该新型研发机构建设运行实际，为进一步突出进度把控及问题解决，在年度评估的基础上，实施年初目标制定、年中进度追踪、年底全面评估的3 步走的年度目标管理模式，通过办法和细则的制定规范相关工作流程（见图1）。

图1 公共科研平台绩效评估工作流程

（1）年度目标制定。围绕平台建设定位、年度科研需求、运行阶段现状等，根据3 级指标体系，新型研发机构的决策层、主管部门和科研平台采取自下而上、自上而下相结合的方式，共同编制和确定各科研平台的绩效考核指标，并以印发“年度工作考核目标”的方式予以确认。

（2）年中进度追踪。对照年度考核目标，各科研平台梳理和总结半年工作成效，填写工作完成情况表。针对每一项工作任务，明确牵头或参与职责，用量化的数据、指标，直观清晰地反映上半年工作量及任务完成情况。主管部门根据半年工作完成情况表，核查中发现的工作量不饱满、无阶段性成果、工作分工不清等情况，了解具体原因和存在问题，提出书面意见或建议并采取专题会、座谈会等方式与科研平台进行充分沟通。

（3）年底考核评估。年底考核工作分目标评议、述职测评2 个环节。目标评议环节，由各科研平台整理年度职能工作完成情况，主管部门对照年度考核目标汇总形成评议材料，面向所有服务对象、科研团队等以开放查阅和评价打分的方式进行评价。述职测评环节，新型研发机构决策层和相关专家组成评委会，各科研平台述职介绍年度工作进展和成效，评委会进行评价打分（见图2）。目标测评和述职测评的打分占比分别为40%和60%。

图2 公共科研平台绩效评估得分及排名

2.3 典型案例分析

该新型研发机构以陆续启动和运行的7 个方向公共科研平台为对象，持续推行上述构建的指标体系、权重计算和工作机制等，运行公共科研平台绩效评估体系，根据年度绩效评估结果分别向决策层提出保障措施建议，向公共科研平台执行层提出改进和提升工作建议。试点实践中，该体系得到了相关方的认可、肯定和支持，综合评估结果与新型研发机构公共科研平台工作实际相符合，运行过程中有效引导、激励和推动了各公共科研平台统筹、规范、快速建设和运行，支撑了该新型研发机构核心战略实施、满足科研发展需求，服务相关科研任务的完成。

基于试点运行前4 年的绩效评估结果，选取成熟型、成长型、瓶颈型3 类典型案例分析如下：

（1）成熟型平台。在该新型研发机构筹建过程中，A 平台在决策层和专家层投票中共享性、前瞻性、引领性、急需性得分最高，因而成为第1 个建设和启动运行、投资额度最大的公共科研平台，运行当年就以其技术能力成为领域内国内第一。在运行初期，该平台双管齐下，一方面快速实施高强度升级建设项目，存储方式和能力得到跨越式提升；另一方面协同领域内其他机构，通过异地互联构建跨地域系统再次极大地提升计算能力。1 年内表征该平台水平的2 项核心指标双双再创新高。目前，A 平台每年集群资源使用率达到100%，支撑国家项目超过90 余项。在连续4 年的绩效评估中，稳列前两位优秀等级。同时，A平台还陆续争取和承担了包括重点研发计划在内的各级各类基于平台的技术研发项目，跨入了稳定、可持续发展的良性轨道。

（2）成长型平台。相比于其他平台，D 平台支撑科研方向较为有限，服务交叉融合能力较弱，但负责人凭借在领域内全球排名第一科研机构的多年科研、技术和实践经验，提出的建设运行方案得到决策层支持，成为第2 批启动建设的公共科研平台之一。建设初期，由于平台核心设备需从国外定制，在国内、国外开展两轮调试、安装、培训等，推进成效不显著，评估结果属于中档水平。转运行第1 年，D 平台因核心设备属于国内一流，扎实同步推进技术体系构建和技术方法开发，核心设备实际运行性能成为国内领先，技术团队配置合理，测试精度迅速达到国际一流水平，年测试样品万余个，随即接到百万测试订单。当年年度绩效评估脱颖而出，位列第一优秀等次。后续该平台坚持致力于建设具有国际先进仪器设备和实验室功能，具备国际一流服务能力及测试水平的高端共享服务平台，综合绩效评估始终处于第一梯队。

（3）瓶颈型平台。B平台以构建具有中国特色的创新机制引领为理念，吸收借鉴国外先进经验，在建设运行初期，迅速吸引领域内相关部门和机构的高度关注和支持，构建起围绕国家重大战略需求，采用非行政机制打破部门壁垒，盘活领域内存量资源、辐射和带动全国的开放共享体系，在解决资源权属分散、管理封闭、交叉重复等问题，推进资源高效共享，最大限度提高设备的利用率及数据的交汇与管理成效显著，绩效评估以最高分位列优秀。然而，随着创新机制得到普遍认可和仿效后，该平台因创新型领军人才引进受挫、能力升级建设项目错失、运行机制无持续创新等原因，导致后续运行长期处于维持状态的瓶颈期，在绩效评估中迅速转入中等甚至中等偏下位次。

3 结论和建议

本文面向我国新型研发机构公共科研平台建设运行特点和发展需要，构建公共科研平台绩效评估指标体系，综合运用层次分析法，针对平台建设和运行阶段的不同特点生成了相应的指标权重，在连续4 年考核评估过程中进行了实证分析。结果表明：公共科研平台绩效评估指标体系兼顾了平台建设运行的各方面，可以对平台实现全面、系统的考核；针对平台的建设和运行阶段工作侧重的不同，设置针对性的指标权重，可以在不同发展阶段平台集中评估过程中客观反映平台绩效，确保评估的公平性、合理性。新型研发机构公共科研平台绩效评估体系，具有较强的可行性和可复制性，为新型研发机构绩效评估工作深入开展提供了良好的思路借鉴。

基于上述研究结果和实践，对我国新型研发机构公共科研平台建设和运行形成了3 条针对性发展建议：

（1）新型研发机构应科学构建和推行公共科研平台绩效评估体系，保障公共科研平台建设和运行高效，有效支撑新型研发机构重大科技任务攻关，服务科技创新和产业社会发展。

（2）机制创新是新型研发机构的重要使命之一。作为新型研发机构核心支撑力量，公共科研平台应基于领域特点，坚持体制机制创新，培育打造自身特色，不断提升核心竞争力，始终保持创新型发展态势。

（3）在建设发展全过程中，公共科研平台应聚焦“四个一流”的标准，即“一流设备、一流技术、一流服务、一流管理”，不断强化技术能力，保持技术水平先进性，重视高水平人才队伍建设，构建方法丰富、措施协同的激励机制，实现规范、健康、可持续发展。

（4）针对不同发展阶段和现状的公共科研平台，建议分类形成有针对性、精准的发展措施和建议，并加强过程实施和管控。例如成熟型平台应坚持紧跟领域前沿发展，持续做好设备升级更新和技术研发，保持核心竞争力；成长型平台依托科研任务需求，抢抓发展机遇加大支持，持续做好设备升级更新和技术研发，保持核心竞争力；瓶颈型平台，应及时梳理前期建设运行经验和问题，明确平台在新型研发机构中的任务定位，积极构建核心业务能力和竞争优势，实现转型升级。