创新质量和贡献导向下科研项目绩效评价体系研究

王 忠，文宇峰，孙玉芳，陈谦明

四川大学 商学院，成都 610041

引言

近年来，中国科研项目投入的科技人力和科技经费呈快速增长态势，在一定程度上推动了科研成果的产出，但仍然存在质量不高、创新不足、绩效较低等问题。开展科研项目绩效评价能够真实反映科研活动发展现状，同时提供未来的发展方向，是科研管理工作的重要组成部分，对持续深入开展科研活动起着重要的促进、支撑和保障作用。2018年7月，国务院印发《关于优化科研管理提升科研绩效若干措施的通知》(国发〔2018〕25号)指出，要推动项目管理从重数量、重过程向重质量、重结果转变，明确设定科研项目绩效目标，建立以创新质量和贡献为导向的绩效评价体系，实行科研项目绩效分类评价。这一现实问题和政策导向对科研项目绩效评价提出了更高要求。

科研项目绩效评价是科技管理工作的重要组成部分,其目的是实现科技资源优化配置,提高科研项目的投入绩效,使有限资金发挥更大效用[1]。中国的科研绩效评价研究和指标体系建立起步较晚，绩效评价体系形式过于单一，过于看重论文、专利数量和经济效益等短期量化指标的权重，缺乏科学有效的项目绩效评价体系[2]，无法反映科研产出或贡献的全貌。此外，由于研究对象、研究目标、研究成果等存在差异，不同类型的科研项目绩效评价标准也不尽相同，单一的指标体系无法进行全面、有效的科研绩效评价[3]，因此有必要分类构建科研项目绩效评价体系。为系统解决现实问题和响应政策号召，本研究以创新质量和贡献为导向，从科研资源投入-科研成果产出视角，考虑不同类型科研项目的差异，分类构建科研项目绩效评价体系。

1 相关研究评述

科研项目绩效评价始于西方发达国家，科研项目评价从评价对象上可分为整体科研绩效评价和分类科研绩效评价两类；在评价内容上，有的重点评价科研成果，有的兼具评价科研过程[4]。英国在1986年首次进行科研绩效评价，将科研评价分为科学、人文、艺术三大类，在大类的基础上再进行学科细分，评价内容包括科研人员信息、科研投入与产出信息、科研环境和科研声望信息等[5]。JOHNES[6]对英国100多所高校的技术绩效和规模绩效进行评价。欧洲其他国家多从分类科研绩效评价入手，VINKLER[7]对匈牙利的科研活动从学术水平、教育水平、研发能力、国际活动水平和经费获取能力这5个方面进行评价，每个指标的权重由专家委员会和管理委员会确定；COCCIA[8]对隶属于意大利国家研究委员会的108家科研机构进行绩效评价，投入指标为公共基金额度、在册人员数和科研支出费用，产出指标为培养学生数、国内出版物数量、组织国际会议次数，并分别对高绩效产出的机构和低绩效产出的机构进行深入分析；BARRA et al.[9]以人力资源、财务投入为投入指标，以出版物数量、科研经费收入、科研成果发明专利、毕业生数量、学生满意度指数为产出指标，运用数据包络分析对意大利某大学进行绩效评价。美国的科研绩效评价比较强调科学研究的整体绩效，AHN et al.[10]对美国高校的科研投入和产出进行实证研究，通过比较美国公立与私立大学的相对效率，分析这些大学的技术效率和规模效率；KOSTOFF[11]提出在进行科研评价时需考虑不同类型科研项目的特征因素，实施分类评价。澳大利亚也是较早进行科研绩效评价的国家之一，与欧美国家不同，澳大利亚依据纯定量方式建立科研绩效评价指标，且科研收入在指标体系中占有较高比重[12]。

已有研究中对科研项目绩效的评价方法分为定性评价和定量评价，定性评价主要包括同行评议、德尔菲法等。同行评议法是指由某一领域的专家或与该领域相关和相近领域的专家对某项研究的学术价值进行判断和评价鉴定的分析方法[13]，这一方法能发挥专家的学科专长，对一项科研成果的价值做出判断，对信息资料数据需求较少，适合于难以量化的科研成果的评议[14]。德尔菲法又称为专家询函调查法，需要专家根据自己的知识和经验等进行判断，并不断地反馈修改意见，最终形成评价结论，这在一定程度上克服主观因素对评价结论的影响，评价结果相对客观[15]。定量评价中应用比较广泛的有文献计量法、层次分析法、数据包络分析法(DEA)等。文献计量法采用数学和统计学的方法对文献进行定量分析，从科研论文数量、期刊影响因子等指标对科研人员或科研机构进行科研成果绩效评价[16]。层次分析法主要用于科研绩效指标体系的构建和权重赋值[17]，肖鹏[18]从设计科研专项支出的各个环节的绩效指标入手，构建一套系统的科研专项支出的绩效指标体系，采用层次分析法对其进行权重赋值和实证检验；徐兆勇[19]以科研产出量为核心，构建绩效评价指标体系，评价科技人员科研绩效，采用层次分析法确定指标权重，建立科研人员绩效评价模型。数据包络分析方法是依据多项投入指标和产出指标，采用线性规划的方法，对有可比性的同类单元进行相对有效性评价[20]，近年来被广泛用于科研绩效评价领域[21]。段晓梅[22]锁定高校科技投入与产出之间的时滞效应，利用DEA方法对2015年中国高校科研绩效进行实证分析，发现中国高校科研绩效存在较大区域差异，东部较高，西部最低；XIONG et al.[23]基于2012年至2015年中国科学院17所研究机构的样本，采用动态DEA模型对大学和研究机构的研发绩效进行评估，发现资源规模在影响基础研究方面起重要作用；WANG et al.[24]运用数据包络分析和随机前沿分析，以人力资源、财力资源、物力资源为投入指标，并以人才培养、科研成果为产出指标，对中国研究型科技大学的相对效率进行研究，发现如果把人才培养作为唯一产出，研究型大学的效率远远低于综合性大学的效率，如果同时考虑科研和社会服务的产出，则研究型大学的效率显著增加，甚至超过综合性大学。

强调创新质量和贡献是本研究科研项目绩效评价的导向，科研项目的创新活动可以定义为利用科研创新资源，组织科研创新队伍，产出高水平科研创新成果，并产生一定的科研、经济和社会效益的活动过程[25]。科研创新活动主要包括科技成果转化创新、技术创新、知识创新和科技交流等，科研创新资源主要包括实验室等硬件设施、人力资源、纸质和电子文献资料资源、投入科研活动的资金等，科研创新成果主要包括论文、著作、专利、纵向和横向课题、奖励等[26]，科研创新贡献则主要包括通过创新人才和成果转化产生的科研、经济和社会等效益。针对创新贡献，目前较多的研究关注创新活动对经济效益的贡献，较少关注科研效益和社会效益[27]。围绕创新质量的研究主要集中于概念定义和指标设计层面。HANER[28]将创新质量定义为创新绩效在潜能-过程-结果这3个维度的总和，认为创新质量可以用数量、绩效、特点、可靠性、对消费者的价值、创新的程度等指标测量；张古鹏等[29]使用专利授权率和专利长度作为创新质量的测量指标，探讨中国地区间创新质量的差异；蔡绍洪等[30]认为创新质量是一种大质量观念，不仅关注质量创新，更关注创新质量。

综上所述，已有科研项目绩效评价综合考虑了科研成果和科研过程两大维度，且逐步从整体绩效评价向分类绩效评价转变，更多以数量型指标测量科研产出，对创新质量和贡献的评价指标关注较少。因此，本研究考虑不同类型科研项目的差异，响应政策要求，展开科研绩效分类评价，同时锁定创新质量和贡献导向，从科研资源投入-科研成果产出这一主流视角，重构科研项目绩效评价体系。

2 构建科研项目绩效评价的概念模型

本研究以创新质量和贡献为导向、以学科分类为基础、以投入-产出效率分析为主线，构建科研项目绩效评价体系的概念模型。

2.1 以创新质量和贡献为导向

科研机构实施科研项目是科研创新活动的主要载体，主要职责是研究具有前瞻性和创新性的科学课题和前沿技术等，通过科研创新活动培养高素质人才，促进科学技术的进步和发展[31]。本研究在识别科研项目投入-产出绩效指标时，始终以创新质量和贡献为导向，即重点评价科研成果的创新价值、质量水平和服务贡献。从科研活动的特点和流程看，科研人员使用和配置科研资源，创造出专著、论文、专利和技术成果等新价值，以提升科研创新绩效水平。因此，科研人员是创新的源泉，是创新成果的主要创造者[32]；科研活动投入的固定资产和经费是创新的物质基础，保障了创新活动[33]；专著、论文和专利是科研创新活动的直接产出，体现了科研活动创造的直接价值；而技术或专利的成果转让是科研创新活动的间接产出，体现了创新的经济价值。

2.2 以学科分类为基础

本研究拟对科研项目绩效构建分类评价体系，根据不同类型学科在承担科研任务、采用研究手段、揭示科学规律、创造科研价值等方面的差异性，遵循同类可比原则，将科研项目划分为基础研究和应用基础研究类、技术与产品研发类以及应用示范类3大类别。其中，基础研究和应用基础研究类项目应重点评价重大原创性和科学价值，解决经济社会发展和国家安全重大需求中关键基础科学问题；技术与产品研发类项目重点评价新技术、新方法、新产品、关键部件等的创新性、成熟度、稳定性、可靠性，关注是否解决某一领域的“卡脖子”技术问题，突出成果转化应用情况及其在解决经济社会发展关键问题、支撑引领行业产业发展中发挥的作用；应用示范类项目绩效评价以规模化应用、行业内推广为导向，重点评价集成性、先进性、经济适用性、辐射带动作用及产生的经济和社会效益。

2.3 以投入-产出效率分析为主线

科研活动的投入指为了开展科研创新活动分配和使用的一系列资源，包括人、物、财等，而科研产出是科研创新活动中发表的论文、著作以及技术成果的转让和授权的专利等。就科研项目实施而言，科研活动是一个多参数投入和多参数产出的开放系统[34]，只有系统分析投入与产出的关系，才能对科研项目活动的绩效做出客观评价。科研项目绩效主要表现为，在一定的科研投入规模下，所能获得的最大科研成果产出，或者以一定的科研成果产出为前提，所需最少的科研投入。因此，本研究以科研资源投入-科研成果产出效率分析为主线，分别识别科研项目实施的资源投入指标和成果产出指标。

2.4 概念模型

本研究以科研项目作为绩效评价的主要载体，以科研机构作为评价单元，构建科研项目绩效评价体系的概念模型，见图1。科研项目的投入指标反映了科研机构实施科研活动时在人力、物力和财力的消耗水平，是科研活动的起点，主要包括科研人员投入、科研经费投入和固定资产投入。在决策单元中，各类创新主体根据特定科研组织模式配置科研资源，促进创新要素合理有效流动。科研项目的产出指标是科研机构开展科研活动的终点，已有科研绩效评价体系多从经济维度和社会维度划分科研产出[35]，尚无法直观表征对科研创新质量的评价。再者，成果转化合同金额等经济指标对社会发展也存在直接影响，经济效益与社会效益较难清晰分割。因此，本研究从微观-宏观双维视角，将科研产出划分为科研效益和经济-社会效益。科研效益聚焦科研项目产出的微观层面，强调对科研数量和质量的综合评价；经济-社会效益聚焦科研项目产出的宏观层面，体现科研成果对经济和社会发展的助推作用，包括人才培养、社会评价和成果转化。

图1 科研项目绩效评价体系的概念模型Figure 1 Conceptual Model of the Performance Evaluation System of Scientific Research Projects

3 构建科研项目绩效评价指标体系

3.1 实施德尔菲法的步骤

德尔菲法是一种工具，通过一系列带有结构化反馈的问卷，收集并整合一组专家对某个问题的认识。实施德尔菲法一般包括3个步骤：第一步确定专家组人员，第二步开展第一轮专家咨询，第三步开展第二轮专家咨询，并输出最终结果。具体流程见图2。

图2 实施德尔菲法的步骤Figure 2 Processes of Delphi Method

3.2 初步识别绩效评价指标和实施德尔菲法第一轮的结果

本研究根据科研项目绩效评价的概念模型，基于已有研究[1]，识别初步的绩效评价指标。综合考虑受访专家的专业背景、从业经历和对科研项目管理的熟悉程度。实施德尔菲法第一轮(以下简称第一轮)的调研时间为2018年2月18日至3月30日，通过电子邮件的方式向20位专家发放电子问卷，其中科研项目管理部门工作人员10人，科研管理研究人员4人，高校学者6人。最终有18人返回问卷，其中科研项目管理部门工作人员8人，科研管理研究人员4人，高校学者6人，回收率为90%。

初步识别的指标和第一轮结果见表1。其中，将重要度平均数(后文简称平均数)和变异系数作为指标的修正依据。平均数是专家对某一个指标评分的平均值，通过计算某一指标评分并与参与评分的专家总人数之比得到；变异系数是专家意见协调程度，通过计算某一指标的标准差与平均数之比得到。重要度量表使用Likert 5点评分法评估每个指标的重要性，1为不重要，5为高度重要。已有研究对德尔菲法5分制量表共识度的评判标准为：①用平均数表征评价结果的集中程度，当平均数大于等于3.50时，即专家认同度在70%以上，就可认为专家对某一指标的意见比较统一；②用变异系数表征评价结果的分歧情况，系数越小表明专家对于评价结果的共识程度越高，当变异系数大于等于0.30时可作为删除该指标的依据[36]，即专家对指标的评价意见认同度不高或分歧较大时，删除该指标。根据结果，对初步指标进行调整，形成实施德尔菲法第二轮(以下简称第二轮)的调查问卷。

由表1可知，专家对投入指标的重要度判定较高，同时共识度较高，不予删除。对于产出指标，A类项目中出版专著数量的变异系数虽然小于0.30，但平均数为3.33，小于3.50，专家对该指标重要度评价共识度较低，因此将其剔除。同理，对于B类项目，技术覆盖范围和专利当前影响指数两个指标的平均数均小于3.50，变异系数均大于0.30，专家对其重要度评价共识度较低，因此将这两个指标剔除。对于C类项目，国际交流数量的平均数小于3.50，变异系数大于0.30；人均专利产出虽然变异系数小于0.30，但平均数小于3.50。专家对两个指标重要度评价共识度较低，因此将其剔除。

3.3 第二轮的结果和指标重要度

根据第一轮结果，本研究调整指标体系。2018年5月，本研究通过电子邮件向参与第一轮调查的18位专家发放第二轮调查问卷，问卷与第一轮问卷结构相同，其绩效指标差异在第一轮的结果中已表明，故不再列出。共收回17份问卷，回收率为94.44%。在第二轮调研中，专家均没有提出修改和删除指标的主观意见，在对指标进行分析时，仅依据平均数判断其重要度。本研究利用Spss 22.0对第二轮收回的问卷进行分析，形成科研活动投入指标和3类产出指标的重要度判定结果，见表2～表5。

由表2可知，在科研活动投入指标的重要度判断结果中，根据平均数判断，一级指标中，人力投入和财力投入的重要度较大；二级指标中，科研人员投入和科研经费投入的重要度较大；三级指标中，课题总数和拥有科研平台/国家及省部级实验室数量重要度较大，这两者是科研项目开展的基础，直接带动科研机构的人才培养和专业建设[37]。此外，当年在读研究生数量的重要度也较大。研究生是辅助专业研究人员进行科研的主要力量，是科研项目的重要人才储备，因此对项目的顺利开展具有重要意义[38]。

由表3可知，在A类项目产出指标的重要度判断结果中，根据平均数判断，一级指标中，科研效益产出作为科研项目成果水平的直接绩效，其重要度大于经济-社会效益产出；二级指标中，与科研成果数量相比，科研成果质量的重要度较大，人才培养的重要度也较为突出；三级指标中，外文高水平论文比率和研究生培养数量的重要度较高。科研活动，特别是基础研究类科研活动，最主要的成果载体为学术论文，其中外文高水平论文能更好地起到成果分享和交流的作用，因此重要性更高[39]。为社会培养人才是科研项目社会效益的重要体现，依托科研项目，大量学生锻炼了自己的实践能力和创新精神[40]。

由表4可知，在B类项目产出指标的重要度判断结果中，根据平均数判断，三级指标中，申请专利数量和发明专利比率的重要度较高。B类科研项目比A类科研项目更注重专利的授权情况，技术与产品研发类科研活动的重要成果产出形式即为专利，某科研机构申请的专利数量一定程度上反映了其技术与产品研发成果水平[41]。专利发明是指对产品、方法或者其改进提出的新的技术方案，主要体现新颖性、创造性和实用性，保护力度和审查的严格程度都较高，更能体现科研成果的质量[42]。

表1 科研活动投入和产出指标重要度判断结果(第一轮)Table 1 Weighting Results for the Scientific Research Input and Output Indicators (the First Round)

表2 科研活动投入指标重要度判断结果(第二轮)Table 2 Weighting Results for the Scientific Research Input Indicators(the Second Round)

表3 基础研究和应用基础研究类(A类)产出指标重要度判断结果(第二轮)Table 3 Weighting Results for Output Indicators within the Category of Basic Research and Applied Basic Research (A) (the Second Round)

表4 技术与产品研发类(B类)产出指标重要度判断结果(第二轮)Table 4 Weighting Results for Output Indicators within the Category of Technology and Product R&D (B) (the Second Round)

表5 应用示范类(C类)产出指标重要度判断结果(第二轮)Table 5 Weighting Results for Output Indicators within the Category of Application Demonstration(the Second Round)

由表5可知，在C类项目产出指标的重要度判断结果中，根据平均数判断，三级指标中，申请专利数量和专利授权率的重要度较高。专利授权使科研项目的市场化应用成为可能，因此对应用示范类科研项目具有重要意义。此外，技术转让实际合同金额的重要度也较高。技术转让直接服务于企业的技术创新和技术进步，是重要产出之一[43]。

4 结论

本研究以创新质量和贡献为导向，以学科分类为基础，以投入-产出效率分析为主线，从宏观-微观视角设计科研项目绩效评价体系的概念模型，进一步采用德尔菲法识别、赋权、筛选评价科研项目绩效的指标，构建科研项目分类绩效评价指标体系。科研人员、科研经费、固定资产作为不同类别项目统一的科研资源投入，科研人员和科研经费重要度较高，是开展科研活动必不可少的资源投入；基础研究和应用基础研究类项目的科研效益产出注重科研成果质量，经济-社会效益产出强调人才培养的数量和质量；技术与产品研发类项目更加注重成果转化，申请专利数量和专利授权率是测量科研成果数量和质量的重要指标；应用示范类项目重点评价科研成果的规模化应用和技术推广情况，专利授权率和技术转让实际合同金额是主要的科研产出指标。

本研究的理论贡献体现在：①考虑研究对象、研究目标、研究成果等方面的差异，将科研项目划分为基础研究和应用基础研究类、技术与产品研发类以及应用示范类3种类别，分类构建科研项目绩效评价体系，拓宽了科研项目绩效评价的外沿；②从微观-宏观双维视角，将科研产出划分为科研效益和社会-经济效益，以科研效益这一微观层面关注科研数量和质量的综合评价，以经济-社会效益这一宏观层面强调对经济社会发展的全面影响。

在实践层面，本研究突破传统科研项目管理重数量、重过程的局限，以微观视角突出评价科研项目自身的创新质量，以宏观视角突出科研项目产出对经济社会发展的服务贡献，考虑学科差异特点，构建科研项目分类绩效评价体系，引导各类科研项目关注自身绩效目标和优势特色发展。本研究精准响应了国家科研管理改革要求，对于完善科研管理体系、创新科研管理模式、优化科研管理水平具有实践指导意义。

在未来研究中，应采集科研项目全流程、全维度数据，对已构建的科研项目绩效评价体系开展实证分析，结合不同科研机构、不同学科、不同科研项目的实际情况，进一步优化、改进科研项目绩效评价指标体系，确保科研项目绩效评价结果科学可靠。