省级科技计划项目投入/产出绩效的熵权物元可拓评价模型——以福建省为例

彭海媛 杨志鹏 吴宏伟

（福建省科学技术信息研究所，福建福州 350003）

0 引言

随着全国财政科技投入规模的增大，审计部门、财政部门以及社会公众对政府财政科技支出的绩效关注度日益提高。2014年，为适应收支规模迅速扩大的形势，加快建立健全程序规范、公开透明的资金分配和财政监管新机制，国务院发布的《关于改进加强中央财政科研项目和资金管理的若干意见》和《关于深化中央财政科技计划（专项、基金等）管理改革方案》提出了“建立各类科技计划（专项、基金等）的绩效评估、动态调整和终止机制”“评估结果作为中央财政予以支持的重要依据”等要求；2018年9月25日中共中央国务院发布《关于全面实施预算绩效管理的意见》，要求完善绩效目标、绩效监控、绩效评价、结果应用等管理流程，健全共性的绩效指标框架和分行业领域的绩效指标体系。因此，深入研究科技计划项目财政支出绩效评价理论、方法，对促进我国预算绩效管理和发展具有重要意义。

国外开展财政项目投入产出绩效评估的时间不尽相同，最早起源于20世纪20年代的美国，其次是英国、法国、德国、澳大利亚、日本等[1]。经过多年探索和实践，各国绩效评价制度相对完善，如1993年美国出台了《政府绩效与结果法案》（GPRA），1996年欧盟颁布了《绩效管理2000》[2]；绩效评价指标体系有经济合作发展组织（OECD）指标体系、美国国家基金会（NSF）指标体系和联合国教科文组织（洛桑报告）指标体系等[3]；在评价实践上，如澳大利亚从效率性评价、适当性评价和有效性评价3个方面对科技项目绩效进行考评，德国通过投入指标、产出指标、关系指标（科研合作、人员流动）评估科研水平[4]；在评价类别上，世界各国根据科技活动的性质特征和本国特色开展，如美国针对基础研究和应用研究两大类型项目的特点、评估时间范围、评估对象及重点进行测评，英国、德国则从纯基础研究、战略性基础研究、应用研究、技术开发和技术服务5个类型项目入手[5]；在评价方法上，各国大多运用数据包络分析法、平衡计分卡法、网络分析法、人工神经网络法和灰色系统评价法等[6-8]。

与国外相比，我国开展科技计划项目财政支出绩效评价研究比较晚，但经过几十年的研究和财政部积极推动，在中央和地方项目财政支出绩效评价研究与实践探索方面发展迅速。

一是在制度方面：国家层面上，2014年出台了以法律形式明确我国公共财政预算收支中绩效管理要求的《预算法》，全方位、全过程、全覆盖的《关于全面实施预算绩效管理的意见》也于2018年9月25日正式出炉。地方层面上，也相继出台一系列管理办法以确保财政科技绩效评价工作的科学化和规范化。如2010年，黑龙江省科技厅与省财政厅联合制定了《黑龙江省财政科技专项资金绩效评价实施意见（试行）》，明确规定了财政科技专项资金绩效评价的范围、原则、评价内容与方法等[9]；2014年，广东省科技厅出台了《关于省财政科技支出绩效评价的实施细则》，涉及绩效评价对象、内容、指标体系、评价标准和评价方法等内容[10]。

二是在理论研究方面：研究学者主要围绕科技计划项目分类评价、评价指标体系设计、评价模型与方法研究等展开研究。如分类评价方面，有以余振坤等[11]为代表的按照财政科技投入方向划分，以谢福泉等[12]为代表的按照科技活动性质分类和以张小菁[13]为代表的按照地方科技计划设置及各计划属性分类；评价指标体系设计方面，由于研究侧重点不同导致指标体系结构与内容存在较大差异，如施筱勇等[14]针对科技项目研究特点，设计了包括相关性、目标实现、创新性、转化与效果、影响和实施管理6个准则和14个关键指标的国家科技计划开发类项目绩效评价指标体系，李颖[15]则建立了包括产出时效、产出数量、产出质量、经济效益和社会效益的财政科技支出项目绩效评价指标体系；评价模型与方法研究方面，主要有德尔菲法、同行评议法、数据包络分析法、模糊综合评价法、平衡计分卡法、层次分析法以及灰色理论法等[16-17]。

三是在实践方面：北京、上海、浙江、福建、云南、河北、新疆等省份均开展了以项目自评和政府考评方式相结合的科技计划项目财政支出绩效评价工作[18]。如广东省财政厅委托第三方对2011—2013年科技类财政专项资金项目进行绩效评价[19]；福建省也于2011年起积极推进科技项目绩效评价工作。

综上，国内外研究学者已对公共财政项目支出绩效评价进行了理论和政策研究，部分省份还开展了实践活动，取得了一定进展。但分析文献发现，以上研究和实践仍存在评价指标体系不够完善、指标赋权主观性较强、人工神经网络等评价方法计算比较复杂等缺点，并且各省份财政性支出项目具有区域性、多样性与复杂性的特点，现有的绩效评价指标体系针对性较强。

2018年起，福建省将各类省级科技计划项目全部纳入绩效范围。然而，现有的评价指标体系不能简单直接地应用于福建省的绩效评价活动，福建省需在原有绩效工作基础上，根据本省科技计划项目特点设立科学合理的指标体系，从而真正反映项目绩效。本文将借鉴已有成果，设计不同类型的福建省科技计划项目财政支出绩效评价指标体系，引入计算相对简单的物元分析法建立评价模型，并以某一个福建省科技重大专项专题为案例，对其财政支出绩效评价水平及其影响因素进行实证研究。

1 评价指标体系设计

经过多年科技体制深化改革的调整，目前福建省科技计划体系包括：科技重大专项计划、产业技术开发与应用计划、基础性研究与高校产学合作计划、科技创新平台建设计划、技术转移计划和公益类计划等[20]。为了最大限度地使评价对象具有可比性，本文参照谢福泉等[12]按科技活动性质分类，将对应的福建省科技计划项目分为基础研究类项目、应用研究类项目、科技产业化类项目和科技创新平台类项目4类。从2015年起分析历年福建省科技计划项目立项情况，按此分类进行绩效评价，可将福建省科技计划项目财政支出85%以上的项目纳入规范的绩效管理，进行实用、有效的评价。

为了客观、科学、准确地评价福建省科技计划项目实施程度和绩效水平，全面衡量财政支出的管理水平和使用效益，本文针对福建省科技计划项目具体特点，以综合绩效观为基础，注重过程与结果统一，从投入、过程、产出与效益四要素构建适合福建省科技计划项目实际情况的绩效评价指标体系，以保证能够同时关注从立项、过程管理与实施到产出整个过程的各个阶段，而不是片面追求产出和综合效益。

基于上述讨论，本文贯彻分类评价的基本思路，将福建省科技计划项目财政支出绩效评价指标体系按基础研究项目、应用研究项目、科技产业化项目和科技创新平台项目四类进行设计。根据科技计划项目的具体特点，各类型的四维指标体系（包括投入指标、过程指标、产出指标和效益指标）评价重点各有侧重。

投入指标：反映财政支出活动中财政投入和非财政投入情况，体现支出的经济性，涉及项目立项和资金落实的评价，重点考察项目立项依据充分性、目标设置合理性以及资金保障性。其中，基础研究项目立项评价重点从项目创新性、研究价值等入手，资金主要以政府资助为主，不设自筹资金到位率和财政投入乘数两项指标；其他3种类型项目立项评价除了考核技术创新外，还需突出研究团队的创新能力、项目的预期成果等，资金落实方面要体现财政资金的导向和杠杆作用的大小（表1）。

过程指标：反映科技计划项目执行过程中的综合管理水平，体现财政支出的效率性，下设业务管理、财务管理、资金使用以及会计信息管理4个指标，为共性指标。该类指标主要考察是否根据项目周期理论按照项目各实施阶段（立项、实施、验收、成果转化）建立详细的实施计划（包括质量、进度、经费等），是否根据实际结果与计划目标偏差实施动态调整，从而使财政科技经费合理分配、有效使用，并有效控制项目进展状况，以实现预期目标（表2）。

表1 投入指标

表2 过程指标

产出和效益指标：反映项目执行过程的产出成果与影响，体现产出和效果的有效性和公平性。其中，产出阶段以项目任务书要求为准，评价项目任务完成程度和技术水平，下设目标实现和技术成果两项指标；效益阶段综合科技效益和社会效益等方面的作用，下设社会效益、经济效益、可持续影响等。本文根据不同类别项目考核侧重点不同，微调个性指标。如对基础研究的评价以研究论文、会议报告或著作的发表、优秀人才、创新团队培养为评价重点（表3）；应用研究则突出其自主知识产权获取、技术标准研制、成果转让或潜在的经济社会效益情况（表4）；科技产业化类项目的主要目的是实现产业化新增产值和利税，以及引导社会资本投入，发挥政府资金的杠杆作用（表5）；科技创新平台项目注重社会效益及公共服务效果，以科技基础条件和资源的共享性、提供服务的开放度等为评价重点（表6）。

本指标体系采用德尔菲法确定指标权重，邀请多位专家根据经验判断二级、三级权重系数，经加权平均后得出初始指标权重αj。

表3 基础研究类项目产出和效益指标

表4 应用研究类项目产出和效益指标

2 熵权物元可拓模型

物元分析法是解决指标间不相容问题的一种方法，主要通过物元变换将矛盾问题进行可变转化，其优势在于可以同时获得各单个指标和综合评价等级水平，也可以发现评价指标的不足和问题[21]。近年来，该方法已在图书馆联盟和学科评价[22]、大气环境质量评价[23]、地下水质量评价[24]和土地整理项目绩效评价[25]等领域中得到了成功应用，但其在科技项目绩效评价的应用则鲜有文献报道[26-28]。

表5 科技产业化类项目产出和效益指标

表6 科技创新平台类项目产出和效益指标

本文将熵权法+物元分析法相结合的熵权物元可拓模型运用到影响因子较多的财政支出绩效评价领域中，可以相对较为全面地反映科技计划项目财政支出的总体绩效水平，从而为政府管理部门和项目承担单位提供较为客观、准确、公正、合理的决策依据。利用熵权物元模型评价福建省科技计划项目财政支出绩效水平的技术路线如图1所示。

2.1 经典域和节域

科技计划项目绩效P，绩效特征c和特征量值v共同构成科技计划项目绩效物元。如果绩效P可通过n个特征c1,c2,…,cn和相应的量值v1,v2,…,vn来描述，则称R为n维科技计划项目绩效物元，即物元矩阵[21、26]。

如果Pj表示各个不同等级的待评项目，ci为对应的评价指标，vji为待评项目Pj关于评价指标ci所确定的可量值范围，即＜aji,bji＞称为经典域。如果Pp表示评价等级的全体，vpi分别为Pp关于i的量值范围，即P的节域[26]。本文将福建省科技计划项目财政支出绩效评价水平划分为4个等级，定性描述为优秀、良好、合格、不合格。具体评价指标可根据所选项目实际情况，结合专家意见确定评价经典域和节域。如目标完成率：对照目标完成情况计算结果从0到100%，其经典域为优秀＜95,100＞、良好＜80,95＞、合格＜60,80＞、不合格＜0,60＞，节域确定为＜0,100＞。

图1 福建省科技计划项目财政支出绩效评价技术路线图

对于待评项目P，把所测得的数据和分析的结果用物元表示为：

在式（4）中，vi为P关于i的量值，即待评项目检测所得各评价指标的具体数据。

2.2 关联函数、关联度与指标权重

关联函数表示当物元的量值为实轴上的某一点时，物元符合要求的取值范围程度。由于可拓集合的关联函数可用代数式表达，解决了不相容问题定量化。第i个指标数值域属于第j个等级的关联度函数为：

其中：vi、vji、vpi分别表示待评项目绩效物元的量值、经典域物元的量值范围和节域物元的量值范围。

定义为有界区间vji=＜aji, bji＞的模。

表示点vi与有限区间vji的距离。

表示vi与有限区间vpi的距离。

熵权法根据各指标所含信息量的大小确定指标权重，是一种客观赋权法，克服了主观赋权法的种种缺陷[28]。本文采用主客观相结合的熵权法+德尔菲法确定指标权重。利用熵权法修正德尔菲法确定的初始指标权重，尽可能消除专家主观影响，使评价结果更加符合实际[29]。

（1）建立数据矩阵。假设有m个待评项目，n个评价指标，形成初始数据矩阵：r=(rij)m×n，其中，rij为第j个指标下第i个项目的评价值。

（2）数据的标准化。为了避免求熵值时对数的无意义，需对数据进行标准化处理。

越大越好的指标：

越小越好的指标：

式中，i=1, 2, …, m；j=1, 2, …, n；0＜μ＜1。

（3）计算各指标信息熵。

（4）计算各指标权值。第j个指标的熵权：

待评项目P关于等级j的综合关联度：

3 实证研究

3.1 样本选择

从福建省科技计划项目中挑选企业A承担的某省科技重大专项专题为案例。该项目总投资1500万元（其中，财政科技经费500万元），本阶段已完成了盾构机开发，申请了发明专利4件、实用新型专利7件（其中6件获得授权），发表学术论文2篇，制定企业标准1项。但由于科技活动具有一定的滞后性，该专题执行1.5年时，虽已掌握关键技术，具有一定知识产权，但离产业化还有一定距离，尚未产出投入利税率、盈利率和创汇结汇率。为使评价更加客观、准确，经精简科技产业化项目支出绩效评价指标体系，剔除了以上3项指标，形成新的指标体系（表4）。

3.2 经典域和节域

通过查阅文献和咨询项目负责人、专家意见后，以项目任务书和全国科技产业化项目为评价标准，得到经典域和节域（表7）。

3.3 关联度和评价等级

经收集该企业原始数据和相关佐证材料，确定了待评物元矩阵，利用公式（5）—公式（8）计算得出指标各等级的关联度。邀请一定数量的专家确定初始指标权重后，取μ=0.8，标准化后由公式（9）—公式（12）计算综合权重，如表8所示。

表7 项目绩效评价指标经典域和节域的取值区间

利用式（13）可得到该企业承担的科技重大专项专题财政支出绩效评价结果，如表9所示。

3.4 评价结果

评价结果显示，该专题投入、产出、效益评价等级均为“优秀”，但过程评价等级为“良好”，这与该专题的实际情况和专家评估结果相符。其中，投入、产出、效益属于“优秀”的程度很小，且有转化为“良好”的趋势。同时，利用式（13）得出，待评项目P的综合关联度Kj0=Kj（优秀）=-0.1004，表明该项目综合绩效达到优秀水平，但从其关联度值可以看出，由于某些指标，尤其是产出指标还没有达到优秀水平使该项目的等级关联度较弱，说明产出是影响该专题绩效水平的主要原因。从投入、产出的知识产权指标看，企业A具有优秀的科研团队、相对完善的组织管理制度和财务管理制度，并注重知识产权保护，但其忽略了论文产出、提升成果水平等的管理，导致实际的项目产出低于专家设定的标准水平。

表8 项目绩效评价三级指标权重和关联度

表9 项目绩效评价指标评价结果

从上面的评价结果中，不仅可以看出专题总体绩效水平，还可以看出各个绩效指标的等级情况及其各指标间的关联程度。案例对于31项指标的评价结果，有15项指标绩效水平达到“优秀”，8项指标达到“良好”，财政投入乘数、信息完整性、论文论著、技术标准规范、科技奖励、人才培养与引进、新增产值、获得后续项目等8项指标处于“合格”或“不合格”水平且结果等级相互影响。因此，针对上述结果，本文提出以下建议来提升该专题的整体绩效水平。

一是建议科技管理部门加大宣传，通过制定引导政策，发挥政府科技资金的杠杆撬动作用，引导企业A投入更多经费到科技项目研究上，通过项目引导，切实提升企业创新能力。同时，积极引导各类科技资源集聚，组织企业A与院校和科研院所开展产学研对接，通过合作项目促进发展。

二是企业A应针对论文论著、技术标准规范、科技奖励、新增产值等4个指标较低的情况，加强技术研发，争取多方面出成果，促进技术产业化；及时引进中高级人才，加强科研团队建设；加大研发投入进行技术革新。

4 结语

福建省科技计划项目财政支出绩效评价是一个多指标、多层次的系统工程。本文在对福建省科技计划项目分类基础上，采用可拓学理论中的熵权物元分析法进行评价，并进行了实证分析。结果表明，熵权物元分析法简明易懂，计算方法简便，具有较强的可操作性与实用性。

（1）项目分类和构建指标体系。针对已有研究成果的不足，按科技活动性质对福建省科技计划项目进行分类，并有针对性地提出各类别评价指标体系，满足未来全省省级科技计划项目全部纳入绩效范围的工作需要。

（2）熵权法确定指标权重。以信息熵理论修正指标初始权重（德尔菲法），减少了权值分配的主观性，得到更为科学的评价结果。

（3）物元分析处理模糊性。福建省科技计划项目财政支出绩效从定量和定性两个角度进行评价，引入物元分析模型可以运用关联系数对评价项目定性指标的等级结果进行定量化表示，最终获得项目绩效与等级的关联度，量化出各项目指标的相对重要度。

（4）案例分析验证指标体系。以企业A承担的省科技重大专项专题为实例进行分析，评价结果与专题实际情况较为符合，说明基于熵权物元可拓模型运用于福建省科技计划项目财政支出绩效评价具有可行性和操作性。

（5）模型还需进一步改进和完善。熵权物元可拓模型虽能保障指标权重的客观性，并兼顾一定的灵活性，但各专家的行业背景和认识角度不同造成指标体系和经典域的初始设置存在一定差异，由此直接影响了最终评价结果和各指标间关联度。因此，在构建省级科技计划项目财政支出绩效评价体系过程，还需根据实际情况反复论证以优化绩效指标，同时，进一步修正经典域，从而确保绩效评价的客观公正。