改进的DEA在研发项目绩效评价中的应用<br/>——以山东省自然科学基金为例

改进的DEA在研发项目绩效评价中的应用
——以山东省自然科学基金为例

2018-05-25王纪顺

山东财政学院学报 2018年3期

张新，王纪顺，张戈，2

(1.山东财经大学管理科学与工程学院，山东济南 250014；2.首都经济贸易大学信息学院，北京 100700)

一、引言

研发项目绩效的评价对资源分配与优化、决策的制定等至关重要。由于不同项目的影响因素、复杂程度不同，导致评价项目绩效的方法也不同。较常用的方法为数据包络分析法(Data Envelopment Analysis，简称DEA)，其中的CCR模型是由Charnes等[1]于1978年提出。该方法是一种非参数绩效评价方法，能够有效的评价有多输入多输出特点的决策单元，并且应用领域广，受到很多学者的青睐。

国内外学者对DEA方法及应用的研究大多采用传统的投入和产出框架，较少考虑权重或仅采用自动权重，忽略服务状态对最终绩效的影响。对于某些评价对象，其评价过程并非都是投入——产出两个阶段，某些变量会担任投入和产出两种角色，此时决策单元存在中间结构。若不考虑中间结构的状态会对绩效评价具有较大影响[2]。以山东省研发项目绩效为例，其中间的服务状态既是投入阶段的产出又是产出阶段的投入，考虑服务状态能够深层次地挖掘评价对象中存在的问题，也使得最终系统的绩效评价更为合理。随着山东省政府对基础研究的投入不断增加，自然科学基金对人才培养、科技创新和社会发展的影响作用究竟有多大，如何合理安排资源的投入才能使自然科学基金项目发挥最大的作用，服务过程对最终的产出有多大影响，指标权重对DEA模型的结果是否有影响以及有多大影响，目前学术界仍缺乏相关研究。

二、文献综述

研究者在应用DEA模型解决实际问题的过程中从不同的视角提出了不同的DEA模型，如:Banker等[3]提出的BCC模型、Andersen等[4]提出的超效率DEA模型等。国外学者运用DEA模型开展研究较早，如:Abbott等[5]为分析澳大利亚大学的规模效率和技术效率，运用DEA模型展开研究，结果显示澳大利亚大学整体效率较高。Sharma等[6]利用DEA方法对22个发达和发展中国家的R&D过程的相对效率进行了检验。结果表明在规模报酬不变的情况下，日本、韩国和中国是有效的；在规模报酬可变的情况下，日本、韩国、中国、印度、匈牙利等是有效的。José等[7]提出一种评价信息不对称对组织效率影响的DEA分析模型，该模型不仅适用于分析盈利性还适用于非营利性组织，通过比较委托人的目标和代理人的目标来估计道德风险的程度。

梳理文献发现国内学者对DEA方法应用的研究主要集中在以下两类:

(1)传统的DEA方法及应用的研究。学者通常采用模型较为成熟，应用范围较为广泛的传统DEA方法进行效率评价研究。陈文俊等[8]以湖南省R&D投入产出活动为研究对象，采用DEA的BBC模型，对2013年湖南省R&D投入产出效率进行比较分析，并根据实证结果提出了对策及建议。赵树宽等[9]通过构建高技术企业创新效率评价指标体系与模型，运用DEA方法从效率、有效性、规模收益及投影分析四个方面对吉林省151家高技术企业创新活动进行了评价与分析。王小宁等[10]以教育部直属的55所高校作为研究对象，采用传统的DEA方法对固定资产管理绩效评价进行实证研究。李祺等[11]使用非参数估计的DEA方法对京津冀地区2003—2012年城市五大基础设施投资效率进行分析，同时对DEA结果进行投影分析，找出影响区域整体发展的影响因素。此外，有学者将传统DEA方法与其他方法相结合进行相关研究。张友棠等[12]基于“产出/投入”的绩效评价二维结构模型，运用传统DEA方法提出了一种新的大学预算绩效拨款模式。邓洪波和陆林[13]以2005年和2010年安徽省17个城市旅游资源为评价对象，采用传统DEA方法测算其综合效率、技术效率和规模效率，同时采用Malmquist生产率指数模型计算各城市的旅游效率变动情况。

(2)改进的DEA方法及应用的研究。在传统DEA方法的基础上，有学者考虑待评价对象的中间结构采用两阶段甚至三阶段DEA方法，宇文晶等[2]通过采用两阶段串连DEA模型，在规模报酬不变(CRS)和可变(VRS)情况下分别测度东、中、西部各省区高技术企业效率值，并构建Tobit回归模型对影响各阶段效率的外部环境因素进行实证研究。董艳梅等[14]构建两阶段动态网络DEA模型，知识创新阶段采用投入导向BCC模型，科技成果商业化阶段采用产出导向BCC模型，对中国高技术产业创新效率进行了评价。黄德春等[15]根据2009年中国29个省市的能源效率运用三阶段DEA模型得出了东部地区的能源效率最高，西部地区最低的结论。刘伟[16]以中国高新技术产业的行业面板数据，基于三阶段DEA模型，在控制环境因素的基础上测算了我国高新技术产业的研发创新效率。部分学者利用改进后的双前沿面、可变权重、优先级权重的DEA模型研究问题，代明等[17]利用双前沿面DEA方法，将评价单元分别同“最优”和“最差”的决策单元相比，对中国高技术产业的乐观效率和悲观效率进行测算。杨峰等[18]引入可变权重DEA模型，将要素权重用分段线性函数表示，揭示要素折扣是企业生产规模效率的一种原因，并测量了要素折扣对于规模效率的贡献。宛剑业等[19]提出应用含有优先级权重的DEA模型，通过实例分析，应用层次分析法将决策者需要考虑的综合因素加入到供应商选择的定量计算中，验证了该方法在解决生产企业供应商选择问题中的适用性和有效性。也有学者引入滞后期改进DEA模型，如范德成等[20]为评价我国的产业结构演化效率，构建了我国产业结构演化评价指标体系，引入复相关系数为基准的滞后期，建立了更加有效的DEA改进模型。

先前学者的研究成果给本文诸多启示和借鉴，但对比先前学者运用的传统DEA方法和改进的DEA方法发现，鲜有学者同时考虑评价对象的指标权重和中间状态，而通过基于指标权重和考虑状态的DEA评价模型可以解决传统DEA方法所存在的不足。所以，本文拟以山东省自然科学基金项目为研究对象，基于投入—状态—产出视角，建立绩效评价概念模型，并以此为基础建立指标体系，运用考虑指标权重和状态的DEA模型进行实证研究与分析。

三、绩效评价指标体系构建

(一)概念模型构建

山东省自然科学基金项目的绩效评价是一个动态的系统。借鉴先前学者所使用的指标以及山东省自然科学基金项目的特点，最终确定投入系统包括人力投入、经费投入、物力投入等；产出系统包括科研成果、人才培养、争取高级项目等；实施过程系统包括人员活动情况、经费使用、计划执行和实施形式等。大多学者认为投入系统对产出水平和最终绩效有直接的影响，但根据系统动力学理论，投入系统是通过影响实施过程间接影响产出水平的。投入系统通过人员、资金和设备等的投入对实施过程中的人员活动、经费使用、设备利用等各项指标产生直接作用，实施过程的优劣直接影响最终的产出绩效。同时，产出系统对实施过程和投入系统均存在着反馈作用。因此，本文认为科技研发项目是一个具有投入—过程—产出特征的动态系统。基于以上分析，给出山东省自然科学基金绩效评价概念模型，如图1所示。

图1 山东省自然科学基金项目绩效评价概念模型

(二)绩效评价指标体系构建

绩效评价指标体系的构建原则有多种，本研究基于以上绩效评价指标体系的构建原则，建立投入—过程—产出视角下的多层次绩效评价指标体系，如表1所示，指标体系共包括3个一级指标和10个二级指标。

山东省自然科学基金作为省级科技计划项目的重要组成部分，致力于推动原始性创新，主要是以资助的方式管理其支持的基础研究和应用基础研究，发现、培养和引进高层次创新人才，培育自主知识产权，增加科技与人才储备，为增强科技持续创新发挥积极作用。基于此，在构建绩效评价指标体系时要充分考虑山东省自然科学基金项目的发展宗旨和发展意义。因此在投入指标方面，选取具有代表性的研究人员投入、研究经费投入和仪器设备投入作为自然科学基金项目绩效评价的投入指标。而自然科学基金项目在发展过程中受到人员活动情况、经费使用情况、合作方式等多方面的影响，故在过程指标方面采用人员活动情况(参与课题研究的时间、精力等)、经费使用情况(是否存在违规使用)、产学研联合项目、按时结题情况(是否有延期项目)等四个方面的指标。而在产出方面则充分考虑自然科学基金项目的发展目标，即采用人才数、论文数、科学研究等指标来衡量。

表1 山东省自然科学基金项目绩效评价指标体系

(三)绩效评价指标权重方法选择

在综合评价系统中，由于各评价对象之间的差别主要是由于相对变化量较大的指标引起的，所以相对变化量较大的指标对应的权重也应该较大。因此，合理确定指标权重对整个评价过程起着至关重要的作用[21]。绩效评价权重的确定方法通常采用客观赋权法，该方法包括熵权法、标准离差法、差异系数法等。其中的差异系数法不仅可以综合考虑各指标之间的相互联系，而且不受平均数不同的影响[22]。本研究采用差异系数法确定最终权重。

四、绩效评价方法

(一)无量纲化处理

在多层次绩效评价指标体系下，原始数据量纲不同，并且在构成相似性变量时，其所占的优势差距比较大[23]，故本研究对原始数据进行标准化处理，使原始数据转化为无量纲的数值，消除了不同指标之间的差异，解决指标之间由于量纲不同而无法进行比较、汇总的问题。标准化处理的步骤如下:

(1)当指标值为正向指标时，采用的单指标评价公式为:

(2)当指标值为负向指标时，采用的单指标评价公式为:

其中，xij为第i个评价对象的第j项指标值，xmaxj和xminj为第j项指标值中的最大值和最小值。根据以往的经验以及各专家的意见，本文取c＝1。

(二)模型选择与优化

DEA方法早已被广泛应用于多投入多产出的绩效评价中，并且它能够简化运算、减少误差，具有很强的客观性，根据假设不同，DEA模型分为CCR和BCC等多种模型，但是传统的DEA方法只未考虑不同指标之间的重要程度。因此，本研究拟对传统的DEA模型进行优化，优化后的模型如下:

根据上述的优化模型，将实施过程作为一个独立的系统，运用MaxDEA 6.5软件，通过BCC模型将综合效率分解为纯技术效率和规模效率，判断评价对象是处于规模报酬不变、递增还是递减阶段，通过CCR模型判定决策单元是否同时达到效率有效性和技术有效性。其动态研究模型如图2所示:

图2 自然科学基金项目绩效评价动态研究模型

考虑过程的自然科学基金项目绩效评价两阶段动态DEA模型的两个阶段分别为科技服务阶段和知识转化阶段。第一阶段以服务水平和服务质量为主，使用项目的人、财、物作为DEA模型的投入量，以按时结题和产学研联合两个指标作为服务过程的产出指标。在第二阶段以第一阶段的产出为投入量，以培养人才数，发表论文数以及项目成果的获奖数量作为产出量进行绩效的评价。

五、山东省自然科学基金绩效评价定量分析

为更好的评价山东省自然科学基金项目，提高基金项目的管理和服务水平，本研究根据评价对象的不同，主要进行两个方面的绩效评价:一是按项目类别不同，分为青年基金、面上项目、杰青基金和博士基金；二是按学科不同，分为数理、化学、生命科学、地球科学、工程与材料、信息、管理、医学等8个学科。

(一)数据的采集和处理

本文选取山东省自然科学基金项目作为评价对象，过程指标数据主要来源于山东省科学技术厅提供的《山东省自然科学基金资助项目结题工作汇报》和对各高等院校、各科研机构所做的问卷调查数据，对所得数据进行整理分析，投入和产出指标数据主要来源于山东省科技厅的省基金项目信息管理系统。

(二)指标权重的分析

按照项目类别和学科类别的不同，根据差异系数法确定山东省自然科学基金项目绩效评价指标的权重值，如表2所示。

表2 山东省自然科学基金项目绩效评价指标的权重值

由表2的投入指标权重可以发现，无论是按学科类别划分还是按项目类别划分硕士研究人员的权重都较大，这是因为硕士研究人员群体的规模较博士研究人员大，其数据的相对变化量也较大，权重较大符合实际。国家政府部门要求高校加大产学研联合的政策使得高校注重产学研合项目的研究，自然科学基金项目评价中的状态指标产学研联合项目数的权重均较大也反映了这一实际。在产出指标中，按学科类别划分的类型中三大检索收录期刊论文数的权重较大，而按项目类别划分类型中中文核心期刊论文数的权重较大。

(三)改进的DEA模型结果分析

运用MaxDEA 6.5评价各项目类别、各学科类别的规模有效性、技术有效性和综合有效性，基于投入—产出DEA分析和考虑服务状态DEA分析，结果如表3所示。

表4 不同类别、学科之间DEA分析结果

由表3可知，在投入—产出视角下，按学科类别划分八个学科的综合效率的平均得分为0.812，纯技术效率的平均得分为0.929，规模效率的平均得分为0.881，表明山东省自然科学基金项目的综合水平较高，但尚存在不合理之处，并且不同学科之间的差距较大，还需进一步提高。其中，工程与材料和信息科学两个学科的综合效率值为1，表明了这两个决策单元的投入和产出是有效的，即同时达到了技术有效和规模有效，规模报酬保持稳定，这也说明两个决策单元的产出水平较理想。数理、生物和地球科学的规模效率分别为0.836、0.68和0.846，纯技术效率为1。因此，综合效率小于1是由规模效率较低引起的，表明在目前的技术水平下，数理、生物和地球科学的投入资源是有效的，尚未达到综合有效的根本原因是规模无效。数理和生物科学的边际产出小于边际投入，故两者的规模效益处于递减状态。而地球科学处于规模报酬递增状态，说明产出的增加比例大于各种生产要素增加的比例。化学、管理和医学科学的纯技术效率、规模效率均小于1，故导致其综合效率小于1，且三者均处于规模效益递增状态，表明三者在投入要素的生产效率、资源的合理配置、资源使用效率等方面都存在着不足，尚需要进一步改进。按项目类别划分，四类项目的综合效率的平均得分为0.997，表明各类项目的整体水平较好。青年基金、重点项目和面上项目的综合效率为1，表明三者的资源配置能力、资源使用等比较合理。博士基金的综合效率值为0.986，纯技术效率为1，规模效益处于递增状态，表明博士基金资源配置能力是有效的，但由于发展规模不当导致了综合效率小于1，因此在日后的发展中，应扩大规模，发挥规模经济和区域经济，提升博士基金的总体效率。

在考虑服务过程的DEA方法分析中，两种类别中的综合效率平均值均高于投入—产出视角下的平均值，处于较高的水平。按学科类别划分时，数理、生物、工程与材料、信息科学四个学科的综合效率均为1，表明了在目前的科技条件和资源投入情况下，服务过程中参与评价的各项指标已达到最优的状态。化学、地球和管理科学这三个学科的纯技术效率为1，但规模效率均小于1，故导致综合效率小于1，表明了服务过程中存在着资源浪费、配置不合理等问题，改进服务过程存在的问题会使得最终绩效更好。医学的综合效率为0.576，且技术效率和规模效率均小于1，表明了在服务过程中，存在着经费使用不合理、人员管理不善等问题，故需要加强对经费、人员等的管理，同时还需要合理配置资源，优化资源的结构。

六、结论与对策建议

(一)结论

本文根据国内外相关研究，建立适合山东省特殊情况的自然科学基金项目概念模型，并据此建立绩效评价指标体系，考虑指标权重对绩效的影响，基于投入—过程—产出视角和考虑服务状态指标的DEA方法进行分析，按照学科、项目类别不同，对山东省自然科学基金项目进行了实证研究。通过研究得出以下结论:

(1)从学科类别划分的层面来看，八类项目中信息科学和工程与材料科学综合效率最高，资源配置和资源使用效率合理；信息科学和工程与材料科学综合效率值为1，表明在目前的科技水平下，资源的配置和资源的使用效率是合理的。结合服务过程指标数据，上述两个学科按时结题率较高，独立完成项目能力较强。生物和数理学科的综合效率值小于1，但纯技术效率为1，服务状态指标达到较优的状态，边际产出小于边际投入，故规模收益为递减。医学科学在资源投入与配置方面存在不足。

(2)从项目类别划分的层面来看，面上项目、青年基金和重点项目DEA分析的综合效率均为1，结合三种类型的服务过程指标数据可知，三者的项目结题率分别为63.7%、73.4%、81.3%，项目的结题率较高，服务状态较好，三者的综合水平相对较高。四类项目中的博士基金DEA分析综合效率得分为0.986，纯技术效率为1，属于DEA无效，但服务状态的综合得分为1，说明博士基金的资源配置能力是有效的，但存在着不合理的发展规模。博士基金项目之所以综合效率得分较低，一个重要的原因在于博士基金项目是山东省近几年刚刚设立的，故在人力、财力、物力等资源投入数量、质量和结构方面尚存在一定的不足，在后期应该给于博士基金项目更多的关注。

(二)对策建议

根据上述结论，为提高山东省研发项目的绩效，建议从以下几个方面进行:

(1)持续稳定地增加政府财政科技投入，提高资助强度。科技投入的力度直接制约着科技发展战略的执行。在现阶段，应遵循基础研究持续投入以及人才阶段性成长的客观规律，在竞争择优的基础上，对基础研究和应用基础研究项目进行持续支持，推动学科均衡、交叉和融合，为产业转型升级提供科技支撑和保障，形成持续支持态势。同时应有区别的针对不同项目采取不同的支持力度。

(2)加大产学研合作力度，积极推动基础研究成果的市场转化。政府亦应采取适当的财政引导、金融支持和产权激励等优惠政策，完善面向自主创新企业的基础研究投入结构和投入机制，引导企业参加产学研联盟，优化资源配置。切实把加大基础研究的投入、引导企业积极参与基础研究、利用好部属院校和科研单位的辐射带动效应这三方面的工作落到实处，通过产学研用合作机制，加强基础研究成果的市场转化。

(3)引入绩效评价机制，提高政府资金使用效率。财政科技投入绩效评价是优化科技资源配置、提高科技投入管理水平和决策水平的重要手段。采用定性和定量的评价方法，将事前、事中、事后进行定性的绩效评价作为决策依据；同时利用定量的绩效评价分析财政科技投入的使用效率，提高科技拨款使用效率，合理匹配资金，引入后补助、奖励等方式，提升研究成果的质量，提高基金使用效能。

参考文献:

[1]CHARNES A，COOPER W W，RHODES E.Measuring the Efficiency of Decision Making Units[J].European Journal of Operational Research，1978，2(6):429-444.

[2]宇文晶，马丽华，李海霞.基于两阶段串连DEA的区域高技术产业创新效率及影响因素研究[J].研究与发展管理，2015(3):137-146.

[3]BANKER R D，CHARNES A，COOPER W W.Some Models for Estimating Technical and Scale in Efficiencies in Data Envelopment Analysis[J].Management Science，1984，30(9):1078-1092.

[4]ANDERSEN P，PETERSEN N C.A Procedure for Ranking Efficient Units in DEA[J].Management Science，1993，39(10):1261-1264.

[5]ABBOTT M，DOUCOULIAGOS C.The Efficiency of Australian Universities:A Data Envelopment Analysis[J].Economics of Education Review，2003，22(1):89-97.

[6]SHARMA S，THOMAS V.Inter-country R&D Efficiency Analysis:An Application of Data Envelopment Analysis[J].Scientometrics，2008，76(3):483-501.

[7]JOSÉ M F D F，JOÃO N D F，JAIR D S L.A DEA Methodology to Evaluate the Impact of Information Asymmetry on the Efficiency of Not-for-profit Organizations With An Application to Higher Education in Brazil[J].Annals of Operations Research，2010，173(1):39-56.

[8]陈文俊，李涵，刘执圭，等.湖南省R&D投入产出效率研究[J].经济数学，2015(4):47-53.

[9]赵树宽，余海晴，巩顺龙.基于DEA方法的吉林省高技术企业创新效率研究[J].科研管理，2013(2):36-43.

[10]王小宁，王起彤，都灵.基于DEA技术的高校固定资产管理绩效评价——以教育部直属高校为例[J].会计之友，2015(24):79-83.

[11]李祺，孙钰，崔寅.基于DEA方法的京津冀城市基础设施投资效率评价[J].干旱区资源与环境，2016(2):26-30.

[12]张友棠，李思呈，曾芝红.基于DEA的大学预算绩效拨款模式创新设计[J].会计研究，2014(1):64-70.

[13]邓洪波，陆林.基于DEA模型的安徽省城市旅游效率研究[J].自然资源学报，2014(2):313-323.

[14]董艳梅，朱英明.中国高技术产业创新效率评价—基于两阶段动态网络DEA模型[J].科技进步与对策，2015(24):106-113.

[15]黄德春，董宇怡，刘炳胜.基于三阶段DEA模型中国区域能源效率分析[J].资源科学，2012(4):688-695.

[16]刘伟.中国高新技术产业研发创新效率测算—基于三阶段DEA模型[J].数理统计与管理，2015(1):17-28.

[17]代明，刘可新，陈俊.中国高技术产业研发创新效率研究[J].中国科技论坛，2016(1):5-10.

[18]杨峰，夏琼，梁樑，等.测量要素折扣对企业规模效率的贡献:基于DEA的研究[J].中国管理科学，2010(4):140-144.

[19]宛剑业，高丽媛，赵静.基于WPDEA方法的供应商选择[J].辽宁工业大学学报(自然科学版)，2012(2):105-108.