基于DEA的水专项工程技术示范类课题绩效评估

米乐，周北海，李楠，黄远奕，齐剑川

（1.北京科技大学 土木与环境工程学院环境工程系，北京 100083；2.四川大学 建筑与环境学院，成都 610065）

基于DEA的水专项工程技术示范类课题绩效评估

米乐1，周北海1，李楠1，黄远奕1，齐剑川2

（1.北京科技大学 土木与环境工程学院环境工程系，北京 100083；2.四川大学 建筑与环境学院，成都 610065）

本文重点解决水专项课题管理方面存在的课题产出效果不及预期、进度拖延等问题，基于数据包络分析（data envelopment analysis，DEA）方法，结合水专项课题投入产出情况，构建能够直观反映课题实施效率的绩效评估体系。以湖泊主题和河流主题的20个工程技术研究示范类课题为样本，进行综合效率分析，并通过模型计算出非有效课题的投入冗余量和产出不足量，直观反映课题管理的改进空间。结果表明：其中13个课题达到最佳收益状态，占总数的65％，其余7个课题的投入产出未达到平衡，其中4个课题投入过盛，3个课题产出不足，需要进行调整，此方法能够真实客观地反映课题实施效率，有助于课题达到效率最大化。

水专项；工程技术示范类课题；绩效评估；数据包络分析（DEA）

0　引言

水专项是《国家中长期科学和技术发展规划纲要（2006-2020）》设立的16个重大专项之一，是建国以来投资最大的水污染治理科技项目，“十一五”至今水专项已经形成了一套管理体系，对于课题产出成果，有单独的经费评定、工程建设评定、任务执行情况评定、效益分析等，但仍存在部分课题进度拖延、效果不及预期目标、经费使用不规范等问题，缺乏能够结合课题投入产出，系统地衡量课题投入是否获得最优产出效果的绩效评估方式。

常用的科研项目绩效评估方法有专家评分法［1，2］、层次分析法［3，4］、模糊综合评价法［5-7］、数据包络分析法［8-10］等。近几年数据包络分析在科研项目绩效评估的应用愈发广泛，如Oral M等［11］利用DEA模型针对高校科研能力分析构建了绩效评估的指标体系；Li Tong等［12］利用DEA方法对中国区域创新系统的创新效率进行了效率评价研究。

根据课题研究内容的不同，水专项分为工程技术和管理技术两大类，本文主要分析工程技术研究示范类课题的投入、产出，建立科研项目绩效评估指标体系，引入数据包络分析（DEA）的C2R模型，在关注产出数量的基础上兼顾产出质量，构建基于DEA模型的水专项绩效评估方法，以水专项“十一五”湖泊、河流两大主题中的20个课题为例进行分析验证，提供一种综合水专项课题投入产出，能够直观反映实施效率并为课题提供具体建议的方法，为水专项“十二五”、“十三五”课题的多目标评估服务。

1.1模型构建

水专项的课题在学术、技术创新、经济效益和环境效益等层面均有成果产出，根据其投入产出情况，分析绩效评估指标的重要性，进行前沿面分析，应用DEA效率评价模型，构建适应于水专项工程技术研究示范类课题的绩效评估体系，流程图如1-1所示。

1　模型方法及数据来源

图1-1　模型构建流程图

1.1.1指标体系的构建

水专项课题实施时间3-5年不等，投入、产出存在较大差异。工程技术研究示范类课题投入包括人员、时间、经费，产出包括课题的学术影响、技术工艺创新、人才培养、经济效益和环境效益［13］。

表1-1　水专项示范工程类项目绩效评价指标体系

（1）人员：不同级别的研究人员数量，直观展示科研人员在课题中的贡献能力。

（2）时间：以研究人员参与课题的时间为标准，准确描述课题研究时间的真实投入。

（3）经费：课题的实际支出。

（4）学术影响：论文和专著是学术影响方面的主要成果，综合考虑学术论文的质量和数量，以影响因子作为指标；专著与论文有较大差异，也是学术影响的重要指标，以数量计量。

（5）技术工艺创新：以专利数量作为表征技术工艺创新质量的标准，包含发明专利、实用新型专利、外观专利的申请数和授权数。

（6）人才培养：主要考量博士研究生和硕士研究生的产出数量。

（7）经济效益：结题验收时不存在间接经济效益，潜在经济效益也无法准确核算，因此仅以课题产生的直接经济效益作为经济效益产出。

（8）环境效益：根据地表水环境质量检测标准常用指标，选择COD年消减量、氨氮年消减量、总氮年消减量、总磷年消减量来判定课题所带来的环境效益。

1.1.2模型

由于水专项课题均为多投入多产出的生产活动，并且各课题的投入指标相对固定，选取C2R模型对同一类型的平行决策单元进行相对有效性的评估、评定及对比。数据包络分析的基本原理是通过判断决策单元有效性的度量来描述课题的生产效率，而通过课题在DEA有效生产前沿面上的投影的偏离程度来评价每个课题的相对有效性［14］。

在模型中，每一个工程技术研究示范类课题的投入和产出均用向量来表示，假设每个课题都有a种类型的科研投入和b种类型的科技产出，xij是第j个课题对第i种类型输入的输入量，yjr是第j个课题对第r种类型输出的输出量；vi是对第i种科研输入所设的度量（权重），μr则是对第r种科技输出所设的度量（权重）。如图1-2所示。

图1-2　DEA模型投入产出示意图

设θ表示每个课题的综合效率，并有λj（j=1，2，…n）为权重变量；s-为投入松弛变量，s+为产出松弛变量；ε为阿基米德无穷小，判断课题有效性的C2R模型为为了便于利用线性规划的单纯形法求解，将化为一个等价的线性规划问题，其对偶规划用表示［8，15-18］。具体算法如下：

那么根据DEA方法模型中变量的含义，θ的范围应在0-1之间，当决策单元的θ越接近于1，则说明此课题的生产效率就越高。

1.2数据来源及数据处理

本文选取水专项“十一五”期间已经结题的课题作为样本库，主要分析湖泊主题和河流主题的课题，以环境保护部所属水体污染控制与治理重大专项官方网站“成果专栏”公布数据为准，水专项课题统计数据如表1-2。

在DEA模型运算之前，首先确定性质相同数据之间的关系，并将这些数据进行合并，不仅考虑产出个数，同时考虑产出的质量和实际影响，公式如下：

SCI影响因子具有较强说服力，能够代表学术水平的高低，综合各高校及科研机构对SCI、EI、核心期刊对学术贡献的判定，论文影响因子中SCI按照其公示的影响因子计数，EI按照0.5分计数，核心期刊按照0.1分计数，会议论文及其他按照0.01分计数，课题共发SCI论文k篇，每篇SCI影响因子用σk表示，并有ne篇EI论文，nh篇核心论文及nq篇其他论文，则有影响因子综合评分Si公式如下：

表1-2　水专项示范工程类课题统计数据

专利成果有“申请”和“已授权”两种状态，设定“申请”状态的专利为1分，“已授权”专利为3分，通过分数表征专利实际质量，课题申请专利的数量为na，已获得授权专利数量为nb，则有专利综合评分Sp公式如下：

依据博士生和硕士生对课题的学术贡献率和课题工作量，设定博士生为4分，硕士生为1分，课题共培养了nd名博士生，nm名硕士生，则有人员培养综合评分Sr公式如下：

2　工程示范类课题绩效评估

将水专项中的20个课题数据带入DEA模型C2R当中，经过计算，得到工程示范类课题的综合效率值，结果如表2-1。其中有13个课题达到且，同时满足技术有效和规模有效，处于最佳收益状态。

课题8、课题15、课题17达到技术有效，而规模收益处于递增状态，应在一定的限度之内加大课题的科研投入规模；课题16、课题20达到技术有效，而规模收益处于递减状态，说明应减小科研投入规模；课题4、课题7既没有达到技术有效也没有达到规模有效，并且其规模效益已经达到递减状态，说明在提高课题的技术力度的同时应减小科研投入的规模。

表2-1 示范工程类课题绩效评价结果

非有效课题的投入和产出并未达到最优的平衡，如表2-2所示，课题在进行过程中存在投入冗余情况，如课题4中除了高级研究人员和其他研究人员的投入外，其他指标相对于输出而言均存在投入过剩的现象，直观的展示了课题投入可以缩减的空间；表2-3给出了课题的产出不足量，如课题7中虽然在专著、专利、经济效益方面产出较好，但是对环境效益的贡献率极低，表明在课题投入不变的情况下，对应产出的提升空间；这两个参数课可以为课题验收指标的设定提供依据。

表2-2 示范工程类课题投入冗余量

表2-3　示范工程类课题产出不足量

根据以上DEA模型所得出的示范工程类课题绩效评估结果，可以直观反映课题的科研效率及产出效益，在水专项“十一五”的考核过程中，水专项的评估工作基本采用专家打分法，但受个人利益及偏见的影响，此方法过多的融入专家的主观判断，影响评议的公正性［1，19，20］，数据包络分析法有效的解决了此问题，方法将课题进行相互间比对，结果更加公正，也更加直观［14，21］。

通过DEA模型运算得出的课题投入冗余量和产出不足量，可计算得到课题的投影值，即课题达到综合效率为1时各指标的目标值，表2-4为课题4在经过DEA模型分析后得到的目标值，在实际工程中可根据计算数据对投入和产出进行调整，有助于课题达到效益的最大化。

表2-4　课题4目标值

结论

以水专项工程技术示范类课题为研究重点，根据学术、技术创新、经济效益和环境效益等层面分析水专项的产出，结合课题投入，确定课题绩效评估指标体系，构建基于数据包络分析法的绩效评估模型。

选取水专项“十一五”期间已经结题的课题作为样本库，以湖泊主题和河流主题20个课题进行计算，得到工程技术示范类课题的综合效率值，其中有13个课题达到最佳收益状态，占总数的65％，其余7个课题的投入产出未能达到平衡，需要进行调整。

基于数据包络分析法的工程技术示范类课题绩效评估模型可以计算出课题的投入冗余量及产出不足量，直观地为课题提供改进空间，有助于课题达到效益的最大化。

［1］裴学军.专家评分评价法及应用 ［J］.哈尔滨铁道科技，2000，（1）：32.

［2］潘皖印.专家评分机理的研究 ［J］.科学管理研究，1997，（1）：33-36.

［3］THENGANE S K，HOADLEY A，BHATTACHARYA S，et al.Cost-benefit analysis of different hydrogen production technologies using AHP and Fuzzy AHP ［J］.International Journal of Hydrogen Energy，2014，39（28）.

［4］曹代勇，王嘉.科技成果评估综合指标体系的实证分析 ［J］.学术交流，2010，（3）：53-56.

［5］唐炎钊，陈锦雅.软科学研究项目立项模糊综合评估研究 ［J］.科技管理研究，2008，（1）：93-96.

［6］张燕萍，黄江峰，余智杰，等.基于模糊综合评价法的太泊湖水环境质量评价 ［J］.安徽农业科学，2014，（25）：8733-8735.

［7］叶倩.模糊综合评价法在技术创新项目评价研究中的应用 ［J］.项目管理技术，2013，（5）：87-91.

［8］雷伶俐，刘国庆，陈庆华.DEA方法在科研机构综合绩效评价中的应用与实例分析； proceedings of the 第六届中国青年运筹与管理学者大会，F，2004 ［C］.

［9］FUENTES R L-B A.Smoothed bootstrap Malmquist index based on DEA model to compute productivity of tax offices ［J］.Expert Systems with Applications，2015，42：2442-2450.

［10］吕喜英.基于DEA的我国科技投入产出二次绩效评价 ［J］.广西财经学院学报，2009，（3）：47-52.

［11］ORAL M O A，MALOUIN J L，KETTANI O.The appreciative democratic voice of DEA：A case of faculty academic performance evaluation ［J］.Socio-Economic Planning Sciences，2014，48（1）：20-28.

［12］LU X，XUE H.Establishment of national industrial safety evaluation index system under the influence of the Cross-border M&A based on DEA； proceedings of the Management Science and Industrial Engineering （MSIE），2011 International Conference on，F，2011 ［C］.IEEE.

［13］郑兴灿，刘静.水污染控制与治理关键技术及示范工程的绩效评估方法 ［J］.中国给水排水，2013，（16）：5-9.

［14］侯翔；马占新；赵春英.数据包络分析模型评述与分类 ［J］.内蒙古大学学报（自然科学版），2010，（5）：583-593.

［15］魏权龄.评价相对有效性的数据包络分析模型——DEA和网络DEA ［M］.中国人民大学出版社，2012.

［16］刘少军，张京红，张明洁，等.DEA模型在山洪灾害危险性评价中的应用——以海南岛为例 ［J］.自然灾害学报，2014，（4）：227-234.

［17］孙世敏，项华录，兰博.基于DEA的我国地区高校科研投入产出效率分析 ［J］.科学学与科学技术管理，2007，（7）：18-21.

［18］杨国梁，刘文斌，郑海军.数据包络分析方法（DEA）综述 ［J］.系统工程学报，2013，（6）：840-860.

［19］曹霞，孙成权，吴新年.国内外科技评估工作窥见 ［J］.图书与情报，2005，（6）：91-94.

［20］张娟，邱旖琦.科技评估方法的适用性研究 ［J］.广东科技，2010，（14）：7-8.

［21］余学林.数据包络分析（DEA）的理论、方法与应用 ［J］.科学学与科学技术管理，1992，9（9）：27-33.

（责任编辑：王保宁）

An Analysis on the Performance of Engineering Technology Demonstration Project of Major Science and Technology Program for Water Pollution Control and Treatment Based on DEA

MI Le1，ZHOU Beihai1，LI Nan1，HUANG Yuanyi1，QI Jianchuan2
（1.Department of Environmental Engineering，School of Civil and Environmental Engineering，University of Science and Technology Beijing，Beijing 100083；2.College of Architecture and Environment，Sichuan University，Chengdu 610065）

This paper focus on the project management of Major Science and Technology Program for Water Pollution Control and Treatment，such as project output effect is less than expected，and the delay in the schedule.Based on the DEA method，a more efficiency performance evaluation system was constructed combined with the project input and output.The paper devotes to get the comprehensive efficiency analysis，as well as the non-DEA effective output shortfall and input redundancy of 20 projects in Rivers and Lakes theme.The study gets the conclusion that 13 of them have the optimal income state，accounting for 65％.The remaining 7 projects need to be adjusted，4 of them investment excessive，and 3 output is insufficient.This method can objectively reflect the project implementation efficiency，contribute to the subject of maximum efficiency.

Major Science and Technology Program for Water Pollution Control and Treatment；Engineering Technology Demonstration Project；Performance evaluation； DEA

G64

A

10.3969/j.issn.1003-8256.2015.06.008

国家科技重大专项基金项目（2014ZX07510）

米乐（1990-），女，北京人，北京科技大学硕士研究生；（通讯作者）周北海（1963-），男，江苏徐州人，博士，北京科技大学教授，博导，研究方向为水体污染控制和环境管理及决策支持信息化研究。