水环境综合整治项目绩效评价的实证研究
2015-02-01宋玲玲
宋玲玲 程 亮 孙 宁
(环境保护部环境规划院,北京 100012)
水环境综合整治项目绩效评价的实证研究
宋玲玲程亮孙宁
(环境保护部环境规划院,北京100012)
【摘要】绩效评价是提高资金使用效率、提高项目成效的重要手段。文章系统构建了水环境综合整治项目绩效评价方法,包括通过性的指标体系、指标评价方法、评价标准等。其中,评价指标有11个,分别为设计系统性、问题针对性、影响实现程度、成果实现程度、产出实现程度、资金投入到位程度、项目完成及时性、运行维护保障能力、运行维护状况、资金使用合规性、工程实施合规性;指标主要采用了比较法、逻辑框架法及因素分析法进行评价;评价指标设置了4档评级,并采用 “3”、“2”、“1”、“0”进行量化,项目总体评级设置了“非常成功”、“成功”、“部分成功”、“不成功”四档。文章以某城市集中式饮用水源地及城市内河综合整治项目为例,验证了绩效评价方法具有很好的适用性,能够准确、全面评价项目目标完成程度,找出项目在立项、实施过程及结果方面存在的问题。
【关键词】水环境综合整治项目;绩效评价;评价指标;评价方法
国内水环境综合整治项目面临着系统性不足、项目建设程序和管理不到位、配套资金不能及时落实、重建设轻管理运行等诸多问题,大大降低了资金使用效率,影响项目成效的发挥。绩效评价是提高项目实施效果和资金使用效率的重要抓手,针对水环境综合整治项目开展绩效评价,对于促进已建项目的可持续发展、提高资金使用效率等具有重要意义。
目前,针对水环境综合整治项目,国内已有学者[1-6]开展了相关的评价研究,提出了绩效评价指标及评价方法,但是,这些评价指标缺乏通用性,未考虑水环境治理项目之间的差异性,仅从案例项目出发考虑设置评价指标,另外,评价指标较为片面,主要从项目效益、影响程度等角度出发,对项目的立项及实施过程缺乏考虑,同时,对项目产出、成果及影响缺乏系统评价。鉴于此,本文开展了水环境综合整治项目绩效评价研究,建立系统性的绩效评价方法,包括通用性的评价指标、指标评价方法、评价标准等,在此基础上,以某城市集中式饮用水源地及城市内河综合整治项目为例,开展了具体项目的绩效评价实证研究,验证了绩效评价方法的适用性。
1绩效评价方法
1.1 评价指标
针对水环境综合整治存在问题及项目特点,本文构建了通用性的绩效评价指标,包括设计系统性、问题针对性、影响实现程度、成果实现程度、产出实现程度、资金投入到位程度、项目完成及时性、运行维护保障能力、运行维护状况、资金使用合规性、工程实施合规性11个评价指标。指标涵盖了项目的全过程,能全面反映项目投入、产出、成果与影响之间的逻辑性与系统性。对比评价指标的重要性,通过专家咨询法确定了指标权重。构建的指标及权重见表1。
表1 水环境综合整治项目评价指标与权重
1.2 指标评价方法
评价方法是利用绩效监测数据、项目资料等获得绩效评价结果的手段。本研究指标的评价方法如下:
(1)比较法。比较法是指通过对项目实际绩效与预期目标、历史与当期情况、不同部门和地区同类项目的比较,综合分析绩效目标实现程度,不仅适用于定量分析,而且适用于定性分析[7]。采用比较法进行评价的指标有影响实现程度、成果实现程度、产出实现程度、资金投入到位程度、项目完成及时性、资金使用合规性、工程实施合规性等7个指标。其中,前5项指标均通过比较项目实际情况与预期目标情况;资金使用合规性通过比较实际资金使用管理情况与资金管理规定,工程实施合规性通过比较工程建设管理制度执行情况与国家有关管理制度的要求,主要有合同制、招投标制度、工程监理制、环保验收、竣工验收等制度。
(2)逻辑框架法。逻辑框架法是美国国际开发署在1970年开发的一种设计、计划和评价的主要工具[8],广泛用于项目的设计、监控和评价中。项目逻辑框架是项目绩效评价的基础,包含了项目的投入、产出、成果和影响,并给出了各个层次的绩效指标与目标、数据来源、风险及假设[9]。设计系统性和问题针对性采用了逻辑框架法进行评价。
(3)因素分析法。因素分析法是指通过综合分析影响绩效指标实现、实施效果的内外因素,评价绩效目标实现程度[7]。运行维护保障能力和运行维护状况采用了因素分析法。运行维护保障能力从资金保障、组织分工、运行机制(不限于此)等各方面分析判断建成后项目的运行维护保障能力。运行维护状况是根据建成后项目的运行监测数据、工程现场情况等综合分析判断项目运营维护的良好状况。
1.3 评价标准
评价标准是衡量评价指标及项目总体评价结果的标尺,评价标准的设置与评级划分密不可分。借鉴国外经验,评价指标评级设置了4档,同时,单项指标评级采用 “3”、“2”、“1”、“0”进行量化处理,便于得到项目总体评级。结合指标特点,确定了各指标的评价标准,如表2所示。
项目总体评级同样设置为4档,分别为“非常成功”、“成功”、“部分成功”、“不成功”。总体评级评价标准如下:“非常成功”≥2.7;2.7 >“成 功” ≥1.6;1.6 >“部 分 成 功”≥0.8;“不成功”<0.8。
表2 评价指标的评级与评价标准
续表2
指标评级评价标准运行维护状况有污染物排放的项目其他项目很好3100%达标排放运行维护能够及时、到位,确保项目功能的发挥较好2达标频次在90-100%之间(含90%)运行维护较及时、到位,不影响项目功能的发挥一般1达标频次在70-90%之间(含70%)运行维护不够及时、到位,一定程度上影响了项目功能的发挥较差0达标频次低于70%运行维护非常不及时、到位,严重影响了项目功能的发挥资金使用合规性完全合规3未出现任何违规情况基本合规2出现1项违规情况部分违规1出现2~3项违规情况严重违规0出现4项及以上违规情况工程实施合规性完全合规3未出现任何违规情况基本合规2出现1项违规情况部分违规1出现2项违规情况严重违规0出现3项及以上违规情况
1.4 项目简介
实证研究项目为某城市集中式饮用水源地及城市内河综合整治项目,为中央环保专项资金支持项目。原计划建设7个子项目,分别为:①王瑶水库饮用水源保护区石油污染拦污坝工程;②净水厂深度处理工程;③王瑶水库库区及上游水源涵养和生态屏障工程;④延河延安市区裴庄至水厂段截污管线工程;⑤延河安塞城区段截污管线工程;⑥延河流域生态恢复工程;⑦延河流域水污染在线监测工程。
实施过程中,项目建设内容擅自发生了调整,实际建设内容为:①延河安塞城区段截污管线工程;②净水厂深度处理工程;③延河污水综合治理工程;④延河污水收集管网和水污染处理工程;⑤区县环境监测平台建设。与计划内容相比,仅完成了计划中的净水厂深度处理工程、延河延安市区裴庄至水厂段截污管线工程、延河安塞城区段截污管线工程等3个子项目。
1.5 项目逻辑框架构建
根据项目有关资料,构建了项目逻辑框架,如表3所示。由于项目材料中未明确项目的外部条件,因此本研究并未列出逻辑框架中的假设与风险。
1.6 评价指标细化
根据项目逻辑框架细化成果实现程度、产出实现程度、运行维护保障能力、运行维护状况等5个指标。项目影响的设计摘要包含2个,对应将影响实现程度细化为延河流域水体污染好转程度、涵养水源改善程度2个指标,2个指标均分影响实现程度指标的权重。按照同样的方法细化出成果实现程度、产出实现程度等指标及权重。关于运行维护保障能力和运行维护状况指标的细化,由于工程实际建设内容为按照有关管理规定进行了擅自调整,所以这2项指标的细化是根据原计划建设且已建设的延安净水厂深度处理工程、延安市区截污管线工程、延河安塞城区段截污管线工程3项建设内容细化得到。实证研究项目的评价指标与权重见表4。
1.7 评价结果与分析
1.7.1总体评价结果
通过评价计算,项目总分为1.42分,总体评价结果为“部分成功”,即项目仅实现了其部分目标。各项指标评价结果如表5所示。
1.7.2相关性分析
子项目之间缺乏系统性和整体性,项目设计系统性一般。原计划建设内容中,两个污水截污工程之间关联性很强,能共同支撑项目目标的实现,但与其他子项目缺乏关联;王瑶水库饮用水源保护区石油污染拦污坝工程与延安净水厂深度处理工程关联较强,但与其他子项目又缺乏关联;王瑶水库及上游水源涵养和生态屏障工程和延河流域水污染在线监测工程与其他项目之间关联性较差。
问题针对性评价结果为良好。该项目主要针对的问题是当地饮水安全和延河污染问题,6个子项目中,除了王瑶水库及上游水源涵养和生态屏障工程和延河流域水污染在线监测工程之外,其他4个子项目均是针对这2个问题而设计。
1.7.3效率分析
项目总体产出实现程度较低。在实施过程中,因随意调整项目建设内容导致大部分项目产出实现程度很低。3个子项目由于未得到实施,对应的产出实现程度均为0分。延安市区截污管线工程、延河安塞城区段截污管线工程2个子项目虽然得到了实施,但是对比预计规模,实际规模擅自缩减,因此产出实现程度均一般,得分1分。
表3 实证研究项目的逻辑框架
表4 实证研究项目细化后的评价指标与权重
表5 实证研究项目指标评价结果
工程实际投资26328万元,仅是目标值的73%,资金投入到位程度较低。项目实施周期24个月,共延迟了18个月,相比总工期滞后超过50%,完成时间严重滞后。
1.7.4效果分析
项目影响的实现程度很低。由于王瑶水库饮用水源保护区石油污染拦污坝工程、王瑶水库及上游水源涵养和生态屏障工程未得到实施,使得延河绿化带成为延安市的天然氧吧的实现程度很低,得分为0,从而导致相应的影响-涵养水源改善程度的影响实现程度很低,得分为0。另外,虽然通过污水管网建设污水收集和处理能力得到提高,但是根据环境监测数据,项目实施后,延河水体仍为轻度污染,5个断面中仍有20%断面不能满足地表水质标准要求,流域水体污染状况并未发生好转,分析认为是项目在设计阶段并未找对流域污染的根本性原因所致。
不同项目成果实现程度差异大。提高污水收集和处理能力的实现程度、提高居民饮用水安全的实现程度2项成果实现程度很高,主要是由于城市的污水管网得以建设完善,排污口得到清除,净水厂的升级改造使得净水厂出水石油类指标降低至0.01mg/L以下,远低于饮用水标准要求,成果目标100%得到实现。王瑶水库饮用水源保护区石油污染拦污坝工程、王瑶水库及上游水源涵养和生态屏障工程未得到实施,在没有项目产出的情况下,使延河绿化带成为延安市的天然氧吧的实现程度就很低。
1.7.5可持续性分析
项目可持续很好。参与可持续评价3个子项目的建设和管理单位为事业单位或国有独资企业,财政实力雄厚,运行维护保障能力很强,运行经费能够确保、人员分工明确,运行机制健全,净水厂和截污管网的维护状况均很好。
1.7.6合规性分析
资金使用合规性评价为部分违规。部分子项目资金未单独建账、单独核算,不符合管理要求。另外,实际建设内容中的延河污水综合治理不属于中央环保专项资金的支持范围。
工程实施基本合规。合同制、招投标、工程监理、环保验收等工程管理制度均按照要求实施,在实施的3个子项目中,2个截污管线工程未实施竣工制度。
1.8 评价建议
针对评价结果,建议下一阶段在水环境综合整治中:①重视项目前期方案设计,着重分析论证水体的主要污染来源及解决措施,强化项目目标与建设内容、建设内容之间的系统性、整体性与逻辑性,强化项目目标的可达性分析。①在实施过程中,项目总负责单位应加强各子项目的实施监管,指导各项工程按照工程建设管理和资金管理规定实施项目;加强对项目建设内容完成情况的跟踪,随时监测项目绩效目标的实现程度,在有产出而无成果的情况下,应及时找出问题再调整项目建设内容,但调整的手续应符合有关管理规定。
3结语
国内水环境综合整治项目面临着系统性不足、项目建设程序和管理不到位、配套资金不能及时落实、重建设轻管理运行等诸多问题,大大降低了资金使用效率,影响项目成效的发挥。绩效评价是提高项目实施效果和资金使用效率的重要抓手,针对水环境综合整治项目开展绩效评价,对于促进已建项目的可持续发展、提高资金使用效率等具有重要意义。本文开展了水环境综合整治项目绩效评价研究,建立系统性的绩效评价方法,包括通用性的评价指标、指标评价方法、评价标准等,并在此基础上,以某城市集中式饮用水源地及城市内河综合整治项目为例,开展了具体项目的绩效评价实证研究,验证了绩效评价方法的适用性。
实证研究表明构建的绩效评价方法可以准确、全面评价项目目标完成程度,找出项目在立项、实施过程及结果方面存在的问题,评价方法具有较好的适用性。为进一步提高评价方法的适用性,未来尚需要开展更多的实证研究进一步验证绩效评价方法。
通过水环境综合整治项目绩效评价的开展,总结项目的问题和经验,为后续及其他水环境综合整治项目的实施提供借鉴,同时,带动水环境综合整治项目的系统性得到强化、实施管理得到规范,提高项目的成功度,从而提高资金使用效率。
参考文献:
[1]曾超.佛山汾江河综合整治工程后评价研究[D].华中科技大学,2012.
[2]朱旭萍,唐德善,廖昕宇.成功度法在黑河调水及治理评价中的应用[J].人民长江,2007,04:130-132.
[3]吴阿娜,车越,杨凯等.城市内河综合整治效益的后评估方法及实证[J].水利学报,2005,09:1088-1093.
[4]吴新,李梅,庞金成等.渭、洛河下游近期治理工程项目后评价研究[J].西北农林科技大学学报(自然科学版),2005,09:126-132.
[5]余兰英,陆菊春.流域治理项目效益综合评价研究[J].中国农村水利水电,2008,05:115-117.
[6]吴建南,章磊,阎波,刘佳.公共项目绩效评价指标体系设计研究—基于多维要素框架的应用[J].项目管理技术,2009,04:13-17.
[7]财政部.关于印发《财政支出绩效评价管理暂行办法》的通知(财预[2011]285号).
[8]付亚和,许玉林.绩效管理[M].上海:复旦大学出版社,2007:182-188.
[9]Asian Development Bank.Project Performance Management System,Guidelines on Preparing a Design and Monitoring Framework [M].2nd ed.ADB,2007.
项目资助:财政预算项目“预算资金监管与绩效考评”(项目编号2026001006)
引用文献格式:宋玲玲等.水环境综合整治项目绩效评价的实证研究[J].环境与可持续发展,2015,40(1):58-63.
An Empirical Study on Performance Evaluation of Water Environment Integrated Improvement Project
SONG LinglingCHENG LiangSUN Ning
(Chinese Academy for Environmental Planning,Beijing 100012)
Abstract:Performance evaluation is proved to be one of useful tools to improve fund efficiency and project performance. In this paper,a performance evaluation system was designed,including evaluation indicator system,indicator evaluation method and evaluation rating standard. The indicator system consists of design systematicness,problem targeting,impact achievement degree,outcome achievement degree,output achievement degree,fund in-place degree,completion timeliness,operation and maintenance support ability,operation and maintenance status,fund utilization compliance,and construction compliance. The indicators have four rating levels qualified by “3”,“2”,“1” and “0”. Overall rating system for project consists of “high successful”,”successful”,” partially successful” and “unsuccessful”. In this paper,a case study i.e. a project of centralized drinking water body and city waterway was evaluated. It demonstrates that the evaluation method is good suitable. Through evaluation,the case study project was found many problems in design,implementation and result.
Keywords:water environment integrated improvement project;performance evaluation;evaluation indicator;evaluation method
中图分类号:X21
文献标识码:A
文章编号:1673-288X(2015)01-0058-06
通讯作者:程亮,工程师,硕士,主要从事环境保护咨询评估方法、绩效评价等研究
作者简介:宋玲玲,工程师,硕士,从事水环境综合整治、绩效评价、项目管理等研究