APP下载

国外项目后评估研究综述

2020-08-29危怀安

科技管理研究 2020年15期
关键词:评估研究

危怀安,杜 锦

(华中科技大学公共管理学院,湖北武汉 430074)

20 世纪30 年代,后评估被美国国会作为监督政府的一种“新政”政策性投资手段,有效地促进了美国国会的有效运转。随后,西方很多国家和国际金融组织广泛地采用后评估来评估其在世界范围资助活动中的应用,逐步形成了较完善的后评估体系,并在国外学术界引发了大量的讨论、研究和管理实践。目前,已形成比较完善的项目后评估制度的国际机构和国家有:世界银行、亚洲开发银行、美国、加拿大、英国、日本、菲律宾、巴西和印度等。

项目后评估是评估过程中的重要环节。随着后评估体系的逐渐完善,后评估的实践在国外得到大力的支持。例如,世界银行(World Bank)后评估体系旨在为其业务经验提供系统、全面和独立的审查,而后评估的有用性则在于后评价过程中所吸取的教训如何能有效地反馈到银行的业务系统中。此外,亚洲开发银行(ADB)的后评估体系则效仿世行的评估体系而取得了更多的投资项目。由此可见,项目后评估在国外评估工作中的重要地位,其不仅为项目的有效实施提供了参考依据,而且也有利于促进项目预期目标的实现。

鉴于项目后评估在西方国家的评估工作中产生了重大影响,本文从国外项目后评估的内涵、发展历程、研究内容、研究动态及趋势综述项目后评估发展的演化历程,不仅有利于我们深入理解项目后评估工作,而且也有利于为项目后评估研究提供整体框架。

1 项目后评估的内涵与发展历程

1.1 项目后评估的内涵

在国外文献检索中,国外评估的常用词是“Evaluate” 或“Assess”,而通常运用“post evaluation”“post implement evaluation”“ex-post evaluation”来表达“事后评估(评价)”“后评估(评价)”的含义,而“ex-post evaluation” 与“ex-ante evaluation” 相对,并与“mid-term evaluation” 共同构成了“policy circle”(项目政策循环周期)。此外,在已有的研究成果中,后评估(后评价)研究对象主要为项目的后评估,即“Project Postevaluation”。

20 世纪30 年代,许多西方国家的财政、审计机构和援外单位逐渐开始开展项目后评估工作,其涉及金融、能源、财政、通讯、交通和建筑等行业,尤其是政府公益性项目。20 世纪60 年代,美国“War of Poverty”计划使用了后评估方法,充实了后评估的理论和方法。20 世纪70 年代,由于大力扶持能源、通讯和交通等基础设施和社会福利事业,导致其所投入的资金利用效率低。20 世纪70 年代中期,许多国家和国际金融机构已经采纳后评估制度作为评估其工作成效的标准。例如,作为发达国家的代表,美国的项目后评估基于法律基础,建立了符合自身发展特点的后评估制度,并有效地评估其工作结果。而作为发展中国家的代表,印度在20 世纪50 年代成立了有关项目后评估的组织机构。虽然后评估工作范围宽泛(教育福利、环境质量和经济发展等),但其评估对象主要是国家预算、项目和计划,将国家资金预算、监测、审计和评价相结合,并形成一个系统、科学的评价体系[1]。

国外学者Ilzkovitz 等[2]指出,项目后评估有4个目标:(1)加强对竞争政策决策影响力的理解;(2)提高竞争政策决策的透明度和问责性;(3)提倡竞争和竞争政策;(4)改善未来的决策实践。因此,我们将国外学者对项目后评估的理解可归纳为:项目后评估是指项目在实施过程中或完成后,由独立的后评估专门机构基于一定的规章制度,结合项目的实际情况,对项目的目标、实施过程、实施结果等进行系统、客观的后评估,其目的是为了通过项目预期目标与实际效果的对比分析,对项目实施过程进行全面总结,从中吸取经验教训,从而提高项目决策、设计、实施和管理水平,进而实现项目预期目标。由此可见,项目后评估的内涵不同于前期评估和中期评估,其主要是指在项目实施阶段或完成后开展的评估活动,其具有独立的评估机构对项目的过程和结果进行有效评估,并从中提炼经验教训,努力实现项目预期目标。

1.2 项目后评估研究的发展历程

国外项目后评估与前评估几乎同时产生,具有较丰富的发展历史。项目后评估的发展历程大致划分为初级阶段和产生应用阶段:20 世纪30 年代是发展的初级阶段;20 世纪60 年代处于发展应用阶段;20 世纪70 年代至今处于“新方法”的产生与应用阶段[3]65-70,[4],[5]188-200。因此,西方国家的项目后评估经过近90 年的研究发展,已经具有较完善的体系,其主要表现在4 个方面:

(1)项目后评估的系统化和制度化。项目后评估初期并没有明确的法律法规给予保障,随着西方国家后评估工作取得的效果而开始创建法律法规,并建立管理机构明确后评估的发展方向,使项目后评估工作更为系统化和制度化。

(2)项目后评估研究内容的多样性。项目后评估在初级阶段只限于财务评估,而后应用于多领域的项目后评估,实现了后评估内容由单一转为多样性的演变过程。

(3)项目后评估贯穿于全过程的评估。最早开始的后评估较多地用于项目完成后的效果或影响评估,而对于项目的决策阶段和实施阶段的评估则较少。然而,随着实践的深入,后评估不再只限于项目完成后的评估,而是对项目的实施过程进行客观、科学的评估来提高项目的决策和管理水平。

(4)国际金融组织扩大其后评估机构的监督功能。国际金融组织为了提高其业务部门的工作效率,使后评估作为其内部监督工具,从而有效地提高组织的有效管理和发展。如亚洲开发银行(ADB)于20 世纪70 年代建立了独立的后评估办公室,其主要目的是为了使贷款审查严格化,并有效吸取经验教训来提高其业务部门的工作效率。

所以,随着实践的深入和人们的认识不断提高,国外项目后评估正在形成较为完善的体系,而这一发展历程,正是符合项目后评估自身发展的本质要求,其不仅有利于提高后评估的科学性和有效性,而且也有利于项目得到不断完善并保障项目的可持续发展。

2 项目后评估研究内容

在现有项目后评估研究成果中,评估内容主要围绕项目后评估标准和后评估方法展开讨论,通过对项目后评估标准和方法的研究,不仅丰富了项目后评估研究内容,而且也有利于项目后评估工作的有效开展,并为评估工作提供参考。

2.1 项目后评估标准研究

评估有3 种类型的周期性:事前评估、中期评估和事后评估。然而,就评估目的而言,不同评估类型的评估目的不尽相同,其评估标准和关注点也略有不同。具体内容见表1(其中A:基于实际情况和执行的情况 B:基于预测和展望的情况 C:基于判断和可能的情况 D:基于前一阶段完成的情况)。由此可见,事前评估则意味着在评估前需进行实际情况研究或建立评估指标,而根据相关性、有效性、效率、影响和可持续性的5 项评估标准开展的评估活动通常要超出实际情况,但其能促进评估工作的有效运行和管理。

表1 事前、事中和事后评估标准的差异

本文主要研究项目事后评估,由于项目后评估研究范围的扩大化,不仅加大了后评估研究过程中数据收集与鉴别的困难程度,而且可供运行的分析模型也显得更为复杂化。然而,项目后评估的目的是为了核实项目是否在合作结束后继续进行,而评估结果则会反馈到项目的计划层面,因此,项目后评估标准由单一的指标转变为多项标准。国外项目后评估的衡量标准主要集中在5 项指标上,且衡量指标的具体尺度因评估项目的对象不同而具有一定的差异。Georghiou 等[6]认为从项目评估的角度来看,评估方法取决于前瞻计划的目的,并提出不仅可以运用传统的评估标准(实施效率、影响和有效性、适当性),而且也可以运用行为可行性的概念来检验前瞻计划的潜力(后评估系统的创新性和评估标准的可持续性)。Destatte[7]在传统的评估标准上增加了实用性、可持续性和公平性3 个评估标准。此外,Volden[8]在对挪威20 个基础设施项目进行元评估的经验中强调衡量评估项目成功与否主要以效率、效果、影响、相关度、可持续性以及社会经济效益6 个标准为主。我们以日本国际协力机构(JICA)的国家项目后评估为例,以便深入理解后评估的5项标准。日本国际协力机构(JICA)阐释了以相关性、效力性、效率、影响和持续性5 种评价标准来区分事前评估、中期评估、末期评估和事后评估四类评估类型的适用性,并强调了事后评估的“影响”与“持续性”两个衡量标准的积极作用。

由此可见,项目后评估标准研究主要反映在项目的有效性和实施效率两个方面,并以影响和可持续性两个评估标准为主。所谓影响标准是指预期项目完成后的某一段时间后产生的影响,而可持续性标准则是指项目是否在结束后能够保障生产的持续性。因此,在评估项目的影响时,检查合作项目的因果关系尤为重要。评估项目的影响因素之所以易受到项目外在因素的影响,是因为长期预期的见解影响。如果项目被定位评估程序的一部分,那么评估者则需要考虑协同效应对其他项目的影响。同时,在评估项目的可持续性时,则可以根据项目的投入、活动和产出进行分析,特别是项目在合作期间与同一组织继续合作。如在培训和传播项目中,评估者可以通过观察实施情况和教学材料的发展来把握其可持续性。但是,如果这项工作以一种不同于合作项目的新形式继续下去,评估者则就需要考虑新形式是否能从项目合作中继续发展。例如,在研究和发展项目中,可以通过掌握使用开发技术来进行下一项开发的实施过程,从而来评估项目的可持续性。

2.2 项目后评估方法研究

评估标准的形式多样化意味着后评估研究方法由单一性向多元化的转变。国外项目后评估方法主要包括以下几个:

(1) 对比分析法(Comparative Evaluation Approach)。对比分析法是国外项目后评估常用的方法,其可分为“前后对比”法和“有无对比”法。在对比分析中,选择合适的对比标准来进行客观的评价方法。

(2)逻辑框架法(Logical Framework Approach,LFA)。20 世纪70 年代,美国国际开发署(USAID)开发并运用逻辑框架法(LFA)应用于项目评估的工作中。“逻辑框架法”是一种概念化论述项目的方法,其基本模式是一个4×4 矩阵,核心是项目各层次之间的因果逻辑关系,即“如果”给项目提供了某种条件“那么”就会产生某种结果,其中包括项目的内在因素和外部条件。

(3)层次分析法(Analytic Hierarchy Process,AHP)。美国著名运筹学家Saaty[9]教授提出层欠分析法(AHP),该方法对项目后评估研究具有划时代的历史意义。层次分析法(AHP)是一种定性与定量相结合的方法,是一种多准则决策方法,即帮助决策者运用多个准则来解决复杂问题的方法。当前,已经开发了多种多准则决策方法,其都是基于问题建模、权重评估、权重聚合和敏感性分析[10]。

(4)模糊层次分析法(Fuzzy Analytic Hierarchy Process,FAHP)。Mikailov 等[11]应用模糊层次分析法(FAHP)解决服务流通中多种难以精确度量的难题。模糊层次分析法(FAHP)是综合利用模糊数学与层次分析法的原理,将定性指标数量化及各项指标的无量纲化,通过模糊矩阵使定性指标和定量指标有机结合起来,从而反映评估对象的综合情况[12]。

(5)模糊综合评估法(Fuzzy Comprehensive Evaluation,FCE)。以Zedeh 开创的模糊集(Fuzzy Set)为基础,应用模糊关系合成原理,将一些难以定量的因素量化来完成综合评估,其核心是通过构建等级模糊子集确定隶属度,在利用模糊变换原理对各指标综合,此方法适用于处理评估对象及分类不明确的后评估问题[13]。

(6) 数据包络分析法(Data Envelopment Analysis,DEA)。Charnes 等14]首次提出数据包络分析法(DEA),为相关绩效评估提出了量化的解决方案。随后数据包络分析法(DEA)形成了一个数学、经济学与管理科学交叉研究的新领域。Paradi 等[15]研究最差表现DEA,将DEA 方法成功应用于信用风险评估,Ferrari 等[16]运用DEA 与PE 方法评估人力资源结构在意大利各大学所产生的技术效率。

(7)其他评估方法。Pilavachi 等[17]发现在欧洲共同体一级缺少对能源建模活动结果的事后评估,则对欧洲能源MEDEE 与EFOM 模型进行了模拟结果的后评估。Richard[18]为欧洲风险论坛实施后评估时指出20 世纪90 年代欧盟委员会就已使用后评估工具对其财政项目进行评估,随后的两年内又对后评估项目做出了一系列的改进,如修改评估政策的适用范围以涵盖主要技术实施决策。Piki[19]将创新科学技术整合到学生课程学习之前,根据使用用户的教育背景、群体规模大小对协作技术(CT)进行后评估,且考虑到技术使用背景以及用户的社会心理动机,采用定性的方法对协作技术的适当性和用户满意度予以评估。

由此可见,国外学者对项目后评估方法的研究颇为深入,但缺乏对项目后评估方法的选取和实用性的研究,因此,应该通过进一步完善项目后评估方法和丰富后评估评估理论来解决这一系列问题,从而使项目后评估工作得到有效的开展。

3 项目后评估研究动态

国外项目后评估研究所涉及的领域相当宽泛,涉及交通运输项目、制造业项目、商业投资项目、教育类项目和健康医疗项目等多个方面,其主要体现在4 个方面:(1)行业后评估,如交通运输业后评估;(2)具体部门后评估,如菲律宾亚洲发展银行后评估;(3)技术后评估,如通讯科技项目后评估;(4)特定群体的后评估,如青少年心理治疗实践评估。然而,目前,国外项目后评估研究动态主要包含科技、基础设施和政策后评估,具体内容如下:

(1)科技项目后评估。在全球市场取得竞争力的关键之一就是高效利用先进的制造技术,而与先进的技术利用有关的问题也很多。Josef 等[20]就AMT 项目的评估进行研究,他们认为在对AMT 项目实施后评估时,应确定项目的最初期望和目标是否得以实现,并讨论了在后评估过程中使用的方法、概念和度量标准等典型问题。

(2)基础设施建设项目后评估。由于基础设施项目需要大量投资,其涉及的事务范围广泛,并直接影响人们的生活,所以,有必要对基础设施项目进行系统的、客观地后评估,以实现基础设施项目的经济效益、功能和影响,从而通过项目验收。此外,Campos 等[21]认为高速铁路项目的成本应分为三类:土地规划成本、基础设施建设和配套设施建设成本以及设备建设投资成本,而劳力成本在这三类成本中代表最大份额的营运成本。而大多数公共农业研究组织的目标是进行研究和发展工作,其最终的目的是为了提高农业和粮食部门的生产力和可持续性,而农业发展后评估作为其在投资中的经济回报效果。Maredia 等[22]对农业事后的经济影响评估开展了研究,强调制度化的影响评估对提高农业和粮食部门的生产力和可持续发展具有一定的积极作用。

(3)政策后评估。近年来,经济合作与发展组织(OECD)的一些政策制定者已经开始运用后评估工具系统地评估政策,其通过分析政策在具体实施后,检查其决策的相关性、有效性和影响性来评估决策成功的因素或失败的原因。因此,后评估工具为决策者提供了重要的知识输入,并创建了一个反馈路径,从而完成了“政策调控周期”。如果精心设计并系统地进行后评估管理,则不仅可以提高未来对监管决策的质量,而且也可以促进现有政策的完善,从而降低政策监管失败的风险。

综上,为了促进项目后评估工作的可持续发展,充分发挥后评估的作用,了解国外项目后评估的研究动态,不仅有利于保障项目评估的科学性,而且也有利于促进项目后评估的健康发展。

4 结论与启示

关注国外项目后评估研究进展,敏锐觉察国外项目后评估研究内容,有利于提高项目后评估工作管理水平,并为项目实施提供一定的参考依据。简而言之,项目后评估实际是建立了一个监督机制。这是因为后评估机制具有一定的积极意义:(1)后评估有利于加强项目负责人和执行人的责任心。(2)后评估有利于实现资源的优化配置。开展项目后评估活动,项目负责人可以了解项目的详细投入情况,并有效评估项目的经济效益和社会作用。(3)后评估有利于提升项目管理水平并尽可能减少项目产生的消极影响。通过实施项目后评估,可以提出各种科学的方案来有效解决项目实施过程中存在的问题,即通过对各种方案的影响进行预测和对比分析,提出具有预见性的意见,从而为项目决策提供全面有力的支持来减少项目产生的消极影响。(4)后评估有利于加强项目执行力度。后评估使项目在执行过程中尽可能达到立项时的预期目标。因此,为了使后评估机制真正发挥作用,我们要从根本上来解决“谁来评、评什么、怎么评”的问题,而解决这一问题则就需要解决项目后评估评价指标实用性的问题,所以,项目后评估并不是评判项目的成败,而是一种非典型的评估,其目的是为了积累一些经验,从而有利于促进项目预期目标的实现。

猜你喜欢

评估研究
FMS与YBT相关性的实证研究
不同评估方法在T2DM心血管病风险评估中的应用
核电工程建设管理同行评估实践与思考
2020年国内翻译研究述评
辽代千人邑研究述论
第四代评估理论对我国学科评估的启示
视错觉在平面设计中的应用与研究
EMA伺服控制系统研究
作战体系评估及评估方法研究
新版C-NCAP侧面碰撞假人损伤研究