连接评估与决策：现实主义评估的理论、方法与评析

杨代福 陈雪晴

(重庆大学公共管理学院,重庆 400044)

西方政策评估理论和方法在20世纪60年代专业化以来，作为因果关系的“金标准”，随机对照实验、准实验等方法限制了对背景敏感的结论的得出；系统评论和荟萃分析虽然有利于评估结果的综合，但仍存在着大量的“简化与模糊”问题。在西方评估界，一些学者开始开发解决这一难题的方法——现实主义评估(Realist Evaluation)。自1997年其被英国学者雷·波森(Ray Pawson)提出以来，其已在西方学界得到了广泛的传播。然而，目前国内学界对这种理论和方法的了解和把握还不够。因此，本文试图基于西方相关文献，对现实主义评估的理论和方法进行系统、全面的梳理，并对其贡献、意义、不足等进行评析，希冀为我国政策评估理论研究和实践开展提供参考。

1 现实主义评估的意涵

现实主义评估是一种理论驱动的评估模型或方法。其评估重点从“政策的效果是什么”(What works?)走向“在什么环境下，政策如何或为什么以及对谁有效？(How or why does this work, for whom, in what circumstances?)”它从阐明“项目理论”开始，到进一步理解政策或项目运作的机制、运作的环境以及如果按预期运作将观察到的结果，以探究在特定环境下各种政策运行成功或失败背后的逻辑。

2 现实主义评估的要素与逻辑

由于现实主义评估认为项目是在复杂的社会现实背景中进行的复杂的社会互动，于是现实主义评估设计了科学的框架对项目进行评估。其中“机制”(Mechanisms，简称M)、“背景”(context，简称C)、“结果模式”(Outcome Patterns，简称O)是现实主义评估的三个要素，而情境—机制—结果模式结构(Context-Mechanism-Outcome Pattern Configurations，简称CMOCs)则是现实主义评估的根本逻辑。

2.1 机制

现实主义者认为，“机制”是指潜在的因果过程，它解释了项目运作中的“因果力量”。机制具有客观存在性、必然存在性、潜在性等特点。客观存在性是指机制如同现实中的物体或事物一样独立于主体之外而存在；必然存在性是指机制存在于事物本身的结构内或存在于事物与事物之间所组成的结构中，其作为事物的真实本质而必然存在；潜在性指机制作为深层的结构性因素，往往难以通过观察而立即得到发掘。

2.2 背景

背景指项目运行的社会环境或环境的某些方面。理想情况下，背景应包括有关结构、文化、能动性以及关系等方面的信息。其中，结构(或制度结构)是指一组内部相关的对象(可能是物质资源)和实践，它代表着利益的领域。文化代表主体间性的领域，处理“人与人之间观念的相互影响问题”。能动性意指个体通过自由意志学习使用自己能力的一种状态，在社会结构中，它被称为进入指定的位置或地位以从事所担任的社会地位所指定的活动。关系则指事物之间相互作用、相互影响的状态，社会存在是由关系构成的，社会行为是以关系为前提的。

2.3 结果模式

结果模式是指政策或项目产生的效果。结果可以依据不同的标准进行分类，比如从时间维度来看，可以分为短期结果、中期结果和长期结果；从结果的好坏来看，可以分为积极结果和消极结果；从政策或项目影响的目标群体来看，可以划分为对各个不同群体的结果；从政策或项目影响的区域来看，可以划分为对各个不同区域的结果；从政策设计者的预期来看，可以分为预期结果和非预期结果。考察什么结果，取决于评估的目的和问题。

2.4 背景—机制—结果模式结构

现实主义评估认为，“机制之所以重要是因为它们产生了结果，而背景之所以重要是因为它改变了项目产生结果的过程。因此，必须系统地研究背景和机制以及项目的结果。”将背景、机制和结果模式联系在一起，便形成了背景—机制—结果模式结构。这一结构表明在项目的生命周期中，背景如何激活其中的机制，最终导致结果的改变。这一“结构”方法将机制变化和相关背景变化结合起来预测和解释结果的变化。因此，背景—机制—结果模式结构便成为了现实主义评估的根本逻辑。

3 现实主义评估的操作程序

虽然现实主义评估被应用在越来越多的领域，但是由于对现实主义评估的相关理论和概念难以把握以及缺乏统一的规范，现实主义评估的操作困难依然是评估者面临的一大突出问题。本文通过对国内外现实主义评估的实证论文与规范报告进行阅读，试图梳理现实主义评估的操作程序。

3.1 提出初始项目理论

如前所述，项目理论是项目设计者如何期望项目达到其目标的理论和设想，或者说是特定项目活动和特定结果之间的因果关系的假设。基于现实主义哲学的认识论和“基于理论的评估”的逻辑，设定初始项目理论是现实主义评估最初始以及最基础的一步。提出初始项目理论共包含三块内容：第一、开发初始项目理论；第二、描述初始项目理论；第三、提出CMOCs假设。

就开发初始项目理论的方法而言，可以通过文献评论、项目文件审查、与关键线人的访谈和/或焦点小组访谈、评估团队的头脑风暴、专家咨询等方法来开发、识别和筛选初始项目理论。在确定初始项目理论后，就需要对其进行描述。各项目理论之间可能也有某些联系(如包含关系、因果关系、前后关系等)，这些联系也需要描述出来，可以运用因果关系图来进行描述。之后则是基于初始项目理论的每个元素提出CMOCs假设，并根据所涉及的每种参与者类型进行调整。如前所述，项目理论具有半规则性，因而需要通过提出CMOCs假设对项目理论进行进一步地具体化。它往往围绕项目在特定的情境下、针对特定的人会产生什么样的后果展开。

3.2 提出评估目的、评估问题以及评估重点

该程序共分为四步：第一步是确定此次评估的目的；第二步是依据项目理论和评估目的，确定评估的问题；第三步是依据项目理论和评估目的，确定评估的问题的优先顺序；最后一步是筛选出有限个CMOCs假设。

首先，现实主义评估的评估目的也有独特的要求，即解释(如何和为什么产生结果)而不仅仅是描述结果。现实主义的评估要回答的问题是结构性问题，而非传统的价值、相关性、有效性、效率和可持续性问题(如项目实施完成度、对不同人群的效益、成本效益、影响、可持续性等)。其内容主要包含“什么是有效的、如何起作用、为什么起作用、对谁起作用、在什么程度上、在什么情况下、在什么方面起作用”。

评估的问题也有优先顺序。依据评估目的，在确定评估的需求和范围后，确定关键机制或主机制。主机制可能是触发其他机制的前提条件，也可能是对结果影响最大的机制，因而依据主要机制提出的问题往往为优先问题。在确定评估目的、评估问题以及评估重点后，就需要针对以上内容，提出相应的CMOCs假设，其以背景—机制—结果的表述方式展开。最后则需要针对前面确定的特定目的和问题来筛选出最符合评估要求的CMOCs假设。

3.3 资料收集

现实主义评估的资料收集主要包括两步：首先依据已筛选出的CMOCs假设，收集与项目相关的各种背景、机制和结果的数据；第二步，收集除CMOCs假设外的数据。

进行数据收集时，要先从结果测量开始，之后再收集机制和背景的数据。现实主义评估的思路是一个逆推的过程，即它企图研究的并非政策的实际效果，而是探究产生这一效果背后的机制与理论。之后需要收集机制和背景的数据，可采用的方法包括文献法(研究文献、政府文件、统计数据、相关部门已有数据)、问卷法、深度访谈和焦点小组访谈。第二步就是要收集除CMOCs假设外的数据。由于在之前的项目理论提出阶段，可能会遗漏或忽视某些项目理论，同时在已选择的项目理论中也可能存在对CMOCs假设存在遗漏的状况，因而通过采用开放和自由的半结构化访谈等方法进一步收集数据，以帮助评估人员寻找之前未被纳入到评估范围内的CMOCs假设，从而使评估结果更加完善。

3.4 资料分析

与所有解释性案例研究类似，现实主义评估收集和分析多个数据源，并根据这些数据源构建一个连贯合理的关于关键事件和行动及其预期和非预期后果的叙述。

首先，分析数据的重点是推断数据在特定分析中是否作为情境、机制或结果发挥作用。其次，就分析方法而言，现实主义采用的方法包括人工分析(需要具有分类、开放式编码、轴心式编码以及撰写备忘录等定性分析技能)和运用软件(如NVivo)分析。最后，就整个过程而言，现实主义评估的分析过程是迭代进行的，即在分析过程中，分析会在资料与理论间来回移动。项目嵌入在复杂的环境中，环境的不断变化也将对机制的运转产生影响，如果不通过回环往复地分析验证，则很难确定是否是特定的背景或机制导致了该结果。

3.5 得出评估结论

最后，得出评估结果。进一步发展、测试或完善项目理论并为项目的相关决策提供证据和建议。其一，需要报告得到的实际CMOCs是怎样的，并论证其联系和提供支撑材料。分析结果也将被分类(针对谁、在什么情况下)，并解释差异。其二，需要评述得到的CMOCs是否支持、驳斥或发展了初始项目理论。将得到的实际CMOCs与之前提出的CMOCs假设和初始项目理论对照，判断是否支持、驳斥或发展了初始项目理论。还需注意挖掘此前没有发现、新产生的以及没有考虑到的机制。其三，如果支持、驳斥或发展了初始项目理论，则要思考会形成或发展成怎样的现实主义项目理论？要形成项目“在什么环境下，如何或为什么以及对谁有效？”的更准确的、更精细的认识。其四，需要对决策者提出建议。现实主义评估除了获得现实主义项目理论之外，还需要进一步地向决策者提出建议。当现有项目绩效不佳或者绩效没有充分地发挥，可提出修改或调整现有项目的建议。

4 评析与启示

4.1 现实主义评估的意义与局限

首先，现实主义评估具有重要的意义。一是现实主义评估可为决策者提供预测性和可移植性信息。现实主义评估试图通过了解“什么对谁有效”“特定项目在哪些情况下有效和无效”以及“什么项目在什么背景下触发什么机制”来为决策者提供信息。这些理解可以为在什么背景下采用哪些政策、如何完善政策以提高其效力以及如何使政策适应新的背景等决策提供信息，这种理论构建有助于克服传统案例研究的低外部有效性和低解释力等局限性。

其次，现实主义评估仍然存在一定的局限。一方面，现实主义评估的基本理论还有待完善。比如，对某些关键概念的定义还显得过于笼统。有学者指出背景和机制的内涵和外延就存在含糊和不具体，这使得在数据中很难区分两者。另一方面，现实主义评估的操作也还需要改进。因为复杂项目往往由多种干预措施组成、在多个站点实施、并存在多种项目结果，因此对这种项目进行现实主义评估将变得异常复杂。

4.2 现实主义评估对我国政策评估的启示

目前我国政策评估的理论与方法体系建设还比较滞后，有学者指出：“目前我国仍然未形成一套成熟、完善的政策评估理论和方法体系，这无疑在很大程度上制约了政策评估的科学化程度和规范化水平，使政策评估缺乏科学、系统的理论指导，在实践中具有较大的盲目性。”因此借鉴和吸收现实主义评估理论与方法，有利于夯实我国政策评估理论和方法的基础。

其次，现实主义评估可为我国政策评估使用、连接评估和决策提供有益的借鉴。在理论层面上，当前我国的评估研究极少关注评估结果的使用问题，即虽然注重遵循科学的标准，探索如何取得准确、客观、全面的评估结果，但忽视了应让评估结果得到决策者或利益相关者及时、有效地使用以及发挥更大的社会影响的机理。在实践层面上，在政策扩散中，一些地方决策者常常遵循“模仿”和“跟风”的逻辑，缺乏对政策创新的特定背景和机制的考察，致使政策采纳出现负效应。现实主义评估主张进一步理解政策运作的机制、运作的环境，探究在特定环境下各种政策运行成功或失败背后的逻辑，促进了评估结果的更好使用。这为探究我国政策试点背后的深度逻辑和机制并将其转化为可推广性的证据提供了可行的途径。