我国社会工作干预项目评估流程与方法回顾

王海萍，许秀娴

（1. 华东师范大学社会发展学院，上海，200241；2. 上海市闵行区马桥复旦万科实验中学，上海，201199）

当前，社会工作机构承担了越来越多的社会公共服务干预项目，然而各个社会工作机构的发展和人员专业素质参差不齐，使得干预项目的质量难以得到保证，因此迫切需要对社会组织提供的干预项目进行评估。对于社会组织而言，规范合理的干预效果评估可以给社会组织提供全面的反馈，帮助社会组织决定是否需要改进、扩大或者缩减项目，提高社会服务的效益。而当前我国社会工作实务的普遍现状是，重视项目的落地实施，忽视项目开展期间的监测，缺少对项目结果的评估反思。同时，现行的评估存在诸多问题，如评估容易受委托方、购买方、评估者等主观价值影响，评估指标不适用，指标操作难度大，评估结果运用效果不明显，评估工具信效度不高等。[1]因此，本文采用文献法回顾整理社会工作干预项目评估的主要方法，并提供可操作的案例，以期为社会组织和评估方提供参考。

一、社会工作评估模型与方法文献分析

社会工作评估是针对社会工作和社会服务而进行的评估，是用科学的研究方法对社会服务项目的设计、策划、实施和效果方面进行测度、诊断和评价的活动。[2]它既是一个需要收集数据和比较数据的系统过程，又是一个动态的过程，评估和实施可以相互作用，适时调整，并最终促进服务的改善。社会工作干预项目的评估专指对社会工作中的以改善案主现状的服务项目进行评估，在概念归属上属于社会工作评估的一种。

国内关于社会工作评估的研究大多集中在对评估模型的引进和讨论上。吴伟东运用系统整合模式将社会工作评价划分为问题、个人、情景三个层面的“人在情景中”模式。[3]顾东辉整合了系统模式和CIPP模式，强调从输入、输出和结果三个方面进行项目评估，并将全面质量管理理论引入到社会工作评估中，认为评估过程应该包括策划、组织、人事、领导、沟通协调、决策、公关和通报、预算等方面。[4]朱晨海等人基于影响理论，针对青少年的社会工作构建了包含结果、行为、情感、感受、人格、影响六大指标体系的评估框架。[5]香港学者则基于香港社会工作评估实践总结出四种评估模式：程序逻辑模式、平衡记分卡模式、顾客满意度模式和政策分析模式。[6]学者们一方面在引进和探讨社会工作评估模型，另一方面也开始将一些模型和方法应用到实际项目评估工作中。如栾晓[7]和罗倩妮[8]论述了政府购买社会工作服务评估的指标体系，潘丽楠等汇报了老年小组社会工作项目的评估研究。[9]

社会工作评估的具体方法基本依循社会科学的研究方法，在实际评估操作中综合使用文献法、观察法、访谈法以及定量调查法等。例如，程梦怡在对青少年网瘾项目的干预和评估研究中采用四种评估方法：第一，文献研究法，即通过文献收集和梳理获取有助于项目设计的信息；第二，实地观察法，通过进入项目场景对项目过程进行观察，考察项目预期目标是否切实可行，防止项目方的设想与项目实际情况完全背道而驰而使得评估变得无意义；第三，无结构访谈法，通过与服务对象青少年、青少年家长以及项目团队成员进行访谈来获得项目服务效果的相关信息，评价项目理论的各个假设；第四，问卷调查法，通过针对项目各项服务活动的问卷，调查统计青少年以其家长参与项目服务的效果情况。[10]张弛等在一项以农村老年人康乐活动为例的实务评估研究中，采用了观察法以及量表调查的形式了解老人的精神状况，过程评估中主要运用了观察法和深度访谈法了解他们参加小组的感受和意见，结果评估中主要运用统计和访谈式问卷对小组结果进行评估以及与组前访谈进行前后测的对比。[11]此外，李华伟指出，观察法等评估方法对干预结果进行评估会影响研究的深度或广度，因此比较有效客观的评价方法是基线测量的方式，用于评估社会工作者介入前后的变化，以此判断介入目标实现的程度。[12]

这些研究大都是针对社会工作服务项目进行的全面的讨论，但并非所有社会服务项目都会进行如此综合的评估，在评估侧重项目效果的干预项目时，可能更强调对该项目进行有针对性的评估设计和数据收集，以凸显其所期望的干预效果。因此，本文所论述的评估方法和指标体系，都将更为贴近干预项目的设计和需求。

二、社会工作干预项目评估过程描述与分析

很多学者根据项目的实施进展将评估分为前期评估(需求评估)、过程评估和结果评估。[9,11,13]实际上，前期评估即需求评估更多是为项目设计而开展的案主需求调查，旨在通过了解特定服务群体的实际需求而有针对性地设计项目内容。而对项目本身的评估则分为“可评估性”评估、评估计划以及评估实施三大过程，其中“可评估性”评估属于前期评估，是评估的先决条件，过程评估、结果评估以及效益评估则属于评估实施过程中的执行模块。

(一) “可评估性”的评估

评估是一项连续的系统的工作，会耗费一定的资源。为了避免浪费评估资源，在启动一项评估之前，要先对这个项目的“可评估性”进行预先检测(evaluability assessment)。Weiss认为，预先进行的“可评估性”检测，有两大好处：其一，可以衡量链接项目设计与项目目标之间的假设和方法是否可行；其二，可以预先检查项目数据的收集情况，并与项目执行人员以及案主进行沟通和接触，以预估该项目的成功可能性，即其是否会取得期望的效果。[14]项目评估的终极目的是为了改进项目运营，因此，“可评估性”检测无论是否通过，都会给该项目的设计者和执行者以有益的反馈，帮助其指出不足并提出改进方向。

(二) 评估前的评估计划

一旦确定了项目的可评估性，则要制定评估计划。评估过程是贯穿项目始终的，这意味着项目评估绝不是事后评估，而是要先于项目执行，在项目设计之始就同时设计好相应评估方案。评估计划包括评估方案设计和评估方法选择。

1. 评估方案设计

评估方案的制定需要考虑四个因素。第一，项目的重大时间节点。明确社会服务项目的开始时间、结束时间、服务提供时间，准确把握社会服务项目的实施动态。第二，明确项目评估是为哪个主体评估，项目评估的出资方想要了解哪方面的内容。第三，考虑社会项目各个相关群体的需求，可以与社会服务机构、案主沟通，了解他们的关注点。第四，考量评估计划的可操作性。在计划评估方案阶段，要重点计划好这些信息的收集，以避免因为没有收集到相关信息而无法进行该方面的评估。比如，要做定量的干预成效评估，就要收集好前测信息，而不仅仅是后测信息；同时，对那些因为时间、金钱、评估人员的能力、获得信息能力的限制而无法评估的选项，在开始阶段即予以排除，从而避免收集到不完整信息而浪费资源。

综合考虑以上四个影响因素之后，要使评估的问题具体化。Weiss列举了几个评估问题的标准，认为一个好的评估计划应当包含八个部分。第一，具体清晰的评估问题。根据项目目的提出适当的评估问题，确定评估是否涵盖项目结果和过程。第二，评估主体。说明谁来评估以及为什么选择他来评估。第三，适当的评估研究方法。定量、定性还是两者兼有的混合方法。“适当”意味着评估员使用选择的评估方法可以准确的回答评估问题。例如想要收集各个家庭讲述的成功故事，那么定量的方法就不是一个好的选择，更合适的方法是通过定性方法(如访谈或焦点小组方法)来收集故事。第四，评估研究设计。即后测、前后测、前后测加对照组等。第五，定义指标和数据收集方法。第六，解释测试工具、问卷及其信度和效度，如果利用焦点访谈小组的话还需要列出采访提纲。第七，描述数据分析方法。第八，描述评估报告中包括哪些数据以及它们的用途。[14]

评估方案的制定是一个反复的过程。问题、方法和数据源处在不断互动的过程之中。评估者需要在问题、方法、数据来源之间循环思考。如果制定的评估问题没有办法收集到必要的数据，那就不得不修改或者放弃。

2. 评估方法选择

干预项目为了更直观地看到干预效果，通常要收集干预前及干预后的数据，即前测和后测数据以及追踪效果和比较效果的数据。因此，定量评估是其首选评估设计。定量评估收集数值化数据，因而其结果分析会统计学化，即评估报告在很大程度上是对项目效果及影响因素的统计分析。定量方法有很多种类，但基本上都是通过标准化的手段进行信息的收集。在设计层面上，干预项目通常会招募一组或多组对照组与实验组进行比较。分析一组中相同参与者测试前和测试后增加或减少的水平，可使用配对样本t检验方法；若比较组间的差距，则可以使用独立样本t检验方法。当需要采用更为复杂的模型去分析效果的影响因素时定量方法也适用。

1.知识的形成过程。教材中多体现的是结论或结果，知识形成的过程很少体现，思维型课堂要在传授知识的过程中完成学生探究式学习，以及知识的自主建构。

定性评估致力于对项目的理解，而不是精确测量。定性评估趋向于通过对这个项目成型过程的详细了解以及这些过程对参与者有着怎样的影响来进行评估，而不是统计化的比较。定量方法比定性方法呈现出更多的客观数据。在定量评估中，评估者置身于项目背景之外，而不是受情境的影响变得个人化和情绪化。相比之下，定性评估更依赖场景，评估者自身就是测量工具。在定性评估中，由于没有标准化工具和编码技术的辅助，评估者只能靠自己的判断来收集和整理数据。为了避免主观个人化，评估员可以比较不同的信息来源、来访者、会谈时间等来证实或证伪某些发现和结论。

当然这两种方式也可以结合使用。例如，评估参与者对项目服务的满意度这个问题，定量设计可以采用满意度量表评测给出描述性分析，定性设计则可以通过访谈来了解项目参与者的感受给出主题分析。两者结合起来使用会对项目有更全面清晰的认识，这种结合了定量方法与定性方法的评估方法叫做“复合方法”(mixed methods)。国内已经有学者使用这种方法进行社会工作项目的评估。比如刘江采用复合评估方法对SH市Y街道生活馆服务进行了评估，在评估过程中，他使用定性方法采访受益案主形成项目取得成效的主要原因维度，在此基础上编制结构化问卷，进行定量数据收集，并通过统计方法建立效果及影响因素模型。[15]这是对定量和定性评估方法的灵活运用，评估者不仅需要熟悉评估的目的和过程，还需要具备熟练的开发问卷和建立模型的能力。

(三) 实施项目评估

一般而言，干预项目评估的核心目的是为了评定项目的预期是否成功达成或者完成到了哪种程度，即了解解决服务对象问题的效果如何，同时也会评估项目开展过程中的执行情况，项目实施的效益情况。项目评估通常可以分为过程评估、结果评估、效果评估三个部分。

1. 过程评估

过程评估的主要目的是改进实施的过程。过程评估关注正在发生的事情，基于发生的情况给出改进的建议。项目的工作人员和管理人员使用较多。

过程评估关注两个问题。第一，社会服务项目内容是否符合服务对象的需求。要回答这个问题，需要审查需求评估明确目标人群的未满足的需求是什么。而目标人群的未满足需求是项目存在和发展的理由。第二，项目是否按计划执行。这个问题可以具体化为以下七个方面：一是否是目标人群得到了服务，而不是非计划人群；二是具体有多少人得到了服务，覆盖面是否达到了目标数字；三是计划的活动是否得到实施，包括如场地提供、资金募集、志愿者招募培训、活动开发等；四是活动是否按照计划开展，要回答这个问题需要将项目的实际实施操作与项目计划相比较。这就要求项目计划要有清晰的目标人群、具体活动和产出以及与项目计划相一致的监测系统。一个监测系统可以简单得像一个Excel 扩展表、流程图或清单。当目标人群拒绝服务或项目与利益相关者之间存在价值冲突时，项目无法按计划实施。这些是在实施之前需要认真考虑的主要外部因素。五是项目在多大程度上按照期望运行，是否达到短期期望目标；六是案主对他们接受的服务项目是否满意(案主的活动感受、与社会工作者的关系)；七是否有清晰的记录、存档。表1示例了过程评估中的典型问题、考察指标与数据收集和应用情况。

表1 过程评估工作量表案例

在过程评估中，值得注意的是案主满意度的评估。较高的满意度可能反应的是案主给予的社会性赞许，而未必就是真正的高满意度。刘芳等人详细论述了案主满意度问卷的发展过程以及应用注意事项。[16]张弛等也指出，在社会工作项目评估中要注重案主的真实想法与感受，而不是只注重表面的满意度评估。[11]

结果评估首先要明确评估的目的和核心评估问题。结果评估着眼于项目实施后产生的结果，核心在于评估项目是否达到了其既定目标，检验项目服务的价值和优点，进而判断项目是否成功执行并值得推广。

结果评估主要有两种思路：一是绩效评量。将结果与预先设定的基准或者标杆进行比较，使用标准化的评估工具来开展评估。例如想要评价某区域的青少年就业率，可以将就业培训后的就业率与全市平均就业率比较(与基准比较)，或者与最高就业率的区域比较(与标杆比较)。二是目标导向。是否发生了项目预期目标的改变，以及对案主个人和社会产生了深远影响。评估需要一个纵向的设计和跟进，将项目进程中和结束后的结果与项目开始前的初始状态相比较，或者将干预组与对照组进行比较，看是否发生显著性改善。如果有改善，那么这种积极的改善是否能够持续以及能够持续多久。评估的指标可以是态度、知识、技能、行为、满意度等。结果评估可以通过前后测比较、实验组与对照组比较、评估成果的持续时间等多种方法综合来进行。Owen提出了一套基于目标导向的评估步骤：首先，确定服务要达成的目标；其次，确定实现服务目标的方法；再次，选择合适的评估(测量)工具；再次，进行数据收集；最后，分析数据撰写总结报告。[17]在实际评估工作中，将项目的目标操作化成与既定结果有关的有效的测量指标尤为重要，表2展示了在一个减肥项目中如何将评估问题与评估指标和数据收集链接在一起的示例。

评估是一个持续的、动态的过程。根据接收到的信息，可以在项目实施过程中进行更改或者调整。如果在实施过程中，预期和实际效果出现重要矛盾或者问题，则机构工作者需要反思的首要问题是项目结果是否支持项目理论。项目理论即关于项目如何产生预期效果的说明，[18]基于项目理论的干预服务又称为以实证为基础的服务(Evidencebased practice)。项目理论帮助厘清项目中“如果A那么B”链条。例如给案主提供了就业技能培训，同时切实完成了培训计划，那么案主就有更多的面试成功的机会。如果他们面试效果更好，那么他们就更可能找到符合自身兴趣和能力的工作。如果他们找到了合适的工作，那么他们就更可能成为经济自给自足的人，考虑项目各环节之间的因果逻辑关系，干预的过程如何影响到了结果，进而思考项目环节是否合理，是否需要调整干预方案。项目理论假设的验证和评估，有助于破解项目成功的内在机制暗箱，梳理相关变化的因果链，明确项目中影响结果实现的一系列中间环节，深刻认识项目运行机制。在清楚首要问题后，还可以考虑以下一些问题：是否应该改变案主的投入(也就是是否需要从案主方面分析)？有哪些必要的资源可以使项目更成功？服务单元是否需要增加或者减少？是否需要调整效果指标使其现实得更好？等等。在进行以上分析后，一个更新迭代的项目设计和实施计划就会浮现，并具备了更大的成功可能性。

表2 结果评估工作表案例

3. 效益评估

社会服务机构项目可以分解为投入(inputs)、项目活动(activities)、产出(outputs)和结果(outcomes)四个组成部分。[19]投入包括案主投入和机构投入，活动指的是机构提供给案主的干预过程，产出指案主实际上接受的服务或者干预(如就业指导培训次数)，结果指由干预而发生的积极改变。效益评估关注项目的效益即项目投入和产出、结果的比。效益评估包括四点。第一，项目结果是否达到期望目标。第二，该项目的资源是否都被合理利用，是否能以更少的成本/更少的资源来实现类似的结果。第三，比较两个或多个服务于相同人群有着相同目标的项目，看取得同样结果哪个项目所用资源最为节约。第四，和其他竞争项目相比较。效益评估基于对被评价的社会服务项目的投入、活动、产出和结果有全面、系统、清晰的认知，在此基础上通过分析对比考虑项目是否可以优化。

表3以促进就业项目为例进行了项目效益评估分析，主要考察效益评估中的第一项项目结果是否达到期望目标，具体来说即前期投入是否能够达成所期待的短期、中期和长期效果。其中，投入、活动和产出部分是项目的效率评估，而从投入到取得的短期效果、中期效果和长期效果为项目的结果部分则是其效能的评估。评估的目标是从项目设计和落实的情况，以及后期达成的效果方面来评估项目的效率和效能情况。

表3 效果评估工作表案例

以此表格的结构为框架，评估者可以比较项目目标和服务群体一致的不同项目，对比其投入与产出，以及投入与效果，来比较评估不同项目实际取得的效益。在此需要注意的是，比较评估时一定是项目目标和服务人群都具有可比较性，不具备可比较性的评估会有失公允，且对项目具有破坏性。

综上所述，社会工作干预项目评估的过程可以归纳为社会工作干预项目评估模型(见图1)。干预项目评估的目的不仅要考察项目的中短期服务效果，更要促进项目当期以及后续的改进提升。因此，过程评估提供了同期的执行反馈，以利于项目执行中的调整与再设计；结果评估则为项目的推广与复制提供有效建议；效益评估又为项母设计和执行方提供反馈，并为出资方和组织方的后续选择提供建议。

图1 社会工作干预项目评估模型

三、结束语

社会工作在我国处在发展阶段，在注重实务研究的同时，也应该建构相应的评估体系。目前社会工作评估已经逐步专业化，并正朝向职业化发展。相关人士翻译出版或本土出版了很多专业书籍介绍社会工作评估的理论和方法，同时在社会工作发展较快的城市也出现了职业评估机构和评估专家。然而，目前使用的评估方法用于所有评估项目，或者说所有评估项目都使用了同样的评估方法，欠缺针对不同类型服务的评估体系的建构。随着评估者专业素质和评估经验的积累，社会工作评估也应该向细分评估转化，即对不同类别的服务机构适用该类别服务的评估体系，做到细分服务领域的评估。细分评估可以着重评估该服务领域所侧重的考核目标，并总结该类型项目评估中通常会遇到的问题，有效的处理方法，以及如何预防这些问题等。这样的细分评估体系会对特定类型的社会工作服务项目更有指导性意义。

本文意在抛砖引玉，期望社会工作评估朝向专业化、职业化、细分化的方向发展，并逐步健全评估体系，严格设计评估程序，完善评估内容，以实现社会工作评估绩效考核和专业成长的双重目标。[20]