社会工作服务效果评估：基于定性与定量方法的混合评估法

刘江

（复旦大学社会工作学系，上海200433）

社会工作服务效果评估：基于定性与定量方法的混合评估法

刘江

（复旦大学社会工作学系，上海200433）

如何严谨、科学地检验社会工作服务的效果是社会工作专业领域面临的重要议题。为回应此议题，本研究通过对国内外有关社会工作服务效果评估内涵的分析，将社会工作服务效果评估定位于检验“社会工作服务与其目标间的因果关系”这一内涵之上。以此逻辑为指导，本研究结合定性与定量两种研究方法形成基于“服务计划操作化—定性评估—定量评估”的“三阶段式”评估法。为论证该逻辑和方法的合理性，本研究以SH市Y街道生活馆服务为个案进行检验和说明。个案分析的结果显示，将社会工作服务效果评估定位为检验“社会工作服务与其目标间的因果关系”的评估逻辑和“三段阶式”评估法是检验社会工作服务效果的可行方法。它对于社会工作服务项目（或社会服务）效果的评估具有重要意义

效果评估定性研究方法定量研究方法社会工作

一、引言

长久以来，国内社会工作实务被外界错误地理解为从事慈善性质的社会服务工作，而不是具有专业知识的工作，其效果饱受质疑。在专业社会工作领域内部，当被问及服务效果时，实务工作者呈现的大多是服务的过程和内容，将服务产出（output）与服务效果（effect/impact）混淆。随着政府资金投入的增加、社会对公共资源使用效果诉求提升，这类“重过程和内容”的回答难以回应政府和社会对服务效果的追问。面对如此困境，专业社会工作势必努力将社会工作服务效果的评估作为其领域的重要一环，并在尊重中国社会工作服务现状的前提下，结合科学的评估方法形成一套有效的社会工作服务效果评估方法。

当前，社会工作服务领域的评估模型和评估工具纷繁复杂，比如，有保证服务品质的过程评估、形成性评估、输入评估、监测评估等；①J o h n M.O wen，Program E valuation：F orms and A pp roac h es. Sydney：Allen&U nwin Pty L td，1993，P.21.②朱晨海、曾群：《结构导向的社会工作评估指标体系建构——以都江堰城北馨居灾后重建服务为例》，《西北师范大学报（社会科学版）》2009年第3期。③刘江：《社会工作服务评估：一个整合的评估模型》，《社会工作与管理》2015年第3期。有检验服务效果的影响评估、总结性评估、项目绩效评估、效益评估等。④Peter H.Rossi，Howard E.Freeman，Mark W.Lipsey:《项目评估：方法与技术》，邱泽奇等译，华夏出版社2002年版。⑤Emil J.Posavac、Raymond G.Care：《方案评估：方法及案例讨论》，罗国英、张綛译，双叶书廊有限公司2008年版。然而，到底该如何进行科学、严谨的社会工作服务效果评估呢？就这一问题，国内社会工作领域内部并没有形成良好的评估方法。有一些研究者借用社会研究方法的思路设计一些检验服务（介入）效果的方法，比如库少雄采用单样本设计法，运用前后测的方式来呈现案主在接受服务前后的变化，⑥库少雄：《社会工作评估——单样本设计》，《北京科技大学学报（社会科学版）》2004年第3期。刘芳等人从案主满意度的角度探讨社会工作服务效果。⑦刘芳、吴世友、Mark W.Fraser：《案主满意度评估：一种有效的社会工作实务评估方法》，《华东理工大学学报（社会科学版）》2013年第4期。这些研究为社会工作服务效果的评估提供了宝贵的经验，但因方法本身存在相应缺点而适用性受限。⑧关于社会研究中实验设计思路存在的问题详见社会研究方法相关作者介绍，如艾尔·巴比、袁方等。与前述方法不同，本研究将社会工作服务效果评估定位于检验“社会工作服务与其目标间的因果关系”这一内涵之上，并结合定性与定量两种研究方法开发出基于“服务计划操作化—定性评估—定量评估”的“三阶段式”评估法。本研究以SH市L社工事务所承接的Y街道生活馆服务项目为例展开深入分析，以检验上述逻辑和方法。

二、文献回顾

关于社会工作服务效果的评估在学术领域具有多种不同的概念。John M.Owen倾向于使用“目标导向”（objectives-based/goal-based evaluation）的结果评估法。⑨John M.Owen，Program Evaluation：Forms and Approaches. Sydney：Allen&Unwin Pty Ltd，1993，P.21.这种方法强调项目结果或者项目参与者达到既定目标的程度。在实际评估工作中，将项目的目标操作化成与既定结果有关的有效的测量指标尤为重要。按照这些思路，他提出了一套基于目标导向的效果评估步骤，即“确定服务要实现的目标—确定实现服务目标的路径—选择合适的评估（测量）工具—收集数据—做出总结”。Lawrence L.Martin&Peter M.Ketter提出了绩效评量的概念。他们以系统理论作为指导，发展出了基于“输入—服务方案—输出—品质输出—成果”的系统回馈环。⑩Lawrence L.Martin、Peter M.Kettner：《服务方案绩效的评量：方法与技术》，赵善如译，亚太图书出版社1999年版，第23页。进一步而言，他们认为社会服务方案所选用的绩效评量与该服务方案所针对的社会问题二者之间应该有关联。也就是说，社会服务方案与其所针对的社会问题之间应该具有因果关系。在具体评估方法上，他们提倡使用标准化的评估工具来开展评估。所谓的标准化的评估具有两个特点：一是包括一组结构化的问题，用以从服务对象那里收集资料；二是包括一组统一的计分程序，用数字来衡量大小、强弱等程度。Posavac&Raymond G. Care使用的是“成果评估（evaluation of outcome）”这一概念。⑪Emil J.Posavac、Raymond G.Care：《方案评估：方法及案例讨论》，罗国英、张綛译，双叶书廊有限公司2008年版。该概念的核心是评估服务对象是否相较于没有接受服务的人具有更多的改变。他们倡导将社会科学研究的方法引入到社会服务的效果评估中，其中就包括定性法与定量法。具体而言，他们认为如果能够使用准实验法的设计开展评估是一种非常有效的方法。

Peter H.Rossi,Howard E Freeman,Mark W. Lipsey使用“影响评估”来指称服务效果评估。他们认为影响评估就是确定干预是否在实践意义上产生了预期的效果。⑫邱泽奇等：《项目评估：方法与技术》，华夏出版社2002年版。他们尤其强调服务干预的净效果，也即在控制或排除其他干扰效果影响的情况下，仅仅由干预引起的效果。为保证获得服务干预的净效果，他们提出了通过对参与者和非参与者结果资料进行比较的准实验设计法开展评估。陈锦棠等认为，当项目已经开展之后，评估者会将注意力集中于项目的运作及强化策划与最后成果的关系。他们认为程序评估逻辑模型（program logic model）①陈锦棠等：《香港社会服务评估与审核》，北京大学出版社2008年版，第19页。是可以用于分析二者间关系的重要工具。程序逻辑模型是利用逻辑思维，协助活动或服务推行者分析项目中各个环节之间的关系。该模型强调服务项目本身的理论基础和假设。而项目具体行动都是按照假设进行安排，以实现最终的目标。

虽然上述几位学者使用的概念不同，且内容也存在差异，但是他们的观点中暗含有关社会服务效果评估的相似之处。主要概括为以下两点：第一，强调使用标准化的、科学的评估工具进行服务效果评估；第二，承认服务与服务目标之间存在因果关系。基于这个逻辑，本研究将社会工作服务效果评估转化为检验社会工作服务与服务目标之间是否存在因果关系。

三、个案介绍

本研究使用的个案是SH市Y街道生活馆2015年度服务项目。该项目由Y街道出资，L社工事务所负责具体服务。Y街道生活馆是一座三层小楼。第一层是餐厅，主要为社区内的老年人提供助餐服务（含定点助餐和送餐两项）。第二层是日托所，主要为社区内21个有需求的老年人提供日托服务。第三层是各类功能室，包括练歌室、运动室（乒乓室）、手工室等，主要为社区内健康老人提供各类康乐服务和培训。就项目目标而言，作为出资方的Y街道希望以生活馆为载体在最大范围内为辖区内老年人提供服务，同时，希望通过生活馆的服务提升辖区内老年人的邻里互助。由此可以看出，街道希望该项目达到社区层次的服务效果。

结合Y街道对项目实现社区层次服务效果的需求，L社工事务所根据生活馆的构成及参与生活馆服务老年人的特点设计并提供三类服务：日托养老服务、志愿者培育服务和星级会员服务。日托养老服务对象主要是经过区一级评级之后的身体障碍为中度等级的老年人，服务内容为日常护理和简单的康乐活动；志愿者培育服务针对社区内具有志愿服务精神的老年人，服务内容是成立并培育志愿者团队；星级会员主要针对社区所有老年人，服务内容是文化、体育、健康、助餐等服务。L社工事务所根据老年人的具体需求和爱好将老人按照小组（或称团队）的方式进行编排，由此形成多个不同团队（团队内成员有交叉和重叠）。三类不同老年人受身体状况、会员管理等相关因素的影响，参与服务的程度、范围存在一定的差异。在服务具体开展过程中，L社工事务所采用增能的理念开展工作，通过“参与—赋权（empowerment）—成长”的工作思路，运用个案、小组和社区工作等社会工作实务技术为老年人提供服务。

对比项目目标和L社工事务所提供的服务内容可以发现，由于项目最终要实现的目标是社区邻里互助，而L社工事务所提供的服务基本限于生活馆内，因此，基于场馆的服务如何能超越场馆的限制而实现社区层次的效果是评估面临的重要难题。

四、研究方法及研究结果

通常情况下，运用前测和后测进行比较分析的准实验法是检验社会工作服务介入效果重要的、较为理想的方法。这个方法要求社会工作者在介入之前要对服务对象相关状况进行测量，服务结束后再次进行测量。如果没有前测和后测的比较则难以说明社会工作服务介入效果。经过分析，基于前测和后测思想的方法并不是检验Y街道生活馆服务项目的最佳方法，原因有二：其一是理论上的困难，由于项目周期较长（为期一年），因此很难区分服务介入效果和服务实施过程中其他干扰因素引起的服务对象的变化；其二是现实困难，由于项目受到行政（承接服务前项目目标已经被街道确定）、资金等各方面压力的影响，服务开展之初没有对服务对象进行科学严谨的测量，因此，基于准实验设计的前测和后测评估方法不适用于服务效果评估。

与强调实验逻辑的服务效果评估不同，本研究以“服务与服务目标之间因果关系”这一逻辑作为社会工作服务效果评估的核心逻辑。为保证本研究能够有效揭示Y街道生活馆项目的服务效果，本研究使用定性与定量相结合的方法检验服务是否有效。在具体操作上，本研究分三步完成：第一步，本研究先对Y街道生活馆项目的服务计划书进行操作化处理，并结合L社工事务所服务实施的实际情况梳理出服务与服务目标之间的因果逻辑；第二步，定性评估，通过对服务对象进行深度访谈的方法检验第一步骤形成的因果逻辑，并根据访谈的实际情况形成可以检验的研究假设；第三步，定量评估，通过问卷收集量化资料检验第二步骤形成的研究假设。为显简洁，本研究将该方法称为“三阶段式”评估法。从科学研究的逻辑看，该方法与社会研究中“归纳—演绎”的逻辑相符。其中“定性评估”阶段属于“归纳”，这个步骤的主要工作是形成可以检验的假设；“定量评估”属于“演绎”，这个步骤的主要工作是进行假设的检验。

（一）服务项目书操作化

进入评估现场之前，研究者先对生活馆项目的服务计划书进行研读及操作化处理。服务计划书中明确提出其最终目标是“以生活馆为平台，通过为老年人提供日常服务的方式提升老年人社区邻里互助”。①摘自项目计划书《Y街道老年人生活馆服务项目2015年实施与管理方案》。在此目标指引下，L社工事务所主要为老年人提供三大类服务（日托养老服务、志愿者培育服务、星级会员服务）。其中以星级会员的辐射面最广，社区所有老年人都是其服务的目标人群。L社工事务所通过会员的管理方式为来到生活馆的老年人提供包括文化、休闲、体育、健康、助餐等服务，期望通过这些具体服务提升老年人社区邻里互助。由此，该项目服务计划中潜藏的因果链条是：“日托养老服务+星级会员服务+志愿者培训服务=社区邻里互助提升”。为符合定量分析的要求，本研究将分析单位从各类性质不同的具体服务转移到生活馆层次，将生活馆提供的服务作为整体来认识。根据项目书的陈述，本研究识别出两个重要变量，老年人“生活馆服务参与”和“社区邻里互助”。在前一部分的个案介绍中已经陈述，不同老年人会受身体状况等不同因素的影响而具有不同参与程度。参与程度的差异性为本研究后续的访谈和定量分析奠定了基础。

（二）定性评估

定性评估阶段的主要工作是通过对服务相关人员（含提供者和参与者）的深度访谈，以对生活馆提供的服务与老年人社区邻里互助之间的逻辑关系进行探索性分析。对参与生活馆服务的老年人及工作人员进行访谈后发现，生活馆服务参与程度深的老年人更愿意在社区中帮助他人（也即，参与生活馆的服务提升了老年人社区邻里互助）。在深入分析该服务计划书后发现一个问题，即生活馆的各类服务基本上都在生活馆内提供，老年人只能到生活馆参加服务。由此可以假设，由于服务空间的限制，参与生活馆服务形成的互助应该只能基于生活馆层次，不应该被扩展到社区层次，否则会犯社会科学研究中“简化论”的错误。如果这个假设成立，那么就意味着老年人和生活馆工作人员提供的信息是错误的，也即参加生活馆的服务并不能提升社区邻里互助。带着这个问题，研究者进行了第二次访谈。第二次访谈发现老年人社区邻里互助除了直接受到参与生活馆服务的影响外，还受到在生活馆内形成的团体互助的影响，并且团体互助在参与生活馆服务和社区邻里互助之间起到中介的作用。也即，在某种程度上，老年人通过参与生活馆各类服务培育了成员间的互助。由此，本研究形成第三个核心变量“生活馆团体互助”。基于上述定性访谈结果，本研究提出以下假设以检验L社工事务所服务的效果。

假设1：如果老年人积极参与生活馆的服务，那么老年人社区邻里互助的能力强。

假设2：如果老年人积极参与生活馆的服务，那么老年人在生活馆内团体互助能力强。

假设3：如果老年人在生活馆内团体互助的能力强，那么老年人社区邻里互助的能力强。

假设4：老年人生活馆团体互助在服务参与和社区邻里互助之间起到中介作用。

三者关系如图1所示：

图1 生活馆服务参与、生活馆团体互助、社区邻里互助关系

（三）定量评估

在定量评估阶段，本研究根据定性评估阶段形成的研究假设制定结构性问卷收集量化数据。该问卷由四个部分组成：基本信息（性别、年龄、政治面貌、学历、社区居住时长）、生活馆服务参与（由三个题目构成的4分李克特量表）、生活馆团体互助（由3个题目构成的5分李克特量表）、社区邻里互助（由3个题目构成的5分李克特量表）。本研究随机抽取参与生活馆服务的150名老人填写调查问卷（由于受身体状况、会员管理等因素的影响，这150名老年人参与生活馆服务的程度和范围不同），回收150份问卷，其中有效问卷144份。在具体方法上，本研究主要采用结构方程模型进行分析。所用软件为Stata14．0。表1呈现了144位受访者的基本信息。

表1 各变量描述统计

1．核心变量的验证性因素分析

为保证数据符合模型对数据的要求，在进行假设检验之前需要对三个核心变量的信度和效度进行分析。信度分析本研究使用Cronbach’s a进行检验。由于本研究使用的三个核心变量是用三个测量题目构成的潜在变量，因此使用验证性因素分析（CFA）检验各潜在变量的结构及稳定性。检验结果见表2。

表2呈现了本研究三个核心变量信度和效度分析结果。首先，根据Cronbach’s a的要求，a〈0．35代表低信度，0．35〈a〈0．7代表中信度，a〉0．7代表高信度。本研究使用的三个核心变量的Cronbach’s a值均大于0．7，这表明本研究各变量内部具有高度一致性。在验证性因素分析中，一般来说，当RMSEA（近似误差平方根）小于0．05、TLI（塔克－刘易斯指数）大于0．9说明模型拟合较好。根据验证性因素分析的结果可知，三个潜变量模型拟合非常好，可以进入下一步分析。

2．假设检验结果

根据数据特征，本研究使用结构方程模型检验研究假设。结构方程模型结果如表3所示。

根据模型1可知，“生活馆服务参与”和“社区邻里互助”在p值为0．001的水平上显著正相关，说明假设1成立。根据模型2可知，“生活馆服务参与”和“生活馆团体互助”在p值为0．001的水平上显著正相关，说明假设2成立。根据模型3可知，“生活馆团体互助”和“社区邻里互助”在p值为0．001水平上显著正相关，说明假设3成立。

表2 核心变量信度、效度分析结果

表3 研究假设检验结果①表3中符号“-＞”表示变量的指向，比如“生活馆服务参与”-＞“生活馆团体互助”表示“生活馆服务参与”作为外生变量对内生变量“生活馆团体互助”产生影响。

本研究通过对模型1和模型4的整体拟合情况的比较来检验假设4。从逻辑上讲，如果“生活馆团体互助”在“生活馆服务参与”和“社区邻里互助”中间具有中介作用，那么，表现在模型结果就是：（1）当在模型1中加入“生活馆团体互助”这一变量时，新模型（也即模型4）的各项参数值都将产生变化，模型的整体拟合程度将会变小；

（2）原来变量之间的相关系数显著性或方向发生变化。根据结构方程模型的要求，当RMSEA小于0．05、SRMR小于0．05、CFI接近1时说明模型拟合较好。在模型1中，RMSEA=0．000、SRMR= 0．028、CFI=1．000，三个参数值均符合模型要求，说明模型1拟合得很好。模型4是在模型1的基础上加入了中介变量“生活馆团体互助”。模型4中，RMSEA=0．051、SRMR=0．043、CFI=0．985。虽然三个参数值能够说明模型4拟合得较好，但是与模型1相比，三个参数值均不同程度远离最优值。上述研究结果在一定程度上可以说L社工事务所的工作实现了出资方对项目目标的期望（通过生活馆服务提升老年人社区邻里互助）。图2直观地呈现了模型4的结果。

图2 老年人生活馆服务参与、生活馆团体互助、社区邻里互助的结构方程模型①为体现出模型的简洁性，图2仅展示了各潜在变量与其测量题目之间的关系，以及潜在变量之间关系。误差项在图2中省去。

从图2的各变量之间的路径系数可知，当考虑“生活馆团体互助”这一中介变量时，“生活馆服务参与”和“社区邻里互助”之间原本显著正向关系（系数为0．565，p〈0．001）转变为负相关，且不显著（系数为－0．13）。这一统计结果进一步证实了假设4的成立。此外，这一统计结果也说明了基于生活馆的场馆化的服务对社区层次的服务效果（如社区邻里互助）具有抑制作用（负相关）。这一中介作用说明，场馆化的服务需要在服务过程中培育中间要素（如团体互助）以实现范围更广的社区层次的效果。L社工事务所之所以能够通过生活馆层次的各类服务实现社区层次的效果，是因为L社工事务所在服务生活馆老年人的过程中以“参与—赋权（empowerment）—成长”作为理念指导，运用个案、小组等工作技巧不断培育老年人的互助精神和互助能力，然后运用社区服务的方式将生活馆中形成的互助精神和互助能力拓展到社区的日常生活中。

五、结论与讨论

（一）结论

为科学、严谨地评估L社工事务所的服务效果，本研究使用了三个重要评估步骤：第一，对服务计划进行操作化处理，形成服务效果评估的研究假设；第二，通过定性访谈完善研究假设；第三，使用结构方程模型检验研究假设。评估结果显示：第一，参与生活馆服务能够提升社区老年人团体互助能力；第二，在生活馆中形成的团体互助能力能够促进老年人社区互助能力的提升；第三，老年人参与生活馆提供的服务不能直接提升其社区互助能力，它需通过在生活馆培育互助能力这一中间环节实现提升社区邻里互助的目标。因此，生活馆作为老年人活动场所，确实起到培育老年人团体互助及社区邻里互助的作用。从个案分析结果可以说明，本研究使用结合定性与定量的“三阶段式”评估法能够有效地揭示社会工作服务如何得以实现其工作目标。

（二）讨论

就实务发现而言，从图2模型结果可以看出，如果控制L社工事务所在生活馆的服务中培育老年人的团体互助感，那么参与生活馆的服务对实现社区层次的效果具有负向作用（路径系数为-0.13，且不显著）。这说明，类似生活馆这类场馆化的社区服务在某种程度上会抑制参与者实现社区层次的效应（因此，场馆化服务要非常注意其给老年人带来的负向作用）。根据研究结果，通过在场馆内培育团体互助这类中间环节可以超越场馆的限制，使场馆化服务的效用扩散到社区层次。基于前述研究结果，在当前情感疏离的城市社区中，通过团体层次的服务，运用专业社会工作的个案、小组、社区等工作方法来实现服务在社区层次的目标的方法是一种可取的路径。

就评估方法而言，研究结果说明“三阶段式”社会工作服务效果评估方法在思路和技术上具有合理性和恰当性。思路上，该方法紧紧围绕“服务与服务目标之间存在因果联系”这一逻辑，充分利用社会科学研究中“归纳—演绎”的核心思路。技术上，运用定性与定量结合的方法完成服务与其目标之间的因果逻辑的假设检验。“三阶段式”评估法优点如下：第一，各阶段评估资料源自项目本身，因此可以保证资料不因研究方法的使用而“失真”。第二，结合了社会科学研究中定性和定量两种方法，从而保证了评估的科学性。其中定性部分负责形成服务与目标之间的因果假设；定量部分负责对因果假设进行检验。第三，可以避免因缺少前测而无法对服务效果进行检验的困境，同时，使用问卷调查和统计分析的方法可以使其应用于规模更大的社会工作服务项目效果的评估。此方法在运用上有一定的限制，由于该评估方法因针对具有一定规模的社区类服务项目而设计，因此对具体一对一个案工作效果的评估的适用性有待进一步思考。

在越来越难以回避“社会工作服务效果如何？”这一问题的当下，社会工作领域（理论界和实务界）都应该重视服务效果的评估。本研究认为，社会工作服务效果评估实质上是一个科学的研究过程，其最终目的是运用各种不同的社会科学研究方法检验服务与目标之间的因果关系。根据本研究的过程和结果，将社会研究方法（定性与定量）运用到社会工作服务效果评估当中是一种可行的方法。

（责任编辑：徐澍）

Effect Evaluation of Social Work Service：A Mixed Evaluation Method Based on Qualitative and Quantitative Methods

LIU Jiang
（Deptartment of Social Work，Fudan University，Shanghai 200433，China）

How to evaluate the effect of social work services scientifically has become a very important issue in social work field.In response to the issue,this study holds the point of view that the purposeof social work service effect evaluation is to verify the causal relationship between service and its goals.With the guidance of this idea,this study put forward a three-staged method,which contains“operationalization of service plan,qualitative evaluation and quantitative evaluation".In this study,the researcher uses the case of social work service in SH city to examine the rationality of this method.And the results of the study show that the evaluation idea and the three stage evaluation method are very useful for evaluating the effects of social work service.

effect evaluation;qualitative method;quantitative method;social work

本文系教育部人文社会科学研究青年基金项目“合作福利背景下社会组织项目选择问题研究”（编号:12YJC840028）成果之一。

刘江（1988-），男，四川泸州人，复旦大学社会工作学系博士研究生，研究方向为社会工作评估、社会工作理论、社区社会工作。

C916

A

1008-7672（2016）06-0036-09