整合导向的社会工作服务项目评估指标体系建构研究——基于济南市槐荫区的实践经验

曹伟军 赵周洁

一、问题的提出

20世纪80年代以来，随着新公共管理理论的兴起以及福利模式的转型，公共物品与服务供给中引入了社会和市场的力量，为政府购买公共服务打开了大门。政府购买公共服务在国际范围内已经成为一种趋势。

当前，我国正处于经济社会的快速转型时期，为全面深化改革，推进国家治理体系和治理能力现代化，各级政府正不断探索和创新社会治理的手段和方式，其中政府购买公共服务便是在全面深化改革的背景下提出的重要改革措施之一。在社会工作领域，政府购买服务的规模不断扩大。据统计，截至2017年，各地共开发了312089个社会工作专业岗位，设置了36485个社会工作服务站，成立了7511家民办社会工作服务机构和750家社会工作行业协会，各地社会工作投入资金量达51.1亿元。其中：广东社会工作投入超过18亿；上海社会工作投入超过13亿；北京、天津、江苏、浙江、山东、重庆、四川社会工作投入超过1亿元①数据来源：民政部办公厅《关于2017年度社会工作和志愿服务法规政策规划落实情况的通报》 ，http：//www.mca. gov. cn/article/ gk/ wj/ 201802/20180215007894 . Shtml，2018年2月8日。。

社会工作的专业能力与服务成效也逐渐成为社会各界关注的焦点。服务的成效如何？出资方的资金投入是否“物有所值”？服务能否做得更好？人们期望社会工作服务项目能以系统且具体的方式来展现其成效。社会工作项目评估成为完善政府购买社会工作服务制度、检验服务成效、证明项目责信、作出多元交代、促进社会工作发展的重要内容。

由于我国社会工作项目评估起步较晚，针对社会工作项目评估的研究不多，评估工作中存在评估形式没有达成统一、评估内容单一、评估方法（工具）不规范等问题（刘江，2015:51-56），不利于促进社会工作的专业发展。为回应这一问题，本文以一个完整的社会工作服务项目作为评估单位，构建了一个整体性的社会工作服务项目评估指标体系。

二、文献述评

社会工作项目评估是用科学的研究方法对社会工作服务项目的设计、策划、实施和效果等方面进行测度、诊断和评价的活动（顾东辉，2009）。当前，社会工作服务项目的评估指标体系和评估工具纷繁杂乱，关注点各不相同。例如，有重视服务品质的过程评估、形成性评估、输入评估、监测评估等；有侧重检验服务效果的影响评估、总结性评估、项目绩效评估、成本—效益评估等。国内有关社会工作服务项目评估的文献大多集中在对成效评估的讨论上：吴伟东（2004）以“人在情景中”作为分析框架，探讨了社会工作服务项目评估的深层次嵌入指标体系，并提出可以从问题、个人、情景三个层面来评估服务对象的状况并实施介入；库少雄（2004）采用单样本设计的方法进行社会工作服务项目效果评估；朱晨海、曾群（2009）通过构建结果导向的社会工作服务项目评估体系，能够对服务质量进行有效监管与控制；宋跃飞（2010）以绩效评估作为研究视角，探讨了社会工作机构制度建构的问题，他认为绩效评估主要是评估社会工作提供服务的业绩、社会工作机构的管理和服务绩效、成本核算；刘芳、吴世友（2013）借鉴了国外案主满意度评估以及一些主要的量表，从案主满意度的角度对社会工作评估进行探讨；刘江（2015）将评估按时间节点推进的特点，将多种评估方法进行整合，形成项目理论评估、监测评估、影响评估、成本—收益评估为主要形式的评估指标体系；姚进忠（2018）提出以项目制为核心的社会工作评估转型参考方案，从专业服务、项目管理和项目成效三个维度促进社会工作服务评估机制的完整性，确保有效实现社会工作服务项目评估的绩效考察和专业成长双重目标。

笔者认为，当前社会工作评估主要面临以下问题：（1）评估方法或工具不规范，方法本身存在相应缺陷而使其适用性受限。（2）评估内容单一，多数评估只关注社会工作服务全过程的某一维度。（3）过于注重绩效从而使专业价值受损。由此，本文在总结以往有关社会工作服务项目评估研究的基础上，结合济南市槐荫区社会工作服务项目评估的实践经验，利用德尔菲法和层次分析法（AHP）建构以整合为导向的社会工作服务项目评估指标体系，对社会工作服务项目进行系统评估。

三、社会工作服务项目评估指标体系的建构

（一）整合性社会工作服务项目评估指标体系的内涵

一个整合性的社会工作服务项目评估指标体系，要求评估范畴全面，能够对社会工作服务项目实施的各个环节进行全面的监察，系统地考察项目的运作过程及其成效、影响。其内涵主要体现在以下几个方面：

1.定性与定量相结合

利用德尔菲法和层次分析法建构评估指标体系，将社会科学研究中定性和定量两种方法相结合。德尔菲法也称作专家调查法，由美国兰德公司于20世纪60年代始创，其本质上是一种匿名函询法，具有匿名性、多次反馈性、资源利用充分、结论可靠等特性。德尔菲法的优点在于可以吸收不同专家观点，充分利用各位专家的经验和学识，较快地集中专家意见；交流过程采用匿名的函询法，能使每一位专家自由、独立地做出自己的判断，发表自己的意见，免受其他繁杂因素的影响，保证最终结论的综合性和可靠性（徐蔼婷，2006:57-59）。层次分析法是一种定性和定量相结合的、系统化、层次化的分析方法。利用这种方法将专家的经验判断数量化，以合乎逻辑的方式给各个指标赋予权重（虞晓芬、傅 玳，2004:119-121）。

2.过程导向与结果导向的整合

该评估指标体系以一个完整的社会工作服务项目为评估单位，既包含对项目管理制度与机制、项目设计、项目实施过程控制等服务过程的过程评估，又有针对项目服务产出、服务成效和项目满意度的客观统计和评价。这种过程导向与结果导向的整合，既能全面、系统地了解整个服务过程，又有利于促进社会工作服务项目向管理科学化、服务专业化的方向发展。

3.绩效与专业的双重回应

受新公共管理理论的影响，当前大部分社会工作服务项目评估模式过分注重绩效，努力将社会工作服务操作化与指标化，使得以需求为导向、助人自助的社会工作服务价值向服务产出的导向发展，远离了社会工作的初衷。为回应这一困境，以整合为导向的社会工作服务项目评估，较好地平衡了管理、绩效、专业三者之间的关系，注重专业价值和专业发展的体现，以期避免社会工作服务项目评估中经常出现的片面性问题。

4.目标复合性与内容多维性

社会工作服务项目评估的目标具有复合性，不仅在于检验服务成效、考察服务的效率、证明项目责信、作出多元交代，还在于倡导社会工作理念、创新实务工作模式、促进社会工作发展等，这也决定了评估内容的多维性。同时，社会工作服务项目涉及多元利益主体，包括社工机构、项目社工、项目出资方、使用方、服务对象、项目督导等，这便决定了社会工作服务项目评估的多方参与性。以整合为导向的社会工作服务项目评估模式，是一个多层面的评估体系，评估内容系统、全面，涵盖了社会工作服务项目的成效检验、绩效考察、不同利益主体的诉求、社会工作者专业能力的考量、先进经验的倡导、实务工作模式创新的激励等。

（二）评估指标体系的建构过程

1.建立评估指标层级结构

采用德尔菲法建构评估指标层级结构。首先邀请来自山东大学、济南大学、山东师范大学等高校的专家，槐荫区民政局工作人员代表，社工机构负责人以及一线社工，共计8位在社会工作、社会政策等方面有研究专长与实践经验的人员组成专家组，采用“背对背”的函询方式，征询专家对指标层级结构建构的意见。其次，在征得专家的意见之后，评估组进行整理、归纳、统计，把结果反馈给各专家，再次征求意见。复次，再次集中意见、反馈，最终使专家意见趋于集中，完成了评估指标层级结构的建构，具体操作流程（见图1）。经过三轮的商讨，专家意见趋于一致，正式确立评估指标层级结构，见表1。

图1：专家意见征集流程图

2.为评估指标赋值

在通过德尔菲法建立的评估指标层级结构的基础上，利用层次分析法为其赋予权重。具体分为以下四个步骤：

（1）建立递阶层次结构指标体系

将上一步确立的4个一级指标、15个二级指标、37个三级指标按照相互关系、逻辑归属进行分层排列，建立一个递阶层次结构的指标体系。

（2）构造成对比较矩阵并赋值

构造成对比较矩阵的目的是测算每一层各元素对相邻上一层次某元素的相对重要性。构造成对比较矩阵的具体过程是：从层次结构指标体系的第二层开始，对于从属于上一层某个元素的同一层诸元素，用成对比较法构造成对比较矩阵，直到最下层。然后，请各专家对构造的比较矩阵进行两两比较，按特定的评分方法将比较结果数量化，即按重要性程度进行1-9区间的赋值。

（3）计算权向量并做一致性检验

对赋值后的成对比较矩阵，利用和积法计算权向量，分别求得一、二、三级指标的权向量。为了确保结果的有效性，需要对成对比较矩阵进行一致性检验，通常用一致性比率 CR作为检验标准，一般当 CR＜0.1时，认为成对比较矩阵的一致性是可以接受的；但 CR≥0.1 时，应对成对比较矩阵进行适当的调整，直到检验通过。

表1：社会工作服务项目评估指标的层级结构

（4）计算组合权向量

计算出每一层次所有元素对于最高层相对重要性的权值，即在计算出每一层的权向量基础上，把上一层的权重与相邻下一层的相对权重相乘，就可以得出某层元素相对于整体的权重。

通过上述方法获得8位专家做出的权重赋值体系。评价指标体系总分值为100分，为减小分值之间的波动，采取均值的方法以获得相对稳定的权重赋值体系。专家权重意见及权重均值（部分）如表2。各级指标权重比较的计算结果以及按百分制赋分对比修正后的指标赋分情况如表3。

表2：专家权重意见和权重均值表（部分）

表3：进行对比修正后的指标赋分情况

经过四轮的评估指标体系建构工作，最终确立了4个一级指标，15个二级指标，37个三级指标，并完成权重赋分。通过对各指标的进一步操作化，明确评分实施细则，最终结果如表4。

表4：社会工作服务项目评估指标体系评分标准

一级指标二级指标三级指标四级指标：项目过程(32.14分)过程控制（9.17分）项目时间进度控制（3.66分）1.是否编制项目工作进度表（1.83分）2.时间进度控制是否合理（1.83分）机构——项目跟进情况（2.46分）1.项目定期向机构反馈（1.23分）2.机构是否巡察促进（1.23分）项目过程自评、优化情况（3.05分）1.有无阶段性总结/评估相关资料（1.525分）2.是否进行项目方案、内容调整、优化（1.525分）实施技能保障（5.72分）专业督导情况（2.19分）专业培训情况（1.83分）1.培训次数（0.915分）2.培训参与率（0.915分）相关法律法规及政策学习情况（1.70分）项目宣传推广（3.27分）宣传渠道（1.59分）1.有无网络宣传（0.318分）2.有无外展宣传（0.318分）3.有无熟人宣传（0.318分）4.有无纸媒宣传（0.318分）5.有无其他方式（0.318分）新媒体运用情况（1.68分）项目成效(30.53分)目标实现程度（10.08分）主要目标完成情况（8.00分）次要目标完成情况（2.08分）项目服务产出（12.60分）总产出情况（4.05分）1.服务总人次（1.0125分）2.服务总时长（1.0125分）3.直接人数（1.0125分）4.间接人数（1.0125分）人均产出情况（2.79分）1.人均服务人次（1.395分）2.人均服务时长（1.395分）专业贡献情况（3.50分）1.是否围绕项目实践形成优秀案例（1.75分）2.是否围绕项目实践发表专业文章（1.75分）社会公众倡导情况（2.26分）项目创新性/特色、品牌（3.83分）项目创新性（1.79分）1.对项目服务内容的创新情况（0.895分）2.对项目管理方式的创新情况（0.895分）项目特色可复制性（2.04分）1.是否提炼出有特色的工作模式且被其他行业/政府奖励（1.02分）2.有无特色的品牌项目被其他行业/政府借鉴、推广（1.02分）项目成果可持续性（4.02分）服务对象内部支持网络建设情况（2.02分）1.有无服务对象内部交流平台（0.51分）2.有无志愿者队伍建设（0.51分）3.服务对象自组织发展程度（1分）获得社会财力、物资支持（1.08分）1.是否获得第三方物资支持（0.54分）2.是否获得第三方财力支持（0.54分）有相应的制度支持（0.92分）

一级指标二级指标三级指标四级指标：项目满意度(15.74分）直接受益对象满意度（6.39分）本项考察服务对象对社工的满意程度，通过服务对象满意度调查问卷进行分析。项目购买方满意度（5.49分）本项考察服务出资方对项目的满意程度，通过出资方满意度量表进行分析。项目使用方满意度（3.86分）本项考察服务使用方对项目的满意程度，通过使用方满意度量表进行分析。

四、评估指标体系的运用与评估结果分析

（一）社会工作服务项目简介

槐荫区专业社会工作服务起始于2011年，济南市社会工作协会向槐荫区派驻专业社会工作者2名，槐荫区专业社会工作开始萌芽。2013年，槐荫区启动政府购买专业社工服务项目，社工队伍由最初2人扩大到11人，确立了以专业项目为依托，岗位社工和项目社工结合发展的模式。2016年，槐荫区引入专业的社会工作服务项目评估，社会工作服务步入专业化、项目化、品牌化、规范化发展的新时期。2017年，槐荫区社会工作服务项目达11个，64名项目社工全面扎根社区，开展专业服务。其中包含：由济南市民政局购买的“微能量、大志愿”互助计划项目；由济南市槐荫区民政局购买的“长者嘉年华”社区养老社工服务项目、“开心向日葵”青少年成长服务项目、“情系桑榆-长者嘉年华”机构养老社工服务项目、“筑爱裕园”社区发展项目、聚力领航社区自组织培育项目、“我们在一起”失独家庭关怀社工服务项目；由济南市槐荫区营市街街道办事处购买的“两专人员进社区”网格化服务治理项目；由济南市槐荫区青年公园街道办事处购买的青年公园街道社会治理网格化社工服务项目。经过6年的稳步发展，济南市槐荫区社会工作服务体制、机制不断完善，形成了“岗位购买与项目购买相结合”、“专业化服务与项目化管理”、“长期项目与短期活动相结合”、“服务、督导、评估、培训一体化”等宝贵经验，打造出“槐荫社工”一品牌化发展模式。

（二）评估过程与结果分析

评估指标体系建构完成后，评估工作随即展开。评估过程分为项目团队自评、评估组实地评估、评估结果反馈与应用三个阶段，具体实施如下：

1.项目团队自评

为全面收集评估资料，评估组结合评价指标体系，编制出《槐荫区社会工作服务项目自评报告》模板，要求8个参评项目组按照规定类别，以文字材料的形式对其项目基本信息、项目实际服务开展情况、项目执行过程中的优势与不足等进行自评。自评报告涉及评估指标体系的大部分内容，并以此作为重要资料之一，为实地评估奠定了基础。

2.评估组实地评估

在实地评估工作中，评估组进入到各个项目组，采用访谈法、文献法、问卷调查法、观察法等资料收集方法，收集项目出资方、使用方、项目社工、服务对象、项目督导等不同来源的资料，通过对各方提供资料的交叉对比、相互补充，确保评估资料真实、全面。进入评估现场后，首先对自评报告中缺失、存疑以及不详尽的内容进行核实、补充；其次查阅服务档案，确保所报活动真实有效；再次，开展服务对象满意度问卷调查，每个项目组随机抽取20名服务对象填写服务对象满意度调查问卷；最后，分别对项目社工、服务对象代表、项目使用方和出资方代表进行访谈。此外，还邀请部分项目督导围绕项目情况进行意见反馈。

3.评估结果反馈与应用

在获取调研资料的基础上，评估组依据评估指标体系对各社会工作服务项目进行打分，各项目组评估得分如表5所示。通过对各项目指标得分和实地评估资料的分析，形成评估报告，总结了槐荫区社会工作服务项目发展现状、发展经验与困境并提出对项目发展的建议。

表5：社会工作服务项目评估得分情况

评估结果的反馈与应用是评估工作中的最后一个环节，也是评估的目的所在。评估报告完成后，评估组召开社会工作服务项目评估总结会议，向各社工服务项目组、社工机构、服务购买方和使用方发布评估结果，深入分析各社工服务项目的发展经验以及存在的问题，并针对问题提出合理化的改进建议，达到以评估促改进、以评估促发展的目的。

五、讨论与建议

作为创新社会治理的重要专业力量，社会工作越来越受到政府和社会各界的关注，政府购买社会工作服务的规模也不断扩大，如何规范、科学地检验社会工作服务的专业能力与社会效益成为社会工作专业领域面临的重要议题。为回应此议题，本文在总结以往有关社会工作服务项目评估的基础上，结合槐荫区社会工作服务项目评估实践，构建了以整合为导向的社会工作服务项目评估指标体系，从项目管理、项目过程、项目成效、项目满意度四个维度出发，对社会工作服务项目进行了系统评估。该指标体系具有定性与定量相结合、过程导向与结果导向相整合、绩效与专业双重回应、评估内容系统全面的特点。从对槐荫区8个社会工作服务项目的实际评估情况看，评估结果得到了各参评项目组、社工机构、评估组专家以及服务购买方的认可，通过对参评项目指标得分的结构分析及横向比较，准确地发现各社会工作服务项目的优势和劣势，为各社工服务项目制定今后发展策略提供可供参考的依据。实践证明，该评估指标体系较为系统、准确地反应了各社会工作服务项目的整体水平，对促进社会工作服务项目健康发展起到了一定的积极作用。本文所探讨的社会工作服务评估指标体系还存在一些不足，有待进一步研究来解决：第一，评估指标体系灵活性不足。由于服务对象不同，不同社工服务项目在服务目标与内容上也有较大差异，评估指标体系应具备一定的灵活性，针对不同的服务项目，依据实际情况对评估内容、指标及其权重等进行动态调整。第二，利益相关方参与尚不充分。由谁来评定社会工作服务项目的水平是评估的关键。在理想的评估模式中，应该确保政府、行业协会、社工机构、第三方机构、项目落地社区、服务对象等多元主体的平等、充分参与，具体开展评估工作。在本次评估实践中，虽然有政府、项目落地社区、服务对象、项目督导等主体参与，但仍存在被动参与、参与不足等问题。

评估指标体系的建构只是社会工作服务项目评估机制的一部分，为促进社会工作专业化、职业化发展，完善政府购买社会工作服务制度，必须加快建立健全社会工作评估机制，可以从以下几个方面入手：首先，应建立和完善社会工作服务项目评估制度，确保社会工作服务项目评估的科学性和规范化。只有建立一套科学完善的评估制度，才能在开展评估工作的过程中明确方向，避免背离社会工作服务价值的初衷，引导社会工作服务健康发展；同时，健全评估制度，确保社会工作服务项目评估的规范性、权威性、程序化与常态化，并对评估过程和结果进行有效地监督，以增强社会工作服务的专业性，提高社会公信力。其次，改进评估组织方式，积极培育社会工作评估主体。推动社会工作服务项目评估的发展，必须整合多方力量参与评估指标体系的设计和评估方案的运行，建立以第三方评估机构为中心，政府部门、行业协会、科研院所、评估对象和服务对象等多元主体平等参与的评估主体。此外，还应创设赋能评估的空间，重视评估对象的参与，给予参评对象充分表达的机会。最后，推动社会工作实务、评估与研究的结合。以往有关社会工作服务项目评估的研究缺乏对基础性理论的探讨，无疑阻碍着社会工作服务项目评估研究与实践的进程。因此，需要继续推动社会工作实务与评估的深入研究，继续发展有关社会工作服务项目评估的理论，借鉴国外社会工作服务项目评估领域的最新方法，并结合我国社会工作服务发展现状创新和改进评估指标体系，促进国内社会工作服务评估的发展。