社会调查在绩效评价中的作用及应用

●张 弛 刘 敏

社会调查在绩效评价中的作用及应用

●张 弛 刘 敏

绩效评价的本质是回答公共履责的程度问题。由于公共资金来源于纳税人，纳税人的权益保障是“顾客导向”的法理依据，也是绩效评价的根本追求。无论以哪种形式、哪个主体开展绩效评价，都是为了厘清政府、部门、社会之间的关系，最终是要回答纳税人为什么要委托政府管理、为什么要让政府花钱、政府花钱都做了什么等问题。因此，“顾客导向”原则要求一方面回答评价为谁服务的问题，另一方面评价也需要顾客的参与。

顾客参与绩效评价，最主要的方法就是开展社会调查，通过问卷、访谈等方式，直接获取顾客对公共资金的意见和建议，搜集评价指标的数据，衡量满意度，为进一步开展绩效分析和提炼绩效结论提供基础数据。可以说，社会调查是绩效评价获取数据的重要方法，是对绩效评价结论的有力支撑，更是财政资金为顾客服务的本质需要。但反观国内绩效评价的开展现状，普遍存在着对社会调查重视程度不高、抽样不科学以及问卷设计质量低下等问题，严重影响了绩效评价结论的科学性。在此背景下，本文将通过讲解社会调查在绩效评价中的作用及实施方法，并对其应用案例进行具体解读，以期能够提高绩效评价社会调查的质量。

一、社会调查在绩效评价中的作用

社会调查是综合运用历史研究和观察研究的方法，对社会现象进行有计划、周密、系统的了解，并对搜集的资料进行分析、综合、比较、归纳，借以发现存在的社会问题，探索有关规律。通常来讲，社会调查在绩效评价中的作用是数据支持，使绩效评价结果具有较高的可信度。这种支持主要体现在一些反应受益群体的变化与感受的指标上，由于无客观统计数据可用，需要采用社会调查等手段进行。然而，在绩效评价的不同阶段，社会调查所获取信息的侧重点有所不同，发挥的作用也有一些具体的差别。具体来说，事前评价主要回答财政支出计划为谁、怎么提供以及提供多少公共服务等问题；事中评价和事后评价则主要回答实际上公共服务提供的好坏、能否满足或者在多大程度上满足公共需要等问题。

事前评价阶段，社会调查的作用在于辅助考察预算项目的可行性、合理性。事前评价是针对项目立项管理的评价，重点考核预算和绩效目标的合理性及项目实施可行性。这一阶段开展社会调查的主要目的是为了在项目实施前了解项目实施方以及受益人对该项目实施的态度，特别是民生类项目，这些态度反映了服务对象的诉求，据此为项目绩效目标的可行性、合理性等提供判断依据。例如一些政策补贴项目，在事前评价时通过社会调查来了解民众对项目实施的一些意见建议，从而选择发放补贴的合理方式，即是出于绩效目标可行性的考量。

事中评价阶段，社会调查的作用在于辅助考察项目完成的可能性，并提出工作改进的建议。事中评价是针对项目按时完成或达到预期目标可能性的评价，其时间节点是项目正在进行、尚未完成的时期。这一阶段社会调查主要关注实施方和受益人对项目实施阶段的意见和态度，通过这一调查结果结合项目实际执行情况来综合判断是否能够按时完成，以便及时纠偏；同时反映项目实施中的不足，以便在后续工作中进行改进。

事后评价阶段，社会调查的作用在于评判项目的效果以及为提出相关政策建议提供参考。事后评价是针对整个项目的综合绩效评价，其时间节点是在项目已经实施完毕之后。作为公共资金项目，尤其是民生类项目，受益群体满意度是评判绩效的重要因素，因此，这一阶段的部分效果需通过对受益人的社会调查来实现，调查更偏重于满意度调查、项目相关效果调查等。

以上分析表明，社会调查在绩效评价的不同阶段一般都会调查受益人的态度，不同的是，关注点有所不同，获取相应信息之后的用途也不一样，但无论哪种情况，都需要社会调查所获得的信息进行支撑。

二、社会调查实施的要点

在社会调查过程中，有以下内容应引起特别关注：

（一）社会调查开展的方法选取

社会调查的实施方法通常有访谈和问卷调查，其中问卷调查是社会调查的最主要方法，问卷调查通过获取受访者的基本数据及满意度，为下一步的指标评分和绩效分析提供基础，而访谈通过与各利益相关方面对面的交流，使调查者更快更好地了解项目的立项背景、依据，项目开展的客观情况等，从而更准确地开展绩效评价。

问卷调查法的优点在于它能突破时空限制，在广阔的范围内对众多调查对象同时进行调查，其获取的数据也便于对调查结果进行定量研究，同时也具有匿名性。不足之处在于：一是只能获取书面的社会信息，难以了解到生动、具体的社会情况；二是由于问题设置的固定性，难以做深入的定性调查；三是可能会存在受访者敷衍、随意作答或者受从众心理影响而导致失真的情况。因此，在定量研究中通常采用问卷调查法。

访谈法的优点在于，在研究比较复杂的问题时，由于需要向不同类型的人群了解不同类型的信息，这种方法相对合适。其区别于问卷法的主要特点在于，整个访问过程中，访问者和受访者相互影响、相互作用，是一个双向的传导过程，即一方面访问者通过询问等方式作用于受访者，另一方面受访者通过回答等方式反作用于访问者。因此，在需要通过互动的模式了解信息的定性研究中通常采用访谈法。

（二）抽样方法的选取与样本量的确定

抽样方法是一种科学完善的统计调查方法，科学的抽样能够以较低的成本获取相对有效的数据，进而为下一步通过样本估计总体特征提供充分依据。主要包括概率抽样和非概率抽样，非概率抽样根据研究者的主观意向进行抽样，存在客观性不足问题，一般较少采用；概率抽样能够保证各样本点的等概率性，是社会调查抽样方法的首选，常见的概率抽样方法包括简单随机抽样、系统抽样、分层抽样、整群抽样。简单随机抽样主要适用于调查对象情况不明、难以分类，或总体单位之间特性差异程度较小时；分层抽样主要适用于总体中的个体有明显差异时；整群抽样主要适用于总体的分群有较好的代表性，即群内各单位的差异较大，群间差异较小时；系统抽样则主要适用于样本量较大的情况。对于样本量的确定，以简单随机抽样来说，在总体满足正态分布的情况下，其样本量和抽样误差有以下关系：

其中ε表示抽样误差，q(1+α)/2表示置信水平为α时标准正态分布的(1+α)/ 2分位数，σ表示总体的标准差，n表示样本量。可以看出，如果需要控制抽样误差在一定范围之内，则样本量n需要大于一个特定的值。由于误差只按照样本量的平方根递减，因此，抽样时样本量并非越大越好，通常会受到经济条件的制约。另外，在实际实施中，由于总体的标准差通常难以确定，一般采用成数方差来近似计算总体的标准差，即σ≈其中，p是成数，表示总体中具有同一类型的性质的单位占总体的比例。

（三）问卷题目的设计必须通过信度和效度检验

信度（Reliability）是指测量结果的一致性、稳定性及可靠性，一般运用克朗巴哈信度系数法（Cronbachα）进行测量，其计算公式为：

其中K表示问卷中问题的数目，σi2为第i个问题得分的方差，σT2为总得分的方差。通常情况下，信度系数超过0.7被认为是问卷拥有相当的信度，信度系数不高于0.7认为信度不足。在进行社会调查时，信度需保证在0.7以上，否则该社会调查不能反映实际情况，结果不具有可信性。

效度（Validity）用于评价量表的准确度、有效性和正确性，即检验问卷是否能简洁、准确地描述抽样数据的属性和特征以及它们之间的复杂关系。在社会调查中，通常运用相关系数来估算满意度问题的信度。其计算公式为：

三、社会调查结果的应用分析

在社会调查之后，通常还需要对社会调查获取的原始数据进行处理并应用于绩效评价，如受访者满意度的计算、相关评价指标的评分，以及绩效分析等，最终根据数据反映的情况形成绩效评价结论。下面利用一个社会调查案例阐释在事后评价中如何进行社会调查、获取数据，以及调查结果如何对评价结论进行支撑。案例背景如下：

为进一步做好城乡统筹就业工作，A市人民政府拟通过一系列优惠政策来强化就业服务与管理，努力实现全市城乡充分就业。为此，A市共开展了38个促进就业类项目，共同促进就业困难人员就业，现对这38个项目进行绩效评价。评价指标包括项目决策类、项目管理类、项目产出类和项目效果类指标。该项目属民生类项目，受益人群的态度是项目实施效果的一个重要反映，在进行效果类指标评分以及绩效分析时需要社会调查数据的支撑。

第一步，选择社会调查项目。根据项目的类型或目的，排除不适合做社会调查的项目共16项，如为了提高A市人社局促进就业工作效率的就业平台建设项目，其目的是建成电子化平台，尚无直接受益对象。其次，选取22个项目中的3个项目进行具体说明，分别为工资或社保补贴项目、就业培训项目、创业扶持及补贴项目，这3个项目分别代表了所有项目中的补贴类、培训类和促进创业类，对于促进就业资金具有较好的代表性。

第二步，确定社会调查考察的内容。根据项目特点确定各项目的效果类指标考察点，包括：就业困难群体就业率、就业质量、服务对象满意度、城镇新增就业人数变化率、家庭生活水平改善情况、群众性事件发生数等，依据项目不同所考察的效果指标也不同。其中，部分指标的数据可直接获取，如城镇新增就业人数变化率、就业困难群体就业率等，可通过A市人社局的年度工作报告中获取数据；但部分指标体现的是受益群体的变化与感受，无现成数据可取，如就业质量、家庭生活水平改善情况等指标，在此情况下，就需要进行社会调查。确定了需调研的指标后，下一步即针对不同指标设置相应的问卷问题，如就业培训项目中的就业质量指标考虑从工资水平等方面进行。社会调查涉及的指标及相应问题汇总见表1。

表1 社会调查指标表

第三步，实施社会调查。首先，确定社会调查抽样方式，总体框架根据A市人社局提供的人员花名册确定，由于总体中的个体不具有明显差异或固定特征，不适合分层抽样或整群抽样，同时考虑到实施的可行性和便利性，选择简单随机抽样作为本案例的抽样方式，即将这8万份名单按顺序进行编号，并采用随机函数生成随机数，并抽取相应编号。其次，确定样本量，根据前述公式，本案例将抽样误差控制在3%以内，置信度95%的抽样临界值为1.96，由于总体信息量不足，标准差及成数方差难以计算，在成数方差最大值1/4时可计算出本案例所需的样本量最小值为1100，从经济性角度考虑，以1100作为本项目的样本量。最后，考虑到被调查者的分散性和实施的可行性，调查方式采用电话调查。

第四步，根据社会调查的结果进行信度效度检验，并进一步得出绩效评价结论。调查结果与问卷的信度效度见表2。

表2 信度效度表

从上述信度效度表中可以看出，各问卷的信度均在0.7以上，表明结果具有相当的可信度；各问题的效度也普遍介于0.5到0.9之间，除了个别低于0.6，表明问卷的问题设置整体较为科学合理，与调查需求具有较强关联性。其中，创业扶持及补贴项目考察的劳动技能提升度和工资待遇两项因素并非创业人员所关注的核心，扶持资金的设立也不是为了针对这两方面进行提升，偏低的效度实际上验证了这两个问题与总体满意度的相关性较小，因此，在进行创业扶持及补贴调研结果分析时应删去不予考虑，详见表3。

表3 调查结果表

从调查结果表可以看出，总体来讲，该项目的实施效果较好，就业困难人员的就业质量良好，同时并未发生群体性不良事件，满意度较高。其中，工资或社保补贴项目属于社会维稳类型，受益人群的满意度相对其他项目较低；但同时考虑到为了避免民众过度依靠社保而不思进取的情况发生，不宜采用提高社保补贴标准的方式进行，而应当在补贴发放过程中提高政府工作效率，缩短申请流程，提高工作态度等。创业扶持及补贴项目，根据受益人对“对创业是否有帮助”的反馈，达到了其目的；但该项目的社保缴纳率较低，不利于创业人群今后生活的稳定，可以考虑出台相关配套政策，针对创业并缴纳社保的人群给予额外补助。

通过上述调查结果的分析，得出事后评价的结论，并根据该结论对预算单位提出相应的改进建议。这种方式反映了受益者的诉求并将其纳入评价体系，体现了社会调查数据对绩效评价结论的支撑作用。■

（作者单位：上海闻政管理咨询有限公司）