第三方中介绩效评价满意度指标问题及对策研究

王琰　胡铖

摘 要： 满意度指标是财政支出绩效评价指标框架的重要组成部分，然而中介机构参与绩效评价项目时，由于缺乏成熟的理论研究以及实际操作中的客观限制，满意度评价的结果缺乏科学性、严谨性。本文以笔者亲身参与的若干项目为例，对当前绩效评价项目执行过程中满意度指标评价存在的问题进行分析总结，并提出切实可行的改进方式。

关键词： 绩效评价；满意度指标；中介机构

中图分类号： F224；F812.45 文献标识码： A 文章编号： 2095-8153（2017）02-0059-03

一、引言

在行政学领域，满意度主要指公共部门（政府）服务满意度，源于营销学的顾客满意度但与之相区别，是公众在对政府的行为有所体验之后作出的内心满意程度评价，是对公众感知状态的一种量化和测量[1]。财政部2013年发布的《预算绩效评价共性指标体系框架》（财预[2013]53号）是截至目前在中介机构中应用最广的官方发布绩效评价项目指标体系参考，其中 “社会公众或服务对象满意度”指标（下文简称“满意度指标”）作为共性指标体系框架的一部分，在各地相继出台的具有地方特色的评价实施方案中均占有一席之地。满意度评价具有基于评价的结果导向与公众满意理念属性，同时作为一项技术工具构成完成评价过程的一部分，在绩效评价指标体系中的地位不可忽视。

当下在财政支出绩效评价研究领域，满意度在评价中应用的研究较少，尤其是通过实例对应用过程和对总体绩效评价得分的影响研究几乎没有。同时满意度指标的设计、评价存在诸多问题，其评价结果的科学性、严谨性不足，说服力不高。笔者基于自身参与第三方中介绩效评价项目的经验，探讨绩效评价项目中满意度指标存在的问题，提出完善满意度指标设立及应用的思路和建议，为提高中介机构开展财政支出绩效评价项目执行效果提供改进建议。

二、存在的问题

1. 满意度测评理论体系缺失

我国目前并没有形成一套各地认可的财政支出绩效满意度测评体系。一套科学、合理的满意度测评体系既要有效评价财政专项资金的绩效，又要贴近公众的切身感受；既有定量的测量，也有定性的评价；既要便于绩效评价，又能指导日后绩效的改进[2]。

满意度指标评价的核心是问卷调查，而问卷的核心则为其所呈列的题目。题目由项目执行方根据自身的理解作出设计，在缺乏成熟理论的支持下，问卷题目设计主观性较强。如出自同一中介项目组的X市城市公交补贴绩效评价项目中面向社会公众的问卷包含13个问题，而X市某公共卫生单位部门整体支出绩效评价项目面向社会公众的问卷仅包含5个问题。

第三方中介绩效评价项目评价的具体方法通常采用量化评分法，评价指标体系总分值100分，不同的指标根据项目的具体情况合理选择分值比重。满意度指标分数比重的大小需根据项目情况，通常由中介项目组简单讨论决定，学术研究角度目前尚未对此有成熟的理论和应用研究，缺乏科学、合理的规则指引做参考，比重的设置不够严谨。

2. 问卷计分规则随意

满意度调查通过在问卷上罗列若干题目针对不同内容、环节的满意度进行提问，根据被调查者选取的代表不同满意程度的选项统计分数，并与标准分对比作为满意程度计分。对各选项的计分方式不同，可能导致一份问卷得分迥异。如S市某公共卫生单位部门整体支出绩效评价项目，在对其职工的满意度调查中某题目：“您认为XX单位岗位职责分工合理吗？”，共收到的74份有效问卷（A选项48份，B选项24份，C选项2份）。此处选择两种计分方式，产生的差异如下表所示。

可见对于相同的问卷调查结果，选取不同的计分方式，会对满意度得分率产生较大影响（本例为6.67%），且差异会随着样本量的增加成倍扩大。即使能够保证满意度调查的客观性，计分规则的选择可以一定程度上影响总体绩效评价得分，使之存在人为控制的可能。

3. 样本量不足，结果缺乏代表性

实际操作中，除个别大型公共服务类项目外，执行绩效评价项目的中介机构在经费、人员、时间等条件的限制下，考虑到成本效益原则，对单个绩效评价项目执行满意度问卷调查样本量一般仅为几百个。当服务对象或相關社会公众较多时，样本量的不足意味着调查结果往往不具有代表性。如X市某垃圾处理场建设绩效评价项目，该垃圾处理场承担S市城区所有生活垃圾的填埋任务，服务对象为X市城区所有40万市民（只考虑常驻人口），假设样本量比例选取1%，对X市城区市民的满意度调查应抽取样本400 000×1%=4 000。具有统计学意义的样本量在现有经费下并不具有可行性，而实际操作中选取的样本量又不具有统计学意义，最终评价结果不具有说服力。

4. 调查对象的选取不够科学

被调查者的范围对问卷的结果的全面性存在直接影响，在前述样本量问题的背景下，该影响可能被进一步放大。如X市某垃圾处理场建设绩效评价项目，若被调查者集中为生活在垃圾处理场附近的居民，则整体满意度得分可能偏低，若调查者离垃圾处理场较远，则出现因市民根本不了解垃圾处理场相关情况导致有效问卷比例过低；又如X市城市路灯电费专项资金绩效评价项目，大量存在被调查公众因对“背街小巷”路灯状况不满而导致问卷总体满意度偏低的情况，但实际上X市城区只有较少一部分“背街小巷”路灯属于被评价单位履职范围，大多数“背街小巷”路灯由社区、街道或小区负责，不属于项目评价范围。如此，上述两例中问卷调查反映结果的全面性、客观性受到较大影响。

5. 调查对象存在主观性偏差

财政支出绩效评价的被评价单位一般为行政事业单位等公共部门，在现实情况中，不是每一位被调查者都直接接受了公共部门的服务。对公众来说，虽然结果都是受益，不过就过程来讲，直接或间接感受还是会对满意度评价产生一定的影响：间接感受会使满意度评价更趋向于感受的结果，直接感受会使满意度评价更注重感受的过程[3]。部分间接感受者甚至会拒绝调查，存在较大的抵触心理。

同时，满意度是一个主观的感受过程，处于变动的状态，并不是固定的或者说是绝对的。现有绩效评价项目几乎都为事后评价模式，评价执行存在一定的滞后，满意度评价的反馈结果更多反映的是被调查者在被调查时间点的满意度感受。

三、改进建议

1. 保证问卷质量，提高与评价指标体系的契合度

问卷内容应设计的具体，但不失简洁；问题设计应保证专业性，但亦要考虑到被调查者的素质做到通俗易懂。同时，问卷设计应遵循评价指标体系的整体设计。根据《预算绩效评价共性指标体系框架》，满意度指标属于一级指标“效果”的一部分。除此之外“效果”内还包含经济效益、社会效益、生态效益等三个二级指标。调查问卷的内容设计，应充分体现评价指标体系的价值，与指标体系息息相关，尤其是要设计出客观指标难以表达的一些内容，比如社会效益等。如S市城市路灯电费专项资金绩效评价项目，由于经济、社会、生态效益不好量化评价，在满意度调查时使用问卷中部分题目结果支撑上述三个“效益”的评分情况；又如S市某公共卫生单位部门整体支出绩效评价项目，被评价单位日常工作产生的效益主要体现在社会效益角度，且在一级指标“产出”部分所设计指标已经全面、系统地反映了该单位所产生的社会效益，因此该项目“效益”部分仅设置了“满意度评价”一个二级指标。满意度指标虽属于典型的主观指标，但作为技术工具应保持与绩效评价指标体系的契合度，与其中的客观指标形成互补互证作用。

2. 科学设置满意度指标权重

评价指标的权重赋值表示的是不同指标在整个评价结果所处的重要程度，体现为对结果的影响程度。权重大表明该指标的影响或作用大，权重小表明该指标的影响或者作用小。在权重设定时认真考虑各类方法的运用，尽量减少无依据的主观判断。如《湖北省财政项目资金绩效评价指南》中推荐了专家会议法、德尔菲（Delphi）法、逐项对比法、DRE/DRM缺陷分析法、层次分析（AHP）法等。权重的大小需要根据该指标在整个指标体系中所处的位置以及重要性来确定，也要考虑该指标在实际操作中的可操作性及可信度的大小。

3. 改进问卷调查方案

满意度调查对象不应仅局限于受益群体，还应包括被评价单位主观部门、内部职工等利益相关者，以及相关领域内的专家、媒体等。如受益群体重点调查工作效率、服务态度等感受类指标，而主管部门、专家等重点调查专业性较强的技术类指标，内部职工则可二者兼有之。对各类调查对象有不同的侧重点，力图达到满意度评价的客观性。

对于样本量不足或调查对象范围不够具有代表性的问题，建议充分利用信息技术，如使用免费问卷调查网站制作电子问卷，调查对象仅需扫描二维码即可在手机上答题，后台可直接导出调查结果并进行分析。如此进行执行调查可跨越时空的限制，并且相较于现场答题，可能得到更加贴近真实满意度评价。

4. 保持调查工作的连续性

在现实情况中，孤立的一个分数并没有任何意义。作为一种指数，只有在横向或者纵向等多角度、多方向的比较分析，满意度才具有可操作的意义[2]。由于个体的千差万别，满意度评价结果无法进行横向比较。为使其操作更具意义，建议对于常年性绩效评价项目，如同一家中介连续对同一家项目单位执行3年部门整体评价，相对固定满意度指标权重、调查方案等，保持满意度调查工作的连续性，便于进行纵向比较。

5. 严格控制问卷质量

調查完成后，由专业统计人员配合项目组对问卷进行检查，对其质量进行判断，剔除无效问卷。在问卷设计时加入题意相悖的题目，或对题意相似题目逆向列示满意度选项，可较为容易进行甄别。若存在较多无效问卷，则应及时对问卷调查方案进行反思、调整，并考虑增加样本量进行补充抽样。

四、结语

绩效评价项目中，决定满意度指标的得分因素有很多，题目选择、计分规则、指标权重、样本数量、调查对象要素等任一变动，都会对满意度评价得分造成影响，最终影响绩效评价综合得分。满意度是一种主观感受评价，具有模糊的特性，但在明确其内涵之后，仍然可以把它用量化的数值给表示出来，体现为具有一定的可测量性。满意度调查设计需要各种各样的方法与技术作为支撑，避免满意度指标被拿来作为操纵绩效评价综合得分的工具。

[参考文献]

[1]郑方辉，冯健鹏. 法治政府绩效评价[M].北京：新华出版社，2014：221

[2]方雪贤. 财政支出绩效评价满意度实证研究——以LED专项资金绩效第三方评价为例[D].华南理工大学，2016：22.

[3]朱国玮. 公共服务供给绩效评价研究[M].北京：中国教育文化出版社，2006：121.

[4]李文彬，邓艳利. 政府整体绩效评价的公众满意度调查问卷设计[J].华南理工大学学报，2009（04）：39-44.