财政绩效评价中满意度指标调查方案的设计
2018-05-14高育清
高育清
[摘要]财政专项资金绩效评价中,如何获得较为准确的服务对象满意度指标数值,关系整个项目的评价结果,影响财政部门的资金投向,需要事先设计调查方案。调查方案的设计包括满意度指标内容、指标数值调查方法、调查样本量的设计等内容。
[关键词]绩效评价;满意度指标;设计
[中图分类号]F812 [文献标识码] A
根据财政部国库司提供的2017年我国财政收支情況显示,2017年全国一般公共预算支出203330亿元,同比增长7.7%。随着财政资金支出规模的增长,利用财政专项资金投资的公共项目也越来越多。一般将公共项目界定为“直接或间接向社会提供公共消费品,以促进国民经济和社会发展、为公共生活服务、为提高社会科学文化水平和人民素质为目的,着眼于创造社会效益而不是以商业利润为主,进行组织和配置社会资源的一次性活动”。上述表述说明政府实施公共项目的最终目标是为了满足社会公共利益的需要。
《中央部门预算绩效目标管理办法》指出:项目支出绩效目标要能清晰反映预算资金的预期产出和效果,并对相应的绩效指标予以细化、量化描述。其中,预期效果是指产出可能对经济、社会、环境等带来的影响情况,以及服务对象或项目受益人对该项产出和影响的满意程度等。所以,评价公共项目的绩效指标应该包含服务对象满意度指标的效果指标,并且要将满意度指标放在比较重要的地位。
在财政专项资金绩效评价中,如何获得较为科学、准确的满意度指标数值,关系整个项目的评价结果,影响着项目的存续,需要进行满意度指标调查方案的设计。本文以某地级市2016年市区离休干部医保补助专项资金项目绩效评价为例,介绍了获取服务对象满意度指标数值的过程和方法,包括如何进行满意度指标内容的设计、指标数值调查方法的设计、调查样本量的设计,为提高绩效评价中满意度指标数值的科学性、准确性提供参考。
1 ×地级市市区离休干部医保补助资金评价项目的基本情况
为了保障离休干部的医疗需要,让离休干部安享晚年,×市于2006年制定了《市直离休干部医药费统筹保障机制实施细则》,将市属党政群机关、市属企事业单位的离休干部、六级以上革命伤残军人(以下统称离休干部)纳入离休干部医药费统筹范围。离休干部医药费实行财政收支两条线管理,每年由离休干部所在单位按实施细则规定的标准缴纳医药统筹费(破产企业破产清算时按规定标准预留),离休干部全年发生的医疗费在实施细则规定范围内实报实销,两者之间的差额即为财政补助资金。项目主管部门为该市人力资源和社会保障局,具体实施单位为该市医疗保险管理中心。
2016年市区共有符合医药费统筹条件的离休干部803人。其中,市直离休干部728人,由该市代管的中央企业、省属单位离休干部75人。所有离休干部均按实施细则规定的方法和标准报销医药费,市直离休干部报销的医药费由同级财政拨付,中央企业、省属单位离休干部由上级有关部门拨付。因此,将市区离休干部医保补助资金评价项目的服务对象界定为符合医药费统筹条件的803名离休干部。
为了了解×市区离休干部医保资金管理和使用是否达到了预期目标,探索和改进离休干部医保资金的预算管理,该市财政局安排对2016年离休干部医保资金项目开展绩效评价。依据评价目的建立了绩效评价指标体系,绩效评价指标体系包括投入、过程、产出、效果等四个一级指标,总分值100分。将服务对象满意度指标确定为效果指标的二级指标。由于服务对象满意度指标尚处于探索阶段,具有一定的主观性,其数值受多方面因素的影响。因此,评价方案仅赋予服务对象满意度指标分值10分,占总分值的10%。
2 满意度指标内容的设计
服务对象满意度指标是一个比较笼统的概念,在对服务对象开展正式调查前需要进行满意度指标的设计。该项目的服务对象满意度指标本质上就是解决803名离休干部对服务的什么内容满意、对谁的服务满意的问题。在确定指标内容之前,我们对项目执行的《市直离休干部医药费统筹保障机制实施细则》进行了深入分析,细则规定的主要制度包括:离休干部就医管理制度,费用支付办法,管理、服务机构及其职责等。涉及的单位主要包括:负有管理职责的市人力资源和社会保障局,负责制度具体执行的市医疗保险管理中心,负责离休干部门诊就医、住院就医的定点医疗机构,负责现金垫付的医疗费用票据收集及报送的离休干部所在单位等。对项目涉及的相关单位以及少部分离休干部展开座谈,结合座谈获取的信息,设置了就医管理制度、医疗费用报销制度、医院服务质量、所在单位或托管单位服务质量、医保局服务质量等五个满意度指标的二级指标。
公众满意度是建立在公众主观体验基础上的,在评价客观对象时没有明确的数值界限。但是这种主观体验可以通过态度测量技术进行测评,进而转化为数值。通行的办法是利用态度量表进行计量,一般采用5分制来表达服务对象的意见,即设置 “很满意”、“比较满意”、“满意”、“不太满意”、“不满意”五个等级;也可以根据需要直接采用10分制。
由于本评价方案中服务对象满意度指标在整个指标体系中的总分值为10分,所以,我们对上述5个满意度二级指标直接采用了10分制的态度量表。
3 满意度指标数值调查方法的设计
获取满意度指标数值的方法包括访谈法、问卷调查法等,每种调查方法各有优缺点,可以根据实际工作的需要将多种方法结合使用。
访谈法需要事先拟定调查提纲,然后通过面谈、电话调查的方式进行。面谈能够深入调查复杂和比较直接的问题,但是不利于隐私问题的调查,比较费时,费用相对较高。电话访谈能较快核实信息,但受访谈时间的限制,不能展开深入调查。
问卷调查法需要事先设计好调查问卷,然后采用邮寄、计算机辅助调查等方式获取答案。邮寄调查能到达地理位置比较分散的人群,但是调查者与被调查者没有直接接触,不能得到非语言信息,回收问卷较慢。网上调查标准化程度高、容易回答,但是需要访谈对象具有必备的互联网设备和技术,限制了问卷回复率。
该项目面对的服务对象平均年龄已达86岁,考虑到受访者的身体状况,满意度指标主要采用问卷调查方法进行。根据已设计的满意度指标,制作调查问卷,采用抽样调查方法,对抽中的对象结合受访者的身体状况采用不同的方式获取第一手数据。身体素质较好的受访者由其独立完成问卷的填写工作;身体状况不太理想、无法独立完成调查问卷填写工作的受访者,由调查人员通过口头询问的方式获取数据,然后由调查人员替代完成问卷的填写工作。
4 调查样本量的设计
如果服务对象数量比较少,可以采用全面调查。如果服务对象比较多,一般采用抽样调查。抽样调查包括简单随机抽样、类型抽样、整群抽样、等距抽样、分阶段抽样等。采用何种方法,与研究对象的复杂程度、对抽样结果要求的准确度、调查成本的高低等密切相关。如果研究对象个体差异较小,可以采用简单随机抽样;如果研究对象存在比较明确的类型,不同类型之间差异较大、同类型之间差别不大时,可以采用类型抽样;如果研究对象存在比较明确的类型,不同类型之间差异不大、同类型之间差别较大时,可以采用整群抽样;如果研究对象比较复杂,可以将类型抽样、整群抽样、简单随机抽样等方式结合起来,采用多阶段抽样。
不同的抽样方法需要的样本量不同,通过归纳部分学者的研究成果,可以参照以下方法进行样本量设计。
在简单随机不放回抽样方法下,样本量。其中,t为置信度,为总体标准差,为事先确定的误差范围。
在类型抽样方法下,冯士雍(2012)证明了当所有各层的单位数比较多时,比例分层抽样的方差不大于简单随机抽样的方差,比例分配能提高抽样的精度;当各层总体方差存在差异时,此时最优样本量分配方案应当是使各层样本与各层标准差成正比。
样本量相同的情况下,一般整群抽样的准确度比简单随机抽样的准确度低。要想获得相同的精度,整群抽样的样本量一般为简单随机抽样样本量的1+(M-1)ρc倍,M代表次级单元平均样本量,ρc表示群内相关系数。
对于大型多阶段抽样,苏晶晶(2014)证明了当分层样本量达到30,每层平均样本量达到40时,分层模型可以得到固定效应及方差协方差的无偏估计值。
项目实施过程中,医保局每月上旬派专人上门收集医保费单据,每天派专人进医院病房对住院病人是否存在挂床、冒名顶替等情况进行检查。为了便于搜集资料,充分利用医保局的日常管理制度,我们将调查对象划分为三类:一是目前未住院但需要报销医药费的离休干部;二是正在医院住院治疗的离休干部;三是当月身体健康不需报销医药费的离休干部。由于研究对象存在比较明确的类型,三种类型之间有较大差异、同类型之间差别不大,所以,我们采用了类型等比例抽样。2016年医保局提供的资料显示:平均每月住院人数115人、门诊报销人数511人、健康人数176人(为避免重复,将同月既进行住院治疗又进行门诊治疗的少数离休干部划归住院人数范畴),分别占总人数的比重为14.32%、63.64%、22.04%。
根据冯士雍关于类型抽样的结论,结合受访对象满意度调查最终体现为满意率的情况,利用简单随机抽样下成数的样本单位数确定原理,在置信度90%,给定误差范围0.1,最大标准差0.5条件下,计算的样本量为68人。等比例分配于三种类型中,其中,住院离休干部10人、门诊离休干部43人、健康离休干部15人。
5 调查结论
为了检验设计方案的科学性,在正式调查之前,需要选择少部分离休干部进行“预测试”。通过受访者的反应以及对预测试结果的分析,评价满意度指标表述的清晰程度、态度量表的科学性、调查方法的实用性,及时对调查方案进行适当修改。
通过对随机抽中的68名离休干部开展问卷调查,并对上述5项调查指標结果采用简单算术平均法进行汇总,满意度指标最终得分为9.16分。分项结果显示离休干部对医保补助政策、医院服务质量满意度较低,对医保局采取的医药费报销制度、所在单位及托管单位服务质量、医保局服务质量比较满意。
结合现场访谈,受益对象集中反映的问题有:一是细则中 “单次处方值不超过200元,患多种疾病或特殊疾病单次处方值不超过250元” 的规定,由于医疗费用上涨导致慢性疾病患者一月中数次到医院排队就医;二是细则 “对离休干部就医实行定点医院管理”的制度,导致患者无论患病大小均需到定点医院治疗而不能像普通职工一样利用医保卡自行购药,不能体现小病、慢性病就地购药医治的便捷性;三是定点医院未真正落实离休干部优先就诊、开设门诊就医绿色通道的要求,导致离休干部每次就医排队时间过长。
将满意度指标调查中获得的信息通过绩效报告的形式提供给该市财政局、医保局、定点医院等相关部门,为优化市区离休干部医保补助资金项目的预算管理,完善离休干部医疗补助制度提供合理化建议。
[参考文献]
[1] 齐中英,朱彬.公共项目管理和评估[M].北京:科学出版社,2004.
[2] 冯士雍,倪加勋,邹国华.抽样调查理论与方法(第二版)[M].北京:中国统计出版社,2012.
[3] 苏晶晶.关于分层模型的样本量[J].统计与决策,2014(8):7-11.