预算绩效指标框架构建中的风险识别与风险控制
2020-10-20马蔡琛赵青
马蔡琛 赵青
摘 要:在预算绩效指标框架的构建及应用中,受种种内生及环境因素制约,难免存在偏差,进而导致绩效的损失。本文对绩效指标框架构建中的关键风险节点进行辨析,将可能造成风险的因素归纳为战略性因素及技术性因素两方面。同时提出对预算绩效评价指标的构建进行风险控制,要采用多套指标框架,厘清绩效指标框架的构建逻辑,着重关注指标信度、效度问题,提高指标框架的稳定性,并加强指标在预算周期中的应用,优化指标的修正与反馈机制。
关键词:预算绩效;预算绩效指标;指标框架;风险识别;风险控制
中图分类号:F812.3 文献标识码:A 文章编号:1003-1502(2020)05-0096-13
一、引言
党的十九大报告中明确提出了“全面实施绩效管理”的预算改革目标。2018年9月,中共中央、国务院正式发布了《关于全面实施预算绩效管理的意见》,这是中国现代财政制度建设中的一件大事。如何构建科学合理的预算绩效指标框架并有效设定具体指标,使其能够准确反映绩效目标,并具有实践中的可操作性,是全面实施预算绩效管理中的一个重要核心技术命题。
绩效管理专家Hatry早在约三十年前就指出,绩效指标一般被用于使政府官员为服务质量、数量和有效性负责;激励员工,将奖励与绩效相联系;引导公共服务的改进;鼓励公务员关注公众的需求[1]。可以说,绩效管理从功能上讲,其根本目的就在于激励组织及人员提高效能。如果指标设计得不合理,甚至会产生事与愿违的后果。预算绩效指标框架不但会对政府一般活动构成影响,还承载了政府的战略诉求、组织要求、社会公众需求等长时间维度上不同层次的内容,不同利益相关方的绩效诉求甚至可能相互冲突。为保证指标体系的有效性,在构建预算绩效指标框架的过程中,需要从多层次防控的视角来平衡指标体系的风险。可以说,在确定绩效指标的过程中,任何细节上的失误都可能导致绩效评价沦为耗费宝贵公共资源的无用之物,故必须对预算绩效指标框架构建的风险进行识别和控制。
绩效指标设计的风险贯穿于绩效管理的始终。目前学术界已对绩效管理作出了较多的研究:主要从绩效信息及绩效测量(Van Dooren等,2015)[2]、结果导向的绩效评价(Hatry H. P.,2006)[3]、预算绩效评价与绩效指标(马国贤,2014)[4]、绩效目标及指标的原理(李晓姣,王萌,2015)[5],绩效评价质量控制(赵敏,王蕾,2016)[6]等基础理论方面进行讨论;也有关于指标框架的逻辑构建(李红亮,2013)[7]、指标选择(刘安长,2013)[8]等设计过程中具体问题的讨论。然而,从当前各地区(各部门)预算绩效指标的相关文献资料可以发现,现有研究与实践并未充分认识到预算绩效指标框架构建中的风险识别及风险控制问题。
二、 预算绩效指标设计的风险类型
在经济分析的视野中,风险的基本内涵在于损失或收益的不确定性。根据英国财政部2018年修订的《中央对地方政府绩效评价和评估的指导绿皮书》,风险是在绩效评价的设计、规划和实施中出现的具体不确定因素[9]。这种不确定因素会导致绩效评价不能有效评估政府行为,并会形成高昂的成本费用。具体成本大体可以分为经济损失和非经济损失两方面。
一方面,经济损失表现为对公共资源的浪费或由于绩效评价结果不客观、指标框架構建不合理而导致的各种间接性经济损失或机会成本。以美国为例,OMB对PART的关注,导致其判断支出时更加分析性地思考分配资金效率的能力有所下降,形成了巨大的机会成本[10]。截至2008年1月,OMB利用PART①对98%的项目和2.6万亿美元的政府支出进行了绩效评价[11],但后来的研究表明,该举措并未起到提高绩效信息使用的效果。
另一方面,指标框架构建的不合理可能导致的非经济损失则相对更为广泛。可能表现为对被评价单位产生逆向激励,也可能为造成某些必要项目的不当削减,导致资源配置的失效,以及由此产生的不能满足某些公共需求的负外部效应。例如,美国联邦政府资助的Head Start项目,于1969年雇用了Westinghouse Learning公司来进行绩效评价,评价结果表明该项目对儿童学习的长期正面影响很小,进而导致尼克松总统根据这些报告宣布进行下一研究之前不再增加对任何联邦扶贫项目的投资[12]。然而在2010年的测试中,却发现该项目对弱势儿童带来显著的正面影响[13]。由此可见,绩效评价的结果应用对于预算资源配置具有相当程度的影响,但其评价结果却难免存在失误的风险。
三、 预算绩效指标设计的主要风险因素
预算绩效指标的设计与使用中,影响其最终成败的因素很多,可能基于某一因素的失调而发生,也可能由多因素之间的相互影响所引致。本文以绩效评价体系的逻辑顺序为线索,根据可能引致风险的潜在节点,将预算绩效指标设计中需要着重考虑的因素区分为战略性因素和技术性因素。
(一) 预算绩效指标框架构建中的战略性因素
1.预算绩效指标框架的模式选择
自20世纪80年代新公共管理运动兴起以来,各国致力于开展绩效评价工作,逐渐形成了多种相对完整、成熟的评价指标体系。综观当前各国的预算绩效指标框架,主要模式可以分为两种:一是国际组织设立的指标框架(如世界银行开发的以结果为导向的监测与评价体系、IMF开发的贷款绩效评价指标体系等);二是英美等发达经济体构建的绩效指标框架。由于不同组织、不同国家之间的内生性差异,其各自采用的指标框架也颇为不同。
首先,国际组织和主权国家绩效评价的侧重点有所不同。国际组织的绩效评价更侧重于项目的评价,而主权国家不仅需要注重项目的绩效,还要考虑各主体利益的均衡,因此在指标设计方面更为困难。根据英格兰和威尔士的经验,尽管绩效指标框架在不断完善,但追求完美反而会招致失败,没有一套指标可以满足利益相关者的多样性,绩效指标框架的简约性与完整性之间也很难调和[14]。但过于简约的指标框架又无法完全覆盖各利益相关者的需求。例如,有研究者就曾指出,加拿大安大略省卫生部门计分卡设计的27个绩效指标过于局限和狭窄,难以反映卫生系统绩效改进举措的全部范围[15]。
其次,从横向比较来看,不同国家之间(甚至国家内部)也颇多差异。例如,英格兰在20世纪80年代绩效指标激增,中央和地方政府以及众多公共服务供给主体都构建了相应的绩效指标体系,而苏格兰和威尔士对绩效指标的使用则相对较少[16]。与盎格鲁—撒克逊世界相比,欧洲大陆诸国则没有使用具有相同强度的绩效指标。在德国,“新指导模型”强调了绩效指标的重要性,但改革仅限于一些大城市、城邦和州[17],如今,德国的改革热情似乎已经结束,越来越呈现改革疲劳期的态势。在挪威,经过各机构的调整和转化,目标和结果管理系统已被广泛采用[18]。在瑞典,由于其公共部门权力高度分散,故绩效测量仅在指导各具体机构中发挥作用[2]8。
2.预算绩效指标框架的逻辑合理性
鉴于指标框架需要对结果进行有效反映,这就对绩效指标体系的逻辑合理性提出了更高的要求。从一般逻辑分析来看,潜在的风险因素大致有这样几个方面。
首先,绩效指标框架要与本国的制度规则相容。在过去二十年中,许多发展中国家已然开始尝试以结果为导向的绩效预算改革。但所谓主流的以结果为导向的绩效改革,通常有许多内生的制度假设,且往往与发展中国家固有的政治、社会和文化制度未必相容[19]。许多发达经济体具备了开发和使用可量化的绩效指标的强大组织能力,并已具有较为完备的战略规划、公共报告或基于绩效的人员评估系统。而众多发展中国家通常缺乏这些前提条件,并且这种能力限制不仅局限于政府评估方面,在数据管理以及公务人员运用和分析决策数据能力等基本素质方面也存在一定的差异[20]。例如,智利的监控和绩效评价系统相对成功②,但它作为一个中上等收入国家,拥有较为完备的公务员制度以及高度集中的政府体系和财政部门,这在其所处的拉丁美洲并不具有普遍性[21]。
其次,绩效指标体系和具体指标的设计,需要基于绩效评价的基本原理以及指标在评价活动中的具体应用来加以构建。例如,传统的绩效测量模型是在20世纪20年代几个大型工业企业中发展起来的,其关注的重点在于有限财务指标的达成率(如每股收益、投资回报率等)[22]。而这一系统因过于重视财务指标却难以衡量和监控多维度绩效而备受争议。从纵向时间维度回溯,传统绩效预算失败的原因之一也恰恰在于,传统绩效预算更侧重于使用投入指标和产出指标,而对效率和效果指标关注不足[23]。
3.预算绩效指标框架的合规考量
人们通常假设,预算绩效指标会自动地以合理的方式加以利用。但实际上,若缺乏行之有效的财政管理制度,不能对绩效指标的开发、采用、废除、周期、责任者、应用等问题作出全面且详细的规定,则绩效评价很可能流于形式。在合规层面可能存在的风险因素主要包括:
首先,缺乏法律上的统一保障。法律层面的支持是全面实施预算绩效管理不可回避的问题。20世纪中叶,胡佛委员会倡导的传统绩效预算,就因为缺乏广泛的立法机关支持而遭遇失败[24]。在预算方面,立法机构关注的是其监督角色,强调的是项目的短期绩效、信息的前后一致性以及对政府的问责,而一个负责任的行政部门则更加关注长期目标、需求转变的可适应性以及预算执行的灵活性[25]。立法机构和行政部门之间缺乏相应的调节机制,使传统绩效预算缺乏必要的立法保障,导致其并未起到预期的效果。
其次,缺乏程序上的合规标准。程序合规可以通过合理的决策过程来尽可能实现决策结果的合理性。从战略管理的角度来看,绩效指标体系的开发必须经过科学论证和严格审核。然而,当前作为预算绩效指標构建依据的绩效目标管理体系还不够完善,尤其对绩效目标、指标和目标值之间的关系尚缺乏充分的论证[26]。另外,不合理指标的剔除也是容易被忽略的一项因素。例如,一些公共项目受多个部门共同管辖,而单个部门对考察此类项目的指标很难控制,因此这一类指标在评价单个部门的预算绩效时往往是无用的。新西兰审计办公室早在二十多年前就曾对此类指标的无用性提出质疑,并提示在政府服务绩效测量中谨慎使用这些指标[26]。
(二) 预算绩效指标开发的技术风险因素
预算绩效指标并不能单独地存在于绩效评价系统当中,必须与其他具体细节相结合,技术性因素则成为绩效指标框架及具体指标设计中必须考虑的问题。其中,关键技术风险来源主要包括:指标体系的效度、信度及具体应用中的障碍。
1.绩效目标及指标效度风险
根据世界银行对指标的定义,指标通过阐明项目影响、结果、产出和投入之间关系的方式来组织信息,并帮助识别阻碍项目目标实现的症结[27]。绩效目标与绩效指标之间存在密切的关联性。目前,普遍认同的绩效指标合理有效与否的标准,就是要将政府的战略计划、工作活动与岗位职责等复杂且多元的绩效目标,转化成具体可控的、可考核评估的绩效指标。总的来说,指标是依据目标进行设定的,绩效指标的质量取决于其对应的绩效目标[28]。绩效指标对绩效目标的反映,通常以指标的效度来体现。效度即有效性,是指测量工具或手段能够准确测度出所需测量事物的程度,测量结果与要考察的内容越吻合,则效度越高;反之则效度越低[29]。绩效指标效度反映了测试结果与绩效目标的符合程度。指标设计的首要步骤是确定绩效目标,绩效目标的合理确定在很大程度上影响着指标的效度。
然而,在现实中,定义结果目标存在多种困难。若结果目标制定得过于宽泛,则无法确定指标和结果之间的因果关系,进而影响指标效度。结果目标需要在长期利益和短期利益、公共利益和机构利益、内部利益和外部利益等不同诉求之间做出取舍和配比,这需要多方面的权衡考虑。以长期与短期目标为例,如果过分关注短期目标,就会挤占实现其他目标所需要的公共财政资源,并影响最终目标的实现。例如,坦桑尼亚为了实现联合国千年发展计划规定的2015年普及教育目标,他们的入学率提高了,但中学教育的成绩却下降了[30]。
2.预算绩效指标的信度风险
一个科学合理的指标框架对测量的稳定性和可靠性有很高的要求,这就涉及指标的信度风险问题。信度反映的是研究工具的可靠性,包括重复测量值保持不变的程度、测量值随时间的稳定性、在给定时间内测量的相似性等[31]。在考虑不同测试者及测量时间的情况下,前后测试结果相同则信度较高,反之则信度较低。指标信度能够反映测量指标的各组成部分与整体间的一致性。影响指标框架评价结果前后一致性的风险因素,主要包括这样几个方面:
第一,测量工具选择不当导致不同指标的分配维度不均。当下比较常见的逻辑模型、平衡计分卡、模糊评价法等评价方法,大多是从企业管理中借鉴而来的。其在公共预算绩效管理中的应用,就全世界来看,也大多处于探索阶段,其中较突出的问题体现在绩效指标的设计上[32]。例如,平衡计分卡方法中的四个维度包括财务视角与客户满意度、内部业务流程、学习和发展等三项非财务视角[33],显然平衡计分卡的各个维度,与预算绩效评价应关注的维度有较大出入。现代预算制度的功能主要为控制功能、政策功能、管理功能和民主功能[34],因而测量工具的选择及指标维度的设计若不能契合预算的功能,则会造成绩效指标的低信度风险。
第二,具体指标的类型选择带来的负面影响。绩效指标有多种划分方法,整体绩效通常通过判断定性指标和定量指标的价值来进行衡量[35]。若某一指标体系中定性指标过多,则会影响该指标体系测量结果的稳定性。美国的绩效等级评价工具(PART),按25个正式问项和附加问项来撰写书面报告,再由预算管理局(OMB)邀请专家按单位报告打分[11],由于指标大多是定性的,缺乏数据支撑且极易造假,这也是PART后来颇受诟病的原因之一[36]。
3. 绩效指标在预算管理中的应用障碍
第一,绩效指标的数量及提供方式,将影响指标框架在预算决策中的应用。早在20世纪60年代,美国的一些地区,如密尔沃基、威斯康星州和纽约州拿骚县制定的预算中就包含了数百个将成本(或员工工时)与产出联系起来的单位成本核算指标,但由于数量庞大的指标所提供的信息,远远超过外部用户所能承受的极限,这些产出导向的指标最终被弃置了。并且,当一些州政府开展结果导向预算的编制工作时,他们以一种极其枯燥的形式,向立法者提供了大量指标和数据(包括产出和结果指标且有时混合在一起),这也阻碍了绩效指标的使用[3]4。可见,绩效指标体系可能会因过于复杂而引起使用者的抵触,也会因为指标数量的庞杂而使重点模糊,进而阻碍绩效信息的充分利用。
第二,在预算执行及决算过程中,绩效指标与绩效结果的反馈及应用也值得关注。在预算执行中,往往存在乐观主义倾向,评价人员可能对包括资本成本、运营成本、项目持续时间和利益交付在内的关键参数过于乐观,过度乐观的估计可能锁定无法达到的目标[37]。英国的《中央对地方政府绩效评价和评估的指导绿皮书》中就曾建议对乐观倾向进行适当调整,即基于组织自身对乐观偏差的历史水平,针对之前错估了的成本,按一定的百分比进行增加或减少[9]。
四、 我国预算绩效指标框架中存在的风险问题
如何有效控制绩效指标设计及应用中可能衍生出的风险,是关系到预算绩效管理能否落到实处的核心问题。但目前,在我国经济动能转换、政府职能转变的现实条件下,各级政府部门的职能仍存在一定的不确定性,预算指标框架构建过程中仍面临着许多潜在的问题。
(一)各类评价对象缺少对应且规范的标准绩效指标框架
综观现代政府预算的演化进程,总体上呈现出从“控制取向”逐步走向“绩效导向”的发展趋势[38]。在绩效管理的渐进式改革过程中,预算绩效指标随着时代变迁而逐渐演变,我国地方政府绩效评估指标体系已改变了指标宏观抽象、结构单一的缺陷,从过去的单一经济指标逐步转变为经济、政治、社会、环境等多元并重的综合指标。各地方政府也已取得了一定的成果,广东、浙江、北京、湖北等地也积极开展预算绩效评价试点工作,山东省从2016年开始进行分部门(水利厅、省卫计委)项目支出预算绩效评价指标体系建设试点,2017年扩大到省教育厅、省旅旅游发展委员会、省人力资源和社会保障厅等7个部门[39]。
但显然,目前我国各地方、各部门预算绩效指标框架的构建都尚且处于起步阶段。若要落实“全面实施绩效管理”的预算改革目标,则要分别对项目层面、部门层面、政府整体支出层面、政策层面等多维度预算支出设计绩效指标框架。绩效评价必须覆盖五级政府、四本预算,覆盖所有财政性资金及各类财政支出政策。由于有必要进行绩效评价的各类财政资金体量巨大,仅就预算资金而言,2018年中央一般公共预算支出已达到103310亿元[40],而全国一般公共预算支出再创新高,达到22万亿元,故而评价过程中发生的交易成本也难免颇为可观。若不能保证预算绩效指标框架的有效性,仅就评价过程中发生的交易成本来说,就会形成巨大的经济损失。另外,由于各地分别构建分部门或项目绩效指标框架,故构建指标框架时采行的要素、口径及标准不一,这可能在未来造成区域之间无法对标的问题,并在一定程度上造成区域之间绩效测评结果比较上的困难。因而从战略性的角度出发,我国构建预算绩效指标框架时,既要形成能够适应各类评价对象的分类绩效指标框架,又要有相对统一的规范和标准。
(二)绩效指标选择的科学性仍有待进一步考究
从绩效指标构建过程中的技术性角度考量,可能造成风险成本的问题如下。
第一,绩效指标的效度不高。衡量政府绩效评估效度的最重要指标是内容效度[41]。目前我国构建绩效指标所面临的绩效指标效度问题,主要取决于绩效指标对结果及目标的反映。一方面,绩效指标反映績效结果。预算绩效管理演进至今,已逐渐转变为以结果为导向、以激励为目的的行为,但如何通过指标测评来激励绩效结果,仍然是一个世界性难题,我国面临着与其他普遍进行绩效管理的国家同样的问题。由于影响结果的原因过于多样化,对结果进行准确测量本身就具有相当大的难度。在投入和结果之间构建因果关系则更加困难,这导致指标框架建立过程中更容易偏向产出指标。譬如,在新西兰,健康、教育和社会福利领域的临时评估中更加强调产出,而较少强调结果。在其1989年颁布的《公共财政法案》中,并未能将结果指标纳入部门的直接责任,因为让公共项目经理对结果负责在实践中是很困难的[26]。另一方面,绩效指标反映组织设立的绩效目标。由于预算绩效目标的复杂性,绩效指标设计及其应用中可能产生的逆向激励等风险问题不容忽视。逆向激励效应一旦被激发,不仅会导致现状恶化,还会损害政策制定者的信誉。例如,有些部门缺乏调研就出台文件或朝令夕改;有的单位在惩处上层层加码却在奖励上一概回避,挫伤了员工的积极性[42]。
第二,绩效指标的信度仍然存在问题。目前现有的绩效指标框架在保证评价结果的稳定性方面仍需要改进。从地方经验来看,很多地方皆采用的第三方机构独立评价,但就当前的第三方评价情况看,三方机构在接受委托后,往往是临时抱佛脚匆忙设计评价指标体系、指标权重、评价方法等,其中存在着相当程度的指标体系不完善、指标权重不科学的问题[43]。以权重设置为例,随意的权重分配,会使指标失去严谨性,将不同维度的指标简单加总未必能得到一个可靠的结果。指标权重决定着指标的价值,但在百分比设计下,各指标的权重分配是彼此消长的关系。目前的大多数项目评价指标权重的分配并未作出理论上的说明[44]。财政部国际金融组织贷款项目的绩效评价指标框架中,各类指标的权重每年都会进行调整,其中效果准则和效率准则的权重逐渐趋于均衡,可持续性准则的权重则逐年上升,但并未就其调整原因作出解释说明(如表1所示)。
(三)预算绩效指标框架中可能存在的应用障碍
目前各地方政府正在普遍构建绩效指标框架,并设立个性指标。从指标体系的完整性角度而言指标体系已较为完善,但其普遍存在的问题在于,各地构建的指标数量远远多于许多已然施行绩效预算多年的国家。例如,2014年以来,河北省针对973项工作活动,研制了3165条绩效指标、12660个评价标准模板;针对项目支出,设立项目共性指标18个和个性指标38类1479个[45]。2018年广东省构建了财政预算绩效指标库,共收录了20个行业大类、52个子类、277个资金用途、2589个绩效指标,形成相对完整的指标体系[46]。
如此庞大的指标体系,若要落实其具体应用,其中可能存在的风险在于:一方面,缺乏修改与反馈机制。目前从公开途径能够了解到的绩效指标框架都没有体现出关于绩效指标的修改及反馈。虽然在2011年财政部发布《财政支出绩效评价管理暂行办法》之后,地方改进了过去多采用业务指标、财务指标的预算绩效评价指标体系。但这种形式的改变是突进式的变化,而不是一个可持续的发展过程,对于绩效管理的长期发展并无明显帮助。许多地方也是一次性构建绩效指标框架之后,就不再进行后续的维护与使用。另一方面,若对全部部门及所有项目均采用如此数量巨大指标框架加以考评,容易在具体执行过程中遭遇困难。并且过于庞大的指标库,在指标的使用及更新维护方面都需要耗费大量的人力物力资源,相应的成本必然不菲。同时绩效指标框架的复杂性也会阻碍具体指标框架的使用。
五、 预算绩效指标框架设计中的风险防控
(一) 采用多套指标框架,构建标准的绩效指标体系
从国际经验来看,由于不同国家的制度差异,或许并不存在一个最佳的绩效指标框架。相反,预算绩效评价指标体系成败的关键在于,能否根据本国情况作出充分的改进,使国家财政意图通过具体绩效指标而得以体现,并与政府治理能力相匹配。决策者面临的挑战在于,如何在既有评价系统中寻找到能够发挥正向激励的适当平衡,但又不过度改变现有的制度,以免由于过多的阻力和不相容问题,导致预算绩效管理改革失败[19]。我国预算绩效评价对象的体量巨大且利益主体多元,因而在绩效指标框架构建中,需要构建覆盖不同区域、不同支出类型、不同财政层级的预算绩效指标体系。
首先,从全口径预算管理的要求出发,应覆盖一般公共预算、国有资本经营预算、社会保险基金预算、政府性基金预算。在启动阶段,可以先就一般公共预算构建绩效指标框架,国有资本经营预算、社会保险基金预算、政府基金预算则应考虑运用政府财务会计和政府管理会计作为基本评价工具与指标生成基础。因为这三本预算更偏重管理规则的精细化与标准化以及财务上的考量。财务会计以计量和传送信息为主要目标,以会计报告为工作核心,以传统会计模式作为数据处理和信息加工的基本方法,以公认会计原则为基本原理[47],直接采用政府财务会计信息基本上可以控制财政支出的合法合规,并能够做到全过程监控及结果问责。对于这三本预算暂时不要盲目构建新的绩效评价指标体系,从而避免产生不必要的指标体系混杂性风险。
其次,及时更新预算绩效评价的相应法律法规,并据此形成绩效指标库。目前,我国预算绩效管理的行政性规章为《财政支出绩效评价管理暂行办法》,该办法于2009年发布,并于2011年修订,已经不能完全适应全面实施预算绩效管理的改革需要。例如,其中对指标权重以及指标数据来源等问题,都未作出相应的规定,对绩效评价标准仅笼统规定了计划标准、行业标准、历史标准及其他标准,也并未细化说明。另外,具体评价领域也尚未制定标准的法律文件[48]。因此,需要尽快完善绩效评价相关法律法规的修订。一方面,加快构建通用绩效评价准则体系。针对不同的评价项目制定统一的绩效指标,虽然在短期内难度颇大,但必须根据统一的标准来开发绩效指标,才能适应不同地区、不同项目的评价需求。另一方面,应明确相关管理制度的适用期限,以消除各利益相关方的不确定性。绩效评价的最终目的是提高预算资金的使用效率,激励决策者与一线管理人员更加关注绩效结果。只有激励指标具有明确的使用、调整、废除等时间限定,才能够激励被评价对象在纵向时间维度上依照具体指标所引导的价值取向行事。
(二) 厘清绩效指标框架的构建逻辑,保证指标选择合理
宏观层面上的战略目标,必须落实到微观的绩效指标上,否则再有意义的政策定位及目标分解,都难以促进绩效的改善。在构建预算绩效指标框架时,应避免追求事无巨细、绝对完整的指标框架。完美的测量需要完美的知识系统,但目前很难拥有足够的数据构建一个完美模型[49]。因此,应避免将所有指标都设计在一套系统中,需要根据各部门预算的预期功能来划分评价对象,根据评价对象来分解目标,进而从标准指标库中筛选对应的关键绩效指标。
可以借鉴国际经验将绩效指标的构建过程划分层级,将一个完整的绩效评价指标框架分解成单独的指标、指标组、整体指标框架[50]。分别对每一层级的功能及预期进行界定,并从程序层面逐级控制技术风险的发生。另外,需要注意的是,指标开发及设计者需要对其所依据的基本假设和方法做出说明,以免因理解的偏差而对结果产生误导。例如,在进行指标开发设计时,应适当标注解释性信息,以供预算编制者利用并提供给预算审查者參考。
(三)着重关注指标信度与效度问题,提高绩效指标框架的稳定性
首先,提高预算绩效指标框架的效度。一方面,必须合理定义绩效目标。由于具体指标所能体现的信息较为单一,指标效度的高低在很大程度上取决于目标的确定性。因此,必须从前瞻性、动态性、逻辑性出发,将项目的绩效管理目标与操作流程有机结合起来,细化分解结果目标并关注特定目标群体。另一方面,关注结果目标和指标的一致性。由于绩效目标的多维性,很难存在与目标完全一致的绩效指标,只能在多个具有局限性的指标中,选择更具有适当性的绩效指标。澳大利亚在对社会和工业基础设施绩效评价中采用了ITO模型(Input-Transform-Outcome Model),在开发绩效指标时,制定了相应选择条件,包括简单性(指标是否易于理解)、可接受性(该指标是否与目标相关)、完整性(局部指标是否能够满足特定的目标要求)、指向性(指标所指向的具体目标是否明显)、简约性(对于一个特定目标,能否将指标组缩减至最小)[49]。我国预算绩效指标框架构建中也应制定相应的指标选择准则,尽可能控制指标与目标的偏离程度。
其次,保证预算绩效指标框架的信度。在构建指标框架过程中,对其可靠性及可实现性进行判断,判断指标框架能否在不同内外部环境下提供稳定的测度结果。从单一维度的指标来看,其可靠性可以通过某一指标在对跨环境评估时的结果稳定性来进行判断。就指标框架整体而言,不但要对定性指标和定量指标的比重进行控制,还需选择合理的赋权方法,并对不同指标维度之间的赋权理由加以解释。同时,关注预算绩效指标的数据支撑,将指标与具体数据收集中的可实现性相联系。例如,成本会计系统作为绩效指标的数据来源之一,预算绩效评价的可靠性在很大程度上取决于对政府成本的准确计量[51],因而要尽快完善政府成本会计系统。
(四) 加强绩效指标在预算周期中的应用,优化指标的修正与反馈机制
预算绩效指标体系的构建不能仅是设计出单一的评价指标,而应该在预算周期内构建一个完整、可循环、可修复的系统,包括指标的设计、指标的选用、替换程序等。然而目前的指标设计往往是简单地搭建指标框架,缺乏实际应用中的循环反馈机制。
第一,在预算编制过程中,加强绩效指标的应用。一方面,要控制绩效指标的数量。尽管指标所提供的信息对于追踪技术效率的管理者和监督者十分有用,但大量绩效指标可能造成使用人员应用上的障碍(包括心理上的抵触以及理解上的困难)[52]。在20世纪60年代到90年代就有研究者指出,要在形成结果的诸多因素中,选择具有足够代表性的指标以达成一个可评估的结论,就意味着需要减少一些因素及其代表的价值,但艰难的问题是,选择什么、减少什么、如何减少、怎么样合理[53]。目前已有许多国家正在减少绩效指标的数量,以促进绩效信息的使用。法国、波兰、荷兰等国近年都对其绩效指标数量进行了缩减[54]。另一方面,应鼓励机构在制定和提交预算申请时提供解释性信息以及以往的绩效衡量数据,丰富绩效信息的展现形式,从而加强指标框架的可用性。近年来美国对政府预算体例就进行了重新修订,使预算主体部分增加了彩页、注释和图表,从而更好地成为交流的媒介[55]。
第二,在绩效结果实践应用的基础上,完善指标修正与绩效反馈机制。绩效目标和绩效数据作为绩效指标的上一层级和下一层级,都可以间接性地对绩效指标进行检验,并可据此予以反馈,三者之间呈现相互贯穿的关系(如图1所示)。
在绩效目标层面,首先要做好目标界定及目标分解,在细化的目标上形成绩效指标,将绩效指标所测得的既往产出、工作量、中间结果和最终结果等数据,与拟议中的预算目标进行比较,对于异常高或低的产出或结果进行及时反馈。对目标解释度较低的“垃圾指标”进行识别并标注,在下一期绩效指标选择时提示慎重选择。
在绩效数据层面,关注数据来源及数据质量,在数据使用中根据最近的绩效数据,识别预算年度预计产出或结果显著增加或减少的“异常指标”,并给予重点关注并分析具体原因。通过数据收集过程,检测难以执行的“僵尸指标”,保证指标与数据收集之间的交互联动。模棱两可的指标定义也会造成数据搜集的困难。例如,在道路维护方面,有必要澄清对“维护车道里程数”指标的预期,因为一些人将其解释为管辖区对其负有全部责任的里程数,而其他人则将其解释为在会计年度内实际进行维护的里程数[56]。因此,对于类似的问题应及时作出反馈及修正,对于能够通过明确绩效指标定义即可解决的问题,则在指标库中加以备注说明,对确实难以收集数据的绩效指标及时进行清理删除。
六、 结论与展望
本文从经济损失和非经济损失两方面对预算绩效评价的风险类型进行了界定,并分析了造成绩效指标框架风险的战略性因素及技术性因素。当前,我国各地预算绩效评价指标框架已初具雏形,但仍需要从现有制度、实践应用与未来发展等不同维度,作出进一步的讨论与改进,防范绩效评价风险的发生。第一,必须在从战略性的高度出发,使其与本国现行制度相兼容,同时以相应的法律法规保证其实施。第二,需要厘清绩效指标框架构建的逻辑模型,从而保证指标框架的合理性。第三,要考虑技术性细节,从指标信度及效度的方面,加强指标框架的稳定性。第四,必须考虑预算绩效指标框架在实践中的落地及运用,并通过对绩效指标的反馈与修正,来保证预算绩效管理的长期有效运行。
注释:
①美国预算管理局(Office of Management and Budget,OMB)开发的项目等级评价工具(Program Assessment Rating Tool,简称PART),目的是对联邦项目的实施绩效进行评价,从而寻求绩效改善,实现项目绩效评价与项目预算控制的有效整合,进而提升政府能力。
②智利的监控和评价系统在1994年即拥有1600个常规指标,并用于为国会准备的正式报告以及为各种评估提供數据。
[19] HO A. T. K.,T. IM. Challenges in building effective and competitive government in developing countries:an institutional logics perspective[J]. The American Review of Public Administration,2015,45(3):263-280.42-57.
[20] ANDREWS M.. Performance-based budgeting reform:progress problems and pointers[J]. Handbook on Public Sector Performance Reviews,2002,(1):74-118.
[21] MACKAY K.. Evaluation Capacity Development[J]. World Bank,2006,(15).
[22] BRIGNALL S.,J. BALLANTINE. Performance measurement in service businesses revisited[J]. International Journal of Service Industry Management,1996, 7(1):6-31.
[23] LU H.. Performance budgeting resuscitated:why is it still inviable?[J]. Journal of Public Budgeting, Accounting & Financial Management,1996,10(2):151-172.
[24] 馬蔡琛,朱旭阳.从传统绩效预算走向新绩效预算的路径选择[J].经济与管理研究,2019,40(1):86-96.
[25] POSNER P.. Performance budgeting: Past initiatives offer insights for GPRA implementation[M]. Washington, DC: General Accounting Office,1997.19-25.
[26] MASCARENHAS, R. C. Searching for efficiency in the public sector: Interim evaluation of performance budgeting in New Zealand[J]. Public Budgeting & Finance,1996,(16.3):13-27.
[27] MOSSE R.,L. E. SONTHEIMER. Performance monitoring indicators handbook[M]. World Bank,1996.1.
[28] MACKAY K.. Institutionalization of monitoring and evaluation systems to improve public sector management[M]. World Bank,2006. 5.
[29] 袁方. 社会研究方法教程[M]. 北京:北京大学出版社,1997.187-198.
[30] 维诺德·托马斯,骆许蓓. 公共项目与绩效评估[M]. 北京:中国劳动社会保障出版社,2015.93.
[31] GOLAFSHANI N.. Understanding reliability and validity in qualitative research[J]. The Qualitative Report,2003,8(4):597-606.
[32] 刘安长. 财政支出绩效评价关键指标设计的研究[J].财政监督,2013,(4):33-36.
[33] KAPLAN R. S.,D. P. NORTON. Linking the balanced scorecard to strategy[J]. California management review,1996 ,39(1):53-79.
[34]王雍君. 预算功能、预算规制与预算授权——追寻《预算法》修订的法理基础[J]. 社会科学论坛,2013,(8):126-135.
[35] POPOVA V.,A. SHARPANSKYKH. Modeling organizational performance indicators[J]. Information systems,2010,35(4):505-527.
[36] WHITE J.. Playing the wrong part:the program assessment rating tool and the functions of the president's budget[J]. Public Administration Review ,2012,72(1):112-121.
[37] Green book supplementary guidance:optimism bias[EB/OL]. https://www.gov.uk/government/publications/green-book-supplementary-guidance-optimism-bias,2018-10-05.
[38] 马蔡琛. 现代预算制度的演化特征与路径选择[J]. 中国人民大学学报,2014,(5):27-34.
[39] 山东省财政厅预算绩效管理处.山东省预算绩效指标体系建设的探索与实践[J].财政科学,2018,(11):48-52.
[40] 中华人民共和国财政部. 2018年中央给一般公共预算支出预算表[EB/OL]. http://yss.mof.gov.cn/2018zyys/201804/t20180403_2859228.html,2019-01-30.
[41] 楚德江. 我国地方政府绩效评估指标体系研究的现状与前瞻[J].理论与现代化,2008,(2):40-45+50.
[42] 李浩燃. 向“逆向激励”说不[N]. 人民日报,2016-12-21.
[43] 张传利.山东:三层级完善预算绩效指标体系建设[J].新理财(政府理财),2018,(11):43-45.
[44] 马蔡琛,赵青.预算绩效评价方法与权重设计:国际经验与中国现实[J].中央财经大学学报,2018,(8):3-13.
[45] 河北省人民政府.尽最大努力管好纳税人每一分钱——河北省绩效预算管理改革的探索与实践(下) [EB/OL].http://www.hebei.gov.cn/hebei/11937442/10757006/10757086/14049291/index.html,2019-10-10.
[46] 广东省财政厅. 具有广东特色的绩效指标库“新鲜出炉”[EB/OL].http://www.gdczt.gov.cn/zwgk/czxw/201808/t20180830_965241.htm,2019-05-04.
[47] 刘永泽,陈立军. 中级财务会计[M]. 大连:东北财经大学出版社,2014.1.
[48] 张迪.我国财政扶贫资金绩效研究[J].湖南财政经济学院学报,2017,33(6):50-58.
[49] SMYRK J.. The ITO model:a framework for developing and classifying performance indicators[C]. The International Conference of the Australasian Evaluation Society,1995.1-9.
[50] NEELY A.,M. GREGORY,K. PLATTS. Performance measurement system design:a literature review and research agenda[J]. International Journal of Operations & Production Management,1995,15(4):80-116.
[51] GORE A.. From Red Tape to Results:Creating a Government That Works Better & Costs Less. Report of the National Performance Review [M]. DIANE Publishing,1993.1.
[52] MOYNIHAN D., BEAZLEY I.. Toward next-generation performance budgeting: Lessons from the experiences of seven reforming countries[M]. The World Bank,2016.3.
[53] SCRIVEN M.. Evaluation Thesaurus[M]. Sage Pubn Inc,1991.77.
[54] Performance Forum. Mission,programs,objectives,indicators[EB/OL].https://www.performance-publique.budget.gouv.fr/sites/performance_publique/files/farandole/ressources/2017/DOFP/DOFP_2017_Tome_02.pdf,2018-09-28.
[55] MIKESELL J..Fiscal Administration[M]. Cengage Learning,2013.50.
[56] KOPCZYNSKI M.,M. LOMBARDO. Comparative performance measurement:insights and lessons learned from a consortium effort[J]. Public Administration Review,1999,59(2):124-134.
責任编辑:翟 祎