AHP与KIP理论下强基创优项目绩效评价模型构建
2017-11-28韦锦义赖洁基
韦锦义+赖洁基
【摘 要】 为推动广西高校创新创业教育改革,广西区政府从2015年开始实施了广西高等教育强基创优计划,先后投入财政专项资金8.36亿元。然而,如何对强基创优项目进行科学合理的绩效评价,推动政策有效实施成为亟待解决的问题。文章以层次分析法(AHP)与关键绩效指标(KIP)为理论基础,尝试构建广西强基创优项目绩效评价模型。模型指标体系分立项管理、过程管理和效益管理三方面,以项目本身的政策含义、实际效益为重点,兼顾项目制定与执行过程,拓展评价内容的深度与广度,克服了以往项目绩效评价过于笼统、模糊且可操作性差等缺点,具有较强的针对性和实用性。
【关键词】 绩效评估; 层次分析法; 关键绩效指标
【中图分类号】 F235 【文献标识码】 A 【文章编号】 1004-5937(2017)22-0052-05
一、引言
强基创优计划是广西为深入贯彻落实《国务院办公厅关于深化高等学校创新创业教育改革的实施意见》(国办发〔2015〕36号)及《广西壮族自治区人民政府关于深化高等教育综合改革的意见》(桂政发〔2015〕6号),推进广西高等学校创新创业教育改革,提升广西高等教育发展水平而开展的一项重要工作。政府通过设立高校强基创优专项资金,突出财政投入方式的变革,以发挥财政资金、专业优质等政策导向作用,进一步推动高校提高人才培养、学科专业设置与社会经济发展的吻合度,建立需求导向的学科专业优化、多样合作的协同育人新机制。2016年的数据表明,部分院校对资金投入使用规划性不强、使用效率不高、资金闲置现象突出,少数高校盲目增加基建项目,追求短期产出效果,导致专项资金被挪用或浪费。为此,广西财政厅和教育主管部门在建立完善高校生均拨款制度的同时,逐步引入了绩效拨款机制,將高校强基创优项目完成绩效与下年度财政拨款紧密联系起来,突出竞争引入与绩效导向,以促进教育资源优化配置。在此背景下,如何评价项目完成情况,建立全面、科学、合理的绩效评价制度以及相应的配套监管措施,如何在赋予高校财务自主权的同时确保资金使用效益,实现教育资源的合理配置,是政府部门亟待解决的一个重要问题。
二、现状评价
国外对于项目的绩效评价开展较早,而且建立了较为完善的政府资助类项目绩效评价制度。John Vaizey[ 1 ]在1958年首次提出了教育成本,认为应当分析教育投入,而Coleman在1966年对高校财政支出项目资金绩效评价方法的研究,完善了对高校财政支出项目资金的绩效评价体系。Cast[ 2 ]在1979年将内容、效率、满意度做为绩效评价的三个方面。英国资助委员会在1985年将绩效评价指标划分为囊括了人力、物力、财务的输入指标,管理、组织能力的过程指标以及产出、使用效率的输出指标三类,其后续编制的《英国大学管理统计和绩效指标体系》更是成为各国学者公认的全面系统的绩效评价指标体系。美国国家科学基金会(VSF)从资助结果、内部管理和投资过程三方面构建项目绩效评价指标。Cordero[ 3 ]则从活动投入与活动产出两个方面来分析研发活动的绩效。
国内从20世纪80年代起就有学者开始对高校财政支出项目绩效评价进行零星研究和探讨,随后陆续展开对项目绩效评价的概念、指标的确定、评价的模型和对财政投入等方面的研究,财政部从2001年开始探索财政资金支出使用的绩效评价工作实践,同年我国财政部联合教委、学校及相关专家成立了教育财政咨询委员会,并且开始建立财政资金专家论证制度。翁俊钦[ 4 ]设计了由通用指标、专用指标、补充指标和评议指标构成的项目支出绩效评价体系指标。受数据可获得性的局限,刘国永[ 5 ]采用财务性与业务性指标相结合的方法从投入资金分析、财政资金产出效益、财政资金利用效率和发展潜力四个方面构建了项目支出绩效评价模型。安秀梅[ 6 ]在考虑反映项目社会效益的基础上,在传统绩效投入产出项目绩效指标上加入效率指标和实施管理指标,但在具体设计中,结果与影响部分仍偏重业务性指标,没能体现社会效益的设计初衷。贾康、孙洁[ 7 ]采用平衡计分卡思想,从社会公众维度、业务流程及其优化维度、学习与成长维度和财务维度对支出绩效进行考察,但只给出了粗略的设计框架,未对实际支出项目进行检验。杨莲芬、唐韵[ 8 ]依据科研项目绩效评价的四大原则,构建了浙江省高校科研项目绩效评价指标体系,并运用层次分析法和嫡权法确定各指标的主观与客观权重,最终计算组合权重。徐立军[ 9 ]认为高校科研项目绩效是指项目投入与产出的对比关系,包括效益、效率和效果。周亦群、王艳[ 10 ]从项目决策、项目管理和项目绩效三个方面设计绩效评价指标,然而该研究更多依赖于项目产出来判断绩效,并未将政策性纳入主要研究范畴。刘多等[ 11 ]提出高校科研项目绩效评价是指从项目立项到成果产出及成果应用各个阶段,根据事先制定的预期目标和实际执行情况所做出的全面综合评价。胡雅妮[ 12 ]采用了类似分类,将指标分为投入、过程、产出、效果四类,并采用北京市公共教育支出项目进行了实证检验。申艳艳[ 13 ]利用平衡计分卡理论从使命、战略、内部流程、学习与成长、财务五个维度构建高校专项资金绩效评价体系模型,分析上海、福建省高校专项资金绩效管理情况,构建了囊括立项、拨付、执行、产出、信息整合的绩效评价。
由于我国现在仍然很难进行精细化的政府管理,因此无法照搬国外成熟的绩效评价体系。虽然国内学者从不同角度研究了绩效评价的意义、方法及指标体系建设,为我国高等教育绩效评价和绩效预算的开展提供了重要理论指导和有价值的参考。但是一部分学者单纯以输出为纲对现行项目支出绩效进行分析与研究,更多地关注投入的直接产出目标或仅仅侧重于业务性与财务性考察,忽略了根本目标,较难反映项目的实际效果与社会影响。同时对经济学上的“绩效”概念过分依赖,缺少从价值取向、逻辑选择等原则性环节上展开思考,在具体指标设计上往往会出现高绩效、低评价、重产出、轻效果、项目绩效指标与绩效目标之间脱节的现象。另一部分学者注重对政策绩效的考察,但只是给出方向性建议,没有具体指标设计,或者过于依赖统计数据限制了绩效评价内容的深度与广度,重新落入重产出轻结果的圈子中,忽视了项目本身的政策含义,更存在对绩效评价应用研究不足、可实践性不高等缺憾。因此建立一个可操作、可应用的、避免单纯以输出为纲、侧重实际效果与社会影响、扩展评价内容深度与广度的评价模型极为重要。endprint
三、理论分析与绩效评价模型构建
(一)强基创优项目绩效评价指标的建立
1.强基创优项目绩效评价方法
关键绩效指标(KPI)是一种用可行为化的标准或可量化的数据来反映组织目标实现程度的重要指标体系,并通过关键因素确定绩效评价需求,是绩效管理的有效手段。确定关键绩效指标遵循SMART五大原则,其要求绩效考核的绩效指标是具体的、现实的,绩效目标是可行为化或者可量化的、可以实现的但其实现具有时限性。层次分析法(AHP)是将与决策有关的元素分解成目标、准则、方案等层次,在此基础上进行定性和定量分析的决策方法。
2.强基创优项目绩效评价指标构建的理论分析
绩效评价是一项复杂的系统工作,从起点到终点,从概念上的判断到最终报告的撰写并发挥作用,在规章制度以外还有许多意识上、概念中择取判断的环节,这些决定了绩效评价的价值取向,也就是以优化资源配置为根本导向。在为最终目的服务的过程中,为了合理性与可操作性的原则,不能将绩效评价涉及到项目的方方面面,而是有的放矢,突出重点。作为探索性的先创,其评价不能仅仅关注强基创优项目的投入、直接产出目标或仅仅侧重于业务性与财务性的考察,其重点与核心应该是如实反映实际效果与社会影响,即政策的价值取向。这实际上也就是绩效评价中最应重视的方面,同时兼顾项目的制定过程与执行过程,而围绕这些点建立的绩效评价体系才更适合对强基创优项目进行科学合理的评价,这也是本文构建评价指标体系的立足点。同时指标的设计需要遵循一系列规则,如能够清晰指示问题,评价本身要规模合理且注意经济性,指标要定义精准不致误解,指标考察内容需被记录,指标内容要可行,在项目涉及的不同个体之间具有一定通用性。执行结果往往会涉及一些不可量化的指标,如何处理无法定量的内容也是对项目绩效评价的一项挑战。最后,要检验所构建的指标体系是否能够实现最初的评价目的,即为检查指标体系能否在必要的环节准确考察政策实施的效果,同时希望利用绩效信息对项目进行优化改进,为新一轮的决策提供依据。考虑广西各高校基础情况、高校发展与当地经济结合的定位,为便于执行,本文将指标分为通用指标与专用指标两类。通用指标具有极强的共同性,如资金到位率、资金使用合规率等可量化数据的评价;而专用指标则结合各类项目的特点,内容上更为细致。
基于此,本文在设计指标的过程中利用KPI对项目绩效重点进行衡量。围绕战略目标,基于关键绩效指標的五个原则以及层次分析法的结构思想,建立关键绩效指标层次结构模型。为使整个体系科学合理,且在逻辑结构上层层递进,将强基创优项目评价指标体系分为立项管理、过程管理、效益管理3个一级指标,并设置了立项可行性等6个二级指标,二级指标进一步细化成21个三级指标。这些指标贯穿了从立项申报、执行、监管,到产出、发挥效益的整个过程。立项部分反映了项目立项的合规性、合理性及与绩效目标填写情况,过程管理部分反映了财务控制的内容和业务管理的内容,包含资金到位情况、资金使用合规性、项目上报初始目标变化率、执行措施项目实施的人员条件、场地设备、信息支撑等措施落实到位情况等。效益部分反映项目产生的直接效果、经济效益及其他社会效益等,具体指标如表1所示。
(二)强基创优项目绩效评价指标权重的确定
为使各级指标权重具有合理性,利用层次分析法对绩效进行分解后再利用幂法对所构建指标的权重进行确定,首先在上述体系建立的每一层次结构基础上构建通式为A=(?琢ij)n×n(i,j=1,2,…,n)的判断矩阵,其中?琢ij表示在同一层次结构两两要素以表2 Satty的1—9标度法为依据的比较结果。目标层与一级指标如表3所示,其他层级矩阵类似,限于篇幅,不再一一列举。
此时对于A的特征值λi有λ1>λ2≥…≥λm≥0。同时存在n个线性无关的特征向量,设为x2,x3,…,xn。对于任意向量x (0),有x (0)=■?琢i?滋i,?琢i不全为0,则有x(k+1)=Ax(k)=…=A(k+1)x(0)=■A(k+1)?琢i?滋i=■?琢iλik+1?滋=
λ1k+1?滋[?琢1?滋1+(■)k+1?琢2?滋2+…+(■)k+1?琢n?滋n]≈λ1k+1?琢1?滋1,当K充分大时,有x(k+1)■x(k)=λ1k+1?琢1?滋■λ1k?琢1?滋=λ1,对应的特征向量就是x (k+1)。
之后经过若干次迭代进而计算出各矩阵的特征值和特征向量,对符合精度要求条件约束下最大的特征值λmax对应的特征向量进行归一化处理,反映与特征值对应数据的方差(即数据的变化)对整体数据信息的影响,所得结果即是权重wi。为防止出现设计比重不合理的现象,进行一致性检验,检验结果显示判断矩阵通过一致性要求,权重数值与一致性结果见表4。
(三)强基创优项目绩效评价模型
根据绩效评价指标权重表,得出如下绩效评价模型:
I=0.1320X11 + 0.0660X12 + 0.0198X21 + 0.0396X22 +
0.0396X23+0.0588Y11 + 0.0324Y12 + 0.0178Y13+0.0231Y21 +
0.0120Y22 +0.0069Y23+0.0124Y24 + 0.0642Z11 + 0.0243Z12+
0.0555Z13 + 0.0359Z14 + 0.0595Z21 +0.1528Z22+0.0388Z23+
0.0846Z24+0.0240Z25
为测试模型的有效性,笔者选取了广西科技大学2016年强基创优项目——重点学科建设专项,根据指标体系和模型进行试评价,将评价结果代入模型后计算出该项目绩效得分8.8896分。
四、结语
公平、客观、全面的绩效评价是进行绩效管理的关键,而科学、合理、可行的绩效评价指标体系是实现客观、全面绩效评价的保证。只有建立科学的绩效评价制度以及相应的配套监管措施,才能够在赋予高校财务自主权的同时确保资金使用效益得到切实保障,进而实现对教育资源的合理配置。本文综合运用层次分析法(AHP)与关键绩效指标(KIP)理论构建的强基创优项目绩效评价指标体系模型,综合客观与主观评价两种因素,具有客观和可操作性。评价指标体系及模型的建立,对提高强基创优计划的执行效果,促进广西高等学校办学水平的全面提升具有重要的现实意义。
【参考文献】
[1] JHON VAIZEY. The cost of education[M].London:Allen and Vnmin,1958:103-126.
[2] CAST F E. Organization and management[M].New York:MeGraw-Hil Book Company,1979:82-98.
[3] CORDERO R.Themeasurement of innovation performance in the firm:an overview[J].Research Policy,1990,19(2):185-192.
[4] 翁俊钦.刍议财政支出绩效评价[J].中国科技信息,2006(23):164-165.
[5] 刘国永.高等教育财政支出绩效评价指标设计原理、方法及运用[J].教育与经济,2007(3):30-31.
[6] 安秀梅.积极财政政策下的财政绩效监督[J].财政监督,2009(5):24-27.
[7] 贾康,孙洁.平衡计分卡(表)方法在财政支出绩效评价中的应用设计初探[J].山东经济,2010(2):5-10.
[8] 杨莲芬,唐韵.浙江省高校科研项目绩效评价指标体系研究[J].统计科学与实践,2011(3):33-35.
[9] 徐立军.关于高校科研项目绩效评价相关问题的思考[J].会计师,2012(22):62-64.
[10] 周亦群,王艳.财政支出绩效评价探析:以房地产数据库监测项目为例[J].会计之友,2013(11):51-53.
[11] 刘多,王大为,刘海波.浅论高校科研项目绩效管理[J].中国高校科技,2014(12):20-21.
[12] 胡雅妮.公共教育支出绩效评价指标体系研究:以北京市为例[J].财会通讯,2015(1):59-61.
[13] 申艳艳.高校专项资金绩效评价体系构建研究:基于平衡计分卡的视角[J].会计之友,2016(1):115-117.endprint