高质量视域下国家“双高计划”绩效评价效益自评指标研究
2022-11-09崔淑淇王荣琦
崔淑淇,王荣琦
(1.陕西工业职业技术学院,陕西 咸阳712000;2.西部现代职业教育研究院,陕西 咸阳712000)
目前,第一轮国家“双高计划”项目建设时间已经过去了三年,距离项目终期还有不到两年的时间。2022年4月,国家“双高计划”中期绩效评价文件发布,明确本次评价“以建设单位自评为基础、省级评价为重点、两部评价为引导”[1]。作为建设单位的“双高”学校,是评价的对象,要坚持科学思辩的精神,把此次中期评价作为自我检查、自我提升的契机,持续提升“双高计划”建设质量[2]。同时,“两部”设计了“对建设单位中期绩效评价的参考指标体系”(以下简称“指标体系”),既包含学校层面,也包含专业群层面,本文只针对学校层面效益指标的自评进行分析。
学校层面指标体系中的“效益指标”,在绩效评价总分100分中占30%,下设2个二级指标:社会效益指标和可持续影响指标,各占15%,三级指标由学校在自评时自行设置[1]。各校前两年和中期自评时,对效益指标的内涵理解存在较大差异,导致校际间三级指标的设置可比性不强。相对于指标体系中的“产出指标”,其“效益指标”也需要对标“引领”“支撑”及“高”“强”“特”[3]的高质量绩效目标,在自评时自行设置参考指标,且在项目第一轮实施期结束前的建设过程中,对学校在建设任务完成的基础上瞄准高质量绩效目标导向,持续提高“贡献度”,打造中国高等职业教育品牌,引领类型教育高质量发展具有重要意义。
一、效益指标与高质量绩效目标导向
从数据采集表效益指标的二级指标可以看出,教育部对于效益绩效评价是立足在“双高计划”项目高质量绩效的要求上进行指标设置,想要设置具体的学校自评效益指标,就需要充分理解高质量绩效和效益指标。
(一)高质量绩效目标导向
“双高计划”项目设立的初衷是引领职业教育高质量发展,推进高职院校人才培养质量持续提升。如何将“绩效”理念贯穿于“双高计划”项目建设的全过程,如何用预算内的钱办成“预想的好事”,教育部、财政部(简称“两部”)对项目建设学校绩效评价设计的指标体系,不仅仅是为了排名,而要衡量学校预算绩效水平,通过自评把握预算绩效的关键着力点,引导学校在项目建设过程中,不但要努力提高人才培养质量,还要在注重按时间节点全面完成建设任务的“交付式”预算绩效管理时,更加注重做好学校层面整体高质量发展的“顶层设计”,通过优化经费投入,促进学校内部资源整合以及配置效率的快速提高,以有限的投入取得更好的效益,达到事半功倍的经费使用效果,切实提高“业财融合”的能力和水平,从而推进学校在改革创新的同时不断提高办学质量[4]。
“双高计划”项目除了建设任务的预期成效外,建设过程中产生的效益对于提升学校的核心竞争力、持续创建办学特色、集聚发展优势具有深远的影响,也同样重要。国家“双高计划”建设项目与国家“示范校”、国家“骨干校”、国家“优质校”建设项目的根本区别,就体现在“高水平”上,着力解决高等职业教育“强不强”的问题,它是深化职业教育改革的重要突破口,引领职业教育改革创新,支撑产业转型升级和社会经济发展。所以,效益指标应根据建设成效是否达到“引领”“支撑”及“高”“强”“特”的高质量绩效特征来区分,重点是在国家层面达到“高水平”的引领作用[5],主要体现在服务区域经济社会发展的契合度上、服务国家重大战略的贡献度上。
(二)效益指标
效益评价多为综合属性评价,在参考指标体系中效益指标分为社会效益指标和可持续影响指标,既瞄准“贡献度”,又着眼于学校的社会“知名度”。高等职业教育的事业属性和产业属性相互作用产生社会效益,通过产教融合、培养高水平技能技术人才等方式增加区域就业和收入,高等职业教育丰富了我国教育体系,可以满足企业对于人才的需求和一部分人群对教育的需求,也可以提升我国国民素质。可持续影响指标是项目建设的过程中表现出的,学校建设成果需致力于发挥重大成果的长期作用,致力于服务区域经济,致力于服务国家战略。
1.社会效益指标。一般是指反映一定时期内社会新增、新创造价值的指标,也是产品和服务对社会所产生的好的后果和影响,是相对于经济效益、生态效益而言的,独立运作并起效[6]。基于此,本文界定“双高计划”项目建设社会效益指标,是指项目各种直接、间接或隐藏的功能和作用,服务于国家发展战略的产业转型升级或者应用于学生,从而促进经济社会发展或者使学生的技术技能提升因素发生积极变化而带来的效益。
2.可持续影响指标。财政部关于项目支出绩效评价管理办法中[7],项目单位的自评及绩效评价指标体系中,都包含可持续影响指标,但未进行解释,“两部”颁布的“双高计划”绩效评价管理办法[3]和中期绩效评价方案[1]亦是如此,学校在设置自评参考指标时不好精准把握。
如何理解“双高计划”绩效评价可持续影响指标?需要先对可持续发展的概念加以理解。联合国经济和社会事务部在第19届可持续性发展委员会(CSD-19)提出:可持续发展是一个全球性问题,而且所有利益攸关方的合作参与很重要,怎么使用和看待资源的方法是需要改变的,没有“一刀切”的项目可以用来解决所有问题[8]。在“双高计划”项目支出绩效评价时,如何对可持续影响作出评价?根据上述的理解,可持续影响是效益指标的长远考虑和对未来风险的分析,可以设置为“双高计划”项目建设所“产出”的政策、制度、标准及重大成效的可持续性,效益的增长性和诸多因素的定性描述等。
基于以上分析可以看出,效益指标其实就是指用有限的资金,通过优化投入和资源配置,瞄准“引领”“支撑”及“高”“强”“特”的高质量绩效目标,实现“产出”的最大效益。
二、效益指标自评的参考指标设置依据
对于效益指标这一综合性指标设置需要从多维度、多层面、多角度来进行分析。宏观维度来看,政策影响着“双高计划”项目绩效评价,引导着效益指标方向。中观维度来看,绩效目标直接影响着效益指标衡量目标。微观来看,产出指标框出了效益指标衡量范围。
(一)宏观维度:以政策导向为设置依据
我国的经济形势和社会模式在不断地发生变化,对于职业教育不同阶段也有着新的要求。不论是阶段性还是长期性的与职业教育相关的政策,都体现出了教育现代化在社会现代化过程中的基础性作用,同时也是社会现代化不可或缺的重要内容。其本质是依据技术的进步和产业的升级,不断适应社会对人才需求的变化,用新时代先进的教育理念,持续推进教育教学改革创新,培养社会急需人才,服务国家高质量发展的新要求,提升教育的国际化水平。效益指标的设置只有紧跟政策变化,体现政策要求,才能发挥自身最大的绩效。
(二)中观维度:以绩效目标导向为设置依据
绩效目标是指学校投入项目建设的经费,在实施时间段内预期达到的“产出”及“效果”,真实地反映了经费使用后的“产出”及“效果”,为“花钱必有效、无效要问责”的绩效评价奖惩制度实施提供依据。产出指标由“双高”学校自行设置绩效目标,自行设计指标权重,按规定程序和时间节点进行自评。在“双高”学校实践层面,由于各校办学特色、服务面向以及专业设置的差异,出现了把绩效目标和建设任务书中“预期成效”或者“验收要点”相混淆的问题,有些学校对数量指标、质量指标、时效指标的涵义理解不到位,在自评时,对指标体系中自评指标的设置没有结合自身实际进行深入研究和分析,系统性和逻辑性都不强,特别是对学校“双高计划”项目建设总目标的支撑度、与对应建设任务的关联度不高,没有完全反映绩效目标导向。
国家“双高计划”绩效评价指标体系设计与国家对其他公共支出项目进行绩效评价指标体系设计的主要区别是前者未包含经济效益和生态效益指标,这在一定程度上反映了“双高计划”专项经费投入的绩效目标导向[9]。
(三)微观维度:以产出指标为设置依据
教育是公益性事业,其“产出”实际上是分析教育能够直接带来哪些有益于社会的“收益”和“成果”,而教育“产出指标”,在于识别、判断和评价教育“收益”和“成果”的质量及水平[10]。产出指标包含的数量指标,即是否按预定数量完成绩效目标,完成的是哪些绩效目标;质量指标,即是否按预定标准完成绩效目标,完成的怎么样;时效指标,即是否按预定进度完成绩效目标,一般都有时间段,它们都是高质量效益指标的设置基础。
1.基于效益指标与产出指标的内在逻辑设置
效益指标反映与既定绩效目标相关的、前述相关产出所带来的预期效果的实现程度。产出指标与效益指标,是支出结果和效果的量化表现,是绩效评价结果的基础,直接关系到激励机制和考核问责的实施,是预算安排、政策调整、改进管理实质性挂钩的重要依据。“双高计划”项目产出指标与效益指标,符合“有投入、必有产出,有产出、必有效益”的逻辑关系[11]。产出指标的绩效目标导向与效益指标对应的高质量绩效相契合,而效益指标依赖于与主要支出方向相对应的产出指标,也就是产出指标带来的“溢出效应”。
2.基于效益指标与产出指标高度关联的“标志性”成果设置
效益指标下设4个三级指标,分别是引领职业教育改革发展和人才培养的贡献度,支撑国家战略和区域经济社会发展的贡献度,推动形成一批国家层面有效支撑职业教育高质量发展的政策、制度、标准的贡献度以及项目标志性成果可持续影响的时间[3]。三级指标的主要观测点,与学校十大建设任务时限内的(年度、中期或者项目结束)预期绩效目标完成度、示范引领和辐射推广、典型做法和突出成效以及在国际和国家层面取得的“标志性”成果,具有高度的关联性。
三、效益指标自评的参考指标设置
基于对效益指标与高质量绩效目标导向、效益指标自评的参考指标设置依据的分析,对学校层面效益指标评价时应用DEMATEL方法,从“一级指标产出指标的自评指标”[5](132个)和部分学校自设指标库中筛选出效益指标所属三级指标下面的自评参考指标,用以支撑“双高计划”项目建设效益相关主要观测点,为学校自评时设置效益指标提供参考。
(一)DEMATEL方法
DEMATEL(Decision-making Trial and Evaluation Laboratory)方法,是一种基于图论的系统科学方法,可以对复杂系统中各要素之间的因果关系进行分析,从而确定各个要素在系统中的重要程度,近年来受到国内外学者的广泛关注和推广应用。DEMATEL方法通过对系统中的各个要素之间的逻辑关系进行分析,计算得到各个要素对其他要素的影响程度以及受到其他要素影响的程度,从而获取各要素的中心度和原因度,最终确定各个要素在系统中的地位[12]。
(二)筛选效益指标的自评参考指标
运用18位全国财经专家、国家“双高计划”建设咨询专委会委员及相关专家对重要性比较打分数据[5],基于DEMATEL方法,计算得到每个指标的影响度、被影响度、中心度和原因度。
首先,构造直接影响矩阵,将指标体系X中的指标记为X={x1,x2,…,xn},其中n=132。由专家对每两个指标之间的影响度和被影响度进行打分,打分规则按照0~4五级标度法,0表示没有影响,4表示有很大影响。
根据专家打分结果,分别对数量指标和质量指标体系构造初始直接影响矩阵G=|gij|n×n,其中gij表示数量指标体系中指标xi对xj的直接影响程度,gij=0。
将矩阵G规范化,规范化后的直接影响矩阵为:
则综合影响矩阵为:
其中,aij表示数量指标xi对指标xj的综合影响程度,I为单位矩阵。
根据计算得到的综合影响矩阵,求解系统中各个指标的影响度fi:
被影响度ei:
中心度Di:
原因度Ri:
中心度表示该指标在系统中影响程度的大小,越重要的指标,其中心度越大。原因度为正值时表示该指标对其他指标产生影响,是系统中的原因因素;原因度为负值时表示该指标受其他指标影响,是系统中的结果因素;原因度的绝对值越高,表明该指标对其他指标影响越大或受其他指标影响越大[12]。
为使学校能够更高效更精准地进行绩效指标自评,本研究在考虑原因度计算结果的基础上,设定中心度阈值为μ-σ(μ和σ分别为综合影响矩阵元素的均值与标准差),认为低于该阈值的指标对系统影响可忽略不计,最终从产出指标的132个自评指标[5]和部分学校自设指标库中筛选出48个指标,做为“双高计划”绩效评价效益指标自评的参考指标,如表1所示(表中的序号,为该指标在所有筛选出指标中的重要性排序)。
表1 自评参考效益指标
“双高”学校在绩效指标自评时,观测点对照参考指标,可以测量学校在区域和国家层面实现高质量绩效目标的完成度,并在不同阶段对标“产出”的绩效目标导向,不断寻找差距和改进的方向,将产出转化为效益,持续提高“双高计划”项目建设的“效益”,为服务国家发展战略、服务区域产业转型升级、完善教育体系做出更大的贡献。