高校一流专业建设项目绩效审计评价体系构建研究
2021-12-09周方舒殷潇郭小姣
周方舒 殷潇 郭小姣
【关键词】 大学治理; 一流专业; 绩效审计; 政策评价; 教育审计
【中图分类号】 F239.1 【文献标识码】 A 【文章编号】 1004-5937(2021)24-0114-09
一、引言
高等教育是国家发展水平和发展潜力的重要标志。2018年起,国家实施一流专业建设“双万计划”。高等教育资源配置和使用绩效越来越受到关注。政府应加强对高校产出效益的监管,实施动态管理,建立激励机制。对高校一流专业建设项目开展绩效审计评价,是提高财政专项资金使用效益的重要保障,是推进教育治理体系和治理能力现代化的必然选择,也是新时代进一步发挥审计监督职能的必然要求。
本研究以高校一流专业建设项目为研究对象,基于5E绩效审计理论和政策评价逻辑模型综合构建绩效审计评价体系,运用该评价体系对某高校2019年入选的国家一流专业进行实证分析。在此基础上,评估高校一流专业建设项目的绩效,分析高校一流专业项目建设的问题,提出政策建议。本研究对促进高校一流专业发展,促进教育内部审计传统模式向绩效审计模式转型,具有重要的现实意义和理论指导意义。
二、文献综述
一流本科专业建设随着中国“双一流”建设有序稳步推进,一流本科专业建设“双万计划”进入政策实施阶段。本科教育是大学的根和本。一流专业是一流人才培养的基本单位。而一流人才的培养需要一个综合的专业建设平台,这就要求高校将教师、教学以及学生与专业课程和教学方法等有效结合起来,建成一个高质量的人才培养平台。建设一流专业是实现“一流学科”目标的重要途径, 直接影响着一所学校的学科发展和人才培养。同时,“双一流”建设也应当坚持面向市场的原则,使专业课程能够与专业培养目标达成一致[1]。教育部在实施一流本科专业建设方案中指出:“2019—2021年,建设10 000个左右国家级一流本科专业点和10 000个左右省级一流本科专业点。……三年完成。”对一流本科专业的评价即将展开。为适应新时代一流专业建设的实践需要,要改变传统的专业要素式评价,代之以专业成效式评价[2]。
绩效审计评价是一个重要的管理控制工具。我国绩效审计理论研究起步较晚。主要包括:(1)绩效审计标准和模式研究。审计模式研究在审计理论研究中具有重要地位。绩效审计的对象千差万别,衡量审计对象的标准难以统一。同一项目也会有多种不同的衡量标准[3]。(2)绩效审计内容和范围研究。财务和合规审计主题范围通常源于授权,绩效审计的主题范围通常是来源于公众和国家面临的社会问题[4]。绩效审计的主要内容可概括为:政策目标是否得以实现;所发生的理想结果是否可以归功于所实施的政策;项目目标的实现是否符合成本效益原则;确认阻碍或推进目标实现的因素;评价政策间接的社会和经济影响。绩效审计除了包括经济效益、社会效益之外,还应该包含对权力运行情况的评价、对政策实施效果的评价、对管理制度及方法的评价[5]。(3)绩效审计方法探讨。为了解决绩效审计方法不明的问题,需要选择恰当的审计方法,如跟踪审计法、制度基础审计法、战略协作审计法、财务收支与技术经济审计结合法以及微观与宏观审计结合法等[6]。
教育绩效审计评价具有丰富的研究内涵。以绩效为导向的教育资源配置体系成为实施高等教育战略管理的新方略[7]。绩效评估是发挥集体教育规模效应的内在需求,公共教育的发展趋势要求通过教育绩效评价发挥对教育发展的引领作用[8]。高校与其他组织相比,具有长效性和公益性等特点,使得高校绩效审计评价具有独特性。目前,学者们围绕高校获得的政府财政拨款[9]、高校预算资金[10]、资产绩效审计[11]、专项资金绩效审计[12]、人才引进[13]等应用方面研究高校绩效审计。整体而言,教育绩效审计研究还处在探索期,缺乏对高校治理整体设计与相互联动的研究,合理应用还十分有限。本研究可能的创新之处在于通过实证研究探索绩效审计与国家重大教育政策的结合,推动教育内部审计在教育治理中发挥增值性作用。
三、高校一流专业建设项目绩效审计评价体系构建
评价体系构建是开展高校一流专业建设项目绩效审计评价的前提条件和重要基础。
(一)高校一流专业建设项目绩效审计评价体系的构建思路
传统的绩效审计评价目标体现在经济性、效率性和效益性上,简称为“3E绩效审计”。经济性是指在业务过程中获取一定的产品和服务,所消耗和投入的资源最少。效率性指资源投入与结果产出的对比关系,即资源使用的效率,单位成果产出的资源投入与消耗最低,或单位资源的投入与使用产出的成果最大。效益性指实际产出与预期目标的对比关系。随着经济活动复杂性的提升和审计实践的发展,“3E”逐渐呈现出一定的局限性和不适应。以加拿大学者丹尼尔·普瑞斯波尔为代表,在原有基础上加入了公平性和环境性,形成了“5E绩效审计”。公平性指社会责任、公共责任,在业务活动中不片面追求经济效益和结果产出,注重经济收益与社会收益的平衡兼顾。环境性指业务活动对生态环境和自然资源的影响。“5E”和“3E”相比,内涵和外延更为丰富,也更为复杂。
逻辑模型(Logic Model)是1970年美国国际开发署开发并落实到项目评价实践中的一种项目开发、计划和评价工具。政策评价逻辑模型基于政策分析和系統理论,收集政策信息和政策活动要素,通过因果关系的基本逻辑和相互联系的规划矩阵描述政策系统结构,是一种描述达到政策目标路径的系统评价理论。运用政策评价逻辑模型寻找评价对象中的内在逻辑关系,建立投入与最终结果之间的关系,发现关键点和关键问题,进行组织评价和反馈,从而改善组织行为。政策评价逻辑模型能够解析政策“黑箱”中内在机理,揭示投入与目标产出之间的关系。政策评价逻辑模型包括了资源投入、活动、成果、成效、影响五大要素[14]。
政策评价逻辑模型的要素也可简化为投入、过程、产出和社会效益四要素,其中投入是指相关的资源投入,过程代表着项目从投入到产出所经历的所有步骤和程序,产出是指项目的最终产成品和提供的公共服务,社会效益是指项目的最终结果。详见图1。
以政策评价逻辑模型和5E绩效审计理论为视角,设计高校一流专业绩效审计评价体系有较强的适应性。其优势体现在:首先,注重以结果为导向。政策评价逻辑模型和5E绩效审计理论具有共同的内在逻辑,都强调通过分析探寻实现目标的关键要素,并把这些要素转化为具体指标,形成指标体系来衡量项目的绩效水平。政策评价逻辑模型的“投入”分析可对应5E绩效审计中的“经济性”,“过程”分析可对应5E绩效审计中的“效率性”,“产出”分析可对应5E绩效审计中的“效果性”,“社会效益”分析可对应5E绩效审计中的“环境性”和“公平性”。两者为揭示教育活动和结果之间的影响过程提供了分析思路。
其次,能充分兼顾过程性指标。高校一流专业建设不是阶段性,而是一个长期持续的过程,对其绩效审计评价也应该包含教育的整个过程。评价体系要尽可能地涉及高校一流专业建设的全过程和各方面,才能保证绩效衡量和评价的全面性。政府评价逻辑模型对项目的投入、产出和结果等的分析是从项目立项阶段到结束阶段全过程的体现。在项目运行阶段,通过设立具体指标来考察和监测项目的实际投入、产出和目标实现情况。在项目结束后,通过相应的指标分析项目的实际运行情况并与预期的目标进行比较,找出存在的差距,分析原因,总结经验及教训,为后续建设提供借鉴。
最后,可操作性强。政策评价逻辑框架法提供了从目标出发进行绩效指标设计的绩效评价思路。在评价指标层次设计上可以结合项目自身的特点,设计多方位、多角度的绩效指标体系,具有较大的弹性空间,可以满足不同类型的项目绩效评价的需求。高校一流专业建设项目的绩效审计评价指标易于理解和判断,同时应保证指标数据的可得性。构建的指标在充分考虑审计成本和审计效益的同时要具备可操作性,否则绩效审计评价不能起到任何的作用。
高校一流专业建设项目绩效审计评价体系的构建思路如图2所示。
(二)高校一流专业建设项目绩效审计评价指标选取和确定
高校一流专业建设项目绩效审计评价指标的选取应注重工具理性和价值理性的结合统一。“工具理性”又称“效率理性”,指以理性的态度将对象以工具对待,属理性主义的一种,是与特定社会历史、文化传统、日常生活方式相联系的科学“设计”。工具理性强调效率,崇尚量化,通过运用计算和推理等理性“计算”的手段,分析社会中人的行为及其后果的过程,是一种以技术主义为导向的价值观。高校一流专业建设项目绩效审计指标选取要客观合理反映高校一流专业建设项目的经济性、效率性、效果性、环境性和公平性,其评价体系越合理,准确度也越高,审计风险随之变小。“价值理性”是行动背后的理念和信念,是从某些具有实质的、特定的价值理念的角度来探讨行为的合理性,指向的是对教育“良治”和“善治”的追求。
绩效审计评价指标构建的参考依据来源于两方面。首先以政府出台的绩效评价管理办法和一流专业建设任务指南作为重要依据,如财政部《项目支出绩效评价管理办法》(财预〔2020〕10号)和各地出台的《一流本科专业建设任务指南》等。其次以学术界现有绩效审计评价体系研究作为参考。教育绩效评价体系的建构需要着眼于宏观、中观和微观三个层面。学者们在高校组织绩效评价、高校预算执行情况、高校专项资金项目等方面运用不同方法从不同维度构建高校绩效审计评价体系,为本研究提供了依據。
评价体系围绕教育目标是什么,期待的结果如何,怎样的产出才有助于高校达成目标,实现期待的结果,如何得到相应的产出,需要实施怎样的活动或行为,如何才能保证这些活动的正常进行,为此需要投入什么而构建。基于以上分析,本研究从经济性(教育投入)、效率性(教育过程)、效果性(教育产出)、环境性和公平性(社会效益)的维度设计构建高校一流专业建设项目绩效审计评价体系,其中政策逻辑模型中的“社会效益”对应5E绩效审计中的“环境性”和“公平性”,该2个维度合并为1个一级指标。在这4个一级指标项下,设计了对应的11个二级指标及37个三级指标。详见表1。
四、高校一流专业建设项目绩效审计评价指标权重确定与应用
高校一流专业建设项目绩效审计评价指标间重要性量化的确定是本研究的重点之一,权重是对事物重要程度的定量分配。
(一)高校一流专业建设项目绩效审计评价指标权重的求解
本研究运用层次分析法确定评价指标的权重。高校一流专业绩效审计评价构建的指标体系中,下一层级的指标对上一级的指标存在支持关系,这种支持关系或者是正相关的或者是负相关的,因此采用层次分析法较为适宜。
本研究采用专家打分方式,邀请了20位长期研究高校审计、财务、教学等工作的专家进行打分。通过对20位专家的打分进行整理,为以下构建判断矩阵提供了可靠的数据来源。本研究将高校一流专业建设项目的一级、二级、三级评价指标按照重要性程度进行两两比较,构建17个判断矩阵,每个判断矩阵运用MATLAB软件进行一致性检验。
以一级指标和一级指标“效率性(教育过程)”下属二级指标为例,一级指标的判断矩阵如表2。
该判断矩阵S的最大特征根得λmax=4.0476。计算出一致性指标:
平均随机一致性指标RI=0.89。随机一致性比率:
该判断矩阵一致性通过检验。运用软件计算出指标的权重见表3。
一级指标效率性下属二级指标:资金管理、预算执行、组织管理,构建判断矩阵如表4。
该判断矩阵S的最大特征根为λmax=3.0322。计算出一致性指标:
平均随机一致性指标RI=0.52。随机一致性比率:
该判断矩阵一致性通过检验。运用软件计算出指标的权重见表5。
经计算,本研究中的17个判断矩阵均有低于0.1的一致性比例,各判断矩阵均能够满足一致性要求,无须进行修正。
为了更直观观察各三级指标在评价体系中对于最终评价结果的重要性,使用各一级指标与其涵盖的各二级指标、三级指标分别相乘算出组合权重,结果见表6。根据表6可知,专业教师人数、专业教师结构、资金支出合理性、一流专业自筹和建设资金情况等指标对绩效结果相对重要,校部、校所、校企等协同,国际合作,数字化教学资源建设情况等指标相对次要。同时,反映出国内高校一流专业建设资源依赖性突出,如果高校不在组织管理、人事制度、培养方案、课程建设、教学方式等方面进行系统性改革创新,就难以可持续发挥资源投入的叠加效应和乘数效应。
(二)高校一流专业建设项目绩效审计评价体系应用
本研究选取了一所省属普通本科院校,对其2019年入选的5个国家一流专业进行绩效审计评价。该校的学校规模、资源禀赋、师资结构、管理模式、社会影响力等方面在省属普通本科院校中具有代表性,其在一流专业建设中所面对的问题和困难具有普遍性,其建设经验对于其他高校有良好的借鉴意义。
在绩效审计评价的过程中,部分绩效审计指标可以量化,但部分指标无法量化,仅能从主观角度进行优劣判断,模糊综合评价能够解决指标模糊性的问题。本研究采取模糊综合评价法,邀请该校与5个专业相关的管理人员、学科建设专家各10名对三级指标层进行评估。各专家独立依次对指标层的每个指标进行等级评估,并给予评分。每位专家对于每一个三级指标都设定五个级别的评语,即V=[V1,V2,V3,V4,V5]=[很好,较好,一般,较差,很差],并且将其赋值为V=[5,4,3,2,1]。由于指标模糊性较大,取多位专家赞同该指标的评语等级的比重为隶属度,建立单因素模糊综合评判矩阵。
该所省属本科院校的5个国家一流专业中,以N专业为例,根据其绩效审计评价模糊隶属度调查情况,其计算结果如下。
投入情况对应模糊关系矩阵:
投入情况指标对应的权重是W11=[0.4361 0.5639];
投入情况的评价向量为C1=W11×R11
同理可得:
预算编制的评价向量为C2=(0.3466,0.3534,0.3,0,0)
资金管理的评价向量为C3=(0.5,0.2,0.3,0,0)
预算执行的评价向量为C4=(0.2,0.3373,0.1373,
0.3255,0)
组织管理的评价向量为C5=(0.3766,0.4,0.1785,
0.0449,0)
师资队伍的评价向量为C6=(0.3815,0.4422,0.1763,0,0)
人才培养的评价向量为C7=(0.4258,0.3423,0.2135,
0.0185,0)
课程教材平台的评价向量为C8=(0.1711,0.5073,0.2769,
0.0447,0)
教学合作交流的评价向量为C9=(0.2303,0.3513,0.2998,
0.1186,0)
社会影响力的评价向量为C10=(0.2,0.4105,0.3116,
0.0779,0)
社会认同度的评价向量为C11=(0.4267,0.426,0.1473,0,0)
B1对应的模糊关系矩阵:
经济性指标对应的权重是W1=[0.6939 0.3061]
经济性指标的评价向量为B1=W1×R1=(0.5010,0.2167,
0.2823,0,0)
同理,效率性的评价向量为B2=(0.3984,0.2873,0.2294,
0.0849,0)
效果性的評价向量为B3=(0.3480,0.4081,0.2182,0.0256,0)
环境性/公平性的评价向量为B4=(0.3063,0.4177,0.2346,
0.0414,0)
整体评价向量
一级指标的权重W=(0.2289,0.2865,0.3292,0.1554)
整体综合评价为B=W×R=(0.3910,0.3312,0.2386,
0.0392,0)
一般而言,整体等级分为很好、较好、一般、较差、很差,对应分数5、4、3、2、1。整体评分值为:
F=VBT=[5 4 3 2 1]=0.39100.33130.23860.03920=4.0740
整体评分值为4.0740,介于较好与很好之间。
同理可以计算出N专业每个指标的评价值,见表7。
由以上分析可知,该大学国家一流专业N专业整体评分值为4.0740,其建设效果较好。该大学其他4个国家一流专业整体评分均在4.0分以上,均属于较好到很好之间,说明该校国家一流专业建设整体情况良好。
根据各指标评价值可知,第一,资源投入和管理对一流专业建设绩效作用突出,N专业的自筹资金能力偏弱、预算编制质量不高、预算执行进度和刚性不足、促进一流专业建设的配套管理制度执行缺位影响了专项资金使用效益。第二,师资队伍、人才培养、平台建设、合作交流对一流专业建设绩效作用明显,N专业学科竞赛参与率较低、实践教学基地建设不到位、教学大赛、教学研究等方面标志性成果不多,个别项目进展缓慢未达到预期目标影响了专业建设成效,需要进一步健全完善项目跟踪服务和管理机制。第三,社会影响力和社会认同度对一流专业建设绩效有一定影响,N专业服务国家和区域经济社会的发展能力不足影响了学校和专业的社会声誉。
五、研究结论与政策建议
本研究在构建高校一流专业建设项目绩效评价体系,运用指标体系对部分一流专业进行实证分析的基础上,得出以下研究结论和政策建议。
(一)研究结论
本研究将“5E绩效审计”中的经济性、效率性、效益性、环境性和公平性维度与政策评价逻辑模型中的教育投入、教育过程、教育产出和社会效益维度相结合,设计出高校一流专业绩效审计评价体系,运用层次分析法确定评价指标的权重。根据评价指标权重可知,高校“资源依赖”特征明显,一流专业建设对专业教师人数、专业教师结构、资金支出合理性、一流专业的自筹和建设资金情况等资源指标依赖性较强。同时,本研究选取一所具有代表性的省属普通本科院校,采取模糊综合评价法对其2019年入选的5个国家级一流本科专业进行评价。根据审计评价结果,该校国家一流专业建设整体呈良性发展的态势,但专业的校际间合作、教学课题研究、实践教学平台建设、经费预算执行进度等指标还需要有不同程度的提升和加强,以上问题的产生与对相关政策的理解、计划目标编制的前瞻性和适切性、组织领导、治理能力等因素有关。
(二)政策建议
1.根据评价的价值导向,科学设置评价体系
绩效审计价值导向不同,评价体系的设计也会不同。绩效审计的价值导向可分为问题导向、结果导向和目标导向。第一,如果一流专业的绩效审计评价以问题为导向,指标体系设计就需要从影响资金使用绩效的问题入手,为解决根源问题,在审计评价中需要从不同角度关注分析问题形成的原因,提出有针对性的措施。第二,如果以结果为导向的绩效审计评价,指标体系设计侧重于对财政资金在一流专业建设中的教育投入、教育过程、教育结果和社会影响进行评价,通过揭示运行中的相关问题和薄弱环节,提高教育资源配置的合理性和效率性。第三,本研究指标体系设置是以目标为导向,其指标体系设置主要考察高校一流专业建设目标的完成情况,分析是否整合各类资源来保证目标的达成。总之,高校一流专业建设项目绩效审计评价体系的设置和评价是为高校一流专业的政策管理、评估及解释政策资源和政策结果提供研究和实践参考,从而提高教育资源配置的合理性和效率性,提升高校一流专业建设项目的质量和水平,要在复杂性和动态性中充分考虑评价的弹性和张力。
2.搭建教育数据信息平台,提高绩效审计评价效率
高等教育跨越式发展、内涵式发展带来的教育资金、教育资源供求矛盾广泛存在,高等教育资源配置效率的均衡性和效益性还远未达到统一,提高现有资源使用效率显得尤为重要。打造信息化、互联化、智能化的教育数据信息平台是高校提升各类绩效审计评价效率的重要保障,可以促使绩效审计的边界从时间、空间以及结果应用方面都得到了拓展与延伸[15]。第一,通过搭建数据信息平台提升高校一流专业建设项目绩效审计评价的“全面性”。绩效审计评价同样面临组织资源、人力有限的问题。审计是一项基于证据的活动,证据来源于信息,来源于数据。数据信息平台可以让数据信息的完整性得到进一步体现。第二,通過搭建数据信息平台让绩效审计贯穿高校一流专业建设的全过程,从事前审查、事中跟踪到事后监督、绩效评价,有助于全过程审计追踪。第三,通过搭建数据信息平台为绩效审计评价提供靶向甄别、过程管控和精准施策的证据支撑,提高绩效审计评价效率。在大数据时代背景下,绩效审计评价的效果、效率与信息化是密不可分的。目前,教育系统内数据联通不通畅,不同系统、不同组织之间的数据共享开放程度偏低,数据孤岛、信息孤岛的现象普遍存在,使得绩效审计评价所需要的海量数据相互阻隔,数据信息之间的关系和逻辑未得到有效梳理,难以进一步融合释放潜能。
3.重视评价的追踪问效,提升大学治理效能
绩效审计评价的最终价值在于其结果的应用。如果只停留在对高校一流专业绩效审计评价上,那对高校一流专业建设可能不产生任何影响力或影响非常有限。追踪问效和审计结果的运用就是绩效审计评价的一种延伸。第一,通过追踪问效和审计结果运用,对大学管理者和决策者的观点、理念和态度施加影响,通过直接或间接的方式扩散、渗透到大学决策、治理过程。绩效审计评价影响力主要体现在以下类型:工具性、概念性、互动性、政治合法性和策略性。许多影响力是工具性的而不是概念性的,这些影响力在实现价值方面可能是用复杂的方式进行,自我呈现的方式有很多种,有的缓慢,有的微妙,有的明确,有的迅速。第二,通过追踪问效和审计结果运用,更加明晰高校一流专业建设的制度安排、具体要求、质量控制。第三,通过追踪问效和审计结果运用,规范高校权力运行,推动重大教育政策部署落地见效,提升大学治理效能。高校一流专业建设项目绩效审计评价不是为了简单地“奖优罚劣”,更应充分发挥评价的增值性作用,成为高等教育内涵式发展和大学治理现代化的“加速器”,推动教育绩效的改善。●
【参考文献】
[1] 柳贡慧.地方大学“双一流”建设的逻辑与途径[J].中国高等教育,2017(18):33-34.
[2] 李明磊,王站军.新时代一流专业建设应转向成效式评价[J].江苏高教,2020(9):20-23.
[3] 刘力云.关于绩效审计的几点思考[J].审计研究,2001(3):21-25.
[4] 陈希晖.新时代背景下财政资金绩效审计及其发展策略[J].现代审计与会计,2021(4):7-10.
[5] 蔡春,蔡利,朱荣.关于全面推进我国绩效审计创新发展的十大思考[J].审计研究,2011(4):32-38.
[6] 时现.关于公共工程投资绩效审计的思考[J].审计与经济研究,2003(6):28-31 .
[7] 林梦泉.约束条件下的学科建设绩效评价理论体系探究[J].中国高教研究,2018(7):17-21.
[8] 周彬.教育绩效管理的教育学考察[J].华东师范大学学报(教育科学版),2016(4):106-111,122.
[9] 冯祖丽.高等学校财政支出绩效审计评价问题研究[D].广州:暨南大学硕士学位论文,2009.
[10] 章毓育.高校预算执行绩效审计思考[J].财会通讯,2009(3):98-99.
[11] 朱爱孔.高校项目绩效审计研究——以资产类绩效评价指标体系的构建为例[J].辽宁教育行政学院学报,2020(6):40-45.
[12] 黄凯南.高校财政专项资金绩效评价及影响因素研究[D].南京:南京信息工程大学硕士学位论文,2020.
[13] 张晓红.高校绩效审计实践探索——高层次引进人才绩效审计案例分析[J].财会研究,2019(7):57-61.
[14] WK KELLOGG FOUNDATION.Logic model deve-
lopment guide[M].WK Kellogg Foundation,2004.
[15] 马蔡琛,管艳茹.基于大数据技术的政府绩效审计[J].会计之友,2020(19):108-113.