基于TOPDIS的高等学校绩效问责反馈机制

谢 梅，李 强

（中国矿业大学 管理学院，江苏 徐州 221116）

20世纪60年代以来，随着社会经济发展和人力资本理论的推动，世界各国高等教育得到了迅速发展，然而在高等教育快速扩张的同时，各国政府却面临着巨大的财政压力，如何高效利用财政资源、提高教育质量已成为各国面临的主要问题，在此背景下，20世纪90年代，许多国家和地区纷纷掀起了绩效问责运动。所谓绩效问责是指问责主体对问责客体履行工作职责的产出和结果予以追究责任的制度。高等学校绩效问责是指政府、社会公众等问责主体对高等学校履行教育职责过程中对教育资源使用所取得的产出和结果，向高等学校的相关主体追究责任的制度。在实践中，绩效问责主要有3种形式：绩效拨款、绩效预算和绩效报告[1]。

资源投入相对不足一直是阻碍我国高等教育发展的障碍，为了提高经费使用效益和改善教育质量，近年来，我国政府陆续颁布了一系列绩效问责政策，如《中央级教科文部门项目绩效考评管理办法》、《高等学校本科教学质量与教学改革工程专项资金管理暂行办法》等。这些政策的发布使得国内学者纷纷转向对高等学校整体资源利用效率和高等教育财政支出效果的绩效评价研究，其中，中观视角的代表性研究有：“北京市财政局高等教育支出绩效评价”课题组[2]对北京市属9所高校的支出绩效进行的评价；刘国永[3]对江苏省10所省属院校进行的试点评价；中央教育科学研究所高等教育研究中心[4]对部属高校的3年整体绩效进行的评价；陈俊生等[5]对江苏省5所地方综合性大学的教育支出绩效进行的评价等。微观视角的典型研究有：王丽萍等[6]运用MDEA模型对我国西部某高校内部的12个学院进行的绩效排序；张友棠[7]使用模糊综合评价等方法对某高校整体绩效进行的评价；殷俊明等[8]采用DEA方法对某大学内部院系绩效进行的评价等。

从研究现状来看，现有成果主要集中在对高等学校资源利用效率和高等教育财政支出效果的绩效评价方面，而没有对绩效评价的结果进行深入解读，更未结合评价的结果提出改善高等学校整体办学绩效和政府财政支出绩效的建议措施。实际上，绩效评价作为绩效问责的主要手段，其目的不仅在于使高校和教育主管部门了解教育资源的利用和办学绩效情况，更重要的目的在于，通过绩效问责促使高校和教育主管部门能够充分认识到自身在教育资源分配和绩效管理中存在的问题，并能够根据发现的问题，采取有针对性的措施来提高教育资源的使用绩效和办学质量。本文从作为绩效问责主体的教育主管部门角度出发，选择部属A高校作为问责客体，以高等学校教育资源投入水平既定为假设前提，采用理想解距离向量法（Technique for Order Preference by Distance to Ideal Solution，TOPDIS）对部属A高校各项产出绩效指标的提升空间、提升的难易程度，以及提升的潜力做了深入分析，在此基础上，提出了改善A高校整体绩效的管理建议，从而为问责主体与问责客体之间沟通反馈机制的建立提供参考案例。

1 绩效问责主体的政策倾向

1.1 研究样本和绩效评价模型

（1）研究样本。本文数据来源于教育部直属高校工作司发布的《教育部直属高校（2002～2010）年基本情况统计资料汇编》。借鉴武书连等[9]的高校分类方法，将部属高校分为研究1型、研究2型、研教1型、研教2型和教研型5类，各类高校的样本分布情况如表1所示，共计有647组数据。

表1 不同类型部属高校的样本分布情况

（2）绩效评价模型。根据高等学校绩效评价指标设计的原则，所构建的绩效指标体系应当体现高校的目标，涵盖教学、科研、社会服务等各项功能，遵循具体、量化、可接受性和数据可获得性的特点。因此，本文从人力、物力与财力资源投入和人才培养、科学研究与社会服务产出成果两方面选择了31项指标建立绩效评价初选指标体系，并根据粗糙集属性约简原理，从中进一步筛选出21项关键绩效指标，其中包括10项投入指标和11项产出指标。同时，结合粗糙集属性重要度原理、信息增益和主成分分析法的优点，分别为5类部属高校的各项绩效指标确定了综合权重，如表2所示。

部属高校绩效评价采用“产出/投入”基本模型。另外，由于高等学校的资源从投入到产出具有时间滞后性，参考谢梅[10]提出的面板自回归分布滞后模型（Panel Data Autoregressive Distributed Lag Model，PADL）和系统GMM估计法可以分析得出部属高校的平均产出滞后期为2年，并且滞后2期的资源投入对当期产出的影响是滞后1期的资源投入对当期产出影响的1.72倍。故绩效评价模型为

表2 各类部属高校的绩效指标及其综合权重

其中：Pit为高校i在第t年的绩效指数；outputit为高校i在第t年的综合产出指数；inputit-2为高校i在第t-2年的综合投入指数；inputit-1为高校i在第t-1年的综合投入指数；r为第t-2年的综合投入对第t年的综合产出的贡献系数，取值为0.632（1.72/（1+1.72））；s为第t-1年的综合投入对第t年的综合产出的贡献系数，取值为0.368（1/（1+1.72））。综合投入指数、综合产出指数和绩效指数均为正向指标，其中，综合投入指数表示高校在人力、物力和财力方面的整体资源投入水平；综合产出指数反映高校在人才培养、科学研究和社会服务方面的整体办学质量；绩效指数则表示高校对人力、物力和财力资源的使用效率。基于产出滞后效应，可以计算得出部属高校2004～2010年的3项指数，共计503组数据。outputit和inputit的构造方法相似，计算方法为

其中：α表示指标的序号，共有11项产出指标，α取值为1～11；wα为各项产出指标的综合权重，以表2中各类高校11项产出指标的综合权重来代替；mean（Bα）为全部647组样本数据中Bα项指标的平均值。

其中：β表示指标的序号，共有10项投入指标，β取值为1～10；wβ为各项投入指标的综合权重，同样以表2中各类高校10项投入指标的综合权重来代替；mean（Aβ）为全部647组样本数据中Aβ项指标的平均值。

1.2 问责主体的政策导向

根据“产出/投入”绩效评价模型，若要提升高等学校的办学绩效就应当严格控制其资源投入，并尽可能用较少的资源投入创造出更多且质量更高的产出成果。然而，在当前我国整体教育资源投入水平不高，高等教育投入相对不足的情况下，采取控制资源投入的措施显然是不妥的，长期以来，恰恰正是资源投入不足阻碍了我国高等教育的发展[11]。

由表3可以看出，除了教研型高校的综合投入指数与综合产出指数具有显著的负相关性外，其余各类高校以及部属高校全样本数据分析的结果均显示这两项指标具有显著的正相关性，其中国家重点投入和发展的研究1型高校两项指标的相关性更是高达0.892。由此可见，高等学校资源投入与产出成果之间具有普遍的正相关性，加大教育投入是提高学校整体办学质量和绩效的关键。

表3 部属高校综合投入指数与综合产出指数的相关性分析

综合上述分析，在我国目前情况下，政府教育主管部门对高等学校实行绩效问责的政策重点应当是提高教育资源的利用效率，而不是降低资源的投入水平，只有充分利用现有资源创造出更加丰硕的产出成果，才能从根本上改善高校的整体业绩。因此，问责主体派出的考评专家组对被问责高校提出改善绩效的建议应当基于以下假设：

假设高等学校的资源投入水平既定，提升高等学校整体绩效的可行措施应当是努力提升学校人才培养、科学研究等各项活动的产出成果。

根据表2部属高校绩效指标体系，若要改善某高校的整体绩效，应当提高该校在11项产出绩效指标上的表现。

2 理想解距离向量法TOPDIS的操作步骤

逼近于理想解的排序方法TOPSIS（Technique for Order Preference by Similarity to Ideal Solution）是系统工程理论中解决多属性决策问题的一种常用方法[12]，其基本思想是首先建立规范化原始矩阵，并从有限方案中构建最佳方案和最差方案，然后分别计算每个对象与最佳方案和最差方案的距离，在此基础上，再进一步计算每个对象与最佳方案的近似程度。

式中：Ei为每个对象与最佳方案的近似程度，取值在0～1之间，越接近1，表示该对象越接近最佳方案；和分别为对象i与最佳方案和最差方案的距离；xij为对象i的第j个指标的归一化值和分别为对象i的第j个指标的归一化值中的最大值和最小值。

然而，由于本文的研究目的是对同一对象的不同绩效指标的提升潜力进行排序，而不是对各对象进行评价，故本文借鉴戚湧等[12]的做法，对TOPSIS法稍加改进，提出理想解距离向量法TOPDIS对部属A高校各项绩效指标的提升潜力进行排序。计算步骤如下：

（1）建立原始矩阵A=（aij）m×n，矩阵中包含m个对象，每个对象有n个评价指标，并使每个指标具有同向性，低优指标可以采用倒数法转换成高优指标；

（2）将原始矩阵进行规范化处理，得到规范化矩阵B=（bij）m×n，其中，

（3）确定每个指标的最大值和最小值，分别构建最佳方案向量和最差方案向量。

其中：

（4）计算每个对象的各项指标与相应最优值的距离，得到各对象的绩效提升空间矩阵C=

（5）计算每个对象各项指标的提升潜力矩阵D=（dij）m×n，并且

其中，wj为各项绩效指标提升的难易程度，该值可以根据各项指标历年环比增长率的平均值来确定，因为指标平均增长率越高，说明该指标提升的速度越快，指标提升越容易；相反，平均环比增长率越低，甚至为负值时，表明该指标提升越困难。因此，wj值越大，表明指标j提升越容易；指标值越小，提升越困难。wj的计算方法如下：

其中：为全部观测对象的第j项指标在第t年观测值的平均值；为全部观测对象的第j项指标在第t-1年观测值的平均值为观测对象i的第j项指标在第t年的观测值为观测对象i的第j项指标在第t-1年的观测值；T为各对象的最大观测时期数。

（6）对评价对象各项指标的提升潜力进行排序，给出提高绩效的具体建议。

3 基于TOPDIS的部属A高校绩效提升路径研究

3.1 部属A高校的整体绩效现状

经过百年发展，目前部属A高校已经形成以工科为主、理工文管法经等多学科综合发展的学科专业体系。2009年以来，为了适应高校发展由规模扩张型向内涵提升型转变的趋势，保障建设多科性、研究型高水平大学战略目标的实现，学校制定了财务分级管理制度调整方案，以及教学、科研、学科与师资队伍等绩效经费分配办法，这些制度的发布和执行对规范学校内部绩效管理，全面提升教学、科研和师资队伍水平起到了重要促进作用。

根据“产出/投入”基本评价模型，可以计算出A高校2004～2010年的绩效评价结果。由表4可以看出，2004～2010年A高校的绩效指数逐年递增，说明A高校的整体资源利用效率比较高，从绩效排名情况来看，7年之间该校的平均排名在同类高校中位于前38%，处于中等偏上水平。然而，从绩效排名的变化趋势来看却不容乐观，2004～2006年其绩效排名逐年下滑，从同类高校排名的前33%下降到前60%，虽然在2007年绩效曾有显著提高，但是从2008年开始又逐渐下降，至2010年已下滑到同类高校排名的前53%，仅处于中等水平。另外，从武书连等[9]公布的中国大学前100强名单来看，A高校的排名表现也不佳，近年来综合排名呈逐年下滑趋势，目前已由2004年的百强前33%下滑至前50%左右1）一直以来，A高校在北京和地方两地办学，2009年起2个校区的隶属关系发生了变化，因此，2004～2010年《中国大学评价》课题组公布的评价结果使用了2个校区的合并数据进行分析，而2011年以后公布的结果仅使用该校地方校区数据进行分析，这就导致2011年前后公布的该校排名不具有可比性。另外，本文所使用的该校2002～2010年数据为2个校区的合并数。因此，从发展趋势来看，与同类高校相比，A高校的绩效表现不甚理想，学校管理层应积极采取有效措施来提高学校的整体绩效水平。

表4 2004～2010年部属A高校的绩效评价情况

3.2 部属A高校的绩效提升路径分析

（1）A高校绩效指标的提升空间分析。根据武书连等[9]2004～2010年公布的高校分类结果，A高校只有在2007年被归类为研教1型，其余年份均被划分为研教2型，因此，在现阶段，A高校总体上应归属于研教2型。为便于数据分析，将该校2007年数据与部属研教2型各高校2002～2010年数据进行混合分析，共计得到170组样本。根据上述数据处理方法，计算得出A高校2002～2010年各项绩效指标的提升空间平均值如表5所示。提升空间平均值越大，表示该项绩效指标的提升空间越大。由表5可以看出，A高校提升空间最小的指标是“就业率”，其平均提升空间仅为0.03，说明A高校的该项指标与同类高校中表现最好的学校相差无几，实际上，从2003年起A高校的就业率一直表现非常好，该指标始终处于最高值区间范围，每年就业率都超过95%；除了“就业率”以外，其余各项指标均有较大的提升空间，其中，提升空间最大的是“师均技术转让当年实际收入”，该指标的平均提升空间为0.99，可见，与同类高校中该项指标表现最佳的学校相比，A高校的师均技术转让当年实际收入仅相当于该校的1%；另外，平均提升空间超过0.6的指标还有“师均国家级项目验收数”、“师均出版专著”、“师均国外学术刊物发表论文数”和“硕士生授予学位数”，表明A高校在这几项指标上的表现与同类高校中表现最佳的学校相比也有相当大的差距。

（2）绩效指标的提升难度分析。小样本数据进行统计分析时，由于数据的涨落性较大，因而无法得到有意义的统计规律，只有增大样本量，才能得到事物发展的一般规律。因此，在对各项绩效指标的提升难易程度分析时采用了全体部属高校2002～2010年的647组数据，而不是仅使用部属研教2型高校的统计数据。

通过分析发现，全部样本各项绩效指标平均值的环比增长速度在各年度间波动幅度比较大，如“折合全日制本科毕业生数”指标在2002、2003年的环比增长率为25.76%，而在2009、2010年的环比增长率仅为-1.21%，因此，只有进一步计算历年环比增长率的均值才能更好地反映各项绩效指标的总体变化趋势。经过计算，各项指标的平均变化趋势如表6所示的中间列。从平均增速来看，增长最快的是“师均国家级项目验收数”指标，其平均增长率为23.75%，增长最慢的是“师均科研获奖得分”，平均增速仅为-4.42%，由此可见，“师均国家级项目验收数”指标增长较为容易，在多数年份都出现了大幅增长，而“师均科研获奖得分”指标则增长十分困难，在多数年份都出现了负增长。

表5 部属A高校各项绩效指标的提升空间分析

表6 绩效指标的提升难易程度分析

另外，平均增速的绝对值反映了各项指标提升的难易程度，当平均增速为正时，绝对值越大，表明指标提升地越容易；当平均增速为负时，绝对值越大，则表明指标提升越困难。为了便于分析，本文以平均增速绝对值最小的“师均技术转让当年实际收入”指标为基础，对其他指标进行倍数化处理，从而得到各项绩效指标的提升容易程度，如表6中的最后一列所示，具体计算方法如下：

其中：wj表示第j项绩效指标的提升容易程度；Bj表示第j项绩效指标的平均增速。可见，指标提升容易程度wj为正向指标，指标值越大，表明指标提升越容易；指标值越小，表明指标提升越困难。

（3）A高校各项绩效指标的提升潜力分析。根据上述介绍的指标提升潜力计算方法，将各项指标的提升空间与对应的指标提升容易程度相乘，就可以得出A高校各项绩效指标的提升潜力，如表7所示。表中“提升潜力平均值”是将2002～2010年各项绩效指标的提升潜力进行简单平均的结果，根据提升潜力的计算方法不难看出，“提升潜力平均值”越大，表明该项指标提升越容易；指标值越小，表示该指标提升越困难；当指标值为负时，则表明该指标提升十分艰难。表中最后一列“提升潜力排序”是按照“提升潜力平均值”进行降序排列的结果，排序越靠前，表示A高校越应当优先采取措施提高该项指标，从而可以尽快提高学校的整体绩效。

表7 部属A高校各项绩效指标的提升潜力分析

由表7可知，由于“师均国家级项目验收数”指标的提升空间大且提升容易，因而提升潜力巨大，在11项指标中排在首要考虑的位置；“博士生授予学位数”和“折合全日制本科毕业生数”2项指标虽然提升空间相对不大，分别排在第9和第10位，但是由于提高难度不大，故也有一定的提升潜力；“师均技术转让当年实际收入”和“师均出版专著”2项指标尽管提升空间巨大，分别排在第1和第3位，但是由于指标提升容易程度为负数，表明这两项指标提升十分困难，因此提升潜力并不大。另外，提升潜力比较大的指标还有“师均国外学术刊物发表论文数”和“师均科研课题当年拨入经费数”。

3.3 对A高校整体绩效提升的管理建议

综合上述分析，为了进一步提升A高校的整体教学和科研绩效，提高办学质量和资源使用效率，教育主管部门在对A高校进行绩效评价的基础上，应进一步通过“绩效问责反馈报告”的形式对该校管理层提出以下建议：

（1）科研管理部门应积极组织动员教师进行课题申报，提高立项数量。针对A高校“师均科研课题当年拨入经费数”指标提升潜力较大的情况，学校科研管理部门应密切关注项目主管部门的工作动态，及时搜集和发布项目来源信息，做好项目与具有研究专长的教师的联系，使教师能够及时掌握项目信息和科技动态，提高项目申报立项率。另外，学院层面也可以组织有申报经验的教师或聘请专家为教师介绍项目申报经验和国家科技政策动态，必要时还可以组织专家对项目申报书进行评阅和提出修改建议，从而进一步提高项目资助率。

（2）对于已立项的课题，科研管理部门应进一步加强对课题的监督和管理，提高完成质量。为了保证科研课题能够如期按照预定的计划完成，科研管理部门应加强对科研课题的过程管理，定期督促教师按照研究计划实施研究工作，尤其是对重点课题，管理部门应要求项目负责人填写《项目中期检查表》，及时了解和掌握课题的开展进度和经费使用情况，必要时可以联合学院组织专家实施课题进展中期答辩，听取课题负责人对项目进展情况的汇报，并对项目的下一步实施提出建议。同时，学校还可以出台政策，将项目的完成情况纳入科研考评机制，对项目成果鉴定为优秀、良好或合格的负责人及项目组成员分别给予不同级别的奖励，对成果鉴定为不合格或无故延期的项目负责人应给予适当处罚，比如延缓职称评定等。

（3）为适应建设研究型高水平大学的战略目标，学校应进一步加强学科建设，适当降低本科生占在校生的比例，并逐步提高研究生比例。研究型大学通常在办学过程中非常重视研究生教育，尤其是博士生教育，世界一流大学的研究生占在校学生的比例一般约为50%，甚至更高[13]。如2007、2008学年，哈佛大学的研究生人数达到学生总数的57.1%，麻省理工学院的研究生人数更是达到学生总数的59.7%[14]。2002～2010年，根据武书连等[9]的高校分类方法，我国部属研究1型和研究2型高校研究生占全日制在校生的平均比例分别为38.05%和31.97%，可见我国研究型大学的学生结构与世界一流大学相比还有一定差距。近年来，虽然A高校的研究生人数占全日制在校生人数的比例逐年增加，已经由2002年的11.15%提高至2010年的25.32%，但是与部属研究型高校的平均水平相比，A高校的研究生比例仍然比较低，与世界一流研究型大学相比更是有着巨大差距，因此，高校管理层应进一步采取措施加强学科建设，培育省级和国家级重点学科，提高研究生培养的数量和质量。

（4）完善研究成果的评价和激励机制，提高研究成果的质量。长期以来，A高校在研究成果评价中一直存在着“重数量、轻质量”的问题，这严重阻碍了教师对前沿性、探索性问题研究的积极性，许多教师纷纷转向研究周期短并且容易出成果的课题，这也导致A高校高水平原创性成果的匮乏。2011年，教育部发布了《关于进一步改进高等学校哲学社会科学研究评价的意见》（以下简称《意见》），并提出哲学社会科学研究评价要切实强化评价的质量意识、严格遵循评价的质量标准、大力推进优秀成果和代表作评价，并正确认识SCI、SSCI、A&HCI和CSSCI等引文数据在科研评价中的作用，避免评价的绝对化[15]。该《意见》的发布不仅对促进高等学校哲学社会科学研究的健康发展提出了建议，也对规范自然科学领域研究和评价工作给予了指导。A高校作为一所以工科为主，理工文管法经等多学科协调发展的综合性大学，高校管理层应积极响应教育部号召完善科研成果的评价机制，对人文与社会科学、自然科学等不同学科领域，基础研究和应用研究等不同研究类型，以及论文、研究报告、著作、教材等不同类型的研究成果运用科学方法进行分类评价，并根据评价结果对不同类型的项目和成果制定不同的奖励措施，尤其是对发现新问题、提出新观点、构建新理论与新方法的精品成果要给予相关教师丰厚奖励，学校可以在职称评定、新项目申报、薪酬待遇等方面制定相关优惠政策。

4 结语

高等学校整体绩效评价和高等教育财政支出效果评价的目的不仅在于使高校和教育主管部门了解高校的办学绩效和资源利用情况，更重要的意义在于，通过绩效评价促使高校和教育主管部门能够充分认识到自身在教育资源分配和绩效管理中存在的问题，并能够依据发现的问题，采取有针对性的措施来提升高校的办学质量和教育资源的使用绩效。本文以教育主管部门作为问责主体，选择部属A高校作为问责客体，以高校教育资源投入水平既定为假设前提，采用理想解距离向量法TOPDIS对部属A高校各项产出绩效指标的提升空间、提升的难易程度，以及提升潜力做了深入分析，并从教育主管部门的角度，从学校科研管理部门加强项目申报和立项课题的过程管理、完善研究成果的评价制度、加强学科建设和提高研究生培养数量和质量方面，对如何提升和改善A高校的整体绩效提出了建议，从而为问责主体与问责客体之间沟通反馈机制的建立提供参考案例。