省属本科高校绩效评价研究

2013-06-05姜华，吴跃，孙新宇，叶涛

大连理工大学学报（社会科学版） 2013年1期

姜华，吴跃，孙新宇，叶涛

（1.东北大学文法学院，辽宁沈阳 110819；2.辽宁教育研究院，辽宁沈阳 110034；3.西安华璞企业管理咨询有限公司，陕西西安 710068）

世界发达国家对教育绩效评价研究都十分重视。美国学校绩效评价始自1966年的柯尔曼报告［1］，目前很多州都实行以绩效报告、绩效资助和绩效预算组成的高等教育问责制［2］，这三种绩效政策都离不开对高校的绩效评价［3］。20世纪80年代，英国副校长和校长协会与大学拨款委员会（CVCP／UGC）联合工作小组将绩效指标设计为输入指标、过程指标和输出指标三类［4］，荷兰政府对高等教育的投资也完全以绩效评价作为前提［5］。美国国家教育中心和国家科学委员会（NSB）、澳大利亚高校副校长委员会及高等校长委员会（AVCC／ACDP）、荷兰教育科学部和经济合作组织（OECD）都曾对高等教育评价指标进行了大量研究并应用于教育管理［6］。

20世纪90年代以后，大学的绩效评价在我国开始兴起［7］，并在近几年成为研究热点之一。国内学者主要是从两个方面进行了研究：第一个方面是对于某个专项的研究，其中包括采用“双权重”对高校专业的评估［8］；采用“分半法”对教务处工作评价信度的分析［9］；采用“二次相对评价方法”对于研究和发展综合实力的评价［10］；采用“模糊评判数学模型”对教学质量的评价［11］；采用“多层次模糊综合评价”对高校管理的评价［12］；采用“评价动态模型”对高校教学质量的评价［13］。

第二个方面是对高校的整体绩效评价的研究。于珊珊采用DEA分析的方法对中国管理科学院科学学研究所大学评价课题组发布的“2008年中国大学评价”的前20名大学的排名进行了分析［14］；钱三平等构建了研究型大学绩效评价的指标体系［15］；应望江等构建了教育部直属高校绩效评价的指标体系［16］；中央教育科学研究所高等教育研究中心对教育部直属的72所高等学校进行了绩效评价［17］。

目前对高等学校的绩效评价的研究多是针对研究型大学，对省属本科高校绩效评价较少。省属本科高校的教学和科研水平与研究型大学的差距较大，因而研究型大学的绩效评价指标无法直接应用到省属的本科高校，需要根据省属本科高校的特点单独构建绩效评价指标和评价模型。

本文以辽宁省省属本科高校为例，采用“投入产出法”进行绩效评价。“投入产出法”具有直观易于理解、方法简单易于操作的优势，通过比值反映组织绩效大小，满足了绩效评价科学性的要求［18］。首先建立投入和产出指标体系，然后运用定性和定量方法对初设指标进行筛选，构建出省属本科高校绩效评价模型，最后对辽宁省本科高校的绩效进行了评价。

一、评价指标的构建

1.评价指标的定性筛选

绩效评价指标的筛选是绩效评价中的重要环节，直接关系到绩效评价的质量。本文选取了十几位高等教育管理领域内的学者作为本研究的专家，通过德尔菲法来对绩效评价指标进行初选。经过与专家们对评价指标的反复论证，本文最初选取了17个投入指标和19个产出指标，其中为适合省属高等学校的特征，减少产出指标的数目，将有些相似的指标进行了合并，具体如下：

第6项“高校强项建设”指标及计算公式为：高校强项建设＝博士后流动站数＋国家重点一、二级学科数＋国家重点实验室数＋国家工程研究中心数＋院士数；

第12项“省级以上科研成果获奖数”指标及计算公式为：省级以上科研成果奖＝省级科研成果奖＋国家级科研成果奖×3，即一个国家级科研成果奖相当于3个省级科研成果奖；

第15项“省级质量工程项目数”指标及计算公式为：省级质量工程项目数＝省级教学名师数＋省级教学团队数＋省级精品课程数＋省级示范特色学科数；

同时，本文还特别考虑了体育院校和艺术院校的特殊性，在某些指标的统计中作出了特殊的规定。例如，对于体育院校，“国外发表学术论文数”包含了奥运会、亚运会等科学报告会的论文数；同时将奥运科技攻关成果数、奥运会金牌数、奥运会奖牌数、世界三大赛金牌数、世界三大赛奖牌数计入“国家级科研成果奖”之中。同样，对于艺术院校的相关成果也进行了相同的处理。

对于这17个投入指标和19个产出指标，本文首先进行定性筛选。评价指标定性筛选遵循全面性原则、低重叠性原则、均衡性原则、数据可靠性原则。全面性原则是指标的选取要能够全面反映高等学校的投入和产出情况；低重叠性原则是对全部指标进行对比分析，将重叠的指标筛除；均衡性原则是在投入的三个方面和产出的三个方面上都有一定的指标，以保证评价的均衡；数据可靠性原则是本研究的数据均采用辽宁省教育统计年鉴和教育厅的官方数据，以确保数据的可靠性。

经过定性的筛选，最终确定了13项投入指标和15项产出指标，如表1所示。表1中，定性筛选后的投入指标中1～4项指标考察高校的人力投入，既有数量指标又有质量指标；5～9项是考察高校的财力投入；10～13项指考察高校的物力投入。定性筛选后的产出指标中1～6项考察高校的人才培养状况；7～13项考察高校的科学研究状况；13、14项考察高校的社会服务状况。

表1 定性筛选后的投入产出指标

2.评价指标的定量筛选

评价指标经过定性化的筛选之后，虽然能够较全面反映省属本科高校投入产出情况，但各指标间的相互关系还需要通过定量化的筛选，才能够更加简洁和科学。

评价指标的定量化的筛选遵循投入与产出相关、信息量最大和信息重叠最小三项基本原则。本文以2009年辽宁省27所高校的数据为例，具体介绍筛选过程。

（1）数据归一化处理。数据归一化处理是消除原始数据的量纲，使数据具有可比性。在原始指标体系中，各指标的单位是不统一的，有些指标的数值差达到几万，而有些指标仅仅存在个位数字上的差异。这些不同量纲，不同特征的原始数据无法直接用于统计分析，所以在作统计分析之前首先要清除量纲的影响，也就是归一化处理。

本文采用了Z标准化处理，其转化函数为：

其中，μ为所有样本数据的均值，σ为所有样本数据的标准差，x为原始数据，x＊为转化后的数据。

本文采用SPSS18.0中的Z标准化处理方法获得了原始变量（指标）的Z得分，其中，ZX1到ZX13是Z标准化处理后的13项投入指标，对应于原始X1～X13指标，ZY1～ZY15是Z标准化处理后的15项产出指标，对应于原始Y1～Y15指标。

（2）投入和产出的相关性筛选。对于绩效评价指标，按照投入与产出相关原则进行筛选，筛选运用典型相关分析方法。典型相关是利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法。它把多变量与多变量之间的相关关系转换为两组变量之间的相关关系。典型相关分析首先在两个变量组各自的总变化中寻找他们之间最大的一部分变化关系，用一对典型变量来描述，然后再根据同样的原理产生第二对、第三对典型变量……，直至所有变化部分被提取完毕。

经过典型相关分析，共得到13对典型变量，以0.05为显著性水平，前3对典型变量的相关系数分别为1.000、1.000、0.994，故选择前3对典型相关变量作进一步分析。在典型相关分析过程中自动生成了投入典型变量和产出典型变量，通过投入变量和投入典型变量的相关程度可以剔除与典型投入变量相关程度较低的投入变量，同理也可以剔除与产出典型变量相关程度较低的产出变量。基于此思想，本研究分别用SPSS18.0作13个投入变量与前3个典型投入变量，15个产出变量与前3个典型产出变量的Pearson相关性分析。

经过分析发现，ZX8（固定资产总值）和ZX11（实验室面积）与前3对典型投入变量相关程度较低，显著性水平远远大于0.05，表明这2项原始变量对投入典型变量的影响程度很弱，因此被直接剔除。在产出变量与前3对产出典型变量相关系数矩阵中，以0.05为显著性水平，ZY13（开设实验项目数）、ZY14（当年专利授权数）、ZY15（省级质量工程项目数）与前3对典型相关变量均表现出较差的显著性，因此被剔除。

经过本轮典型相关分析，13项投入指标剩余11项，其中ZX8和ZX11被剔除；15项产出指标剩余12项。其中，ZY13、ZY14、ZY15被剔除。新的投入产出指标将进入下一轮分析。

（3）评价指标的重叠性筛选。按照信息量最大和信息重叠最小原则，对评价指标作重叠性分析。重叠性分析采用聚类分析的方法。聚类分析能够将一批样本（或变量）数据根据其诸多特征，按照性质上的亲疏远近程度在没有先验知识的情况下进行自动分类，产生多个分类结果，且类内部个体特征之间具有相似性，不同类之间个体特征的差异性较大［19］（P239）。

本研究将采用系统聚类分别对投入指标组和产出指标组进行聚类分析。如果有2个或2个以上的指标被聚为一类，则需要借助简单相关分析并结合理论判断来挑选出一个指标作为代表性指标进入下一轮分析，其他同类指标将会被剔除。

对投入11项指标进行聚类，以2.5为距离，共聚为10，其中ZX1（校本部教职工总数）和ZX10（一般图书册数）被聚为一类，其他各为一类。结合投入各变量间相关系数矩阵，以和其他变量相关性较低的变量为入选的原则，最终剔除ZX10（一般图书册数），选择ZX1（校本部教职工总数）为代表性指标，故此次聚类分析剩下10项投入指标。

同样的操作可以得到产出指标组的系统聚类，以2.5为距离，共聚为9类，ZY7（科研课题数）与ZY9（国家级课题数）为一类，ZY5（省重点学科）和ZY6（高校强项建设）为一类，ZY4（硕士点数）与ZY8（著作数）为一类，其余各为一类。

以ZY7、ZY9和其他产出变量的相关性为基础，同时考虑省属本科高校采用科研课题数指标评价更符合样本特点，故剔除ZY9（国家级课题数）指标，选取ZY7（科研课题数）指标；从ZY5、ZY6和其他变量的相关性系数矩阵难以作出强弱判断，结合理论和数据特征选择ZY5（省重点学科）指标，剔除ZY6（高校强项建设）指标；ZY4、ZY8和其他产出变量的相关性为依据，选择ZY8（著作数）指标，剔除ZY4（硕士点数）指标。

经过本轮聚类分析，本文得到了10项投入指标和9项产出指标，分别是ZX1、ZX2、ZX3、ZX4、ZX5、ZX6、ZX7、ZX9、ZX12、ZX13和 ZY1、ZY2、ZY3、ZY5、ZY7、ZY8、ZY10、ZY11、ZY12。它们将作为最终指标体系进入绩效评价中。

二、绩效模型及绩效评价

1.样本选取

辽宁省目前有省属本科高校30所，其中3所新建本科高校因其院校特征与其他省属本科高校差异较大，其数据可比性较差，故不在本次绩效评价范围内，所以本研究只选取其中的27所本科高校作为绩效评价的对象。

2.评价模型

经过定性和定量的指标筛选之后，初设投入产出指标体系已经被精简化和科学化，但是每项指标的权重系数仍然无法确定。

为了确定各项评价指标的权重，本文采用主成分分析法。主成分分析的一个重要特点就在于提取主成分后可以通过主成分矩阵和特征值计算得到各个主成分对应于每一项指标的系数［19］（P258）。对10项投入指标进行主成分分析，根据投入主成分特征值及方差贡献率，共提取4个主成分，累积贡献率达81.087%，具有很好的解释度。对9项产出指标进行主成分分析，根据产出主成分特征值及方差贡献率，共提取2个主成分，累积贡献率为71.915%，具有较好的解释度。经过主成分分析，可以得到投入得分计算公式和产出得分计算公式。

投入得分的计算公式为：

其中，X为某高校某年的投入量；Y为某高校某年的产出量；S为某高校某年的绩效得分。

通过投入和产出的计算公式可以计算出各高校投入和产出的得分。由于投入得分和产出得分是基于Z分数标准化的数据得来的，这样在结果中就存在负数，不能直接代入绩效公式，所以使用T分数转换公式，即T＝50＋10×Z。将原始投入得分和产出得分进行T分数转换，转换后的数值保持了原来的差异特征，又均为正数，可以直接代入绩效公式得出2009年各高校的绩效得分。

3.绩效评价

为了使绩效评价能够更加科学，本研究采集了2009～2011年的数据。同样经过前文的数据简化建立绩效模型，计算出另外2010～2011年各个高校的投入得分、产出得分和绩效得分。然后将2009～2011年的绩效得分加和求其平均数，这样就得到了辽宁省省属本科高校的绩效得分和排名，具体计算结果如表2所示。

表2 辽宁省省属27所本科高校绩效综合得分

三、结论

通过绩效评价，可以看出在绩效排名为前10名的高校中，有以下三种类型。第一类：投入排名靠前、产出排名靠前，投入排名落后于产出排名，例如，中国医科大学、辽宁师范大学、东北财经大学和沈阳农业大学；第二类：投入排名靠前，产出排名靠前，产出排名落后于或等于投入排名，例如，辽宁大学和辽宁工程技术大学；第三类：投入排名靠后，产出排名靠后，投入排名落后于产出排名，例如，辽宁中医药大学、鲁迅美术学院、沈阳药科大学和大连海洋大学。

本研究的绩效评价结果和以往的大学排名结果有所不同，以武书连主持的“大学评价”课题组所作的辽宁省大学排名为例，该排名与本研究所得出的绩效评价结果有明显的差异。“大学评价”排名的指标主要是基于高校的总量，是对大学综合实力的评价，难以对大学利用资源的效率作出评价。

本研究的绩效评价是对以往大学评价的补充和发展，是对大学的动态发展过程和资源利用率的评价。绩效评价研究以高校将投入资源转化为产出结果的效率为衡量标准，能比较客观地反映不同高校在资源利用上的优劣。通过绩效评价，不仅能促进高校加强对其投入资源的充分利用，而且为政府高效率地配置高等教育资源提供了依据。

本研究还有一些待完善的地方。例如，对于绩效指标体系还需要进一步的研究，排名靠后的沈阳工业大学和沈阳航空学院，都是因为其当年的基建投资较大，而使得投入较大，结果导致绩效排名靠后。这种异常性的数据，使得绩效评价还不能够完整地反映学校的资源利用情况，今后应该研究对于这种异常性的数据如何进行调整和处理。另外，在评价指标的确定中，对于那些常年占用的指标（例如校本部教职工总数、固定资产总值等）是否要和每年都投入的指标（例如教育总收入、科研经费投入等）一样等同对待；对于最能够反映高等学校绩效的因素——“教育质量”应该用什么指标体现，还需要进一步的深入研究。

［1］STRINGFIELD S，HERMAN R.Assessment of the state of school effectiveness research in the united states of A－merica［J］.School Effectiveness and School Improvement，1996，7（2）：159－180.

［2］McLENDON M K，HEARN J C，DEATON R.Called to account：analyzing the origins and spread of state performance－accountability policies for higher education［J］.Educational Evaluation and Policy Analysis，2006，28（1）：1－24.

［3］BURKE J C，MODARRESJ S.Performance funding programs：assessing their stability［J］.Research in Higher Education，2001，42（1）：51－70.

［4］CAVE M，HANNAY S，KOGAN M，et al.The use of performance indicators in higher education：a critical analysis if developing practice［J］.Educational Studies，1989，15（2）：205－210.

［5］史万兵，赵士谦.荷兰高等教育投资绩效评价制度的经验与启示［J］.大连理工大学学报（社会科学版），2011，32（3）：67－70.

［6］王平心，殷俊明.高等院校内部绩效评价研究［M］.北京：科学出版社，2010.57－58.

［7］李越，叶赋桂.大学评价述评——兼论中国创建世界一流大学的差距及策略［J］.清华大学教育研究，2001，（3）：37－43.

［8］赵婷婷.指标综合值评估法在高校专业评价中的应用［J］.技术经济，1999，（3）：61－63.

［9］马学军，吴晓梅.山东省普通高校教务处工作评价方案信度分析［J］.曲阜师范大学学报，1999，25（4）：102－104.

［10］毕克新，吴勃英，冯英浚.测算高校R＆D综合实力的二次相对评价方法［J］.管理科学学报，2000，（3）：89－94.

［11］罗蔓，张复新.高校教师教学质量评价系统的量化模型［J］.数理医药学杂志，2002，15（1）：82－84.

［12］林春艳.多层次模糊综合评价在高校管理中的应用［J］.工科数学，2002，18（2）：24－27.

［13］王效义，谢印宝.高校教学质量评价新模型研究［J］.理工高教研究，2002，11（4）：89－90.

［14］于珊珊.DEA方法在我国高校绩效评价中的应用［J］.经济师，2009，（4）：104－106.

［15］钱三平，冯艳飞，李鹏.研究型大学绩效评价体系构建［J］.审计月刊，2007，（5）：50－51.

［16］应望江，李泉英.高校绩效评价指标体系设计及应用研究——以教育部直属高校为例［J］.国家教育行政学院学报，2010，（2）：45－50.