基于DEA与Malmquist指数的高校优势学科建设绩效评价研究
2020-11-26李爱彬
李爱彬,张 超
一、引言
2015年10月,国务院印发了《统筹推进世界一流大学和一流学科建设总体方案》,提出“双一流”大学建设目标,即“以一流为目标、学科为基础、绩效为杠杆、改革为动力,支持和鼓励不同类型的高水平大学和学科差别化发展”。“双一流”建设作为一项系统性工程,不仅对建设高校和建设学科提出了更高的要求,也对如何识别一流和判定建设绩效提出了新的挑战。一流大学必须以一流学科作为基础。江苏省于2010年就启动了优势学科建设工程,迄今已立项建设三期项目,累计31 所高校226 个学科得到立项建设。作为国家“双一流”建设和江苏高水平大学的重要组成部分——“优势学科建设工程”,如何对其绩效进行科学和全面的评价,将优势学科这条“根”转化为一流学科这颗“果”,不仅关系到江苏高校“双一流”的建设进程,同时也对全面提升江苏高等教育核心竞争力产生深远巨大的影响。
绩效是业绩和效率的统称,包括行为过程和行为结果两层含义[1]159。学科绩效评价是一种基于投入产出“效率”进行综合判定的价值判断活动。绩效评价研究的重点是如何应用合理的算法,更好地呈现从投入到产出实现的效率。在一定条件下,跟踪效率变化情况,发现从投入到产出的发展规律,从而优化建设规划。学科建设绩效是考察学科建设过程和结果产生的“效能”,具体来说就是与学科建设投入产出相关的效率[2]。然而由于教育产出具有公共性和多元化的特点,其绩效具有长期性和滞后性,因此各高校在对其优势学科的多投入绩效评价体系和方法上的构建,逐渐成为了学科建设的重点和难点。长期以来,高校的内部绩效评价难以跳出传统怪圈,难以适应新时代高等教育发展的新需求。2020年,“双一流”第一轮的五年建设已接近尾声,如何进一步科学合理评估“双一流”建设绩效也都受到各方的高度关注。目前,教育部已试行发布《“双一流”建设监测指标体系》(教研司[2020]4 号),监测评估体系已作为“双一流”建设的新指挥棒。而政府对学科发展的投入是其成长为中国特色一流学科的重要动力,在有限的财政资源与无限的学科发展潜力矛盾下,树立绩效思维,开展学科建设绩效评价研究具有重要的理论和现实意义。
目前,研究学者主要从学科绩效指标体系的构建、评价方法的选择等方面进行了研究。一是在学科绩效评估指标体系的构建研究方面,王兵等提出学科建设项目“投入―产出”之间具有非直接关联性、时滞性和异质性的特点,试图构建学科建设项目的“投入―产出”绩效评价体系,通过对学科建设项目的建设过程及产出绩效进行综合评价[3]。梁传杰认为,学科建设绩效评价指标体系包括两部分,输入可归纳为人、财、物三要素,分别为学术队伍、工作条件和建设经费,输出为教学与人才培养、科学研究成果两部分[1]160。薛玉香强调指标体系应作为一个统一的有机整体,权重赋予应当各有侧重,并且要引入投入和产出维度,并将具体学科建设分为投入、运行、产出三个系统,分别归并相应指标进行评价[4]。张男星从人力、物力和财力投入来设计高校投入指标,从高校的教学、科研和社会服务三大职能的角度来设计高校产出指标[5]。二是在高校学科绩效评估方法选择的方面,目前评估方法比较多,研究主要利用指标权重赋权法、层次分析法(AHP)[6]、平衡记分卡法(BSC)[7],也有少数学者将灰色评判模型、模糊综合评估法等方法与学科建设绩效评估相结合。数据包络分析法(DEA)被广泛应用于分析学科绩效评价有效性:王洪礼基于DEA 对省级高校重点学科建设投入产出效益进行评价[8]。李明等提出基于模糊的地方高校学科建设绩效评价方法[9]。陈燕、林梦泉等运用广义教育绩效评价理论与应用方法,综合研判教育资源投入与产出关系,提出“平均绩效点分区法”评价教育绩效[10]。以上研究对于学科投入绩效评估的体系构建、指标选择和模型选取都具有重要的借鉴意义。
从现有文献看,学者都对学科绩效评价做出了有益的尝试,但总体来看主要还存在以下局限:一是对绩效评价体系的内涵把握不够。评价指标体系的构建上,缺乏大学学科投入与绩效结果的关联考察,不能体现大学学科发展态势,不能够反映出学科建设绩效评价的目标。指标的权重确定包含较大的主观因素,要构建比较合理的学科建设绩效评价指标体系,既要对学科建设的投入与产出情况进行综合考查,又要对学科建设的过程和建设结果进行全面评价。二是评价方法需要进一步优化。在绩效评价的方法上,多采用平衡记分卡、层次分析法等较为传统的统计方法,这些方法的优点在于能够筛选出非重要指标,找出一定的主要指标,对各项指标权重的赋值具有较强的支撑作用,但其缺点在于评价结果依赖于所选取的指标样本,主观性较强。另外一些学者采用的数据包络法(DEA),相对于其他综合评价方法的优势在于可以处理具有多输入、多输出的复杂效率评价,它的显著特点是不需要估计生产函数,无需统一指标量纲,不要求设置权重,减少了主观因素造成的干扰,客观性很强。但是如果在DEA 方法的运用上多采用静态的数据处理方法,而忽视了绩效评价静态和动态化的统一,容易导致绩效评价缺乏一定的可靠性。
本文以江苏省优势学科建设为例,构建投入—产出相关联的绩效评价指标体系,通过引DEA 与Malmquist 模型指数法来对其优势学科建设的绩效进行评价,重点对学科资源配置和利用的有效性进行静态和动态相结合的实证分析评价,并提出针对性的政策建议。本研究在一定程度上弥补了当前学科绩效研究的不足,为促进学科资源的优化配置和相关学科建设相关政策的制定提供决策参考。
二、绩效评价模型与方法选取
1.DEA 模型
DEA 模型通过保持决策单元的输入或输出不变,确定相对有效的生产前沿面,将决策单元投影到DEA 生产前沿面上,通过衡量决策单元偏离DEA 前沿面的程度来测度相对有效性。其基本模型是由查恩斯(Charnes)、库珀(Cooper)和罗兹(Rhodes)于1978年提出的CCR 模型,假设规模收益不变用于评价决策单元技术的总体有效性。1984年班克(Banker)、查恩斯(Charnes)和库珀(Cooper)将CCR 模型修正为BCC 模型,基于可变的规模收益计算决策单元的纯技术效率。利用CCR 和BCC 模型可以判定决策单元是否DEA有效[11]。
具有非阿基米德无穷小量的CCR 模型为:
具有非阿基米德无穷小量ε 的BCC 模型为:
当标准型线性规划的最优解θ*=1,并且对每个最优解λ*、s*-、s*+都有s*-=0 和s*+=0 时,则称决策单元为DEA 有效;当θ*=1 时,并且s*-≠0 或s*+≠0 时,则称决策单元为DEA 弱有效;θ*<1 时,则称决策单元为非DEA 有效。
2.Malmquist 指数
Malmquist 指数,即全要素生产率指数(Toal Factor Productivity,简称TFP)。运用距离函数(Distance Function)来定义,是衡量单位生产活动在一定时间内总投入与总产量生产效率的指标,即总产量与全部要素投入量之比。从t 时期到t+ 1 时期的Malmquist 指数可以用两个时期的效率变化几何平均来定义,见式(3)。其中,(xt,yt)和(xt+1,yt+1)分别表示第t 时期的投入量和第t+1 时期的产出量,Dt和Dt+1分别表示上述时期的距离函数。
Malmquist 指数可以进行不同形式的分解。雷(Ray)等人提出了Malmquist 指数分解的模型,将指数分解为技术效率变化指数(EFFCH)和技术进步指数(TECHCH)两大因子[12],见公式(4):
式(4)右边第一项和第二项分别表示在时期t和t+1 之间,技术效率变化和技术进步对高校科研全要素生产率变化的相对贡献中如果大于1,则表明它们促进了全要素生产率增长,从而推动了学科绩效的改善;如果等于1,则表明它们没有影响到全要素生产率的变化,从而在学科绩效演变中没有起到任何作用;如果小于1,则表明它们阻碍了全要素生产率提高,从而遏制了学科绩效的改善。
总之,传统的DEA 模型主要测量同一时期截面数据的静态效率,即单一时间点的效率,而Malmquist 指数模型则可以对决策单元不同时期的面板数据进行计算,最大的优势是在于能够对具有多投入、多产出的效率进行动态、纵向测算。对于高等教育在进行资源配置活动而言,它本身就是一个动态可变的复杂过程,只有将学科投入资源优化配置的评价放到具有时间维度的空间中进行,评价结果才能更加科学合理。因此,运用DEA 与Malmquist 指数模型用来测算优势学科绩效,能够将静态分析与动态分析结合起来,突出学科投入、产出之间以及学科间的动态比较,有助于更好的衡量学科绩效水平,明晰化学科发展水平之间差距,全面真实反映在一定时期内高校资源配置的真实情况。
三、绩效评价指标体系构建
学科绩效评价指标是绩效评估的中心环节,也是绩效评价工作能够科学全面、准确分析并且获得成功的重要保证。高校优势学科建设是一流学科建设的基础,主要包括学科方向、学科条件、学术队伍、人才培养、科学研究与学科创新、学科声誉等内容,其绩效评价需要综合考虑优势学科建设和发展中投入和产出所包含的多元要素以及内部之间的逻辑关系,反映优势学科建设全过程。本文依据“双一流”建设的目标要求,参考国际有影响力的评价体系,兼顾高校优势学科建设的江苏区域特色,借鉴现有江苏优势学科评价指标,建立初始的相关学科绩效评价指标集合,然后在充分吸收相关专家和学者意见的基础上,并考虑到指标完备性和简约性,经过筛选最终构建优势学科建设绩效评价三级指标体系。其中一级指标2个、二级指标7 个、三级指标23 个,具体见图1。
(1)投入指标。一般而言,对于优势学科建设过程中的投入因素主要从人力、物力、基础设备等几大方面来考虑分析,同时也包括在具体学科建设中文化建设、学术交流与合作等环节。基于此,本文采用经费投入、师资力量、支撑条件、学术合作4 个指标作为投入二级指标。
经费投入:高水平的学科建设离不开资金的投入。由于高校优势学科采用的是“政府牵头主导,高校自荐自评”模式,因此学科建设经费主要来源于教育部、省政府和学校自筹。本文选取教育部投入、省政府投入以及学校投入3 个指标来评价优势学科经费投入情况。
师资力量:优秀的师资可以提高学科的吸引力和向心力。师资力量属于人员方面投入,要重视学科建设中高层次人才的投入规模和质量。
支撑条件:主要指教学和科研基地,主要体现在国家级平台、省级平台。
学术合作:学术合作是评价高校学科对外活动指标,主要体现在国内外学术交流情况和与社会组织的合作情况。
(2)产出指标。高校优势学科产出部分主要是涵盖了大学的基本职能,突出人才培养、重大成果产出贡献和社会有影响力指标。一方面,衡量产出成果指标要能对接国际标准;另一方面,产出指标还要体现服务于及区域经济社会发展。基于此,本文采用科研成果、人才培养、社会影响3 个指标作为产出二级指标。
科研成果:科研成果是评价学科发展、提升学科竞争力的关键指标,主要包括发表高水平论文、专著、科研获奖、发明专利等。
人才培养:主要体现在新晋国家级人才数和体现学生培养效果的关键指标上。
社会影响:主要选取代表性衡量指标,以教育部学位中心学科评估得分情况和学科成果转化收益率衡量学科社会影响力。
图1 江苏省优势学科绩效评价指标体系
四、优势学科绩效评价实证分析
本文相关数据均来自于江苏省优势学科建设工程管理平台、相关高校官网、ESI 数据库等。基于数据可得性,本文以江苏省优势学科建设工程15 个立项学科进行分析,为表达方便将它们依次命名为D1、D2、D3……D15,分别选取建设初期及建设满4年这段时期的分项指标。为保证结果的有效性和准确性,将三级指标进行折算,将23 组三级指标数据转化为7 组二级指标数据[13],并排除不同量纲的干扰,将数据进行归一化处理,结果如表1、表2所示。
表1 优势学科建设初期样本数据
续表
表2 优势学科建设期满后数据
续表
1.学科绩效静态评价分析
以建设期满被选江苏省优势学科指标数据为研究对象,在MAXDEA 中运用基于投入导向的非参数DEA 模型,对被选的15 个优势学科绩效的有效性和发展趋势进行分析,计算结果如表3。从表3可以看出DEA 有效的4 个学科,仅占所选学科总数的27%,说明所选15 个优势学科整体资源有效利用率和学科建设水平受资源投入要素影响程度以及学科规模增长情况不够理想,整体水平一般,DEA 有效性偏低。技术效率有效的有11 个学科,约占总数的73%,说明学科总体的技术创新能力较好,同时也说明15 个学科的综合效率有效性偏低主要受规模效率的影响。在综合效率非DEA 有效的11 个学科中,D1、D5 技术效率略小于对应的规模效率,说明这2 个非DEA 有效学科的综合效率下降受到技术效率和规模效率的综合影响。
表3 15 个优势学科建设绩效静态评价结果
表3的11 个非DEA 有效学科中,有10 个学科规模收益递增,1 个学科规模收益递减,对这些规模效率无效的学科应采取一定的改进措施。通过对DUM 进行投影分析,可以计算出投入指标及输出指标需要调整的量(或者比例),解决规模递增或递减的问题,从而指导决策者对学科进行资源配置优化,也为辅助决策和指导提出参考建议。下面通过投影理论进一步分析导致上述11 个被选学科规模效率非DEA 无效的情况,计算结果如表4所示。从投入角度可以看出,表4所有学科均有经费、师资投入等方面冗余,条件没有得到充分利用,应减少资源投入、优化师资结构、提升资源的利用效率。从产出角度来说,这15 个学科中的D1、D7、D11 与D14 这4个学科科研成果产出不足,创新能力不够,应该提升创新成果产出量。除D14 和D15 外,其余学科人才培养匮乏,后备创新力量不够,应提高培养人才的数量和质量。而D4、D5、D6、D8、D9、D12、D15 学科社会影响力不足,应加大通过创新对社会经济及发展贡献,提高学科声誉和影响力。
表4 投入冗余与产出不足情况
续表
2.优势学科绩效动态评价分析
利用软件MAXDEA,对这15 组数据基于利用基于投入导向的Malmquist 模型进行测算,绩效评价结果如表5所示,并对评价结果进行总体分析和具体分析。
表5 优势学科绩效动态综合评价结果
(1)总体分析。被选的15 个江苏省优势学科全要素生产率平均值为0.738,这表明测度的15 个江苏省优势学科建设情况总体上科技进步贡献率不够高。15 个优势学科技术进步均值为1.047,技术效率的均值是0.688,说明总体影响优势学科建设绩效的因素是技术效率值,即学科对于资源配置与利用能力相较于学科知识体系创新、各方面投入资源增长、学科设备环境更新情况来说,还有待于进一步提高。从评价结果技术进步这一指标来看,已经有11 个被选学科达到了技术进步,表明73%学科技术创新绩效达到有效,真正实现了科技创新和进步,即在学科投入方面中,很好地发挥了学科内在创新能力。而从技术效率方面看,有11 个学科技术效率值小于1,表明73%的学科资源没有达到有效配置,资源利用、组织管理水平还有待于进一步提高。
(2)具体分析。这15 个优势学科Malmquist 指数,全要素生产率数值大于1 的学科有6 个,其中D12 学科上升最快,说明这6 个学科在建设期间对科技进步做出的贡献率较大,而D12 学科做出的科技进步贡献率最大。从分解的技术进步率和综合技术效率值进一步分析,这6 个优势学科技术进步值均大于1,其中有3 个学科的技术效率值小于1,这说明3 个学科的全要素生产率提升的主要原因是由于其技术进步效率的提高,即是学科的技术创新提高了其科技进步的贡献值,而学科自身的组织管理水平导致资源利用率较低,管理上还有进一步提高改善的空间。同时可以看到D2、D3、D10、D11 和D12 的技术进步值和技术效率值均大于或等于1,说明这5 个学科的科技进步贡献效率提高是因为技术创新和学科组织管理水平共同作用的结果。
在全要素生产率小于1 的9 个学科中,科技进步贡献率下降最快的是D5。分析这些学科全要素生产率下降的原因,从表5可以看出D1、D4、D6、D8、和D9 的技术进步值均大于1,而技术效率值均小于1,说明这5 个学科全要素生产率下降的主要原因在于其技术效率的下降,即组织管理整体水平不够致使资源配置利用不足。其中D6、D8 和D9 的纯技术效率的值为1,规模效率小于1,说明这3 个学科的管理问题主要是由于投入规模和产出不相匹配,存在投入冗余,学科治理制度不够合理,学科资源配置不合理。D13 的技术效率值等于1,技术进步率值小于1,表明其科技进步效率主要受科技创新水平影响,学科组织管理及资源配置利用较好。D5、D7 和D14 技术进步值和技术效率值均小于1,说明这3 个学科的科技创新水平和资源配置利用管理水平不足导致了其全要素生产率降低,其中D5 和D7 的技术进步率大于技术效率,说明其资源配置利用管理水平相对科技创新水平不足对其学科科技进步贡献率降低影响更大。进一步从综合效率分解值来看,分析这些学科全要素生产率下降的原因,D7 和D14 的纯技术效率为1,说明其资源利用水平不足主要体现在投入规模过大,而D5 技术效率值和技术进步率远小于1,说明其技术创新和学科组织管理水平和资源配置利用能力较弱是导致其科技进步贡献率偏低的主要原因。
五、结论与启示
1.完善学科绩效评价机制,加强制度建设
目前江苏省优势学科考核只考查了产出,而忽视了投入,还不是真正意义上基于投入产出的绩效评价。因此,在学科建设评价指标体系的构建上,要全面予以体现能够反映出学科建设绩效评价的目标和宗旨,以绩效评价体系推进江苏优势学科建设。这个评价体系对标世界一流标准,体现中国特色思想,运用科学的评价方法对学科投入、建设过程和产出进行综合评价,不仅关注学科知识创新的贡献、人才培养目标达成情况也关注资源的投入、配置使用情况。换句话说,不仅关注静态的结果,也关注动态的过程。这个评价体系可以测度优势学科对投入资源利用能力和成果转化、应用能力,提高优势学科建设管理水平。
2.强化学科评价结果运用,优化配置资源
目前学科绩效评价实施的目的并没与政府的资源分配挂钩,这就会导致绩效评价在政策层面沦为一种可有可无的工具,学校则没有动力实施绩效评价。“双一流”建设强调以“学科为基础、绩效为杠杆”,通过绩效评价手段测评优势学科的成长性及可持续性,形成有效的优胜劣汰机制,对建设效果较好、效率较高学科应加大投入,鼓励、支持、引导这类学科发展,提高学科建设活力;而对学科建设成效欠佳、效率不高的优势学科,调整投入的规模和支持力度直至停建。总之,要强化学科建设动态管理,打破优势学科身份固化,优化资源在不同高校、不同学科间的有效流动,调动各方面积极性,争创一流学科建设积极性。
3.动态监测评估学科绩效,培育一流学科
对优势学科建设的投入是其成长为一流学科的重要动力,在有限的财政资源与无限的学科发展潜力矛盾下,迫切需要对所投入的资金进行绩效考核。从动态分析结果和静态分析结果中可以看出,被选优势学科绩效产出差异较大,不同学科发展中存在的问题不同,因此学科发展中要具体分析学科发展症结,切记盲目投入和“一刀切”管理。通过不同学科绩效评价结果及其数据处理分析,揭示其在建设过程存在的问题,为院校提出学科建设整改和突破方向,完善学科治理机制,加强内涵质量建设,打造一流学科,培养一流人才,产出一流成果,更好地服务于区域经济社会发展。