探索公平合理的研究型大学科研效率评价
——控制环境与随机因素的三阶段DEA模型
2019-03-23刘丽华宗晓华
刘丽华,宗晓华
(南京大学 教育研究院,南京 210093)
《统筹推进世界一流大学和一流学科建设总体方案》指出要坚持以绩效为杠杆,充分激发高校内生动力和发展活力。研究型高校的知识创新和科研能力是国家科技创新和经济发展的重要源泉,“985工程”等高校重点建设工程存在身份固化、竞争缺失、重复交叉等问题。合理评价研究型大学的科研效率,对加快“双一流”建设和推动高等教育内涵式发展具有重要的现实意义。
近年来,无需预设函数和参数的数据包络分析(DEA)因其简单方便备受学者青睐,[1]指标体系更关注质量因素,评价单元更小、分类更细和评价模型更复杂的方向发展。然而经典DEA模型与引用Tobit模型进行影响因素分析的二阶段DEA模型,均没有将环境变量和随机干扰分离出来,而是片面的将其归入投入和产出变量中,使得测量的结果是有偏的。[2][3]尽管部分研究尝试剔除环境变量和随机干扰的三阶段DEA研究,但是均侧重于第三阶段所谓真实效率值的解释上。研究者在分区域、类型、层级等方面评价高校科研效率的结果不尽相同,在没有充分论证环境变量选择的基础上的真实值的解释是有待商榷的。
地理位置包含经济发展、科技水平、文化氛围等要素信息,不同的指标得到的结果可能截然相反。正因如此,高校科研效率与所在地区经济发展之间的关系方面,学者们并未达成共识。[4][5][6][7]已有研究发现,产出容易量化的理工农医类院校的科研效率优于人文社科类占优势的高校(如财经类、师范类),[8]办学实力较强的“985工程”和“211工程”高校科研效率优于一般本科院校。[9]
部分研究还探讨了地区教育环境、校企合作环境与国际交流环境等环境因素的影响,[10]地区经济发展水平、教育水平与科技水平具有循环溢出效应,[11]而以交流人数为变量的国际交流环境是高校可以控制的内部因素。剔除环境变量的本意是将所有高校置于相同外部环境下,比较各高校的管理及努力程度与规模效益情况,高校可以通过努力调整的影响因素不在探索更为公平的研究型大学科研效率评价范围之内。因此本文通过选取突出科研质量和贡献的指标体系,采用熵值法客观赋予权重,利用2011年至2015年59所部属高校数据,构建基于产出导向的三阶段DEA模型,对控制与不控制地区、层级和类型等环境因素以及随机因素的影响进行对比实证分析。
一、指标选取和研究方法
(一)指标选取及数据来源
本着全面性、科学性、层次性、可比性和可操作性的原则,本文的投入产出指标和环境变量如表1所示。有效样本59所高校,数据由《教育部直属高校基本情况统计资料汇编》(2010年—2015年)整理,并用熵值法客观赋权计算,[12]其中,考虑到科研活动从投入到产出的转化周期,参考对转化周期的已有研究,[13][14][15]本文将转化周期定为 1 年,即产出指标数据滞后 1 年。
表1 研究型高校科研效率分析指标
从生产要素理论出发,可以将大学科研投入分为人力、物力和财力三方面。但是高校的物力投入(实验室面积等)和经费中的基本建设费用通常在短时间内不变或者某一年份忽然增加,存在偶然性和不确定性,而人力投入中起中坚作用的主要是专任教师,因此投入方面选用专任教师数量作为人力投入的指标,人文社科的科研经费与自然科学科研经费之和作为财力投入的指标。
大学科研产出的度量方面存在质量难以测量、与教学社会服务界限不清楚、产出各维度赋值困难等问题。仅以发表论文数量这种量化指标显然是偏颇的,AHP方法赋予各维度权重带有主观经验的色彩。本文产出指标分为科研论文、科研获奖和社会服务三个二级指标。在三级指标选取上,人文社科与自然科学并重,仅使用层次较高或认可度较高的产出,并用科研论文被引用量和影响力等来强化质量导向。在数据处理上,采用熵值法赋权计算,避免了经验主义和人为干扰,体现了客观性和科学性。
环境变量,又称外部影响因素,其选择遵循两个基本原则。首先,环境变量对松弛变量(本文采用产出导向,即一阶段得到的目标值与实际值的差值)和决策单元(样本高校)有影响,又不受决策单元控制;其次,环境变量不受单位影响。结合外部环境影响因素经典的PEST模型,考虑到高校背景,选取学校层次、地理位置和学校类型三个指标。是否为985工程高校既能体现出层次分类,又一定程度上暗含政策影响,即政府支持力度。从短期来看,政府的支持对高校科研产出具有促进作用,“985”工程高校在选择年度区间内获得政府多维度的支持,[16]集聚了大量社会资源。地理位置[17]选用是否为东部地区作为虚拟变量,我国东部沿海省份占据良好的地理优势,经济发展水平较高,产业聚集程度较高,为东部地区高校创造了良好的经济环境和文化环境。学校类型选用理工农医学科学生占比这一指标,相较于人文社科专业,理工科专业往往可以获得更多的来自国家和社会的经费支持,科研成果产出周期相对较短,更容易用数量指标度量。[18]而且,学校类型会形成独特的校园文化,在目标模糊的组织中可能存在路径依赖。[19]
(二)研究方法:基于产出导向的三阶段DEA模型
第一阶段:基于产出导向的BCC模型分析初始效率
数据包络分析(Data Envelopment analysis,简称DEA模型)用于评价相同部门间的相对有效性已经比较成熟,本文不再赘述。基于研究目的和数据决策单元特点,在第一阶段选用基于产出导向的规模收益可变的BCC模型得到各决策单元的效率值和诸产出的松弛变量。对于任一决策单元,产出导向下对偶形式的BCC模型可表示为:
其中ε为非阿基米德无穷小量。根据BCC模型中uo的的取值大小判断模型的规模收益情况:
(i)对于投入产出组合(xo,yo)规模收益不变当且仅当在某个最优解情况下有=0;
(ii)对于投入产出组合(xo,yo)规模收益递增当且仅当在所有最优解情况下都有<0;
(iii)对于投入产出组合(xo,yo)规模收益递减当且仅当在所有最优解情况下都有>0。
第二阶段:类SFA模型获得调整后的产出指标
决策单元的绩效受到管理无效率、环境因素和随机误差的影响,因此有必要分离这三种影响,[20]但是传统DEA模型没有考虑环境因素和随机噪声对决策单元效率评价的影响,而且Tobit回归不能有效分离随机噪声的影响。借助SFA回归的三阶段DEA[21]可以有效解决这一问题,以各产出松弛变量为因变量,各环境因素为自变量建立随机前沿分析模型(SFA)如下:
其中,Sni是第i个决策单元第n项投入的松弛值;Zi是环境变量,βn是环境变量的系数;vni+μni是混合误差项,vni表示随机干扰,μni表示管理无效率。其中v~N(0)是随机误差项,表示随机干扰因素对投入松弛变量的影响;μ是管理无效率,表示管理因素对投入松弛变量的影响,假设其服从在零点截断的正态分布,即 μ ~N+(0)。
结合Fried对环境变量的处理办法和 JLMS推导公式的原理,[22]对管理无效率项进行如下分离:[23][24]
第三阶段:调整后的投入产出变量的BCC模型效率分析
运用调整后的投入产出变量再次测算各决策单元的效率,此时的效率已经剔除环境因素和随机因素的影响,理论上是相对真实准确的。
二、实证分析与讨论
(一)第一阶段的初始效率结果
第一阶段运用以产出为导向的BCC模型计算59所研究型样本院校的技术效率、纯技术效率和规模效率(表2)。在不考虑环境因素和随机干扰下,北京大学、清华大学、北京师范大学、南开大学、复旦大学、华东理工大学、华东师范大学、南京大学和陕西师范大学这九所高校位于生产前沿面上,相对效率较高。我国研究型高校的平均技术效率为0.514、平均纯技术效率为0.595、平均规模效率为0.872,纯技术效率比规模效率低27.7个百分点。除了中山大学、厦门大学、西南大学、北京林业大学、北京化工大学、中国药科大学和北京中医药大学这7所高校的纯技术效率分别比规模效率高7.00、0.80、12.00、42.70、52.20、67.10、69.80个百分点之外,43所高校的纯技术效率比规模效率低,排名最后的西南交通大学纯技术效率比规模效率低94.3个百分点。
表2 我国59所研究型样本高校第一阶段科研效率情况
分析发现(图1),大部分高校规模效率较高、纯技术效率较低。其中纯技术效率和规模效率均低于全国平均水平的是北京邮电大学、西北农林科技大学、同济大学、重庆大学、华中农业大学、中国海洋大学、四川大学、中南大学、吉林大学、武汉理工大学、中国农业大学和南京农业大学这12所高校,其中农林院校占了4所,非东部高校占了6所。而且,规模效率最低的4所高校均为东部地区规模并不大的高校。这种具有集聚性的结果可能是有偏差的。我们推断这种偏误可能是经典DEA未考虑外部环境因素和随层次、类型、所处地区经济状况、科技水平、政府政策导向以及文化传统等方面存在差异,将所有决策单元视作同一类型进行比较与事实不符。将各个决策单元致于相同的外部环境下是非常必要的。
图1 经典DEA纯技术效率和规模效率分布的散点图
(二)第二阶段的环境因素分析
以第一阶段计算得到的松弛变量作为因变量,是否为985工程院校、是否为东部高校和理工农医学科本科生占比这三个环境变量作为自变量构建类SFA回归,结果如表3所示。
产出变量的松弛变量是指约束条件均达标之后,仍然可以改进的部分。如果回归系数为正,说明环境变量值的增加有利于该项科研产出的增加。回归系数为负,则说明环境变量值的增加不利于该项科研产出的增加。985高校的社会服务松弛变量显著为正,说明其在社会服务指标上表现优秀,存在低估;科研论文同样为正但是不显著;科研获奖松弛变量显著为负,说明985高校在这方面没有发挥出优势。东部地区高校在社会服务上表现显著高于非东部地区,但是在科研论文和科研获奖方面并没有优势。理工科院校在科研论文、科研获奖和社会服务方面松弛变量均显著为正,均表现优秀,存在低估。与此相对,人文社科占比较大的高校在这些方面并不突出。综上,外部环境对科研效率的影响不容忽视,采用剔除环境变量和随机干扰的三阶段DEA不失为一种可行的方法。
表3 我国59所研究型样本高校外部环境似SFA回归结果
(三)第三阶段的效率分析
1.经典DEA与第三阶段DEA的结果存在显著差异
从产出变量中剔除外部环境因素和随机因素干扰后,再次使用基于产出导向的BCC模型测算大学科研效率(表4)。控制环境因素和随机因素后,第三阶段我国研究型高校的平均技术效率为0.623、平均纯技术效率为0.688、平均规模效率为0.892,比第一阶段分别高出10.9、9.3和2.4个百分点;第三阶段纯技术效率比规模效率低20.8个百分点(差距较第一阶段减少约7个百分点)。剔除外界环境变量和随机干扰的影响对大学科研效率的影响较大。总体而言,纯技术效率是制约我国高校技术效率的主要因素。
剔除环境因素和随机干扰后我国研究型高校的规模状态变化较大,相较于第一阶段的规模递增状态的高校数量远多于规模递减和规模不变状态的高校数量,第三阶段处于规模递减状态的高校数量达40所,大约是规模不变(10所)或规模递增(9所)状态的高校的4倍。在59个样本高校中规模递减状态高校增加了19所,其中,东部地区增加10所(11/34),非东部地区高校增加9所(9/25)。
表4 我国59所研究型样本高校第三阶段科研效率情况
与图1相比,第三阶段DEA纯技术效率和规模效率分布更为分散,规模效率与纯技术效率低于平均值的院校显著增加。尽管控制环境因素和随机因素之后,整体效率有所提升,但是分布更为分散。而且规模效率较低的四所高校均为规模较大的综合类高校。
图2 第三阶段DEA纯技术效率和规模效率分布的散点图
图3 技术效率分布概率密度图
剔除外界环境变量和随机干扰的影响前后技术效率的概率密度变化如图3所示。调整之后我国高校科研技术效率水平显著提高,出现三个小高峰,分别大约在技术效率的0.4、0.7和0.9处。
利用配对t检验(Paired t test)[25]检验经典DEA与第三阶段DEA的结果是否存在显著差异。技术效率、纯技术效率和规模效率的配对t检验的值分别是0.00024(<0.05)、0.00028(<0.05)和0.33;即技术效率和纯技术效率的结果是有显著差异的,规模效率的结果不显著,不能拒绝没有显著差异的原假设。综上,经典DEA与第三阶段DEA的结果在数值、显著性及分布等方面均存在明显差异,即环境因素和随机干扰对大学科研效率具有重要影响。
2.经典效率评价低估了非东部高校、非“985”高校、理工类高校的科研效率
调整前后技术效率变化高达110%以上的高校有11个,均为理工农医比例较大的高校(表5)。其中,非东部地区高校有7所,985高校仅有2所,而且这两所均为双一流高校名单被划为B类的原985高校。“双一流”建设高校AB类的划分是否充分考虑高校在地理位置方面的劣势,一流学科的评定是否能打破高校的阶层固化现象,都值得我们深思。
表5 我国受环境因素干扰较大的研究型高校科研效率情况
通过双重差分法,分别测量学校类型、地理位置和学校层次三个变量对评估高校科研效率的改善程度(表6、表7)。在学校类型中,以学生规模即理工农医学生比例为分类标准,样本均值为0.68,理工农医学生比例大于0.68为大理类高校、大于0.50小于0.68为综合类高校、小于0.5为大文类高校。东部地区985高校共有19所,平均技术效率进步率为1.4%,其中尽管大理类高校的技术效率值较低,但是调整后的结果进步高于均值进步情况。相反,控制环境变量和随机干扰后,综合类和大文类技术效率竟有所降低,而且,这种降低主要是规模效率的降低导致的。大理类高校比综合类及大文类高校所处环境稍微差一些,在经典DEA效率评价中低估了大理类高校的科研效率。部分学者认为人文社科类高校因指标不易量化而处于劣势,[8]本文实证研究表明,采用更偏重质量的指标体系时,对投入指标特别是科研经费上远高于人文类专业的理工类高校采用产出/投入计算效率的逻辑是不公平的。
表6 调整前后不同类型、地区和层次高校的技术效率变化
大理类985高校共有18所,控制环境变量和随机干扰后,技术效率进步14.9%,其中,非东部地区高校进步18.7%,东部地区高校进步12.1%。非东部地区高校技术效率的进步均来自于纯技术效率的进步,其规模效率在调整后甚至有所退步。经典效率评价低估了非东部地区高校技术效率特别是纯技术效率。东部地区的大理类高校技术效率平均进步41.8%,其中,非“985”高校进步了76.6%,985高校仅进步12.1%,控制环境变量和随机干扰后,非“985”高校的技术效率、纯技术效率和规模效率均存在低估。将所有高校放在同一尺度下比较,这对大理类高校、中西部地区高校和非985高校是极为不公平的。
表7 调整前后不同类型、层次和地区高校的纯技术效率与规模效率变化
三、主要结论与政策建议
第一,外部环境因素各个科研产出松弛变量的影响不同,但除了是否为985高校对科研论文松弛变量的影响不显著之外均显著。具体来看,985高校在社会服务上表现优秀,存在低估,但是在科研获奖上并没有发挥出优势。东部地区高校在社会服务上表现显著高于非东部地区,表明经典DEA方法低估了东部地区的社会服务职能。理工科院校在科研论文、科研获奖和社会服务方面松弛变量均显著为正,存在低估。尽管理工农医类院校更容易量化,但是其在以投入产出比为导向的效率评价中并不占优势,人文社科类专业因投入小,科研相对效率较高。优厚的政策影响、优越的地理位置和强悍的理工类学科能有效增强高校在社会服务方面的溢出效应。但是将投入高的理工科院校与投入低的人文社科放在同一尺度下计算投入产出比,很大程度上低估理工科院校的科研效率。
加强政府的引导作用,坚持以学科为基础的分类评价指标体系,坚持学科专业建设与学校整体建设评价并行。在加大对中西部高校倾斜的基础上,着力从技术、制度和文化上提高中西部高校的办学效率,保障传统优势学科的活力,发展特色,形成良好的竞争态势,探索具有中国特色的现代高等教育评估制度。
第二,第一阶段和第三阶段配对t检验在纯技术效率和技术效率上差异显著。剔除外界环境变量和随机干扰的影响之后,第三阶段我国研究型高校的平均技术效率为0.623、平均纯技术效率为0.688、平均规模效率为0.892,比第一阶段分别高出10.9、9.3和2.4个百分点,但是其分布比第一阶段更为分散。本文认为,在统筹推进世界一流大学和一流学科建设的过程中,坚持以绩效为杠杆势必引入退出机制,控制环境因素和随机干扰后的评估结果更能体现高校的真实效率情况。
第三,在控制环境和随机因素之后,经典DEA效率评估中高估了东部高校、“985”高校、大文类高校的平均科研效率。尽管控制环境和随机因素之后,研究型高校整体科研效率有所进步,但是非东部高校(中西部)、非“985”高校以及大理类高校进步更大,即其所处外部环境较差。因此,在未来“双一流”绩效评估中,为了更为公平、公正地评价高校科研绩效,政府应合理发挥资源配置作用,在评价中充分考虑地区、层级和类型等环境因素,切实推动高等教育内涵式发展。