产学研协同创新视角下的AHP高校科研评价体系研究

陈元艺， 邵景奎

（北京理工大学珠海学院，广东 珠海 519088）

一、引言

高校科研评价体系既是对科研成效的考量评价，更是一种激励机制，健全的科研评价体系有利于充分发挥高校科研的作用与效果。目前的高校科研评价体系大部分从项目、论文数、科研、获奖、著作等方面构建指标体系进行评价，这些指标容易获取和评价，但由于科研对教学质量、学生就业、企业及行业经济效益等方面影响的“实用价值”衡量的具体指标较少，使得出现一些急功近利、不求实效的“无用研究”与“学术泡沫”。对此，有学者进行了研究并提出部分解决方法与方案。晋兴雨，张英姿等[1]采用数据包络分析方法提出针对高校教学与科研综合绩效评价的方法，主要基于高校内部的评价。杨瑞仙，梁艳平[2]对国内外高校科研评价方法进行了比较研究，指出文献计量法过于强调数量，网络计量法是逐渐兴起的一种方法，但就网络计量法如何进行评价并未详细探讨。杜超[3]采用层次分析法从预算管理、内控管理、信息管理三方面构建高职院校科研项目财务绩效评价指标并计算相应权重，得出内控管理占比最高，这对于本文提出的构建基于数据共享的高校科研动态评价平台具有一定借鉴意义。秦勤，孙涛[4]采用层次分析法分析高校科研团队绩效评价指标体系及其权重，将获奖、课题著作、激励机制等纳入指标体系；滕文静，邵立婷等[5]在产学研联合培养投入产出效益评价体系中将获得项目、论文数量、科研成果、获奖数等列入二级指标对科学研究与成果转化进行分析。刘志娟等[6]研究通过创立产教合一的“教学工厂”提升教学效果。舒予，张黎俐，张雅晴[7]主要从论文的角度构建科研总量、科研质量、前沿研究三方面的指标体系评价科研绩效。姜彤彤，吴修国[8]采用DEA-Tobit两步法对我国不同省份之间及东中西区域间产学研协同创新效率进行分析，属于从较为宏观的整体角度进行研究。Ludwig Bstielera,Martin Hemmertb[9]对高校产业合作的信任机制进行了研究，有助于构建长期有效的产学研协同创新运行机制。MárioFranco，Martin Hemmertb，Abhijit Senguptaa[10-11]等结合产业行业对高校科研动机、科研转化效果进行了研究。总的来看，已有研究提出的大部分科研评价指标还是比较倾向于传统指标，尤其以项目、论文、著作为对象的评价居多，易于评价但对实践价值、经济价值评价严重不足。科学研究是为实现更好的教育、生产与生活服务，要做“有用研究”，这就决定了对高校科研的评价需将科研产生的综合影响包括对高校教学、对企业、行业乃至整个经济的影响考虑进去。

二、目前高校科研评价体系存在的问题

目前的高校科研评价体系存在以下三大问题：一是评价主体不全，目前的评价主体主要来源于高校科研及管理人员以及政府项目研究管理部门人员，来源于企业、社会等相关主体相对较少。二是评价内容不全，尽管学界有学者提出对多方面内容如教改科研项目、学术论文、经济绩效等方面的评价，但除了发表论文与科研项目的数量、资金规模、级别评价较多之外，其他方面如经济效益由于评价指标可操作性不强因此实际执行较少。三是评价指标不尽合理，目前很多高校评价科研指标大部分是基于发表SCI、EI、SSCI、CSSCI、北大核心等收录期刊论文的数量、引用情况；国家级、省市级、校级教改科研项目的数量、项目中排名、资金规模；编或著书数量；教学科研成果获奖，而很少考虑科研对教学质量的提升、学生就业或深造、企业及行业经济效益等“实用价值”的影响。

三、AHP高校科研评价模型的构建

AHP（层次分析法）是一种定量与定性分析相结合的方法，是对复杂系统思维分析进行模型化和数量化，通过测度与评价各因素的权重及对系统的影响，从而对某一对象进行全面综合描述与整体分析的多目标系统决策分析方法，所建立的模型具有较好的系统性、合理性和有效性[6]。本文采用层次分析法构建注重激励“有用研究”的高校科研评价体系并进行分析。

产学研协同创新视角下的AHP高校科研评价体系的优势体现为以下三点：一是全面性，评价内容除传统方面还包括对教学质量、学生就业、企业及行业经济效益的影响等“实际价值”。二是动态评价，提出在实际执行中与政府科研管理系统、论文数据库及其他网站总共五大类数据平台联网构建AHP高校科研评价网络平台，实现动态更新、实时评价科研成果与效益。三是可操作性较强，如教学质量指标可用学生评价评分、教学获奖纳入体系计量，又如投产增值指标可用科研促进收入增加、成本费用降低、时间节约、所需人员减少的比例进行计量，并且通过层次分析法对指标权重予以确定。

（一）指标的选择

在确定高校科研评价指标时，根据对从事科研方面的教师、科研人员、管理人员、企业经营管理人员等相关专业人士的调查与数据统计分析，结合成本效益原理，本文将科研评价体系分为科研投入与科研成效两大方面。

在科研投入要素中包括人财物成本，主要包括科研投入时间，评价相关人员研究时间的长短，可根据不同的年份设置不同的指标值。科研资历，评价相关人员的研究基础、资格条件、研究经历与经验，如科研人员的学历、职称、经历经验。科研财物评价资金经费投入、设备条件投入、技术服务管理等硬件软件支撑。

在科研成效要素中包括科研教学成效、科研学术成效、科研经济成效。科研教学成效具体包括教学评分，科研一方面为教学服务，此指标用于评价科研对教学的贡献程度，如学生评价等教学评分越高科研的教学成效越高；教学获奖，评价相应人员在教学方面的各种获奖情况；学生就业，科研在一定程度上带来教学效果提升，从而促进学生就业，因此学生就业也是一个评价指标，另外，此处的学生就业也包括未就业而继续深造的评价。科研学术成效具体包括项目研究，如参与项目研究的数量及质量、级别、规模等；科研获奖；论文著作，此处指标为科研方面发表的论文及相关著作，包括论文级别、引用情况等。上述指标主要评价高校科研在产学研协同创新系统中“学”方面的影响与成效，而科研经济成效则主要评价高校科研在产学研协同创新系统中“产”方面的影响与成效，包括专有成果如申请专利、具有商业价值的专有技术等；投产增值评价高校科研直接在企业经营管理应用中带来的经济价值，如收入增加、成本费用降低、产品技术提升等；产出扩散，评价高校科研成果带来的行业扩散效应乃至对整个经济的影响。

（二）AHP指标层次结构

采用层次分析法，以“科研评价”为决策目标，以科研投入、科研成效两大要素为第一准则层要素，人财物成本、科研教学成效、科研学术成效、科研经济成效为第二准则层要素，以具体的十二项指标构成方案层，构建AHP高校科研评价指标体系，结构图如图1：其中参数从最下层P1至P12，到最上层Z构成评价指标体系，值的范围均为0至100。

1.指标权重的确定与测算

图1 AHP高校科研评价指标体系结构

运用yaahp软件对高校科研评价体系指标权重的确定与计算。根据AHP分析法结构，邀请相关科研人员对高校科研评价层次指标间的重要性给予评定，并采用统计方法对层次间的相互关系进行统计分析。

（1）构造准则层判断矩阵、方案层判断矩阵

分别对高校科研评价体系的准则层、方案层构造相应判断矩阵。由于Y1下一层为一个指标即人财物成本X1，因此判断矩阵只有一个指标，故此处未单列判断矩阵Y1。方案层判断矩阵包括X1、X2、X3、X4，因为四个方案层判断矩阵的结构类似，故以下仅列出X1矩阵。根据AHP计算方法，本文以 Yij、Xij、Pij（ij=1,2,3）分别表示要素 Yi对 Yj、Xi对Xj、Pi对Pj相对重要性比例关系，采用1-9标度法。如Yij=1，表示要素i比要素j对上一层次因素的重要性相同；Yij=3，要素i比要素j稍微重要；Yij=5，要素i比要素j比较重要；Yij=7， 要素i比要素j十分重要；Yij=9，要素i比要素j极其重要；Yij=2、4、6、8，介于上数值之间。

表1 AHP判断矩阵理论框架

（2）一致性检验与权重计算

根据专家调查及统计数据计算权重结果，第一准则层判断矩阵Z、第二准则层判断矩阵Y2与方案层判断矩阵X1、X2、X3、X4数值计算如表2：

表2 AHP判断矩阵数值计算

采用幂法对判断矩阵进行计算，上述判断矩阵的一致性检验指标CRZ=0.0000，CRY2=0.0904，CRX1=0.0176 ， CRX2=0.0825 ， CRX3=0.0370，CRX4=0.0707，均小于0.1，通过一致性检验，并且表明判断矩阵具有较满意的一致性。

由于前述所有判断矩阵计算得出的一致性检验指标CR值都满足小于0.1，因此可据此计算出各指标的权重，如表3所示。

表3 AHP高校科研评价体系指标权重表

根据 AHP高校科研评价体系指标权重表，则AHP高校科研评价模型如下：

构建的AHP高校科研评价指标体系测算结果表明：高校科研评价体系应包括科研投入与科研成效，从评价量化可操作性来看科研成效所占比重较大，达到0.8333。在科研成效指标体系中，科研经济成效占比最大，达到0.5725，突出“有用研究”和“研以致用”，因此从高校科研在产学研体系中的角色来看，应增加研究在实际经营及经济社会中应用的比重，其中专有成果P10占比0.3517，投产增值P11占比0.1536。从科研在教学方面的评价指标来看，教学获奖P（50.0171）与教学评分P（40.0115）权重接近，而学生就业P6（0.0768）权重最高，体现了更应看重务实和实用效果。在科研学术成效方面，项目研究P7权重为0.0990，比科研获奖P8（0.0401）与论文著作P9（0.0163）高出较多，表明更多的科研体现为项目研究。

（4）灵敏度分析

通过进行灵敏度分析，能够确定某个要素权重发生变化时，对各个备选方案权重产生了什么样的影响，从而引导用户在更高的层次做出决策。基本灵敏度指标是指当前要素权重变化引起的各备选方案权重变化范围的最大值。综合灵敏度指标=基本灵敏度指标+变化点数量/备选方案量+0.5（最佳方案变化）或0.0（最佳方案没有变化），此指标值越大表示要素的权重变化对总排序结果的影响越大，敏感度越高。科研投入Y1与科研成效Y2灵敏度分析图如下：

图2 AHP评价体系科研投入指标灵敏度分析

表4 科研投入灵敏度分析权重变化情况表

图2显示，科研投入Y1的基本灵敏度指标值=0.6250，综合灵敏度指标值=3.5417，并且最佳方案已发生变化，表明当前要素科研投入Y1权重变化引起的备选方案权重变化较大（表4所示），灵敏度较高，说明所构建的AHP科研评价体系指标比较合理，并且所测算的权重值也能较好拟合科研在投入方面的评价。

图3 AHP评价体系科研成效指标灵敏度分析

表5 科研成效灵敏度分析权重变化情况表

图3显示，科研成效Y2的基本灵敏度指标值=0.6250，综合灵敏度指标值=4.7917，并且最佳方案已发生变化，表明当前要素即科研成效Y2权重变化引起的备选方案权重变化大（具体如表5所示），敏感性比科研投入更高，说明在进行科研评价时将更多权重放到科研成效指标是合理的。

四、实际应用与推广对策

（一） 评价指标的量度与计算

1.研投入时间，可根据不同的年份设置不同的档次指标值，如长期档可设为5年以下、5-10年、10年-15年等，短期档有半年、一年、一年半、二年等。（2）科研资历，如科研人员的学历分为大专、本科、研究生、博士等；职称分为助教、讲师、副教授、教授及其他不同系列的职称，如助理会计师、会计师、高级会计师等；经历经验如从事相关工作、科研的时间长短，从事相关科研项目的数量、级别等。（3）科研财物，可根据资金经费投入、设备条件投入、技术服务、软件等折算成金额再按照相对程度赋予评价分值。（4）教学评分，学生评教评分，一般高校教务系统可获得。（5）教学获奖，根据教学获奖级别及数量进行评分。（6）学生就业，可用学校学生处统计的就业率及考研、出国比率等数据进行量度与计算。（7）项目研究，如参与项目研究的数量及质量、级别、规模等。（8）科研获奖，获奖的数量、级别。（9）论文著作，发表论文的数量、级别、影响因子等。（7）—（9）这三项可沿用目前评价指标。下面的科研经济成效则主要评价高校科研在产学研协同创新系统中“产”方面的影响与成效。（10）专有成果，包括专有成果如申请的专利、具有商业价值的专有技术等，按级别不同折算成相应评分。（11）投产增值，可用科研成果直接促使收入增加、成本费用降低、通过产品技术提升带来的增收入降成本的比例按相对程度折算成评分来衡量。（12）产出扩散，此处可根据科研成果在行业的应用程度不同折算相应评分，例如，假设有人发明手机超长待机电池，充一小时可以用一周及以上，这项科研成果如果在手机行业广泛应用（可根据市场占有率），那么其产出扩散指标评分就会比较高。

(二) 构建AHP联网动态科研评价平台

由于本文构建的AHP高校科研评价体系涉及的评价主体、评价内容、评价指标较多，在实际执行中可构建AHP高校科研评价网络平台，具体与五大对象实现协同共享：一是政府科研管理系统，以获取各级科研项目的名称、级别、人员、进度等数据。二是SCI及EI、SSCI、CNKI等数据库，获取论文数据。三是税务系统及人力资源与社会保障部等，以获取学生就业数据；与学信网连接以获取学生学习深造数据。四是国家知识产权局，获取中国及多国专利信息；与国家新闻出版广电总局（新版网站为国家广播电视总局）连接以获取编书著书信息。五是企业官网、行业网站等，获取企业成本、利润信息，行业市场分析信息，主要用于分析科研成果的投产增值和产出扩散指标。通过AHP高校科研评价联网动态评价平台，基于大数据联动更新、实时评价科研成果与效益，以推进“研以致用”与“有用研究”。

五、结论

本文从产学研协同创新的角度研究高校科研评价体系，采用层次分析法构建AHP高校科研评价体系并进行指标权重计算与灵敏度分析。以科研评价为目标层，科研投入、科研成效为第一准则层，人财物成本、科研教学成效、科研学术成效、科研经济成效为第二准则层，并构建了由12项具体指标组成的方案层进行分析。分析结果显示，高校科研评价体系从评价量化可操作性来看科研成效所占比重较大，达到0.8333，其中专有成果占比0.3517，投产增值占比0.1536。从科研在教学方面的评价指标来看，教学获奖与教学评分权重接近，而学生就业权重最高，达到0.0768，体现了更应看重务实和实用效果。在科研学术成效方面，项目研究权重为0.0990，比科研获奖与论文著作高出较多，表明更多的科研体现为项目研究。从灵敏度分析结果来看，科研成效的基本灵敏度指标值达到0.6250，综合灵敏度指标值为4.7917，反映科研成效权重变化引起的备选方案权重变化大，敏感性非常高。在科研成效指标体系中，科研经济成效权重最大，达到0.5725。因此科研评价应突出“研以致用”，应增加科研在实际经营及经济社会中应用评价的比重，如将科研成果带来的收入增加、成本费用降低、行业的学习与应用、申请的专利或相关具有商业价值的技术等纳入科研评价体系。在实际执行中可构建AHP高校科研评价网络平台，基于大数据联动更新、实时评价科研成果与效益。不过由于各高校具体情况不同，自然、人文甚至各具体学科之间的要求及科研成果形式有所不同，因此在高校科研评价体系的具体应用时需结合具体学科、具体情况进行相应调整，以实现科学合理、全面有效的科研评价，从而推动更多实用价值更高的研究。