高校科研质量评价标准研究

徐　红，刘在洲,2，陈　承

(1． 长江大学 教育学院， 湖北 荆州 434023； 2. 武汉纺织大学 学校办公室， 湖北 武汉 430200； 3. 长江大学 管理学院， 湖北 荆州 434023)



高校科研质量评价标准研究

徐红1，刘在洲1,2，陈承3

(1． 长江大学 教育学院， 湖北 荆州 434023； 2. 武汉纺织大学 学校办公室， 湖北 武汉 430200； 3. 长江大学 管理学院， 湖北 荆州 434023)

高校科研质量评价标准包括评价指标体系及评价指标权集。文章在梳理国内外相关文献的基础上，运用头脑风暴法、德尔菲法、问卷调查法、统计分析法、因子分析法等研究方法，从科研条件质量、科研过程质量和科研成果质量三个维度构建了一套包含3个一级指标、11个二级指标及62个三级指标的高校科研质量评价指标体系及其相应的评价指标权集。

高校科研；科研质量；评价标准；评价指标体系；评价指标权集

当今时代，随着高校的发展及人们对高校认识的逐步加深，高校逐渐从社会边缘走进社会中心。在此背景下，不仅高校的人才培养质量引起社会的普遍关注，而且高校的科学研究质量也受到社会的高度重视。近年来，为了增加高校的科研产量及提升高校的科研质量，政府及相关高校不仅出台了诸多相应的科研配套政策和科研激励机制，而且政府及社会各界给高校划拨或资助的科研经费数量也逐年增加。与之相应，高校科研队伍日益壮大，科研成果不断增加。然而，甚为遗憾的是，高校科研繁荣的背后却掩藏着深层的危机与腐败：基础研究严重滞后，科研成果转化率低[1]；科研成果推广难[2]；抄袭剽窃科研成果、杜撰伪造实验数据的事件时有发生[3]；学术论文自我“克隆”的现象绝非鲜见[4]；学术论文“一稿多投”的局面难以避免；学术论文在国际上的引用率极低[5]；科研数量常为科研质量“打工”[6]；……毋庸争辩，尽管个中原因甚多，但其主因之一无疑是因迄今缺乏切实可行的评价标准用来引领与评判高校科研质量所致。显然，探索并构建科学、合理的高校科研质量评价标准实属当务之急。

一、 研究目的与意义

高校科研质量是指高校科研条件满足高校科研活动顺利实施的程度，高校科研过程达到学理要求及预期计划的程度，高校科研成果满足社会相关方面需求的程度及其促进人才培养、科技进步和社会经济发展的程度[7]。高校科研质量评价标准由两大部分有机构成,即高校科研质量评价指标体系和高校科研质量评价指标权集(由各评价指标对应的权重组成的集合)。目前，国内外关于高校科研质量评价标准的相关研究成果大多散见于有关科研评价的管理学、经济学、社会学等相关文献中。比如，吴晓波等对高校科技竞争力评价指标体系进行过阐述[8]；刘微微等对高校科研能力评价指标体系进行过研究[9]；陈浩等对高校科研效率评价问题进行过探讨[10]；孙燕等对高校科技创新能力评价指标体系进行过探索[11]；吉彦波反思过高校科研成果评价标准[12]；邓丹丹对2015年中国最好大学排名中学科标准化后的科研论文影响力(Field-Weighted Citation Impact，简称FWCI)这一“科研质量”指标进行过介绍[13]；董彦邦通过对2013年荷兰莱顿大学排行榜中的32所中国大学进行分析指出，科研影响力和科研协作力是衡量大学科研质量的重要指标[14]；申超通过探讨大学排行榜的形成机理指出，大学科研产出是大学排行榜的重要指标之一[15]。总的来说，在已有文献中，罕见专门系统探讨高校科研质量评价标准的研究成果。为此，课题组希望通过本研究，一是弥补当下高校科研质量评价标准的不足；二是促进社会更加关注高校科研质量评价标准；三是促进学界广泛探讨高校科研质量评价标准；四是促进高校愈发重视高校科研质量的评价；五是为相关人员评价高校科研质量提供参考依据。

二、 研究过程与结果

(一) 指标体系的构建

该环节分四步进行。第一步是草拟高校科研质量评价指标体系。首先，课题组梳理文献并列出有关高校科研质量的评价指标清单。其做法是，广泛阅读中外各类相关文献(包括著作、期刊、报刊及互联网上的相关文献与信息)，并在研读相关文献的基础上，提炼关于高校科研质量的评价指标并逐一列出清单。评价指标包括：“硕士点、博士点、博士后流动站数量，国家重点学科，一级学科博士授权点数，两院院士、特聘教授人数，SCI、SSCI被引论文次数，发明专利授权数，国家优秀教学成果奖，论文著作，成果转化等”[16]；“科研项目、重点实验室、工程技术中心、人文社科重点研究基地……成果鉴定、结题、奖励、科研经费等”[17]；等等。其次，课题组运用头脑风暴法大胆想象，以补充已有文献中尚未提及的某些有关高校科研质量的评价指标并逐一列出清单，如公开登记成果、人才培养、协同创新中心等。最后，课题组在借鉴国外高校科研质量评价标准的基础上，根据高校科研质量的含义，运用逻辑思辨，从高校科研的条件质量、过程质量及成果质量三个维度逐层分解“高校科研质量”这一评价对象，并结合前面两个阶段获得的有关清单，草拟高校科研质量评价指标体系。课题组草拟的指标体系共有一级指标3个，二级指标14个，三级指标50个，主要参数270个。

第二步是初拟高校科研质量评价指标体系。课题组精心选择高校科研管理与评价领域的权威专家及高校一线科研杰出人员等20人，运用德尔菲法*根据德尔菲法的一般要求，本研究选择了20位专家参与征询。对草拟的高校科研质量评价指标体系进行三轮专家征询。比如，对于“科研平台中的协同创新中心”，有专家建议删掉，其理由是，大部分协同创新中心并非为某一所高校所独有，因而在评价某所高校的科研质量时不应将它纳入评价，故不应将协同创新中心作为一个评价指标。课题组认为有一定的道理，因而将这一项从高校科研质量评价指标体系中删除。对于“研究报告中获奖情况”一项，有5位专家认为，研究报告一般不存在国家级三等奖及以下奖励，建议删掉“国家级三等奖及以下奖励的数量”这一四级指标。课题组在修改相关指标时采纳了他们的建议。在充分反思三轮专家调查结果的基础上，初拟的指标体系共有一级指标3个，二级指标15个，三级指标51个，主要参数238个。

第三步是初定高校科研质量评价指标体系。本研究邀请国内本领域内的资深专家7人，共同研讨上述三轮专家征询之后的指标体系，并在此基础上，初定高校科研质量评价指标体系。比如，与会专家一致认为，在科研队伍中，应该增加“千人计划(中组部)、万人计划(中组部、人社部、教育部、科技部)、杰出青年基金获得者、长江学者(教育部)、新世纪优秀人才支持计划(教育部)、百千万跨世纪人才国家级人选(人社部)、国家有突出贡献的中青年专家(国务院)、973首席科学家等国家级人才的总数”这项指标；在科研管理中，应该增加“科研管理制度的规范性程度”及“按时结题的项目数占应该结题的项目数”这两项指标，对于科研成果“SCI”这项指标中，应将“SCI分成Ⅰ—Ⅳ四个区”，等等。此外，与会专家认为，初拟的三级指标下参数过多，应该将相近的参数进行整合，同时删掉某些非重要参数。针对这些建议与意见，课题组初定的指标体系共有一级指标3个，二级指标14个，三级指标41个，主要参数72个。

第四步是筛选高校科研质量评价指标体系。课题组首先编制调查问卷，问卷内容包括三个部分。第一部分是关于填写问卷的说明。其内容一是关于高校科研质量的定义；二是关于一级指标的阐释；三是关于二级指标和三级指标的阐释；四是关于主要参数的评议。第二部分是关于问卷填写人基本情况的题项设置，主要包括问卷填写人的性别、年龄、学历、学位、职称、教龄、所任职高校的类型，以及所从事的学科。第三部分是关于一、二级指标及三级指标主要参数的题项设置，其中包括3个一级指标，14个二级指标，以及72个三级指标。此外，课题组采用以Likert5级量表的形式对变量进行测量，采用分数与评价正方向记分。五级量表的分级描述和对应分值为：很不重要(1分)；较不重要(2分)；一般重要(3分)；比较重要(4分)；非常重要(5分)。问卷初步编制之后，课题组便开展小样本调查且对调查问卷中各个题项进行测试，以确保问卷的信度和效度。在小样本调查中，共发出问卷160份，回收有效问卷146份，有效回收率为91.3%。课题组运用SPSS19.0对数据进行处理，得到Cronbach’s Alpha为0.978；随后，选择高校科研管理与评价领域的专家和高校一线科研人员为对象进行大样本调查。为方便回收问卷，在研究过程中，课题组一方面通过与问卷星合作，利用其强大的网络通信平台，邀请广大的高校一线科研人员在网络上填写问卷，本次共有530人参与网络访问，有效问卷为424份，完成率为80%；另一方面，课题组成员分成5个小组奔赴全国广大高校，通过熟人引见来发放和回收问卷，本次共发放600份问卷，回收有效问卷588份，有效回收率为98%。经过58天的问卷调查，课题组共回收1 012份有效问卷。本研究的调查对象共涉及全国11个省份107所高校的人员。其中，一本院校和二本院校分别为45.85%和51.58%；男、女人员所占比例分别为59.88%和40.12%；35～55岁的人数占总人数的62.84%；具有硕士、博士学历的人数占总人数的89.63%，具有高级职称的人数占总人数的58.55%；从事自然科学研究和人文社会科学研究的人员占比分别为49.41%和50.59%。调研数据回收之后，本研究运用SPSS19.0对其进行统计分析，之后，采用因子分析法对初定的高校科研评价指标进行筛选。本研究通过对问卷中第二部分的初选指标进行因子分析，得到的KMO值为0.944(远大于0.7，表明调研数据适合做因子分析)，于是按照特征根大于1和方差最大旋转的原理，从中抽取11个公共因子，其方差累计贡献率达到75.262%(表明这11个因子能够概括大部分信息)。为了更好解释各个因子的意义，本研究对初始的因子载荷矩阵运用具有Kaiser标准化的正交旋转法进行旋转，经过12次迭代后收敛，之后，将旋转成分矩阵中各公因子载荷小于0.5的数值予以剔除。经过筛选后的指标体系共有一级指标3个，二级指标11个，三级指标62个(为了提升指标体系的操作性，将第三步中的某些三级指标进行了具体化，因而使得筛选后的三级指标增加了21个)，指标体系的详情见表1。

(二) 确定高校科研质量评价指标权集

本研究运用因子分析法确定高校科研质量评价指标的权重，步骤如下。首先，由于一级指标包含条件质量、过程质量和成果质量，由11个主因子构成其二级指标，因此，只要计算出各个因子的权重，通过对同一维度因子权重的简单加法运算即可获得一级指标的权重。其计算见公式(1)。其中Ai为一级指标权重，Aij为Ai所包含的二级指标的权重，也是其对应因子的权重。

(1)

其次，课题组通过对主因子方差贡献率进行归一化处理获得各二级指标的权重。计算公式见(2)。其中，aj为对应于Aij的因子的方差贡献率的标准化值，公式表示对各因子方差贡献率的归一化处理，获得的值即为相对应二级指标的权重。

(2)

再次，根据因子分析法的基本原理，课题组将因子得分系数进行归一化处理，获取各自变量在其主因子上的权重值，见计算公式(3)。其中，Bi表示各三级指标相对于其二级指标的权重值，βi则表示因子得分系数的标准化值，公式左边可理解为对各因子所对应指标的得分系数的归一化处理。

Bi=βi/∑βj

(3)

最后，三级指标在一级指标上的权重的确定，可以根据各二级指标(主因子)在一级指标上的权重以及其所包括的三级指标(各变量)在该主因子上的权重的乘积来确定， 见计算公式(4)。其中，ωi表示三级指标最终的权重值，即由二级指标的权重Aij与三级指标相对于二级指标的权重Bi的乘积表示。

ωi=Aij×Bi

(4)

根据以上公式，可以逐一计算各个一级指标、二级指标及三级指标的权重，最终获得高校科研质量评价指标权集，详见表1。

表1　高校科研质量评价标准

(续表1)

一级指标权重/Ai二级指标权重/Aij三级指标权重/wi成果质量0.671成果奖励Ⅰ0.161国家科学技术奖特别奖的数量0.030国家科学技术奖一等奖的数量0.024国家科学技术奖二等奖的数量0.018国家教学成果奖特等奖的数量0.021国家教学成果奖一等奖的数量0.016国家教学成果奖二等奖的数量0.015教育部人文社会科学奖一等奖的数量0.015教育部人文社会科学奖二等奖的数量0.012教育部人文社会科学奖三等奖的数量0.010成果奖励Ⅱ0.057其他部级或省级特等奖的数量0.017其他部级或省级一等奖的数量0.015其他部级或省级二等奖的数量0.013其他部级或省级三等奖的数量0.012成果采纳0.058国家级层面采纳的数量0.017省部级层面采纳的数量0.016新华文摘全文转载的篇数0.013被人大复印资料全文转载的篇数0.012人才培养0.053国家级优秀博士学位论文的数量0.021省级优秀博士学位论文的数量0.017省级优秀硕士学位论文的数量0.015

三、 研究小结与讨论

构建科学、合理的高校科研质量评价标准，既是解决当下高校科研“泡沫”问题的关键，又是促进高校科研创新的前提，更是全面提升高校科研质量的保证，显然具有重大的理论价值与实践意义。反思发现，本研究立足高校科研质量及高校科研质量评价标准的内涵，在梳理国内外相关文献的基础上，运用头脑风暴法、德尔菲法、问卷调查法、统计分析法及因子分析法等多种研究方法，从科研条件质量、科研过程质量和科研成果质量3个维度构建了一套涵盖3个一级指标，11个二级指标及62个三级指标的高校科研质量评价指标体系，并针对各级指标分别赋予了相应的权重。值得指出的是，本研究仅仅只是立足高校的共性特征构建了一套高校科研质量评价标准，明显忽略了不同类型高校的个性特征，从而导致本研究成果的应用价值显然受到限制。不言而喻，针对不同类型、不同层次、不同形式的高校，构建更加具有针对性的科研质量评价标准，实属未来研究的重要方向。此外，本研究所构建的高校科研质量评价标准尚存在两点主要不足：其一，“科研条件质量”中的三级指标只关照了数量而忽视了质量；其二，没有阐明如何针对不同的评价实践与应用目的而适当调整该评价标准中部分指标的权重。本研究的创新之处主要有四个方面：其一，不限于传统上以高校科研成果的质量来代表整个高校科研的质量；其二，不限于传统上以科研论文的质量或科研项目的级别或科研经费的数量等“典型”来代表整个高校科研质量；其三，在构建高校科研质量评价标准体系的过程中，紧紧围绕“创新”这一科研的本质特征，体现了“以评促进、以评促改、以评促管”的评价精神，有利于增加评价标准对高校科研的引导作用；其四，与以往相关研究相比，本研究在构建高校科研质量评价标准时，不同于传统上或立足文献分析或立足理论思辨或立足实证研究的方法，而是综合运用文献法、头脑风暴法、德尔菲法、问卷调查法、统计分析法及因子分析法等多种研究方法，以保证评价标准更科学、更合理。此外，本研究首次将“人才培养”纳入高校科研成果质量的范畴，充分体现了高校科研不同于其他部门科研的鲜明特征。

[1]周文泳,钟灿涛,尤建新.科学研究质量改进与理论方法[M].北京:化学工业出版社,2012:4.

[2]陈竹,周凯. 高校科技成果为何难变生产力[N].中国青年报,2011-01-11(03).

[3]桂庆平,莫蕾钰.高校科研质量保障的问题研究——基于新制度经济学视角的分析[J].当代教育科学,2011(5):39-41.

[4]张作成.学术论文可以自我“克隆”吗?[N].中国社会科学报,2009-06-23(002).

[5]伍光良.科研质量体系建设研究[J].科技管理研究，2010(9):92-94.

[6]饶毅.中国科研一直在捡别国成果的“面包屑”[EB/OL].(2012-06-28)[2016-01-20]. http://discovery.163.com/12/0626/09/84TS1U5G-000125LI.html.

[7]陈承,刘在洲,徐 红.高校科研质量评价指标体系研究[J],科技管理研究,2015(8):57-61.

[8]晓波,李冬琴,李靖华.高校科技竞争力评价指标体系之构建[J].高等工程教育研究，2004(2):37-40.

[9]刘微微,石春生.基于生态位理论的国防工业高校科研能力评价指标体系研究[J].科技管理研究,2010(24):45-47.

[10]陈浩,王晓红,张宝生.基于视窗分析模型的我国高校科研效率评价[J].科研管理,2013(7):101-111.

[11]孙燕,杨健安,潘鹏飞，等.高校科技创新能力评价指标体系研究[J].研究与发展管理,2011(3):125-129.

[12]吉彦波.高校科研成果评价标准的反思[J].中国行政管理,2003(4):62-63.

[13]2016年中国高校科研质量排名出炉，汕大列第48位[EB/OL].(2016-01-13)[2016-01-20].http://www.stu.edu.cn/index.php?option=com_content&view=article&id=6785%3A201648.

[14]董彦邦.中国大学科研影响力与科研协作力的特点分析——基于2013年荷兰莱顿大学排行榜的视角[J].高教发展与评估，2014(5):19-28.

[15]申超.大学排行榜的形成机理及其指标体系研究[J].中国高教研究,2011(7):39-42.

[16]王章豹,徐枞巍,李姚矿,等.高校科研排行性评价与科技创新能力评价指标设计[J].合肥工业大学学报(社会科学版),2005(1):1-8.

[17]马哲伟.高校科研评估[M].大连：东北财经大学出版社,2007:2.

(责任编辑刘伦)

doi:10.13316/j.cnki.jhem.20160829.013

The Study on Evaluation Standard of the Scientific Research Quality in Colleges and Universities

XUHong1,LIUZaizhou1,2,CHENCheng3

(1. School of Educational Science，Yangtze University, Jingzhou 434023;2.School Office, Wuhan Textile University, Wuhan 430200;3. School of Management，Yangtze University, Jingzhou 434023,China )

The scientific research quality evaluation standard in colleges and universities includes evaluation index system and evaluation index weight set. Based on the achievements of domestic and foreign literature, the study adopts the brainstorming method, Delphi method, questionnaire survey method, statistical analysis method and factor analysis method, and constructs the scientific research quality evaluation system and the relevant evaluation index weigh set which include 3 first class indexes, 11 level two indexes and 62 three level indexes from the three dimensions of quality of conditions for scientific research, quality of research process and quality of scientific research achievements.

scientific research in colleges and universities; the quality of scientific research; evaluation criterion; evaluation index system; evaluation index weight set

10.13316/j.cnki.jhem.20160829.012

2016-01-29

国家社会科学基金(教育学)项目(BIA120071)

徐红，教授，教育学博士，从事高等教育管理与教师教育研究。

G640

A

1673-8381(2016)05-0057-06

刘在洲，教授、博导，教育学博士，武汉纺织大学党委副书记，从事高等教育管理研究。

网络出版时间: 2016-08-29

网络出版地址: http://www.cnki.net/kcms/detail/32.1774.G4.20160829.1129.024.html