国外学术评价体系浅析及启示
2018-08-29吴凡洁张海娜
吴凡洁 张海娜
摘 要 学术评价对于科研人员、高校、科研院所,乃至国家均具有重要的意义。目前国内的学术评价被影响因子和SCI所主导,弊端逐渐凸显,引起了广泛的争议。文章力求通过对国内外学术评价体系的梳理,以期为我国的学术评价提供重要的参考。
关键词 学术评价;学术专著;同行评议
中图分类号 G2 文献标识码 A 文章编号 1674-6708(2018)217-0171-02
学术评价对于科研人员、高校、科研院所,乃至国家均具有重要的意义。学术专著和论文是学者科研产出的主要形式之一。早期,学术专著一直都是我国各大高校和科研院所评价科研人员科研产出的重要指标,其权重甚至比一般的论文要高得多。但是,学术专著缺乏令人信服的评价标准,不好进行横向比较,难以准确量化,导致学术专著这一指标退出了众多高校和科研机构的评价体系。对于SCI和影响因子的重视,在一定阶段促进了我国的学术发展,但是量化评价体系的弊端也逐渐暴露,在一定程度上妨碍科研事业的健康发展。怎样的学术评价体系才是更加科学合理的评价体系,引发了学界的大讨论。
1 学术评价体系的主要研究方法
目前,学术评价最常采用的两种方法:同行评议法和引文分析法。这是我们理解学术评价体系的基础。
1.1 同行评议法
同行评议是指某一或若干领域的一些专家共同对涉及上述领域的一项知识产品进行评价的活动。同行评议是最早被用来进行学术评价的方法。这一评价方法在20世纪30年代之后被学术界广泛接受。我国在90年代初开始采用同行评议制度。同行评议主要基于学术共同体,要求科学家基于稿件做出公正的裁决。
1.2 引文分析法
引文分析就是利用各种数学及统计学的方法和比较、归纳、抽象、概括等逻辑方法对科学期刊、论文、著者等各种分析对象的引证或被引证现象进行分析,以便揭示出研究对象所具有的特征或它们之间的关系及其规律性的一种文献计量研究的方法。
1911年,苏联的瓦尔金院士首次计算某个国家科研人员的著作引文进而确定该国在化学发展方面所做的贡献。20世纪50年代,文献计量学家开始对引文索引和文献引用规律进行研究。1955年,加菲尔德在Science上发表了具有划时代意义的引文索引论文,提出了用引文索引来检索科技文献的方法。而后经过不断发展,衍生出了多个文献检索数据库,如著名的SCI、SSCI、Spocus、JCR等,以及相应的评价指标,如影响因子、h指数等。由于引文分析指标直观、可比性强,引文分析法由一种文献计量方法变身成为科学评价的重要方法。
2 国外的学术评价体系现状
国外的学术评价研究工作最早始于20世纪20年代,美国起步最早,法国、德国、加拿大、日本、丹麦、英国、澳大利亚等紧随其后,而我国的学术评价在20世纪80年代才开始。
2.1 美国的科研评价
美国的科研评估机构分为两个层次:一是国家政府层面,如美国国会技术评价办公室等,主要由美国政府出资,对项目进行事前、事中和事后评估,为国会的预算安排提供重要的参考。另一个是社会学术团体,如美国科学管理开放咨询公司、国家科学院理事会等,他们是独立机构,这种出资和评价相互独立的制度,在一定程度上保证了学术评价的公平性和客观性。美国国家科学院理事会是美国国家科学院(NAS)、美国国家工程院(NAE)、美国医学研究院(IOM)三院一会体系的常设机构,是美国科学技术评价体系极其重要的组成部分。早期的学术评价完全依赖于同行评价,其科学性和公正性受到质疑。因此,在2001~2003年期间引入了数据评价,即通过调查和回归两种不同取径的方法来确定排名。在2008~2009年又对评估方法进行了改进,评估包含三个维度:科研活动、学生支持与成果、教育环境的多样性。其中科研活动包括学者在学术出版、文章引用、科研经费和获得奖项等方面的数据,出版和引用的文献计量指标主要参考SCI数据库。新的评估方法比单纯的专家评价更科学,但是评估者的选取、指标权重的选取等还有待商榷。
2.2 英国的科研评价
英国的科研评价由政府主导,早期采取的科研评价体系为RAE(research assessment exercise)。该评价体系主要为同行评议,但是耗时长、花费多(2008年费用为1100万英镑)、主观性强,英國2008年后推出了新的评价体系——REF。REF最大的变化就是引入了计量评价指标。它将所有学科分为4个主专家组(main panels),每个主专家组下设若干子专家组,4个分组分别是:1)以生命、医学类学科为主;2)理工类学科为主;3)社会科学类学科为主;4)艺术与人文学科类为主。每组都根据学科特点,设定不同的评价产出形式,如理工科注重文献计量(如书、书的章节和研究专著、会议论文和报告、专利等都作为重要的指标),而社会科学更注重同行评议等。REF只要求科研人员最多提供4份有代表性的科研成果,这避免了只重视成果数量而不重视质量的尴尬,科研产出质量占65%的权重,同时它们还将影响和环境纳入评价体系。这里的影响是指科研对与大众息息相关的社会、经济、文化、环境或生活质量等带来的改变,使科研成果与实际结合得更加紧密。
2.3 澳大利亚的卓越评价体系
该卓越研究以学科为基本单元对高校进行评价。交叉学科或者综合性的学科,有可能同时被归类到几个学科中。不同的学科采用不同的而评价方式。采用引文分析法评价的学科,要求高校提供的论文目录为6年之内的,专利等应用成果为3年之内,并且该学科在指定期刊(2万多种)上发表的论文数为50篇以上,这是基准线;使用同行评议法评价的学科,对论文数量的要求与上面基本相同,但学术专著在同行评议中以5:1的比例计入学术成果。卓越评价采用定性和定量相结合的评价方法,包括6个指标:1)成果数量和活跃度,主要提供该学科科研的背景资料;2)出版物档案,包括学术专著、章节、期刊、会议论文等,对深度和广度做出鉴定;3)引文指标,基于Scopus,有3个方面的指标,通过和本国及世界平均水平进行对比得出;4)同行评议,只提供专业报告,不打分;5)研究收入;6)成果应用。其中还采用五分制,将科研成果和世界水平进行对比。
2.4 意大利的评价体系
2011年,意大利专门成立了国家大学及科研机构评估署, 该机构完全独立,同时建立了新的评价制度VQR。VQR采取同行评议与引文分析相结合的方法,视具体情况选择,但仍然规定同行评议应占一半以上。评价的内容不仅关注科研成果的创新性及国际地位,还关注该成果带来的社会效益和经济效益。VQR的评价也是分学科进行,其不注重对个人的评价,而是对学院和科研机构进行评价。不注重对全部科研成果的评价,而只要求每个科研人员提供3~6个有代表性的成果,包括专著及章节、论文、译作、专利及其他作品。VAR采用的文献计量法是由专家根据被引用数与期刊影响因子确定文章等级。
3 对我国学术评价体系的相关启示
我国学术评价体系大致经过了行政评价、同行评价、指标量化评价和国际科研计量评价4个阶段。目前,我国采用的学术评价主要关注几个指标:发表论文的数量和级别,项目的级别和经费,获奖的级别和数量等。虽然看起来有三个指标,但是在项目的评审过程中,研究者是否有能力承当项目的一个重要的评判标准是论文,评奖的时候也是重要的参考指标。学术专著作为思想传承的载体,其基础性、系统性、传承性都是论文不可替代的。学术专著和论文代表学者科研水平的两个侧面,如果把论文比喻成珍珠的话,学术专著就是串起一颗颗珠子的纽带,两者互为补充,对于科研成果产出的评价才更加完整。从各国的学术评价体系的来看,在科研成果的产出的定量评价方面,学术著作一直是重要的评价指标,其地位甚至重于学术论文。反观我国,学术著作作為学术研究传播的重要载体,在科研评价体系中已经难觅踪影,值得深思。
各国学术评价变革的方向主要集中在几个方面:1)对于学科的分类更加科学,对于不同的学科类别,尤其是理工科和社会学科,采用不同的评价标准。2)采用第三方独立机构进行学术评价。3)对于提交的科学成果数量和时效性进行限制,为3~6种核心科研成果,而不是对全部的科研成果进行评价。4)理工学科采用定量评价为主更为科学,社会学科采用定性评价为主。5)更加注重科研成果的对该领域的长远影响和创造的经济价值。
参考文献
[1]袁野.科研人员论文评价方法研究[D].北京:北京理工大学,2015.
[2]刘雪立.全球性SCI现象和影响因子崇拜[J].中国科技期刊研究,2012,23(2):185-190.
[3]蒋玉梅.全球科研评价体系的演进和发展:以美国、英国、澳大利亚、荷兰四国为例[J].国家教育行政学院学报,2013(9):81-86.
[4]施筱勇.英国高等院校科研质量评估制度研究[J].中国科技论坛,2009(5):135-139.
[5]陈洁修,马春梅,朱军文.澳大利亚卓越研究评价的宗旨、方法与运行机制[J].复旦教育论坛,2015,13(2):94-99.
[6]杨锋,梁樑,苟清龙,等.同行评议制度缺陷的根源及完善机制[J].科学学研究,2008,26(3):569-572.