国内外学术评价方法比较研究

张雅男　理　娜

(1.天津社会科学院图书馆　天津　300191；2.天津工业大学图书馆　天津　300071)



国内外学术评价方法比较研究

张雅男1理娜2

(1.天津社会科学院图书馆天津300191；2.天津工业大学图书馆天津300071)

摘要：学术评价是规范学术行为的重要手段，包含定量和定性两种评价方式。国内外经过多年的发展形成了各自的学术评价特点。文章分别从论文质量的表征方式、量化指标的理论基础、对客体差异性的考虑三个量化评价角度，及同行评议的目的、组织形式、专家遴选等质性方面就我国与主要发达国家的学术评价方法进行了对比分析，为我国学术评价工作的开展提供了一些建议。

关键词：学术评价；定量评价；同行评议

学术评价是规范学术行为、维护学术秩序、保障学术质量的重要手段，包括定量评价和定性评价两个层面。经过多年的发展，国内外不同国家在学术评价方面都形成了符合各国实情的发展特点。将我国与其他发达国家的学术评价方法进行对比，有利于为我国学术评价工作的开展提供借鉴和启示。

1国内外主要国家学术评价的特点

1.1国外主要国家学术评价的特点

笔者分别以“academic evaluation”、“academic appraisal”、“academic performance”、“peer review”为主题词，对ERIC、EBSCO、Emerald数据库进行文献检索，分析检索结果，归纳总结出主要发达国家在学术评价上的各自特点。

受基础科学规模小、本国专家评议力量有限等因素的影响，在学术评价方面，荷兰成为欧洲最早最全面使用量化评价的国家之一，量化评价是其主要的评价方法，近年来提出的“皇冠指数(Crown Indicator)”[1]是对国际量化评价指标体系的一大补充。英、法、美三国对量化方法的使用较为谨慎，多采用同行评议或学术共同体评议的方式进行学术评价，特别是美国，由于其具有较好的大学学术自由和学术权利，自主性强，同行评议成为学术评价的主流，出现了较多关于同行评议发展历史、基本原理、构成、规范及优缺点等问题的分析讨论。澳大利亚主要实行文献计量指标(Bibliometric indicators)和非文献计量指标(Non-bibliometric indicators)[2]相结合的方法，并会根据不同科研性质、不同研究领域制定科学合理的科研规范和评价指标体系，如专门制定了适用于创造性艺术学科的非文献计量指标：舞蹈家、演员、音乐家、剧作家在公开场合的表演，建筑师和设计师的建筑或创造等[3]。

1.2国内学术评价的特点

笔者以“学术评价”、“科研评价”为主题词，对CNKI中国期刊全文数据库进行检索，分析检索结果，发现我国学术评价表现出理论研究较多、实践运用单一的特点。一方面，国内学者围绕学术评价制度的历史沿革、现行制度的利弊分析、现有量化评价指标(论文数量、期刊影响因子、论文被引情况等)的探讨和修正及如何从原则、规范上加强学术评价体系建设等方面展开了丰富的理论探讨；另一方面，在实际运用中，国内学术评价主要以量化评价为主，但我国量化评价方法与荷兰等量化评价发达国家相比又表现出以数量为主的特点，虽也力求质量的评价，但在实践中却因存在着量化指标不完善或设计不合理等问题而较难实现。此外，对同行评议及人文社科、艺术科学领域的学术评价研究也较少。

2国内外学术评价方法比较

2.1量化评价方法

量化评价是学术评价的主要方法之一。我国量化评价和国外相比起步较晚，在评价指标和体系上存在着不足。下面将从论文质量表征方式、量化指标基础理论、评价指标差异性三方面对国内外量化评价方法进行对比分析。

2.1.1论文质量的表征方式

我国学术评价中常用的量化指标主要有学术成果数量、成果发表的刊物或出版社级别、成果所获奖项等。由于文章数量多并不等于科研水平高，某一期刊的水平高，并不等于该刊所有文章质量都好，以上评价指标在实际操作中缺乏对论文质量的控制。国外量化指标和评价方法则更多地关注论文质量，他们提出通过引用理论分析证明，以引用次数作为参数的指标可以很好地表征受评人员论文对学科以及学术产生的影响。因此，国外发达国家主要通过论文篇均引用次数(剔除自引次数)、h指数、皇冠指数等指标对科研成果进行质量评估。

2.1.2量化指标的理论基础

国内科研成果评价多采用归纳法，即从已有的研究中抽取一些被认为对科研结果有影响的指标，把它们罗列在一起，而研究者却很少会对指标选择的多少、指标间的相对重要性做详细地研究，评价最终也往往以合成个人分数为目的。量化指标体系缺乏坚实的理论依据。相比而言，发达国家采用的指标体系大都有其理论根源和详细的推导过程。如，有国外研究者在指出了目前学科分类不足后，提出了根据论文关键词、参考文献等的相似性进行子学科聚类的分析方法，通过此方法，可以精确地识别与受评学术人员最接近的同行和同类论文。这也是基于学科归一化的量化评价方法的理论支撑。

2.1.3评价指标对差异性的考虑及指标的完备性

我国的学术评价指标在应用时对学科、期刊、文章类型等的差异性考虑较少。例如，国内高校在对来自不同院系教师进行职称评定、年度评奖时，往往采用直接比较SCI影响因子大小的方法来判定论文质量的高低，还有一些虽对SCI进行了分区，但分区尚不够全面细致。这样就出现了基于有差异性的评价客体的评价标准，其公允性值得怀疑，因为对于物理、化学等基础理论学科而言，其期刊的平均影响因子往往高于工程类学科。另一方面，国内高校实际应用的量化指标存在过于简单化的情况，仅仅对比SCI、EI论文数的现象普遍存在。

在国外，一些发达国家多采用归一化指标从理论上消除文章类型、学科、期刊等因素的影响，使得来自各个领域的学术人员在同一指标体系下的公平、公正的比较成为可能。而在指标完备性方面，这些国家在实际的评价过程中，通常会综合运用期刊归一化指标、h指数、文献聚类分析法、用于识别引用分布的箱线图(Box plots)和洛伦兹曲线(Lorenz curve)[4]等量化指标，从而更为科学全面地进行评价。

2.2同行评议评价方法

同行评议是自近代科学诞生以来一直沿用的学术评价方法，至今已有百年历史。学术大国多以同行评议作为学术界认同的主要评价方式。

2.2.1同行评议的目的

我国大学和学术机构的同行评议更多地应用于职称评比、职位晋升、绩效工资评定等目的，具有较强的功利性。国外大学的年度同行评议则多独立于晋升、职称或薪水评定之外，功利性较弱。其同行评议的目的主要包括识别出学术人员面临的困难和需求、促进学术人员个人的职业发展、听取学术人员对机构的建设性意见、平衡学术人员的个人目标和部门乃至整个机构的整体目标。通过周期性开展的同行评议过程来实现个人、部门、机构的多方受益。

2.2.2同行评议的组织形式

国内的同行评议或个人学术绩效审核，存在“个人写报告，专家抽空审”的现象，时效性和交流性不强，即使有受评个人答辩的形式，专家的评审意见往往是保密和匿名的，受评个人可能无法了解或全部了解专家对自己的评审意见和结论。国外机构的同行评议大都以考评面谈的方式出现，受评人和评审人约定时间，双方分别从个人、部门或机构的视角准备素材。面谈时双方针对已有的学术绩效、存在的问题和需求、未来的规划、部门或机构的整体目标等展开深入地讨论，更注重双方的沟通和探讨，且最后双方要共同就最终的评议结论和总结做签字确认。这种评议形式一定程度上有助于规避评议结论的主观性和片面性。

2.2.3评审专家的遴选

评审专家对同行评议有很大的影响，评审专家的遴选是同行评议活动的重要环节。目前我国同行评议中存在着非同行评审专家比例过大、“外行指导内行”、评议活动受行政管理主导严重等现象，在实践中对评价的质量和效果产生负面的影响。

国外则有着严格的评审专家遴选体系。以英国为例，英国高校基金会项目同行评议中，评估小组主席由先前参与高校学术评估的专家提名，由高等教育拨款委员会(RAE)任命，然后由评估小组主席从专业社团提名的候选人中，根据专业经验、声望和代表性等标准挑选评审小组成员, 得到高等教育基金会许可后，最终确定评估小组成员名单。评估小组成员的组成还会考虑性别及地区比例，通常会有20%左右的女性[5]。此外，剑桥大学和昆士兰大学学术员工年度考评的评审专家除部门负责人外，还包括在本专业具有较高威望的高级成员。

值得注意的是，虽然国内外高校同行评议中都从政策上允许受评个人指定回避名单或者对专家构成提出异议，但国内由于评审专家构成中具有行政职务的领导或专家占比重较大，受评人处于相对弱势地位，回避制度往往无法真正实施。

2.2.4同行评议的反馈机制

国内同行评议一般和职称评定、薪水涨幅等相关，评议结果更多地体现在对受评个人职称、职位、薪水等的影响上，而对于识别个人需求、促进个人进步和发展、实现个人与部门及机构整体目标的匹配等方面则没有起到应有的功效。国外同行评议制度则比较注重“学术人员——机构”的双赢。学术人员识别出个人的不足和需求，机构总结员工的建设性意见并对员工开展针对性的培训，使得双方的整体目标得到较好地匹配。以剑桥大学和昆士兰大学为例，剑桥大学的评价机制名为SRD(staff review & development，员工评议和发展机制)[6]，其评议面谈结束后，部门和学校对评议结果的汇总、总结是整个评议过程的重要环节，汇总学术员工的需求并组织合理的培训是评议反馈的重要内容。昆士兰大学的评议结束后会根据评议结论和员工需求，建议学术员工参与相应的SSP项目(special studies program，员工专项学习计划)，从而实现对员工个人发展和大学整体学术水平的共同促进[7]。

3对我国学术评价工作的启示

通过对国内外学术评价方法进行对比分析，笔者认为国内学术评价工作应从以下几方面进行改进。

3.1加强学术评价量化指标体系建设

量化指标直接关系到定量学术评价的科学性和客观性，指标体系的建立要充分考虑学科差异性、学术成果类型、期刊等间接评价媒介的质量不均衡性；要综合运用多种指标和方法，全面考察受评个人或科研小组学术绩效的各个方面，给出客观全面的结论。

3.2建立专门的专家委员会，评审专家国际化

为了保证评议人的学术水准和提高评议的透明度，必须建立专门的专家委员会，先期向各学术机构和科研人员公开，主管部门还要向这些学术机构和学术人员提供哪些人参与了评议工作及每个人评议次数等信息。同时，在专家委员会的专家遴选上要扩大范围，借鉴国外高校中国际评审的经验，积极引进国外、校外专家，扩大同行评议的知识视野，与国际学术界接轨。

3.3建立网上互动评价机制

利用网络和信息技术，积极开展学术评价社会化，构建网上互动评价机制。参加评价的学术成果要在网上公示，支持更多的学术或非学术人员从不同的角度予以评论。只要言之有理，有价值的批评意见皆应作为该成果评价的一部分附录其后，从而实现全国甚至国外学者的参与，使学术评价社会化，增加评价的客观性。

3.4完善评价结果的监督反馈机制

在量化评价和同行评议相结合的前提下，为使评价工作顺利开展，同时营造公平自由的学术环境，必须建立一套与之相适应的监督反馈机制。应当建立评价考核结果的公示制度，增加评价结果的透明度，重视评价结果的反馈，将反馈纳入到学者下一轮的评价中。如此就形成了一个有形与无形相结合的较完整的监督组织机构，使专家委员会真正成为最高的监督和处理学术争议的组织，充分发挥学术人员互相监督的作用，促进公平、公正的科研环境的形成。

参考文献

[1]Moed, H.F.. CWTS crown indicator measures citation impact of a research group’s publication oeuvre[J]. Journal of Informetrics, 2010,4(3):436-438.

[2]顾丽娜,陆根书.澳大利亚科研评价体系介绍[J].理工高教研究,2006,25(1):49-51.

[3]The Australian national university, research evaluation and policy project[EB/OL].(2005-01-30)[2015-09-10].http://repp.anu.edu.au.

[4]Lutz Bornmann1, Rudiger Mutz1, Christoph Neuhaus1, Hans-Dieter Daniel1. Citation counts for research evaluation: standards of good practice for analyzing bibliometric data and presenting and interpreting results [J]. Ethics in Science and Environmental Politics, 2008,(8):93-102.

[5]陆根书,杨兆芳.英国高校科研评估的特点及启示[J].大学:研究与评价,2008,(1):75-82.

[6]Staff Review and Development(Appraisal)[EB/OL].(2010-12-10)[2015-09-10].http://www.admin.cam.ac.uk/offices/hr/policy/appraisal/.

[7]Career progress and appraisal for academic staff[EB/OL].(2010-12-10)[2015-09-10].http://www.uq.edu.au/current-staff/index.html? Page =10606&pid=8388.

(收稿日期：2015-10-06责任编辑：刘丽斌)

中图分类号：G644.4

文献标识码：A