澳大利亚科研评价体系的演变、特点与启示

赵 勇，张灵阁，韩明杰，李晨英

(1.中国农业大学图书馆，北京 100193；2.中国科学技术信息研究所，北京 100038)

澳大利亚科研评价体系的演变、特点与启示

赵 勇1，2，张灵阁1，韩明杰1，李晨英1

(1.中国农业大学图书馆，北京 100193；2.中国科学技术信息研究所，北京 100038)

本文对澳大利亚科研评价体系的演变过程进行了调研，从评价目标、评价内容、评价方法、评价专家遴选等方面分析澳大利亚现行的科研评价体系ERA的特点及带来的启示，旨在为中国高校科研评价体系的改革与完善提供参考。

科研评价；澳大利亚；ERA；高等院校

20世纪90年代以来，为了加强科研管理、推进科技创新，中国许多学术科研机构都将研究成果的产出作为核心评价内容，以简单的统计方法为主要评价手段，通过量化规定研究成果的等级，计算研究成果的数量，并根据成果的不同等级赋予不同的分值，再依据分值给予奖励和报酬[1]。这种被西方学者称为 “麦当劳化”的简捷科研管理方法在一段时期内推动了中国科研事业的发展，最为显著的表现是:中国在国际学术期刊上发表的科技论文数量呈现快速增长的趋势，到2010年，中国SCI论文数在世界的排名从1987年第28位，一跃至世界第2位[2]。然而，这种以科研产出数量为导向的评价机制长期运行下去，容易造成研究人员创新积极性的下降、科技成果转化渠道的不畅，甚至可能导致科研领域一些急功近利和不端行为的滋生[3]。

2013年底至今，教育部先后印发了 《关于深化高等学校科技评价改革的意见》、 《高等学校科技分类评价指标体系及评价要点》、 《关于开展高等学校科技评价改革试点的通知》三份文件对高校科研评价改革进行指导，重点是 “要坚持分类评价、推行开放评价，通过评价导向和政策手段，将高校学者的兴趣和目标聚焦到经济社会发展的重大需求上去”。而在此之前，欧美等发达国家也已在大力推进本国的科研评价活动，如澳大利亚政府在参考英国 “科研水平评估 (RAE)”和新西兰 “高校绩效科研基金 (PBRF)”经验的基础上，于2007年提出了 “澳大利亚科研卓越计划 (Excellence in Research for Australia，ERA)”，2010年和2012年对ERA进行了两次评价，2015年将进行新一轮的科研评价。本研究主要是对澳大利亚科研评价体系的演变过程进行调研，采用内容分析方法，重点提炼澳大利亚现行的科研评价体系ERA中的核心要素，如评价目标、评价内容、评价方法、评价专家的遴选等，深入剖析ERA科研评价体系的特点，进而获得经验和启示，为中国高校科研评价体系的改革与完善提供参考。

1 澳大利亚科研评价体系的演变

澳大利亚科研评价体系是由政府主导，评价结果可以影响各个参评高校科研经费的分配金额，从时序上看主要经历了以下四个阶段的演变。

(1)20世纪70-80年代:统一科研与教育经费分配体系，基于科研量进行绩效评价。

1974年，澳大利亚废止了由各州分担大学经费的制度，改由联邦政府负担起本国高等教育机构所有经费的职责。1977年，澳大利亚成立了“联邦高等教育委员会 (Commonwealth Tertiary Education Commission，CTEC)”，具体负责教育和科研经费资助的相关事宜。此后经过十余年的发展，澳大利亚逐步形成了针对科研型大学和高等教育学院的二元经费资助机制。但这种机制中存在的问题也引起了科技主管部门的关注。1987年，“澳大利亚科学技术委员会 (Australian Science and Technology Council，ASTEC)”向当时的鲍勃·霍克政府建议引入竞争机制来更好地分配科研经费资源，同时建议成立更加独立的 “澳大利亚研究委员会 (Australian Research Council，ARC)”来负责管理[4]。

1987年，澳大利亚联邦政府成立了就业、教育与培训部，并废止了联邦高等教育委员会。时任部长道金斯 (J.Dawkins)在教育绿皮书 《高等教育:政策讨论书》及随后在1988年公布的教育白皮书 《高等教育:政策声明》中宣布废止给予大学和高等教育学院不同经费待遇的二元制度，而由全国统一体系 (Unified National System，UNS)代替，并成立澳大利亚研究委员会 (ARC)负责科研经费的分配事宜。根据道金斯的改革方案，新的科研经费分配机制主要包括:一是通过ARC等部门评估，进行科研项目拨款；二是设立澳大利亚研究生科研奖学金，支持高校的教育培训；三是基于科研量 (Research Quantum，RQ)进行绩效评价。

(2)20世纪90年代:确立科研评价的主导机构，以综合指数作为评价标准。

1993年，澳大利亚政府决定对科研量这一评价指标进行重新设计。1995年， “综合指数(Composite Index)”被提出并应用到澳大利亚高校科研评价中，综合指数包括测度科研投入和科研产出两个方面。科研投入主要测度高校获得的科研经费数量，权重占82.5%；而科研产出主要测度学术出版物数量，权重占12.5%，以及授予硕士和博士学位数量，权重占5%。同时，依据科研经费来源和学术出版物形式，进行更细化的权值分配。1999年，澳大利亚政府发布了 《知识与创新:研究和研究培训的政策声明》白皮书，明确要求ARC作为独立机构对澳大利亚的科研绩效进行国际比较，同时评估国家科研资助的成效[5]。为此，ARC负责实施了科研机构资助计划 (IGS)和研究培训计划 (RTS)两个以绩效评价为基础的政府资助项目。

在综合指数评价的影响下，澳大利亚高校越来越重视Web of Science数据库收录论文的发表数量。1992—1996年，澳大利亚科研产出量每年至少提升8%，发表SCI论文每年增长2%。但是，澳大利亚的科研影响力却在下降。在1988—1993年，澳大利亚发表论文的引用率在OECD国家中从第6位下滑至第11位，虽然科研人员发表的论文数量上升，但其平均引用影响 (Citation Impact)却在下降[6]。

(3)21世纪初:学习英国的科研评价经验，尝试设计科研质量评价框架。

针对综合指数评价存在的问题，澳大利亚政府希望学习英国的高校科研评估 (Research Assessment Exercise，RAE)，建立本国的科研评价体系。2004年，澳大利亚政府的 “外部智囊团 (External Reference Group，ERG)”发布了 《知识与创新评价改革咨询报告》，指出政府的科研经费分配要基于同行专家对各所大学整体科研成就的评判，建议吸收英国RAE评估体系的经验，设计新的科研质量评价体系[7]。同年，时任澳大利亚总理霍华德 (J.Howard)宣布将构建科研评价体系作为“澳大利亚能力支撑计划 (Backing Australia's Ability，BAA)”的一部分[8]。为此，政府成立了专家咨询小组，并聘请英国RAE负责人Gareth Roberts教授担任组长，设计澳大利亚的科研质量框架(Research Quality Framework，RQF)。

RQF的主要目的是改进公共资金资助项目的质量和影响力评价，具体包括:①保证公众对政府科研投入产出的知情权，增加政府管理的透明度；②提高科研经费资助方和受资方对科研质量的关注；③避免给科研机构带来过高的评估成本和行政负担；④为将来的科研经费分配提供依据。根据专家咨询小组发布的 《RQF工作报告》[9]，RQF将对科研的质量及其影响力进行科学评价，对于科研影响力的评价将同时关注学术影响力和学术外影响力。其中，学术外影响力主要是评价科研对社会的贡献，包括科研带来的经济效益、生态效益和社会效益。2005年，根据澳大利亚教育大臣Brendan Nelson的要求，全部的IGS项目以及一半的RTS项目将基于RQF评价结果进行资金分配，RQF的首次评价原计划于2008年启动。

(4)2008年至今:新政府确立新的科研评价体系，科研卓越计划正式实施。

2007年11月，澳大利亚工党在政府大选中获胜，新政府于2008年宣布以ERA来取代RQF。由于ERA在评价方法上对RQF进行了改进，因此得到广泛认可。RQF主要是以 “系 (Research Groups)”为单位进行评价，每所高校选择4个优势系为代表，进而评价学校的科研质量，而ERA则将对澳大利亚高校所有学科的科研活动进行评价。

2008年3月，在澳大利亚全国高校会议上，科研与创新大臣Kim Carr对政府取消RQF的目的进行了说明，主要原因包括:一方面是ERA在澳大利亚科研国际水平测度上具有重要作用，另一方面是ERA可以发现澳大利亚科研的潜在优势领域，可以为未来的经费分配提供参考[10]。同时，Carr强调构建公平、公正、透明的ERA体系离不开科研人员的支持，并提出在ERA体系成熟之前，不会将评价结果与科研经费的分配相挂钩。同年，政府宣布澳大利亚研究委员会 (ARC)将负责ERA的设计与管理。2009年，ERA首先对 “物理和化学”、“人文与艺术科学”两个学科群进行了试验性评价，2010年开始面向澳大利亚高校的所有学科实施评价。

2 澳大利亚现行科研评价体系的特点

从评价目的、评价内容、评价方法、评价专家等科研评价体系的核心要素上来解构和剖析，澳大利亚现行的ERA科研评价体系具有以下特点。

(1)以提升科研质量为评价目标，逐步扩大评价结果决定科研拨款金额的比例。

ERA主要是对澳大利亚高等教育机构的科研活动各个方面进行质量评价，具体目标包括:①通过评价确保澳大利亚高等教育机构的科研质量满足政府、企业和社会的要求；②盘点澳大利亚高等教育机构在各学科领域中的研究优势，发现研究潜力；③保证科研绩效产出最大化；④发现未来可能发展的新兴研究领域；⑤使澳大利亚各学科领域的科学研究具有国内外可比性。

目前，ERA的评价结果不会影响澳大利亚高校在竞争性科研经费项目上的经费分配，但在补助性科研经费项目上，如 “可持续卓越研究项目(Sustainable Research Excellence，SRE)”和 “研究培训计划 (Research Training Scheme，RTS)”，ERA的评价结果则会影响部分经费的分配。以SRE项目为例，项目经费拨款分为三个阶段，每个阶段拨款经费的比例分别为20%、13%和67%。其中，第三个阶段67%的项目拨款将根据ERA的评价结果来调整经费分配比例[11]。2012年，澳大利亚政府按照ERA评价结果分配的SRE项目资金数额达到6570万澳元。为了保持本国高校的国际科研优势地位，澳大利亚政府决定在SRE、RTS等补助性科研经费项目中将会更多地基于ERA的评价结果来分配经费资源[12]。

(2)以科研综合实力为评价内容，采用国际可比性的量表划分评价结果等级。

根据ACR公布的ERA评估手册[13]，ERA的评价内容主要分为四个方面，包含了科研的学术影响力和学术外影响力，体现了科研的综合实力。

一是科研质量，包括出版物及会议的级别、被引情况等指标。其中，被引情况主要依据Scopus数据库提供的期刊论文被引频次，采用论文引用相对影响力 (Relative Citation Impact)和百分位阈值方法 (Centile Thresholds)进行测度。

二是科研量及活动，包括科研产出和科研收入指标。其中，科研产出指标包括传统形式科研产出 (如书籍、期刊文章、会议论文等)和非传统形式科研产出 (如视觉艺术作品、设计/建筑作品、现场表演作品等)。科研收入指标依据澳大利亚 “高等教育研究数据收集 (Higher Education Research Data Collection)”项目的相关定义，主要包括:澳大利亚竞争性科研项目经费、其他公共部门科研项目经费、企业科研项目经费、合作研究中心 (Cooperative Research Centre)项目经费。

三是科研应用，包括商业化收入 (Commercialization Income)、专利、注册外观设计、植物新品种权等应用测量指标。其中，商业化收入指高校通过知识产权交易带来的收益，但不包括科研合同、科研咨询带来的收入，这些属于科研收入统计范畴。

四是声誉，包括在权威出版单位担任编辑的人数、参加知名学术团体的人数、全国性科研奖励获得者人数和澳大利亚议会奖学金获得者人数等声誉测量指标。

为了使ERA的评价结果具有国际可比性，其采用了五分制量表方法对上述四个方面的评价结果进行等级划分，见表1。

表1 ERA科研评价结果的等级划分

(3)以学科为评价单元，依据各学科特点选取适用的评价方法

ERA以学科作为评价单元，学科分类采用“澳大利亚和新西兰标准研究分类法 (Australian and New Zealand Standard Research Classification Field of Research，简称FoR)”。2008年，FoR公布了最新的学科分类标准，包括22个学科门类(由2位代码组成)、157个学科子类 (由4位代码组成)以及更具体的学科领域 (由6位代码组成)。例如:气象学的学科代码是040107，其中04代表地球科学，0401代表大气科学。ERA主要是对学科门类和学科子类两个层面进行评价。同时，ERA将所有学科整合为8个学科群 (见表2)，包括:“数学、信息与计算机科学”、“物理、化学和地球科学”、“工程与环境科学”、“生物与生物技术科学”、 “医学与健康科学”、 “教育与人类社会”、“经济学与金融学”、“人文与艺术科学”。

表2 ERA科研评价体系的学科群

由于各个学科的特点不同，ERA在被评价的科研成果形式和具体的评价方法上采取了不同方式，如对于 “农业与兽医科学”在科研应用评价中，除了专利外，还包括了作物育种方面的科研成果。对于 “建筑环境与设计”、“教育”、“经济学”等学科的科研质量评价中，并没有采用引用分析方法，而是通过同行专家评议方式进行评估。

2012年，ERA将一些利用引用分析方法评价的学科改为同行专家评议的方式进行评估，如 “信息与计算机科学”、“通信技术”、“计算机硬件”；允许 “经济学”和 “人类社会研究”将政策文件等“非传统形式科研产出”作为科研成果；对于 “建筑”和 “工程设计”学科的声誉评价中，将 “在权威出版单位担任编辑的人数”作为一项评价指标。

(4)以国际知名学者为评审专家，通过公开、透明的方式进行科研评价。

ARC按照学科群的划分组成8个学科评审专家委员会 (Research Evaluation Commission，REC)，每个评审委员会选举一名专家作为首席。评审专家多数来自澳大利亚本国高校，但也有部分国外高校的学者参加学科评审委员会。2015年，ARC公布的8个学科评审委员会中，共有149名专家组成，其中来自国外高校的专家有7人，分别参加 “工程与环境科学”、“教育与人类社会”、“经济学与金融学”、“数学、信息与计算机科学”、 “生物与生物技术科学”、“医疗与健康科学”6个学科群的评审。

为了保证评价的公平、公开和透明，ARC构建了评审专家库，涉及700余名的国内外知名学者。同时，在评估年，评审专家名单及其简历都会在ARC的官方网站上向媒体和社会公布。ARC遴选评审专家的标准主要包括:①科研成就。评审专家应是国内外知名学者，承担或评审过重点科研项目，熟悉本领域的科研活动和研究前沿；②知识深度。评审专家在相关领域内具有深厚的专业知识，有过跨学科研究的经历；③学术地位。评审专家担任过学术科研机构或专业协会组织的领导职务；④沟通能力与合作精神。评审专家应具有一定的团队合作能力、高尚正直的个人品格、较强的工作效率。

(5)以信息科学方法和计算机科学技术为评价保障，重视科研评价全过程的组织与管理。

为了保证科研评价的顺利实施，ARC建立了评价系统平台SEER(System to Evaluate the Excellence of Research)，并在提交数据格式、系统交互机制、系统平台安全等方面制定了详细的规范制度。SEER系统的运行逻辑见图 1。在评估年，ARC会发布 “提交指南 (Submission Guidelines)”、“技术规范 (Technical Specifications)”、“业务章程(Business Rules and Verification)”、“学科评价内容矩阵表 (Discipline Matrix)”等规范性文件指导受评高校提交科研评价材料。

图1 SEER系统的运行逻辑

按照ARC的要求，受评高校需要设置ERA联络员 (Liaison Officer)岗位，负责组织本校全部学科的科研人员参加ERA评价。ERA评价材料提交主要包括准备和提交两个阶段。在评价材料准备阶段，受评高校应依据 “学科评价内容矩阵表”准备评价材料，同时必须对期刊论文形式的科研成果进行电子标识，包括确定论文的所属学科，以及期刊的引文数据。在此过程中，受评高校可以利用其机构库 (Institutional Repositories)来收集本校教师的科研产出成果。在评价材料提交阶段，主要通过SEER系统平台完成，受评高校的ERA联络员负责上传科研评价材料，所有材料必须符合ERA规范性文件的要求。SEER系统平台会自动审核评价材料的数据格式，而ARC则重点关注科研产出成果是否存在重复提交等问题，如有问题，其ERA业务专员会通过SEER系统平台向受评高校反馈。最终提交的科研评价材料需要受评高校的科研副主管或同等职位人员签署并提交电子版和纸版的确认书，声明本校提交的科研评价材料真实全面，符合ERA的相关要求。

3 启示

从澳大利亚科研评价体系的演变过程与发展经验上来审视，中国新的科研评价体系建设可以获得以下几方面的启示。

(1)确立科学的科研评价目标，发挥科研评价的引导作用。

科学的科研评价要以促进科研实力提升、调控科研发展方向和策略、优化科研资源配置为目标，同时还要考虑对研究人员培养、科技成果转化以及科研文化培育的引导作用。科学的科研评价应符合科研活动的客观规律，通过制定合理的科研评价周期来减少急功近利的科研 “投机行为”，通过评价指标的设计来引导科研朝着数量和质量双重增长的良好态势健康发展。同时，科学的科研评价还应符合科研人员的成长规律，要建立有助于青年科研人员发展的评价体系，营造求真、务实、诚信的科研文化氛围。总之，科学的科研评价不应以 “评价”为目标，只是将评价结果作为科研资源分配的标准；科学的科研评价应以 “引导”为目标，指引科技的发展方向，提升科技的创新力和竞争力。

(2)扩展科研评价内容，构建多维度的科研成果影响力评价体系。

现有科研评价主要基于可量化的学术论文、专利等常识性科研产出，而科研成果的价值并不仅仅局限于学术层面。科研活动在推动科学和技术发展的同时，培养了未来的科技人才、带动了劳动力就业、提升了科研环境建设。因此，科研评价内容应扩展到科研环境、科研应用等与科研活动密切相关的上下游科研过程中，从而实现科研生态的整体优化。随着科研评价内容的扩展，单一的学术影响力评价体系已不再适用，需要构建全面考虑科研活动过程所有环节影响力的多维度评价体系。评价体系不仅包括评价科研成果的学术影响力，考察科研成果对科学知识进步的贡献；评价科研成果的学术外影响力，测度科研成果对经济发展的影响；还要评价科研活动的社会影响力，考核科研活动对科研环境建设的贡献，以此引导科研人员重视人才培养、重视科研文化培育。

(3)实施规范的科研评价标准，建立与国际接轨的评价制度。

规范的科研评价标准要考虑不同学科的差异性，要从自然科学、技术科学、社会科学和艺术科学的学科特点出发，选择学科代表性的科研成果形式，通过适用的科学方法进行评价。同时，规范的科研评价标准要经过 “试点—推广—完善”整个过程，评价标准要根据科学技术发展的进程不断修改完善。此外，规范的科研评价标准要与国际接轨，使中国的科研评价具有国际可比性，有利于科研人员准确定位自身的学术位置，也有利于科研管理部门准确把握未来的科研发展方向。

(4)使用多元的科研评价方法，减轻科研人员在评价过程中的负担。

多元的科研评价方法要吸收多学科的方法特色，综合定性和定量的评价方法，针对自然工程科学和人文社会科学建立多样性的、分学科的评价方法体系。同时，将数据挖掘、自然语言处理、可视化图谱等大数据分析方法和技术应用于科研评价，增强科研评价的深度和准确性，减轻科研人员在评价过程中的负担。

(5)组织权威的科研评价专家团队，鼓励科研成果用户方参与评价。

权威的科研评审专家不仅要有学科专业知识的深度和广度，同时还要具有丰富的科研评价经验。权威的科研评价专家团队中最好包括国际同行专家，其有助于保证国内专家客观地评价研究成果的国际卓越水平，也检验国际标准的应用是否恰当。同时，还可以包括评价咨询专家，其有助于保证科研评价过程的公平性和科学性。此外，科研成果用户方的参与将有利于对科研学术外影响力的评价。

(6)建设自动化的科研评价系统平台，加强科研数据的组织与管理。

自动化的科研评价系统要以信息科学的方法为基础、计算机科学的技术为保障，为科研管理部门和参评科研单位提供互动的平台，同时也要以 “节约成本、减轻负担”为原则，提高系统平台的运行效率。另外，科研数据是科研评价的基础，数据的质量决定着评价结果的准确性。所以，在科研评价的同时也应加强科研数据的组织和管理工作，其有利于科研评价材料的收集、整理与再利用。

[1]余江.英国科研评价体系及其借鉴问题[N].中国社会科学报，2014-07-30.

[2]中国科学技术信息研究所.2011年度中国科技论文统计与分析[M].北京:科技文献出版社，2011.

[3]郭生练.谁拨偏了科研评价的方向?[N].科技日报，2010-06-22.

[4]F Larkins.Australian Higher Education:Research Policies and Performance 1987-2010[M].Carlton，Victoria:Melbourne University Press，2011:17.

[5]Australian Research Council.Annual Report 2001-2002[R].Australia:ARC，2002.

[6]Butler L.Explaining Australia's Increased Share of ISI Publications-the Effects of a Funding Formula Based on Publication Counts [J].Research Policy，2003，(32):143-155.

[7]External Reference Group.Evaluation of Knowledge and Innovation Reforms Consultation Report[R].Department of Education，Science and Training:Canberra，ACT，2004.

[8]DEST.Backing Australia's Ability:Building our Future through Science and Innovation[R].Department of Education，Science and Training:Canberra，ACT，2004.

[9]G Roberts.Evaluation of Knowledge and Innovation Reforms Consultation Report[R].Department of Education，Science and Training:Canberra，ACT，2004.

[10]K Garr.A New ERA for Australian Research Quality Assessment[EB/OL].http:archive.innovation.gov.au/ministersarchive2011/Carr/MediaReleases/Pages/NEWERAFORRESEARCHQUALITY.htm.4 March 2008.

[11]Department of Innovation Industry，Science and Research.Sustainable Research Excellence(SRE)in Universities 2010 Guidance Paper[R].http://www.uow.edu.au/content/groups/public/＠web/＠raid/documents/doc/uow085691.pdf.

[12]Group of Eight.Research Performance of Australian Universities[R].https://go8.edu.au/sites/default/files/docs/go8policynote4_researchperformance.pdf.

[13]Australian Research Council.ERA 2012 Evaluation Handbook[R].http://www.arc.gov.au/era/era_2015/era_2015.htm.

(责任编辑 沈蓉)

Inspiration of the Development and Features of Research Evaluation System in Australia

Zhao Yong1，2，Zhang Lingge1，Han Mingjie1，Li Chenying1
(1.Library of China Agricultural University，Beijing 100193，China；2.Institute of Scientific and Technical Information of China，Beijing 100038，China)

This article investigates the development of research evaluation system in Australia.The features and inspiration of excellence in research for Australia are analyzed，which involve evaluation target，evaluation content，evaluation methods，and evaluation expert selection，in order to provide a reference to improve research evaluation system in Chinese universities.

Research evaluation；Australia；ERA；High education institution

G323

A

2015-05-15

赵勇 (1980-)，男，吉林人，中国农业大学图书馆副研究馆员，中国科学技术信息研究所博士后；研究方向:科研评价。