科研卓越框架（REF）：英国高校科研评估的改革创新及其价值取向

2015-02-25刘兴凯左小娟

学术论坛 2015年8期

刘兴凯，左小娟

刘兴凯，左小娟

2014年12月18日，英国高等教育基金委员会公布了大学“科研卓越框架（REF）”的首次评估结果。评估结果表明，英国大学科研质量稳居世界领先地位，大学研究对经济和社会产生了广泛的影响力。科研卓越框架是英国在以往六次大规模科研评估基础上进行了较大改革的全新科研评估制度，旨在进一步推动国家创新，提升大学研究的国际竞争力。文章总结了英国科研卓越框架的基本特征及其创新，进而探析了评估体系改革的内在价值取向。在此基础上，提出了借鉴英国科研评估的有益经验推动我国高校科研内涵式发展的相关建议。

科研卓越框架；科研评估；价值取向

2014年12月18日，英国高等教育基金委员会（HEFCE）公布了首次“科研卓越框架”（REF）评估结果。结果表明：英国高校科研质量稳居世界领先地位，大学研究对经济和社会产生了广泛的影响力。英国高校科研评估制度享誉全球，全新的科研卓越框架评估体系更是因其制度性改革而引起了学术界的广泛关注与讨论。“科研卓越框架”（REF）是英国在实施近30年的RAE评价体系的基础上，经过总结经验和弊端后于2008年提出并决定在2014年正式发布评估结果的全新高校科研评估机制。REF在秉持公正、客观、公平的一贯原则基础上，积极改进评估标准和评估方法，在注重科研质量和科研产出的同时，更加注重科研成果的社会效益和社会影响。REF评估体系的制度性改革及其内在的协同创新和追求卓越的价值理念，对我国高校科研事业的内涵式发展具有重要的借鉴意义。

一、由RAE到REF：英国高校科研评估制度的改革背景

英国自1986年开始推行针对大学的RAE（Research Assessment Exercise）科研评估，这是由英国四家高等教育基金委员会①这四家机构分别为英格兰高等教育基金委员会（HEFCE）、苏格兰基金委员会（SFC）、威尔士高等教育基金委员会（HEFCW）和北爱尔兰就业与学习部（DFL）。联合开展的一项全国性的高校科研评估活动，旨在为拨款机构提供高校科研经费分配的依据，从而提高政府拨款和管理的透明度，并促进高校提升科研质量及国际竞争力。1986-2008年期间共进行了六次大规模的科研评估活动。1986年首次实施的“科研选择性评估”提出了一个明确的并具有一定形式规范的科研质量评估过程；1989年、1992年和1996年的科研评估变得更加透明、综合，也更加的系统；2001年的第五次评估和2008年的第六次评估则主要采用RAE方式进行，RAE科研评估确保了科研质量评估在高等教育（HE）领域的运用。

六次大规模的评估活动对英国高校事业的发展产生了深远的影响，有效地加强了英国高校的科研管理，提升了高校科研质量和效率，推动了科研经费的优化配置。但是，伴随科研评估而来的各种负面效应也日益显露，从而使得RAE评估不断遭到质疑。英国下议院科学与技术选择委员会在2002年发布了一个关于RAE的报告，报告指出了RAE评估产生的积极影响；同时，RAE评估也出现了诸如加重高校行政管理的负担、破坏学者的学术事业、分组太多导致评估机构臃肿、经费开销大、滋生学术不端及弄虚作假的行为等[1]。为了应对日益激烈的国际高等教育竞争，缓解政府研究经费的财政压力，以及回应各界对科研评估资源浪费的质疑，2008年第六轮科研评估后，英国政府委托英格兰高等教育基金委员会和其他高等教育资助机构联合制定一种新型的评估制度替代RAE评估体系，这种新的评估制度被命名为科研卓越框架(Research Excellence Frame，简称REF)。REF科研评估于2008年开始筹备，2013年递交评估材料，2014年正式评估并公布评估结果。

二、科研卓越框架（REF）评估制度的改革创新

科研卓越框架（REF）是在RAE基础上经过调整和改革后提出的一种全新科研评估体系，该体系延续了RAE评估的一贯原则，但是在一些具体操作环节作出了重大调整。

（一）评估指标的调整：强调卓越性与影响力

在REF2014科研评估中，评估指标由RAE中“科研成果、科研环境、科研声誉”三项指标调整为“科研成果、科研影响、科研环境”，特别新增了“科研影响力”指标。该指标不仅是REF2014改革的关键，同时也体现了此次改革更加强调科研的卓越性。2009年12月，英国高等教育基金委员会组织召开了第二次关于REF的商讨会，在发布文献计量试点实验结果的同时，建议在REF评估中引入“科研影响力”。由于“影响力”指标可以很好地反映卓越研究所产生的良好的社会效益和经济效益，因此建议给予“影响力”指标25%的权重。REF评估团队于2010年针对影响力进行了一个试点实验，以此检验和发展REF中的“影响力”评估。2011年3月，英国高等教育委员会发布了关于REF中影响力权重及影响力评估的决定，并最终将“影响力”指标权重减少为20%，同时公布了科研质量和科研环境两个指标的权重，分别为65%和15%[2]（P1）。

REF将科研影响力界定为科研成果对经济、社会、文化、公共政策或服务、健康、环境、生活质量等学术界以外的各个方面所产生的效果、变化或收益[2]（P1）。该指标基于影响的“深度”和“重要性”两个维度从整体上形成一个统一的标准进行评价。在评估方法上主要采用“影响力案例研究+影响力模板”的方法，要求参评机构向评估小组递交的材料必须包括“案例研究”和“影响力模板”。其中“案例研究”要求必须描述在评估期间（2008年1月1日至2013年7月31日）科研活动产生的特别的影响，“影响力模板”要求详细描述在评估期间递交单位进行科研活动产生影响力的方法和途径，用以辅助“案例研究”。根据“深度”和“重要性”的标准，以及“影响力案例研究+影响力模板”的评估方法，将科研影响力评估结果划分为五个星级，分别是从无星级到1星级、2星级、3星级、4星级，分别代表没有影响、影响很小、影响认可但适度、影响非常可观、影响杰出。

在REF2014发布的对影响力评估结果中，所有递交的材料中有44%的科研影响被外面的研究使用者和学术委员会成员评为“影响杰出”（即4星级），另外有40%被评为“影响非常可观”（即3星级），只有13%被评为“影响认可但适度”（即2星级），2%被评为“影响很小”（即1星级）和1%被评为“没有影响”（即无星级）[3]。从对影响力指标评估的结果来看，超过80%的科研活动对社会、经济、文化、公共政策或健康等相关领域均产生了杰出或比较可观的影响。这也充分表明了在REF科研评估中，强调卓越性不仅体现在科研成果的质量上，同时也在科研影响力方面得到很好的表现，并取得了可观的成效。

（二）评估单元的调整：基于学科设置评估单元与专家小组

REF以学科为基础设置评估单元，同时根据设置的评估单元设置相应的专家评估小组。在RAE2008中67个次评估小组（sub-panel）和评估单元（Units of Assessment）的基础上进行了大幅度的精简，根据学科类别特征进行整合，并最终设置了36个次评估小组及评估单元，在此基础上的15个主评估小组（main panel）也调整为A、B、C、D四个主评估小组。

评估小组的专家成员面向全国公开招聘，先由各大高校或科研机构具有资格的人员提出申请，再由四大资助机构通过公开的过程提名，公开评选确定。主次评估小组的专家成员要求要有控制、管理、评估高质量研究方面的经验，并且做好充分准备，从个人、公共和第三部门视角进行研究影响评估。36个评估单元以及相应的次评估小组都在四个主评估小组的指导和领导下开展工作。A、B、C、D四个主评估小组中，每个小组的成员由主席、次评估小组管辖范围内的主席、国家专家成员、科研使用者和广泛的受益者组成；此外还邀请主要利益相关者作为主评估小组相关评估会议的评估员（assessor）；36个次评估小组的成员由主席、评估成员（10～30名，根据领域的规模和深度而定）组成。为了确保次评估小组在科研评估的实践中足够专业，具有深度地完成评估任务，需要额外挑选一些评估员。评估员要求要有利用或受益于学术研究的专业经验，特别是有利于对科研影响力评估的经验，参加过特定专业的研究，特别是对科研成果评估有利的[4]（P7）。

（三）评估标准及方法的改革：同行专家评估为主、定量评估为辅的评估方法

REF评估在RAE的基础上更为强调科研卓越性与创新性的评估标准。2012年1月，英国高等教育基金委员会发布了REF评估中有关产出、影响和环境的通用评估标准，对于科研产出，要求各次级评估小组应参照国家研究质量标准，从原创性、重要性、严谨性的角度进行评价；对于科研影响，要求各次级评估小组对被评机构从事的卓越研究对经济、社会、文化的影响，从程度和重要性两个方面进行评价；对于科研环境，则要求各次级评估小组从活力和可持续性方面进行评价。

REF对“科研成果、科研影响力、科研环境”的评估，最初曾设想以文献计量作为主要评估方法，在2007年11月关于REF的第一次商讨会中，讨论了关于文献计量法在各跨学科之间的使用，并于2008年2月14日发布了对文献计量法评估的分析报告。报告指出，REF的评估尽可能以定量评估为基础，在不同学科之间为适应其学科性特点而形成一个评估框架。针对科学性和理工科学科的评估以文献计量指标（Bibliometric Indicators）为主要评估方法，而针对诸如艺术、人类学和社会学这类的人文学科的评估在计量（metrics）的基础上有一个少量的同行评议的过程。但以定量评估为基础的文献计量评估方法在试点操作中暴露出了较多的问题；同时，在面向全国的咨询中，大多数受访者对文献计量法也提出了质疑。他们认为文献计量不能直接对科研质量进行评估，只是对科研质量的评估提供了一个相关的指标；大多数受访者认为文献计量指标只注重学术界的知识的影响，而并不能提供一个全方位的参考，特别是忽视了科研实际应用的影响以及对科研成果使用者的影响。因此，大多数人认为文献计量指标法评估应与其他相应的评估法相结合使用。

在REF初期以文献计量为主要评估方法的试行阶段和咨询中出现的各种问题，经过考量商议后，最后采用了以同行专家评估为主，定量评估（文献计量）为辅的评估方法，以此来确保专家评议对评估活动整体方向的把握，更好地提高科研评估的准确性和透明性。对于人文学科主要采用专家评议方式，理工科采用文献计量方式。在同行专家评估为主、定量评估（文献计量）为辅的评估方法中，同行专家评议起着决定性的作用。因此，在REF的筹备过程中，评估方法经历了一个由完全的“文献计量法”到“同行专家评议为主，文献计量为辅”的转变过程。

（四）参评人员的调整：简化人员分类、降低评估工作量

在2008RAE的评估体系中，参评人员分为A、B、C、D四类。A类参评人员指那些与高等院校机构（HEIS）签订合同、在岗在薪的学术人员，也可以说是院校的全职学术人员；B类参评人员是指在2001年1月与院校签订合同，或是在此之后到统计日前解除合同的人员；C类参评人员是指独立的科研人员，即指在统计日期间在科研方面比较活跃，并且受到本院校或者本机构重视的人员，且不符合A类参评人员资格；D类参评人员是指在评估期限内（2001年1月1日-2007年10月31），但统计日期不在岗的非C类的独立科研人员[5]（P1）。在这四类参评人员中，均可以向科研评估机构提交相关材料，但在RAE的评估流程中，对一些参评人员是否确实从事了科研活动出现了质疑，因此最终对相关学科科研质量的评价产生了影响。鉴于RAE参评人员分类较多导致的评估复杂性问题，英国高等教育基金委员会简化了REF评估体系中有关参评人员的分类，将RAE中的四类参评人员简化为两类：一类是机构人事资料上有案可查的受聘学术人员，即与参评学科签署了雇佣合同并拥有人事档案的学术人员，他们的主要工作是研究、教学或两者兼而有之；另一类是人事资料在其他机构的受聘人员，但确实受雇在受评部门从事研究活动的人员[6]。

三、科研卓越框架（REF）的价值理念及启示

英国基于卓越框架的科研评估会对社会及高校产生何种影响目前尚不明确，但是REF评估制度中所遵循的基本原则，尤其是其内在的价值理念，是推动英国高校科研卓越性及国际竞争力的重要源泉。这种理念对于当前正处于谋求规模向内涵转型的我国高校科研事业也具有非常重要的启示和借鉴意义。

（一）公正理念：半官方评估机构主导下的科学决策机制

无论是社会政策领域，还是社会管理方面，公正都是需要必须坚持的基本理念，特别是涉及个人或组织利益方面的问题，公正理念就显得更为重要。在英国的高校科研评估中，公正是评估活动首要的基本原则。这一点尤其体现在评估体系中半官方评估机构的设置，即英国高等教育基金委员会。这些半官方评估机构主导高校的科研评估活动，并科学地进行相关评估决策，政府部门不直接干预高等教育基金委员会的评估，而是从旁协助。这种半官方机构主导的科学评估决策机制，有意识地在评估中“去行政化”。此外，英国科研评估体系的公正理念也体现在对高校的拨款方面，英国对高校的经常性科研拨款是以科研评估结果作为依据的，而半官方性质的高等教育基金委员会作为政府和高校之间的“中介组织”，正如托尼·布里恩（Tony Brinn）等学者所言，采用“中介组织”开展科研水平评估的主要目的是为了协调和缓和政府与学校之间的关系，在政府与高学之间建立起一片“中间地带”和充当一个“缓冲器”[7]。因此，高等教育基金委员会成为一个责任主体，来促进政府和大学之间的协调制约。英国财政局对高校的科研经费拨款划拨给高等教育基金委员会，然后高等教育基金委员会以评估结果为依据，按照公式化模式对高校进行科研拨款。这样的第三方协调，使得对高校的科研拨款较为公正，防止因政府的单向评估拨款而造成的不公。

总之，在REF的整个评估体系中，采用半官方机构主导下的科学决策机制，不仅坚持了公正理念，同时有效地避免了政府直接评估的弊端，政府在评估体系中的角色成为一个“掌舵者”而不是“划桨者”。结合我国高校科研事业来看，虽然国家一直在号召深化科技体制改革，但是实践中政府部门在评估活动中起着主导作用，即使在2013年12月发布的《教育部关于深化高等学校科技评价改革的意见》中依然强调了行政部门在科技评价中的作用，可见我国高校的科研评估长期以来是以政府为主导的评估，缺少其他利益集团的参与，在评估中也就缺乏相关的监督，其科研评估的行政化现象严重，亦不能保证在评估中面向社会的公正性，也难以提高国家和高校的科研水平和科研质量。因此，我国应加强科研评估组织的管理，可以借鉴英国半官方机制，在我国设立权威的半官方的中介机构，使得相关利益集团广泛参与，转变政府在高校科研事业中的角色，从一个直接掌控的角色转变为一个为高校科研事业服务的角色，减少在高校科研事业中的行政性质，真正做到“去行政化”，从而确保高校科研评价的公正性。

（二）学科理念:基于学科的新型高校科研评估体系

在REF的整个评价体系中贯穿着“学科理念”。从评估单元的设置来看，评估单元设置的依据是学科性质，以学科为基础设置36个评估单元及次评估小组，并根据评估单元设置四个主评估小组。各评估小组的成员都要求在相关学科领域具有学术研究的专业经验和具备资深的学科背景，同时强调专家来自广泛的学科领域，吸纳跨学科专业知识的专家；从评估方法来看，在采用同行专家评估为主、定量评估为辅的评估方法基础上，在不同学科之间为适应其学科性特点而形成一个评估框架，针对理工科和自然科学类学科以文献计量法为主，而人文社会学科则以同行评议或专家评议为主；从评价标准来看，在以“科研成果、科研影响力、科研环境”为主的基础上，各评估单元根据学科特点有不同的评估标准。REF评估体系充分考虑了学科特点和学科性质，形成一种以学科为依据的新型高效科研评估体系。

与英国REF基于学科的新型评估体系相比，我国的高校科研评估更多的是强调“分类评价”，即以科技活动人员、创新团队、平台基地、科研项目等不同对象，按照基础研究、应用研究、技术转移、成果转化等不同工作的特点进行分类评价，而不是按学科的特点和性质进行分类。另外，我国的高校科研评估标准单一，忽视学科差异性，常采用发表论文、著作等数量指标作为评价标准，对学科的评估采取“一刀切”，忽视学科之间的差异，从而会导致科研评估出现重形式轻实质的现象，则会引起高校的科研成果发表唯“核心”期刊、SCI和IES是从的现象[8]。因此，我国高校的科研评估事业，应根据高校类型、科研水平和科研能力建立多元的评估标准，改变“一刀切”的模式；同时，根据不同学科性质和特点划分评估类别，不同的学科类别应拟定不同的评估标准，重视学科差异性，将“学科理念”合理地融于科研评估体系中。借鉴英国REF中以学科为基础，引导特色学科发展，增强学科竞争力，根据人文学科和自然学科的不同特点并结合我国科研实际发展特色，完善我国高校科研评估体系。

（三）卓越理念：强调研究的质量、创新及影响

REF评估在注重质量、强调创新的同时，更加强调其卓越性追求，追求科研成果在国际上的竞争力。在所有研究类型中均注重卓越性，无论是在应用型研究，还是在基础性研究中，都强调“原创性、重要性、精确性”。科研质量是REF评估的核心，对科研成果的质量评估按照“独创性”（originality）、“意义”（significance）和“严谨性”（rigour）的标准划分为四个星级等级，从而引导高校科研人员追求高质量、独创性的研究，增强科研成果的创新性。此外，英国根据科研成果的等级给各高校划拨科研经费，通过以科研质量为核心的绩效拨款制度调节科研经费，将经费投入达到国际先进水平的科研项目，促进科研国际竞争力的提升，这也是英国追求卓越性的体现。与此同时，REF中新增“科研影响力”评估成为了科研评估改革的关键，科研影响力注重科研成果对社会、经济、政策等方面的影响，直接体现了英国的科研评估重视社会效益，科研影响力评估同时又为科研成果最后的等级评估提供有力支持，对产出高质量的科研成果有一定的导向作用。

从科研的卓越性方面来看，我国在科研评估中缺乏追求卓越性的理念。虽然我国对高校的科技评估一再强调要注重科技创新质量和实际贡献，鼓励产学研协同创新，追求卓越，但是在实际的科研评价过程中却忽视了卓越性，注重科研规模数量轻质量；出现重视立项获奖及论文引用量，忽视科研成果的实际应用和社会影响，而单靠论文的引用量或论文发表的刊物影响力是不能够体现其研究的影响力和创新力的。为了提升我国科研创新能力，适应全面提高质量和创新驱动的时代发展要求，促进高校科研事业的发展，我国高校科研事业发展必须坚持以质量创新为导向，同时注重对科研社会效益和社会影响力的评估，根据不同学科领域产生的科研影响力和社会效益制定评估标准。

（四）协同理念：鼓励不同高校和学科之间的协同创新

在REF评估体系中，协同理念主要体现在两方面：一方面是高校之间的协同创新，REF鼓励不同类型的高校之间开展合作研究，共同提交评估材料和申请，评估委员会只对合作研究进行整体评价，不对每个单位的具体贡献进行评价，同时REF在不同大学的申请中允许提交共同署名的研究成果，且不论署名的先后，都视作科研人员的成果，这样就可以促进和加强高校之间的交流，促进高校之间的协同创新[9]。另一方面是学科之间的协同创新，REF在RAE的基础上对评估单元进行调整精简，促进了学科之间的融合协同，相近学科之间的科研合作有利于推进跨学科创新，在交叉学科的领域寻找新的突破点，从而进行创新性研究，在许多的研究形式中鼓励不同专业背景研究者合作，进行跨学科和多学科的研究。此外，在不同评估单元评估人员的选拔中，也要求来自广泛的学科领域，这就鼓励研究者从事多学科研究，重视学科之间的交流和创新。

我国目前的高校科研事业中，各高校之间也有大量的学术交流，但是由于我国高校的类型不同，常常采用分层分级的评价模式，阻碍了科研活动中高校之间的协同创新。我国的科研评估体系中，比较重视第一作者、科研项目主持人等，强调个人利益，忽视协同创新，特别是对科研项目的评价中，由于过于强调项目主持人的贡献而忽视整个团队的协作贡献，因此许多科研项目（尤其是人文社会科学项目）虽然是以团队的形式申报，但获批之后实际操作往往是单打独斗，从而使得科研项目越做越分散，并造就大量“科研个体户”。这种评价模式也势必会阻碍校际之间、校企之间的资源共享与合作，从而不利于协同创新[10]。另外，在学科协同创新方面，与英国的科研评估比起来，虽然我国针对不同的学科领域也采用不同的评估标准，但是只是针对人文和自然这样的大的学科类别进行划分，很少考虑到学科的分类和学科的融合综合评估，而学科协同创新的核心就是各学科的参与和融合，在科研评估中明显的学科界限不利于学科协同创新。近年来，高校“协同创新”逐渐成为热议的话题，旨在打造学科集群，提升科研能力。面对这样的呼声，我国的科研事业发展可以借鉴英国REF中的高校和学科协同理念，在科研评估中建构一套“协同评估”机制，将高校之间的协同创新和学科之间的协同创新作为主要的评估指标，以此来打破学科界限和高校独立科研，促进协同创新，提升科研能力。

2015年两会期间，科技部长万钢在回答记者有关如何全面深化科技体制改革问题时强调，特别是做好科研的评价和评估，以及经费监管方面的工作[11]。因此，如何借鉴国际经验，通过深化科研评估推动科技创新，进而提升科研国际竞争力，成为当前科研领域的重要问题。经过深度调整的英国REF科研评估体系势必会对英国高校科研事业的发展产生重大影响。当然，由于科研评估是一项涉及面较广的复杂过程，REF在后续的实施过程中也可能会不断暴露出一些问题，因此我们在借鉴英国科研评估改革经验的时候，需要根据实际情况去粗取精，在探索中推动我国高校科研评估工作的完善和发展，以此优化我国高校科研管理，增强科研实力与竞争力，以及将科研成果转化为现实生产力的能力，进而促进我国经济社会的发展。

[1]刘兴凯，梁珣.英国高校科研水平评估及其对我国的启示[J].当代教育科学，2014，（23）.

[2]REF2014.Decisions on Assessing Research Impact[R]. Bristol:REF,2011.

[3]REF2014.Key Facts[R].Bristol:REF,2014.

[4]REF2014.Units of Assessment and Recruitment of Expert Panels[R].Bristol:REF,2010.

[5]RAE2008.Generic Statement on Criteria and Working Methods[R].Bristol:RAE,2006.

[6]王中向.英国REF评估框架研究[J].高教探索，2013，（4）.

[7]Brinn T,JonesM J,Pendlebury M.Why do UK Accounting and Finance Academics not Publish in Top US Journal?[J].British Accounting Review,2001,(33).

[8]刘恩允.高校科研评价的问题与对策[J].高等工程教育研究，2004，（1）.

[9]徐明稚，王永林，方建安.改进我国高校科研评价的思考和建议[J].中国高校科技，2013，（8）.

[10]杜德斌，李鹏飞，王俊松，马亚华.我国高校科技评价体系改革的思考与建议[J].中国高等教育，2013，（1）.

[11]科技部长万钢答记者问实录 [EB/OL].http://news.sina.cn/gn/2015-03-11/detail-icczmvun6659235.d.html?from=mbaidu&stun=20007&vt=4,2015-03-11.

[责任编辑：陈梅云]