英国科研项目的同行评议制度
2022-12-29王静
王 静
(中国科学技术部,北京 100862)
英国是同行评议(Peer Review)制度的发源地。经过多年发展,英国科研项目的同行评议已经形成一套稳定规范的制度,对我国进一步完善同行评议制度有一定借鉴意义。
1 英国同行评议概况
1665 年英国皇家学会创立了《哲学汇刊》(Philosophical Transactions)[1],确立了科学优先和同行评议的重要概念,开创了全世界同行评议的先河,该期刊也成为世界上历史最悠久的科学期刊。随着世界科技的学科分化和发展,与之相伴的同行评议制度也日益完善。
英国议会2002 年关于同行评议的简报[2]指出,英国的同行评议主要用于三方面:一是研究经费的分配。研究理事会和生物医学慈善机构等主要科研资助机构,都使用同行评议对优先资助哪些研究项目提出建议,并评估资助项目的进展情况。二是在科学期刊上发表研究。同行评议用于评估提交发表的研究的质量和重要性。因此,该过程会决定哪些研究进入公有领域、发表于何处以及将产生何种影响。期刊越有声望,所发表研究可能产生的影响就越大。三是评估大学院系的研究。同行评议是大学研究评估“研究卓越框架”(Research Excellence Framework)的一部分,评估结果用于指导公共资金向每个大学研究机构的分配。本文聚焦于科研项目的同行评议,即三大用途的第一点。
2 英国科研项目同行评议基本原则
2.1 英国研究与创新署科研项目资助概况
英国商业、能源和产业战略部主管国家科技工作,其下属的非政府部门公共机构英国研究与创新署(UKRI)负责政府科研经费的管理。英国研究与创新署由7 个研究理事会、英国创新署和英格兰研究署组成。7 个研究理事会负责面向高校和研究所的竞争性研究经费资助;英国创新署负责面向企业的竞争性创新经费资助;英格兰研究署则组织“研究卓越框架”评估,并根据评估结果对大学研究与知识交流予以稳定支持。
英国7 大研究理事会中有5 个支持自然科学,按照2015/2016—2019/2020 五个财政年度竞争性资助总额排列[3],依次是:工程和自然科学研究理事会(EPSRC)42.19 亿英镑;生物科学与生物技术研究理事会(BBSRC)23.84 亿英镑;医学研究理事会(MRC)22.17 亿英镑,自然环境研究理事会(NERC)20.76 亿英镑;科学技术设施理事会(STFC)12.55 亿英镑。
研究理事会项目分为项目(Grants)和人才(Fellowships)两大类,各自又细分为名目繁多、金额不一的多种项目。支持方式分为自由探索与目标导向两大类,自由探索项目由科研人员自主选题,每年申报3 轮;目标导向项目会发布指南,明确提出拟支持的研究方向、项目数和单个项目的经费额度,限期申报。无论哪种项目,均根据同行评议结果,结合财力可能,予以择优支持。
2.2 英国研究与创新署科研项目的同行评议程序
英国研究与创新署制定有《评估与决策原则》[4],对研究理事会和英国创新署的评估程序与原则进行了规定,同时每个研究理事会制定各自具体的评议程序与评审指标。
研究理事会工作的基础就是评估,指对提交的申请进行的、用来确定申请是否可以获得资助以及哪些申请应该获得资助的过程。评估包括独立的专家评审(Independent Review)和集体的专家组评估(Collective Panel Assessment)。
评审者(包括独立评审专家和专家组成员)根据公布的评审标准对申请进行评价。评审者为来自企业、学术界或公共和慈善机构等其他行业的专家与同行。
评估通常分两个阶段:先由评审专家通信评审,然后由理事会专家组会议评审。但也可以采用单阶段评估等其他形式,如仅进行评审专家通信评审,或仅由理事会专家组会议评审。在某些情况下,作为评估过程的一部分,可能会要求申请人参加面谈。评估流程与具体的项目类型相称,在指南中对拟使用的评估方法进行说明。
通信评审是对一份申请的独立评估,仅基于评审专家根据评估标准作出的判断,通常不会与其他申请进行对比。在通信评审后、专家组会议前,通信评审意见会被反馈给申请人,以便申请人做出回应。
专家组评审是专家组成员对多份申请共同进行的,可以采用不同的形式,包括对提交的信息进行评估或面谈、听取报告等。专家组成员承担不同的角色,包括主持、开展进一步的专家/同行评估、确定入围名单。专家组基于发布的评审标准,就申请书的分类、分级和/或排序达成一致,并在必要时提供反馈。项目经理根据专家组提出的排序清单及可用资金的多少,决定支持多少个项目。排名名单和财务截止点得到专家组主席的确认和同意,即对申请者发出立项决定。
2.3 英国研究与创新署评估和决策原则
一是专家评估。在评审前,对评审者提供指导;专家组成员还获得额外的介绍材料。指导和介绍材料是为评审专家和专家组成员量身定制的。评审者应在该领域具有同行认可的或成熟的专业知识。理事会任命专家组成员,并在适用的情况下任命“同行评议学院”(Peer Review College)和其他参与专家评审的成员。
二是透明。项目指南可在线获取,指南中公布评估标准和评估过程。通信评审意见会反馈给申请者,申请者可进行回应;做出资助决定后,会将结果通知申请人。发布专家组做出的资助决定信息,以便申请人和科研单位了解其申请与在同一专家组会议上的其他申请的相对位置。这将有助于申请人和申请单位提高申请的质量。“研究通道”等网站会发布资助项目的详细信息。
三是公正。根据规定的流程采取措施管理利益冲突。存在利益冲突的评审专家,不得对申请进行评审。理事会会就如何管理利益冲突为办公室管理人员和专家组成员提供指导。
四是适当。评估程序的规模和复杂性应与项目相匹配。项目指南的目标、所需的时间和资源是决定评估程序的因素。大多数项目会经过两阶段评估程序,但一些资助决定可能会在通信评审后做出,或由专家组直接考虑。理事会致力于不断改进评估、减少偏见,包括承诺负责任地使用指标。理事会不把期刊影响因子等基于期刊的指标作为衡量单篇研究文章质量的替代标准来评估某位研究人员的贡献或做出资助决策。
五是保密。向理事会提出的申请,包括相关数据、知识产权和申请材料,必须由参与评估程序的个人或单位保密处理。这保护了申请人的想法、知识产权和个人数据。评审专家的身份对申请人是隐匿的,因此利于专家提供自由和坦率的评审意见和建议。评审专家不得在评估意见中表明自己的身份。
六是诚信与伦理。负责任的研究行为是社会对研究和创新信任的内在因素。理事会旨在促进和维护研究和创新的公共价值,并确保资助决策基于证据和严格的分析。评估人员应对伦理和诚信予以考虑。评审者必须对他们正在评估的材料保密:只有得到英国研究与创新署的明确许可并出于明确的书面原因才能向第三方披露。评审者必须声明任何利益冲突,包括职业、个人或商业冲突,并且不得利用其在评估程序中得到的任何信息。
七是平等、多元化和包容。理事会不断改进程序,旨在减少对性别、种族或其他受保护特征的偏见,以实现对平等、多样性和包容性的承诺。将采取措施,增加女性、早期职业研究人员、少数族裔成员等弱势群体担任评审者,改进评估流程。
八是职责分离。确保在对每份资助申请的质量和可能的影响进行独立评估后做出资助决策。评估与资助决策分离,决策基于评审者的建议。评审者不负责做出资助决定,资助决定由具有相关权限的理事会高级人员做出。
3 工程、自然科学和医学研究理事会的科研项目同行评议制度
工程和自然科学研究理事会是资助金额最多的研究理事会,其同行评议制度具有代表性。
3.1 工程和自然科学研究理事会的同行评议程序
工程和自然科学研究理事会对于大多数项目采用前述英国研究与创新署项目同行评议“先专家通信评审、后专家组会议评审”的标准程序。对于一些有特定要求的资助项目,则采取非标准程序[5],主要有三种:
一是对某些导向性项目,增加一个提纲阶段(Outline Stage)。在指南中明确要求先提交项目提纲,由专家组讨论后决定邀请哪些提交提纲的团队提交完整的申请书;再通过标准程序对完整的申请书进行评审。提纲仅对研究进行简要介绍,没有完整申请书所需的详细成本核算和工作计划等信息,对提纲也不进行通信评审。
二是增加一个意向书(Expressions of Interest)阶段。意向书与提纲很类似,但没有提纲那么正式,不需要财务信息。同样是由专家组讨论决定邀请哪些提交意向书的团队提交完整申请书。
三是“沙坑(Sandpits)互动研讨会”模式。推动用横向思维和激进的方法来提出科学问题和研究建议,在结束时确定资助方式。研讨会通常为期5 天,涉及多学科、跨行业的20~30 名参与者,包括1 名负责人、若干专家导师和一些独立的利益相关者。负责人、导师和利益相关者没有资格获得资助,其作用是帮助参与者定义和探索科学问题。
在研讨会前,有兴趣的参与者需提交意向书,由负责人、导师形成的专家组进行讨论,确定参加研讨会的参与者。会议期间进行充分的研讨,并进行实时的同行评议,申请者可回应。
研讨会的结果可能是一个大型的研究项目,或几个较小的项目,或进行可行性研究、开展网络活动、海外访问和其他活动。结果不是预先确定的,而是在会议期间确定。
研讨会后,确定的受资助人员提交完整的申请书,并由原专家组审核,确保其保持在会议商定的范围内。
3.2 工程和自然科学研究理事会重大项目的评审标准
工程和自然科学研究理事会将项目类型细分为“标准项目”(类似我国自然科学基金委员会的面上项目)、“计划项目”(指战略性重大项目)、“人才项目”等12 类,评审标准基本一致,在具体内容描述上有些差别。以下以“计划项目”为例介绍评审标准[6]。
(1)主要标准——卓越(包括整体愿景和抱负):申请人必须阐明整体研究愿景并汇集一支具有互补专业知识的世界级团队。研究计划应该是雄心勃勃的、创造性的、创新的,并在资助周期后是可持续的。必须在当前知识状态和该领域正在进行的其他工作的背景下,通过拟议的研究来证明一个强有力的科学支持案例。还应阐明所提出的研究主题对相关大学战略的重要性。预期的产出应该会带来重大的变化,对直接团队以外的研究领域产生重大影响,并显著提高英国的国际形象。评审者应结合申请的新颖性,与背景的关系和及时性,雄心、冒险和变革,拟议方法的适当性等,对申请的研究卓越程度进行评价。
(2)主要标准——额外价值:申请书应证明该研究项目的附加价值和协同作用,包括使用员工和其他资源的时间、如何进行灵活使用及其益处,以将该项目作为一项相互关联的研究活动的连贯计划予以支持的附加价值和必要性。
(3)次要标准中最重要的——重要性:拟议的研究如何促进或维持其他研究学科的健康发展,是否有助于解决英国的关键社会挑战,有助于当前或未来的英国经济成功和/或促进关键新兴产业的未来发展;通过建立或维持独特的世界领先的研究活动,所提议的研究在多大程度上具有满足国家战略需求的潜力;该研究如何与已经在该领域或相关领域获得资助的其他英国研究相适应和互补,包括与工程和自然科学研究理事会已立项项目的关系。
(4)次要标准——申请人和合作伙伴:计划项目支持世界领先的团队,要对项目负责人(PI)和团队其他成员的国际地位、学术伙伴关系、执行项目的能力进行评审。可参考申请人的往绩记录和国际基准;项目团队的技能平衡;包括主要研究人员、研究助理、技术人员和相关学生在内的所有团队成员的职业发展和提升;项目负责人和团队是否具有领导/管理大型复杂投资的能力,并为项目的日常运行提供足够的支持、基础设施和资源。
(5)次要标准——资源和管理:申请书必须有明确的管理计划,确保以最有效的方式部署人力等各种资源,从而提供高质量的、有可能引起学科领域知识阶跃变化的研究成果。可交付的成果和阶段性进展应可以定期审查,确保最令人兴奋和最有希望的研究方向,并分配足够的资源确保项目得到专业管理。
(6)次要标准——对工程和物理科学的宣传倡导:申请书必须表明如何宣传倡导工程和物理科学。应具体说明工程和物理科学的重要性如何影响政策制定者;也可以考虑通过与申请的研究项目直接相关的公众参与活动进行宣传。
(7)整体评估:评审专家要对上述6 个方面分别提出评审意见,并提出整体评估意见,最后用6 分制进行打分。1 分最低,表示“该申请在科学或技术上存在缺陷”,6 分最高,表示“这是一个非常好的申请,完全符合所有评估标准”。
对于工程和自然科学研究理事会的“标准项目”,没有上述第2 项“额外价值”与第6 项“对工程和物理科学的宣传倡导”,其余评估指标一致,但具体描述上措辞有所不同。
3.3 工程和自然科学研究理事会评审专家的选择和专家库建设
工程和自然科学研究理事会明确规定,评审专家的选择是项目经理的责任[5],并建有专家库“同行评议学院”支撑其选择。
工程和自然科学研究理事会的项目经理首先使用研究领域、研究主题和关键字对申请项目进行分类;分类用的研究主题和关键词也将用于确定合适的评审专家。随后项目经理根据其专业知识选择评审专家。每个项目一般选择4 位通信评审专家,其中至少1 位来自申请者的提名(申请者可提名3 位)。选择方式有:(1)使用专家库自动匹配评审专家的功能;(2)利用对领域的了解来确定合适的评审专家;(3)检查项目申请人以前评审过谁的项目;(4)用项目申请人的关键词来进行匹配;(5)查看项目申请人以前所申请项目或类似项目的评审人;(6)请领域内人员推荐评审人;(7)查看项目参考文献中相关人员;(8)用欧盟委员会的研究与发展服务数据库Cordis、汤森路透学术期刊引文数据库Thomson ISI、微软学术搜索引擎等知识网络进行搜索。
工程和自然科学研究理事会的专家库名单在网上公布,共约5 500 人[7]。每位专家每年一般评审不超过8 份申请,最多不超过12 份。同时还有一个辅助学院(Associate College),所有新成员先进入辅助学院,达到一定标准进入学院。获得工程和自然科学研究理事会资助的人(博士后除外)自动加入辅助学院,还可通过工程和自然科学研究理事会提名、产业伙伴提名、国际合作伙伴提名等方式加入,此外也可个人主动申请加入,但要经过核准。
英国对于评审专家遴选没有明确的“跨国”要求,但在实际操作中,尤其是在通信评审阶段,国外专家的参与是较为普遍的。工程和自然科学研究理事会的专家库中有来自美国、德国、瑞典、澳大利亚、加拿大等多国的专家。
3.4 医学研究理事会评审专家遴选的不同做法
医学研究理事会和自然环境研究理事会这两个研究理事会的评审专家遴选与工程和自然科学研究理事会类似,由项目专家遴选,同时建有专家库予以支撑。医学研究理事会和科学技术设施理事会这两个研究理事会并未建立专门的专家库,主要依靠项目经理遴选。
医学研究理事会采取一种项目经理与合同制的“外部专家推荐选择人员”(Expert External Referee Selectors)密切合作的方式,遴选第一轮同行评议专家[8]。第二轮是专家委员会(或专家组)会议评审,其成员名单是相对固定的,在医学研究理事会网站上公开,每几年换届一次。外部专家针对评审项目提出建议的同行专家名单,推荐人员与医学研究理事会签订合同[9],合同期为1 年,有3 个月试用期,期满可续签。外部专家推荐选择人员根据被评审项目的主题,向项目经理提出多于需要人数的同行专家建议名单。如一个项目需要3~5 名评审专家,则需提出8~12 名建议名单。根据其提供评审专家的项目数量,按件计酬。
外部专家推荐选择人员的要求为:对某专业领域熟悉并有研究生以上学历,对生物医学领域具有广泛的兴趣,具备较强竞争力的研究经验,了解同行评议程序,但不得是目前活跃的研究人员,也不能是项目申请人或正在从研究理事会获得任何资助的人员,不能是任何医学研究理事会专家委员会(专家组)现任成员,不能是英国研究与创新署现任员工,因此主要由富有经验的退休研究人员或项目管理人员,以及正在休假的相关人员担任。
4 对我国同行评议的启示
(1)对研究成果进行全面评价,不依靠期刊指标。
英国是科学强国,有重视论文发表的传统,但近年来在评估中更加强调科研成果的影响力。英国研究与创新署指出,除了出版物,还要考虑数据集、软件、发明、专利、预印本、其他商业活动等所有研究成果的价值和影响;要考虑研究影响的定性指标,如对政策和实践的影响。此外,英国研究与创新署在对评审者的指导材料中明确提出,论文的内容比论文数量等出版指标或发在什么期刊上更重要,尤其对于早期研究人员更是如此。因此在评估时,不得使用H 指数或i10 指数等期刊影响因子或期刊等级、会议排名和指标等。近年来我国科技评价也有过于重视期刊指标的问题,需要高度重视并从评估规则上予以调整。
(2)进一步研究评审过程中应该保密或公开的事项。
如对于是否公布评审专家名单,传统做法是匿名评审,这会增加客观性和诚实性的假设。近年来也有意见认为应公布专家名单,认为能使专家更加负责任,避免其滥用专家权力打击竞争对手。目前英国研究与创新署采取匿名评审的传统做法,而我国的一些科研项目评审目前采取事先公布专家名单的做法。又如对于是否公布项目评审排序,英国研究与创新署的做法是公布排序,认为可以帮助申请者了解申请质量;而我国一般是仅公布入选项目名单,不公布排序。这些做法孰优孰劣,需要进行扎实深入的调查研究和综合分析,寻求更好的做法。
(3)加强对同行评议中科研诚信的监督管理。
同行评议的基础是信任与诚实。一方面,申请者的科研不端行为、利益冲突情况等很难通过同行评议发现;另一方面,由于专业性强,外行很难判断评审的“正确”与否,评审者也存在抄袭和剽窃申请书的潜在可能性。因此,需要进一步加强对科研诚信和利益冲突的管理,加强对科研不端行为的严肃处理,筑牢同行评议的基石。