基础研究类科研机构评估:德国马普学会的实践与启示
2023-11-14关忠诚陈晓雷王腾郑海军
关忠诚 陈晓雷 王腾 郑海军
1 中国科学院科技战略咨询研究院 北京 100190
2 中国科学院大学公共政策与管理学院 北京 100049
随着我国经济进入高质量发展阶段,科技创新作为引领现代化建设重要动力的重要性日益凸显,而基础研究是科技创新的源头,深刻影响我国成为世界科技强国的进程。习近平总书记强调,要优化国家科技计划基础研究支持体系,完善基础研究项目组织、申报、评审和决策机制,实施差异化分类管理和国际国内同行评议,组织开展面向重大科学问题的协同攻关。因此,强化对基础研究的支持、改善基础研究类科研活动的评价机制至关重要。由于基础研究具有公共物品属性,短期内无法看到明确收益,所以源于政府财政支持的基础研究类科研机构(如国家实验室)在其中扮演着关键角色。如何服务此类机构的高质量发展,如何充分发挥评价的“指挥棒”作用,如何引导科研机构在关键基础研究领域实现突破[1],是当前亟待解决的现实问题。
虽然我国已初步建立了基础研究评价体系,但目前的评价体系并不完善,有些评价实践偏离了科学本质、科学规范和科学属性[2],在评价中仍然存在过度强调论文发表数量或影响因子等相关指标[3]、把人才称号作为人才评价和科技资源配置的唯一依据等问题。2020年,科学技术部等部门印发了《新形势下加强基础研究若干重点举措》,该文件指出要改进基础研究评价,重视基础研究论文发表后的深化研究,破除“唯论文、唯职称、唯学历、唯奖项”的倾向。已有不少学者研究了基础研究中的科技人才[4]、科研项目[5,6]与科研机构[7-9]的评估制度和评估方法,其中针对科研机构的研究,主要以评估方法分析和流程分析为主,并未从基础研究角度探究其评估体系和评估内容[10]。鉴于此,文章以顶尖基础研究类科研机构——德国马克斯·普朗克科学促进学会(以下简称“马普学会”)为例,探究符合基础研究规律和特点的基础研究类科研机构评估体系。
马普学会作为基础研究类科研机构的代表,是德国著名的非政府和非营利型研究机构[11],在基础研究领域享有较高学术声誉,具有很多突破性的创新和发现。迄今为止,马普学会共诞生30 位诺贝尔奖获得者,2020—2022 年连续3 年有多位马普学会科学家在医学、物理学及化学等领域获奖。马普学会在基础研究领域取得如此巨大成就与其完善的评估体系密不可分,已有学者对其进行了分析与研究[11-14],但大部分研究仅大致介绍了其评估流程与评估内容,并未围绕基础研究这一主线深入探讨马普学会的研究所评估体系与评估重点。因此,文章拟从基础研究类科研机构的评估出发,探究马普学会对其下属研究所设立的评估体系,分析评估过程中的评估环节和评估内容,总结不同评估环节的特点,对比不同时期马普学会的重点评估内容,提炼其研究所评估体系的发展变化情况。通过对基础研究类科研机构代表的分析研究,为我国基础研究类科研机构的评估实践提供有益借鉴。
1 马普学会的研究所评估体系
目前,马普学会共有80多个下属研究所,分别在自然科学、生命科学、人文科学和社会科学等不同领域开展基础研究。马普学会的研究所评估针对其下属研究所(以下简称“马普研究所”)展开,重视各研究所在其基础研究领域的科学水平,关注研究领域的发展前景,评估活动主要由主席团、科学顾问委员会、相关主管部门等多方机构共同开展。其中,科学顾问委员会扮演着重要角色,主要负责评估各研究所的科学水平并提出合理的建议。文章介绍马普学会的研究所评估来自官方公布的评估指南,马普学会基于自身战略目标针对各研究所制定事前评估、事后评估和扩展评估共3 个环节的评估体系,每个环节的评估重点不同[15-17]。为了方便探究不同评估环节的评估重点,比较不同时期评估体系的变化,这里将扩展评估归类于事后评估框架下。
1.1 事前评估
1.1.1 评估内容
(1)选择学术带头人。学术带头人的选择是事前评估环节最重要的部分,马普学会认为只有任命顶尖科学家作为学术带头人,才能保证马普研究所在相应基础研究领域做出国际领先成果。因此,马普学会选择和任命学术带头人的程序较为漫长。马普学会首先成立任命委员会,任命委员会主要由现任马普研究所所长、科学成员和外部专家组成,重点考核特定研究领域的发展前景与可能的候选人,同时收集至少10位来自国际顶尖科学家的书面报告作为参考。在得到任命委员会对候选人和特定研究领域的认可后,相关部门的科学成员才会对候选人的提案进行深入探讨。此外,马普学会遵循“因人设事”原则,如果现任马普研究所所长退休,且没有学术带头人继任,马普学会将毫不犹豫地关闭该研究所,将相关资源和人员转移到其他的马普研究所中。
(2)设立马普研究所。马普学会认为只有确定好学术带头人,才能在认定的学术领域成立马普研究所。因此,新马普研究所的设立通常与学术带头人的选择并行,并且对候选人的评估也是对马普研究所的科学概念进行评估。新马普研究所设立具体可分为2个阶段[18]:① 候选学术带头人成立相关项目组,马普学会组建专家组对项目组的研究前景、研究计划等进行评估,在项目组得到专家组认可后,马普学会将允许其进行约5 年的试运行。② 在项目组试运行结束后,马普学会将结合外部顶尖科学家重新成立评估委员会,对项目组的运行情况、发展前景以及候选学术带头人的能力进行评估。当评估委员会对项目组的工作与候选人较为认可时,才会向马普学会提议成立相关研究所。
(3)评价研究小组、研究项目和国际马普研究学院①与马普研究所不同,国际马普研究学院由马普学会与德国大学和德国科研机构联合建立,主要目的是吸引全球优秀学生到德国攻读博士学位,培养一流的博士研究生。。除了对学术带头人和马普研究所进行事前评估外,马普学会还会对其与不同大学或科研机构联合建立的研究小组、研究项目以及国际马普研究学院进行事前评估,只有认可相关研究的原创性与科学水平后,才会对其进行支持。
1.1.2 评估特点
(1)遵循“哈纳克原则”,以选择学术带头人为核心。由于基础研究具有颠覆性、高风险性与不确定性,对基础研究项目与研究领域的长期前景进行事前评估是一大难点[19]。因此,马普学会在事前评估环节将选择学术带头人放在最重要的位置,与应用研究和试验发展研究相比,基础研究更为重视科学家的原创能力和专业性。马普学会遵循“哈纳克原则”,认为只有成功引进顶尖科学家担任学术带头人,并以学术带头人及其团队为中心建立研究所,才能确保马普学会在相关基础研究领域的科学卓越性。基于此,马普学会投入大量精力,通过严格的任命程序,选拔具有原创能力和巨大潜力的科学家担任马普研究所的学术带头人,并在任职后给予其较高的学术自由和决策自由。
(2)重视评估学术带头人的科学水平与原创能力。在事前评估环节,任命委员会专家会直接对候选人的重要出版物进行深入探讨,审查其成果的原创性与影响力,以此评估学术带头人的原创能力和专业性。同时,通过专家研讨,评估候选人在科学研究水平、国际学术地位和领导素质等关键要素上的表现,这些并不仅仅依据论文与专利数量、被引率等文献计量指标衡量。由此可见,马普学会对学术带头人的评估遵循基础研究发展规律。基础研究的突破关键在于高层次人才,其科学成果或发现往往独一无二,这就要求科学家能够提出原创理论,做出原创成果[1];而马普学会的事前评估环节就是为了找出具有较高科学水平与原创能力的学术带头人。
1.2 事后评估
马普学会长期坚持对马普研究所的科学成就开展事后评估,事后评估大约每2年或3年1次,主要以同行评议为主,通过成立科学顾问委员会对马普研究所的科学水平进行审查。科学顾问委员会由国际上知名的专家组成,专家大多来自德国以外的大学或研究机构,每位专家最长任期6 年。主要通过马普研究所提名的方式选择专家,经由马普学会主席与相应部门的副主席协商后正式任命,马普学会主席亦可任命其他专家。原则上,科学顾问委员会的专家数量为5—15人,具体可根据马普研究所的规模和研究活动范围而定。马普学会作为全球领先的基础研究类科研机构,专家们乐于成为科学顾问委员会成员,故马普学会拥有近1 000位来自国际知名大学和研究机构的委员会专家,其中诺贝尔奖获得者有300多名。
1.2.1 评估内容
在科学顾问委员会、马普研究所与马普学会管理层的协作下,事后评估环节主要分为状态报告提交、专家现场评估、评估报告形成3 个阶段;为了方便探究不同评估环节的评估重点,比较不同时期评估体系的变化,这里将扩展评估归类于事后评估框架下,作为第4阶段。
阶段1:状态报告提交。马普研究所需在专家现场评估之前向科学顾问委员会提交一份状态报告,该报告详细阐述了该研究所的发展状况、研究进展与研究计划,具体类型包括马普研究所基本构架、研究人员、学术交流与合作、研究成果等方面,这些内容成为科学顾问委员会深入审查的基础(表1)[15]。
表1 事后评估环节马普研究所提交的状态报告具体内容[15]Table 1 Specific contents of the status report submitted by Max Planck Institute during ex-post evaluation process[15]
阶段2:专家现场评估。科学顾问委员会专家将到马普研究所开展2—3天的访问,并结合状态报告进行现场评估。科学顾问委员会主席与专家将在评估之前协商职责分配,确定不同专家的评估任务。评估期间活动主要包括:听取马普研究所对研究成果和未来研究计划的报告、与研究小组主任和负责人交流、听取基层科研人员和研究小组的研究进展报告、与博士和博士后等青年科研人员开展会谈、现场参观等活动。在这些活动间隙,科学顾问委员会专家之间不时进行评议讨论,也会与马普学会主席、主管相关部门的副主席及行政总部的联络官进行交流。
阶段3:书面报告形成。结合状态报告和现场评估,科学顾问委员会将召开会议给出具体意见,并与马普学会主席、副主席及马普研究所负责人举行会谈。经过交流讨论,最终形成一份详细的书面报告。书面报告阐述了对该研究所整体及下属部门的评估结果(表2),马普学会还为评估结果设立了5 个等级(杰出、优秀、很好、好和一般),方便科学顾问委员会专家对相关问题进行评价与回答[16]。
表2 科学顾问委员会提交的书面报告具体内容[16]Table 2 Specific contents of written report submitted by scientific advisory board[16]
阶段4:扩展评估。委员会的评估完成并出具书面报告后,马普学会还有扩展评估环节,扩展评估环节大约每6 年开展1 次。开展扩展评估环节是为了满足马普学会的战略规划需要,从跨马普研究所的视角来探究基础研究领域的前景,目标是识别研究机构之间可能的协同作用,发现共同问题或避免重复研究。评估内容主要分为取得的科学成就、资源配置情况与马普研究所的中期前景3 项。在扩展评估环节,马普学会将成立研究领域委员会,其由各科学顾问委员会主席、报告员(外部顶尖科学家等具备评估整体研究领域能力的专家学者)、马普学会主席或副主席及相关主管部门主任组成。
1.2.2 评估特点
(1)强调同行评议的重要性与专业性。科学顾问委员会在事后评估环节扮演着关键角色,其所形成的书面报告将用于判断马普研究所的发展情况,并作为制定决策的重要依据。因此,马普学会给予科学顾问委员会专家高度的信任与重视。为了保证事后评估的公正性,马普学会在科学顾问委员会专家的选取上尽量保持客观,尽可能避免选取与相应马普研究所或其研究人员存在合作关系、联合出版关系或师生关系等利益关系的专家。由于相同领域的顶尖科学家数量较少,顶尖科学家之间的圈子较小,很多时候无法避免利益关系的存在,马普学会为了保证委员会专家的专业性,允许部分委员会专家与马普研究所或其研究人员存在某些利益关系,并在事后评估开始前将其告知所有人。马普学会强调只有顶尖科学家才能评估优秀的同僚,这表明马普学会极度重视同行评议的专业性,尽可能避免发生“二流、三流评一流”的失误[20]。
(2)评估结果更重视描述性分析。在科学顾问委员会提交的书面报告中专家广泛且细致地描述了马普研究所在科学水平、人员结构、资源配置和国际合作等方面的情况。尽管马普学会允许委员会专家对部分内容进行评级,但马普学会仍强调委员会专家必须有充足的依据支撑评级结果。描述性分析能够真正发挥委员会专家的评判作用,找出马普研究所的问题,有效引导马普研究所开展下一步研究工作。在事后评估环节中,书面报告会结合马普学会主席的意见反馈给研究所,研究所需对其做出详细回应,回应内容会再次反馈给马普学会主席和委员会专家,经过如此反复交流,使各方对马普研究所的发展都有较为清晰的认识。
(3)评估方法与激励手段呈现多元化特点。① 在具体评估方法上,无论是事前评估还是事后评估,马普学会都会综合使用定量和定性的方法。例如,如果需要事后评估结果支撑战略决策,马普学会不会仅根据书面报告中的定量数据采用文献计量方法开展战略决策,而且会在审查期间深入调查该研究所的所有方面,并到现场进行评估与审查,综合所有分析结果进行判断。文献计量分析相较于专家评估具有一定的客观性,但是其无法单独产生有意义的结果,只能作为进一步评估和审查的基础。② 在激励手段上,马普学会具有很高的灵活性。对于书面报告中评估结果不太理想的马普研究所,马普学会将削减部分研究经费,并令其改进;对于评估结果较差、已完成既定目标或找不到学术带头人继任的马普研究所,马普学会会毫不犹豫将其关闭,并把相关科研人员与物资转移到其他马普研究所,完成资源的有效配置。如此灵活的激励手段,让马普学会始终聚焦于具有发展前景的基础研究领域,不断迭代与创新,保持其在基础研究领域的领先地位。
(4)评估结果与马普研究所长期稳定性的经费总量挂钩。评估结果影响马普研究所未来的经费分配,该经费主要来源于德国联邦政府和州政府的财政拨款,而且每年来自政府的经费约占马普学会总经费的75%,只有约25%的资金来自竞争性项目或其他融资渠道[21],并且德国政府赋予马普学会较高的自主权,允许其根据自身发展与安排对经费进行合理分配。对于马普研究所的稳定性经费总量,马普学会主席会在事前评估环节与马普研究所负责人商议后确定,并在之后的运行中进行调整;如果针对某马普研究所的评估结果不太理想,马普学会将会削减该研究所的稳定性经费总量。基础研究相较于应用研究与试验发展研究更加需要长期稳定性资助,而马普学会将评估结果与稳定性经费总量挂钩,使得马普研究所更加重视评估活动,认真进行自我审视与整改,保障其始终聚焦于基础研究前沿领域。
(5)对部分基础研究活动的失败较为宽容。虽然马普学会强调同行评议的重要性,但同行评议的缺点在于其评价结果容易支持共识性较高的研究活动。基础研究具有突破性与颠覆性,研究前景与研究成果有较大不确定性,难以被现有专家认同,因此允许实施共识性较低的研究活动有助于发展基础研究[22]。为了保障部分高风险基础研究活动的开展,马普学会并不要求所有委员会专家对书面报告中的评估结果达成共识,部分委员会专家如有不同观点,可在书面报告中详细说明。在事后评估环节,马普学会为马普研究所开展具有创新性的高风险基础研究活动提供合理的机会,这与马普学会的长期战略目标一致。此外,马普研究所在回复委员会专家意见的报告中,可对部分意见持保留看法,并在下一次评估时给出回应。显然,马普学会给予研究所高度的科学信任与自主权,宽容部分研究活动的失败,给予共识性较低的基础研究更多机会。
(6)事后评估环节体现对青年科学家的重视。青年科学家是基础研究领域的中流砥柱,马普学会重视培养与吸引青年科学家,给予他们稳定的保障并为他们提供富有吸引力的科研环境。同时,马普学会的事后评估环节重视考查马普研究所对青年科学家的培养状况。首先,在状态报告中马普学会要求马普研究所记录青年科学家离职后的职业发展状况,以此评估其在马普学会的成长情况。其次,科学顾问委员会专家会在现场访问阶段亲自与青年科学家进行交流,评估青年科学家的发展情况及其在研究课题上的进展。在书面报告中,科学顾问委员会专家需就研究所对青年科学家的支持与培养状况给出意见与建议。
2 马普学会不同时期重点评估内容比较
2.1 1995年、2015年与2019年马普学会重点评估内容对比
当前,新一轮科技革命带来的技术巨变缩短了创新周期,增加了研发动力和竞争压力,这种变化和压力促使马普学会不断审核并修订评估流程和评估标准,以确保其在人员配置和研究领域方面决定的合理性。因此,文章对比分析了来自不同时期马普学会针对马普研究所的重点评估内容[15-24],以此探究马普学会的研究所评估体系变化情况(表3)。
为了更好对比不同时期的评估内容,文章将马普学会的评估流程分为了事前评估和事后评估2个环节,但在不同时期学会对于事后评估环节的划分有所区别。1995年,事后评估环节被划分为科学顾问委员会的周期评估和事后评估与部门机构重组2 个部分,2015年和2019年,事后评估环节被划分为事后评估和扩展评估2个部分。但综合来看,3个时期在重点评估内容上大多保持一致,2015年与2019年在该方面更加一致,事前评估环节均以选择学术带头人为核心,事后评估环节均重视同行评议。同时,3 个时期在部分评估内容上还是有所不同,2015年和2019年,事后评估环节增加了部分内容,更加重视青年科学家的职业生涯发展情况,关注对青年科学家的培养;评估过程不仅重视单个马普研究所的发展情况,而且也更加关注跨马普研究所研究领域的前景以及马普研究所间的协同效用。
2.2 马普学会的评估体系长期保持稳定
通过对比不同时期的评估重点可得,马普学会的评估体系在近20年间保持稳定。该结论可以从2个方面得到:① 战略目标方面。马普学会的评估活动一直围绕如何保障马普研究所持续进行最高水平的基础研究展开。② 具体评估环节方面。不同时期事前与事后评估环节的重点评估内容和特点较为一致。马普学会在事前评估环节一直遵循“哈纳克原则”,只有找到该领域的顶尖科学家作为学术带头人才能成立相关研究所;马普学会在事后评估环节一直以同行评议为核心,重视科学顾问委员会的意见,注重考查马普研究所的科学水平与研究领域的发展前景。
基础研究对于包含评估文化在内的科研环境非常敏感[25],马普学会稳定的评估体系造就了其相对成熟的评估文化,成熟的评估文化能够促进良好科研环境的形成。马普学会指出,研究人员逐渐接受了该评估体系和评估文化,乐于与相同领域的国际顶尖科学家交流,并将定期的评估活动视为对自身审视与改进的机会,科学顾问委员会、马普研究所和马普学会管理层对最终形成的评估结果都具有较高的接受度。
3 总结与启示
文章探究了国际顶尖基础研究类科研机构马普学会的研究所评估体系,分析了评估过程中的不同评估环节和评估内容,总结事前评估与事后评估环节的特点,并对比了马普学会不同时期的重点评估内容,分析其研究所评估体系的发展变化情况。通过梳理发现,马普学会关注马普研究所在其基础研究领域的意义与科学水平,高度重视吸引和集聚相关领域的国际顶尖科学家,注重考查科学家的原创能力与发展潜力,同时强调同行评议的重要性与专业性,尊重基础研究的不确定性规律,宽容部分基础研究活动的失败,具有多元化的评估方法与激励手段,重视青年科学家的培养。根据马普学会的评估实践,文章立足我国基础研究类科研机构的现状,对我国基础研究类科研机构的评估实践给出以下3点启示。
(1)制定明确且稳定的评估制度,保障评估重点长期不变。与应用研究和试验发展研究不同,基础研究具有原创性强、研究周期长及路径不清晰等特点,需要科学家在其基础研究领域潜心研究、深入探索。这要求基础研究的评估制度和评估重点长期保持不变,给予科学家稳定的科研环境,避免频繁变动的评估重点影响科学家的持续研究。因此,对于基础研究类科研机构,应当注重评估制度的稳定性与持续性,建立追求卓越基础研究的评估制度,保持符合基础研究规律的评估重点长期不变,使科学家明确评估导向、关注长远目标,在选定的研究主题上专心研究、长期探索。
(2)给予科学家较高科学自由和信任。在评估基础研究类科研机构科学家的科学水平与研究领域前景时,应给予科学家较高的科学自由与学术信任,允许其在大基础研究领域下自主决定研究方向与研究主题,降低目标契合度、主题相关性等评价指标所占分数比重,减少对研究主题和细分方向的评估要求,鼓励自由探索研究,尽可能发挥科学家的创造潜力。评估结果不应与科学家的薪酬挂钩,应减少绩效工资占比,给予科学家更加稳定的科研环境,宽容部分基础研究活动的失败,给予科学家更多的探索空间。此外,还应重视对青年科学家的培养,建立人才差异化评价机制,构建符合人才成长规律的评价体系。
(3)尊重基础研究规律,营造良好科研环境。基础研究强调以自主探索为基础,具备从0 到1 的原创性和突破性、路径不清晰与产出不确定等特点。因此,对基础研究类科研机构进行评估时要尊重基础研究规律。① 评估不应重数量、轻质量,应当弱化对论文与专利数量的考核,减少影响因子、被引率等文献计量方面的评估指标,设立描述性的评估要求,更加关注科学家代表作或研究进展的学术贡献和创新价值,保障基础研究类科研机构持续开展系统性、长期性的基础研究。② 针对基础研究类科研机构建立长周期评价与支持机制,降低评估次数,减少对科研人员的干预。③ 推广小同行评议,重视引入国际顶尖科学家作为评审专家,遵循相同领域的杰出科学家才能评估优秀同僚的原则,促进评估体系的科学性与专业性。