国际社会对科研基础设施影响的评估及其对我国的启示

刘 娅

（中国科学技术信息研究所，北京 100038）

0 引言

科研基础设施在欧美等国家被称为研究基础设施（Research Infrastructure，RI），指在不同领域用于研究开发和促进创新的设施、资源和服务，包括各类科学设备或仪器和以知识为基础的资源（如馆藏、档案和科学数据、电子基础设施等），以及为实现卓越的研究和创新所必需的任何其他工具[1]。科研基础设施对于促进和发展诸多科学领域的研究开发必不可少，虽然其旨在支持研发需求，但影响却远超出了科学成果和知识生产，对社会经济发展具有突出的贡献。

随着各国对科研基础设施的投入不断增大，科研基础设施建设所产生的影响备受社会关注。政府管理部门、资助机构和设施运行机构越来越期望采用系统和透明的程序来客观评价这些影响，从而针对科研基础设施的新项目实施或对现有项目再投入做出客观和正确的决策。经济合作与发展组织（OECD）、欧盟委员会等国际组织以及部分欧洲国家基于不同视角，对此进行了研究并开展了相关的实践活动。本文将总结研究评估科研基础设施影响的国际经验，并对开展我国科研基础设施建设工作的评估提出相应的建议。

1 OECD对科研基础设施影响的评估

OECD对RI产生影响的评价工作非常重视。近年来，经济合作与发展组织全球科学论坛（OECD Global Science Forum，GSF）不断发起相关讨论和研究工作。2014年基于欧洲核研究组织案例，分析了大型RI对经济创新和社会的影响[2]；2017年通过开展“加强国际RI的有效性和可持续性”研究，讨论了RI资助者、管理者和运营商在设施生命周期的不同阶段所面临的挑战[3]；2019年在经过2年多的研究后，发布了“RI科学和社会经济影响的评估参考框架”，为各国开展相关评估和研究工作提供了较为全面和权威的工作指南[4]。该框架是由2016年GSF组建的来自成员国和相关国际组织的25人专家组，通过针对全球21家大型RI的系统性调查和研究后形成的政策文件，旨在根据当前实践，以相对理想化方式评测RI实现科学和社会经济目标的水平。

1.1 OECD评估参考框架的基本指标

OECD评估参考框架针对RI所产生影响的评估设计较为灵活，可以适应不同类型RI（分布式、单站点、虚拟等）和RI生命周期的不同阶段（准备、构建、运行等）的需要。该框架设定了以下7大评估目标：目标1是国家领先或国际领先的RI或支撑科研工作的赋能设施；目标2是支撑创新的赋能设施；目标3是融入区域集群/区域战略或成为促进区域合作的枢纽；目标4是促进教育延展和知识扩散；目标5是为公共政策提供科学支持；目标6是提供高质量的科学数据和相关服务；目标7是承担社会责任。

围绕上述目标，GSF认为应当通过5个维度（S为科学影响，T为技术影响，E为经济影响，H为培训和教育影响，O为社会影响）来反映RI产生的影响，由此设计的参考框架标准指标共有58个。这些指标服务于不同目标的评价工作。其中，用于目标1的指标11个，用于目标2的指标10个，用于目标3的指标12个，用于目标4的指标11个，用于目标5的指标3个，用于目标6的指标7个，用于目标7的指标4个。

科学影响类指标共14个（表1），主要涉及论文发表及引用情况、项目资助、科学界使用情况、数据开放等方面。

表1 OECD的科学影响指标

技术影响类指标共15个（表2），主要涉及项目、产业合作项目、专利、企业使用情况、数据开放与服务等方面。

表2 OECD的技术影响指标

经济影响类指标共8个（表3），主要涉及支出、公共采购、人力资源、新建企业等方面。

表3 OECD的经济影响指标

培训和教育影响类指标共8个（表4），主要涉及培训对象规模与分布、培训项目、支持资源等方面。

表4 OECD的培训和教育影响指标

社会影响类指标共13个（表5），主要涉及公共政策、公共显示度、信息共享、资源使用等方面。

表5 OECD的社会影响指标

1.2 OECD评估参考框架的核心指标

为了更好地应用该指标体系，GSF在58个指标中筛选出25个指标作为核心影响指标（Core Impact Indicators，CII），如表6所示。GSF认为，CII指标是最具代表性的指标，可以较为简便但全面地反映特定时间内RI的科学、社会、经济影响的总体状况。同时，CII指标的有用性和相关性会因RI的生命周期和业务类型的不同而不同。因此，为了帮助管理者和利益相关者对CII指标进行恰当的选取，GSF将RI划分为执行研究类RI、设备提供类RI、数据/样本资源类RI三类。

（1）执行研究类RI。见表6 RI类型中的类型1。此类RI主要是由RI科研人员或外部用户利用RI的仪器设备所产生的数据资料进行研究，并细分为实验设施（如粒子加速器、分析设施、生物医学设施等）和观测平台（如望远镜、环境观测站等）两类。

（2）设备提供类RI。见表6 RI类型中的类型2。此类RI提供技术/测试/仪器/ICT资源和服务（如支持技术开发、创新、展示、原型制作等）。

（3）数据/样本资源类RI。见表6 RI类型中的类型3。此类RI通过连接到分布式节点的中央门户向用户提供对数据或样本集的访问，并细分为面向数据的基础设施和标本收集（生物库、生物档案）两类。

上述三类RI不是相互排斥关系，一些大型国际科研基础设施可能同属于这三类。GSF根据RI类型按照不同生命周期阶段对CII指标相关性进行了标识，评估工作可以根据需要按照表6标识进行对应性选取。

表6 OECD的CII指标及适用范围

需要注意的是，GSF设计的指标大多是根据现有实践提炼的，因此在某些情况下还不能适应RI的发展。如科学界和政策界对使用引文数据（S2）作为影响衡量指标存在不少质疑。类似地，数据访问收费（T28）可能有悖于促进加强对研究数据访问的政策导向。因此，GSF提出框架的指标会被不断修订，同时也建议评估活动要根据具体评估对象的实际需求参考使用框架的指标。

续表

续表

2 欧洲对科研基础设施影响的评估

RI建设是21世纪欧洲科技政策议程的核心议题之一。2002年，欧盟委员会组建了欧洲科研基础设施战略论坛（The European Strategy Forum on Research Infrastructures，ESFRI）。其任务是对欧洲RI政策制定采取协调一致和以战略为主导的方法，以保证在欧盟层级上更好地建设和使用RI。2006年，ESFRI发布欧洲第一个RI路线图；2016年，发布新的路线图并于2018年更新，提出了确保欧洲在所有科学和创新领域拥有卓越RI的战略愿景[5]。同时，欧盟在其研究与创新框架计划如“地平线2020计划”（2014—2020年）和“地平线欧洲计划”（2021—2027年）中均对RI建设进行积极部署，分别设定了25亿欧元和24亿欧元的预算[6]。2014—2020年，欧盟区域发展基金共投入66亿欧元用于支持RI建设。欧洲国家每年相应的投入规模也达到100亿欧元左右[7]。

欧盟高度关注RI评估。2017年，ESFRI提出需要构建一个评估框架模型，以指导对不同类型IR进行比较，由此把握不同科学领域的差异，以及它们能给社会和不同国家带来的广泛影响[8]，并开展了相关的研究工作。欧盟及其成员国自身也进行了不同规模的评估探索，其中包括对影响的评测。虽然部分评价的具体指标并未公布，但根据欧盟公开的结果报告可以大致把握对RI影响评估的基本考量。

2.1 ESFRI的RI绩效评价指导万案

2019年12月，ESFRI工作组发布了用于评价RI绩效的通用方案，用以定期监测不同领域RI的投入和成果。该方案确定了9个评价目标，并设计了21个定量评价指标。同时，工作组也建议在评价中应根据需要使用一些定性指标，以更全面地展示目标的实施进展（表7）。在这些指标中，大部分指标反映了RI产生的各类影响。

表7 ESFRI的RI绩效评价万案

ESFRI指出，虽然该方案的指标可用于大多数RI评估，但鉴于RI的多样性，某些指标可能并不适用于所有RI，因此RI需要根据自身的特点进行相应调整。ESFRI建议原则上可每5年开展一次评估，并计划最早于2021年开始[9]。

2.2 欧盟对科研基础设施在实施和长期可持续性万面进展的评估

自2016年以后，长期可持续发展在欧盟范围内得到越来越广泛的关注。2019年1月，欧盟委员会成立高级别专家组，以评估ESFRI路线图设定的设施和其他世界级RI在实施长期可持续性方面的进展。工作目标之一是评估RI长期可持续性，从而确定泛欧区域内（或全球）RI的未来前景与其科学目标及其生命周期的相关性，厘清主要瓶颈和可能采取的措施。2019年1月—2020年1月，在“第7框架计划”和“地平线2020计划”与RI建设有关的大量文件支撑下，专家组对57家泛欧区域（或全球）级别RI进行了广泛调查，并抽取其中43家RI进行了个案调研[10]。

专家组根据技术成熟度理论，构建了RI的成熟度模型（Readiness Levels，RL），并根据RI的生命周期阶段，将RL划分为6类，如表8所示。

表8 RI的成熟度分类

本次评估设计了7个长期可持续性要素，这些要素在RL3阶段均应包含在RI的准备计划中，在RL4阶段均应体现在建设施工中，在RL5阶段则均应全部实施和正常运行。最终专家组报告给出了指导性评价指标，如表9所示。这些指标可应用于处于RL3—RL5阶段的RI评估。

表9 欧盟对RI长期可持续性影响评估的指导性指标

2.3 欧盟对“第7框架计划”RI活动影响的评估

2013年，欧盟委员会组织第三方专家组开展了针对“第7框架计划”（2007—2013）313个RI相关项目的整体性评估工作[11]。工作目的之一是分析RI活动对科学界、研究政策、创新和社会的影响。影响共涉及8个方面，主要评测内容如表10所示。

表10 欧盟对“第7框架计划”RI工作影响评估的主要内容

2.4 部分欧洲国家的评估活动

除欧盟对RI形成影响所开展的整体评估以外，英国、芬兰、瑞典等欧洲国家也开展了相关的工作[12-15]，其中英国的工作较其他国家更为领先。这些评估基本是政府管理部门委托第三方机构进行的个案评估，而不是对大批项目的整体性评估，同时也没有固定的评估周期。评估涉及的指标大致可以归纳为科学、经济和社会3个维度，如表11所示。

表11 部分欧洲国家对RI影响的评估指标

3 结论与启示

从上述国际经验来看，总体而言由于科研基础设施建设的规模、投入和运行方面的特殊性，目前国际社会对于科研基础设施影响评价尚处于不断加深认识和实践探索的阶段，并未形成一套非常完备的理论及可用于定量和定性评价的完整工具包，但不同国家已经取得了对科研基础设施所产生影响的一些基本共识。我国当前正在大力开展科技创新，科研基础设施建设是其中重要的内容，需要大量的公共财政投入，并涉及各种复杂的科学和管理问题，包括效果评估。因此，在我国科研基础设施建设工作中可以参考和借鉴国际社会的相关经验。

（1）对科研基础设施的评估应加强影响评估。对OECD、欧盟以及部分国家的研究显示，国际社会对科技基础设施评估通常包括事前评估和事后评估，目前对科研基础设施的事后评估更加强调影响评估，而非绩效评估。绩效评估和影响评估并不完全相同：绩效评估更多强调的是对资源有效利用的评估，而影响评估则更多关注的是资源转化效应的评估，包括直接效应和间接效应，因此影响评估所涉及的范围更广。科研基础设施尤其是大型科研设施主要由公共财政提供资金支持，因此把握这些设施的运行效果可以有效支持公共决策。参考国际社会经验，我国科研基础设施评估应当将设施建设所产生的影响纳入评估。影响评估要与其建设规模、技术复杂程度、投入成本高昂、运行周期长、应用面广泛联系。当然，绩效评估和影响评估不是对立的，二者在某些方面可以互相联系。一些衡量影响的指标也可以被用来评估科研基础设施的绩效，如论文产出数量与质量、用户数量以及成本效益等。

（2）对科研基础设施影响的评估要反映科学、技术、经济和社会4个方面内容。根据国际社会当前共识，从评估维度及其指标的操作性来看，我国对科研基础设施影响的评估要充分反映科学、技术、经济和社会4个方面的内容。由于长期可持续发展目前在全球范围内越来越得到广泛关注，非市场化影响在评估中也越来越被国际社会所强调。其中，最受重视的维度是科学影响，其次是社会影响。但需要引起注意的是，尽管同行评议期刊论文数量、期刊影响指数、领域标准引用率等一些反映科学影响的指标已经取得国际社会的认可，但对于评估社会影响而言，如何设计类似标准化指标并获得相关支撑证据却较为困难。同时，由于相似类型的科研基础设施可能会有不同的战略目标和任务，评价指标体系要保证科研基础设施战略目标和影响评价指标之间建立有效关联。此外，管理部门需要在科研基础设施生命周期的早期阶段，就定义其影响评估架构及其未来用途，并确定对特定指标数据的需求，以及在决策过程中的使用。

（3）评估工作应委托第三方人员或机构来完成。国际实践案例中基本采用同行评议方法，通过第三方人员或机构来完成评估工作。建议我国科研基础设施评估也采用类似方法。一是科研设施的政府主管部门或资助机构引进外部专家来组建评估专家组。这是国际社会开展科研基础设施评估的一种主流做法，特别是对大型设施的评估。二是将评估工作外包给外部的专业科技政策与管理相关的咨询公司或评估公司，通过评估专业人士深厚的专业知识来判断科研基础设施的机构领导能力、研究质量、技能发展等。在大多数情况下，同行评议过程需要全面的背景材料（包括产出和财务指标）进行支撑，但专家们也需要参加定性评估活动，通过聆听设施管理人员报告、实地考察、对关键人员访谈等，来直接收集更为详尽和相关的评估佐证材料。

（4）评估影响的指标、方法和过程需要不断完善。研究显示，目前各国评估指标体系中通用性指标设计大多以定量指标为主，定性指标为辅。由于科研基础设施非常多样化，可以是单站点的、分布式的或虚拟的，且每个设施有着自己的目标和业务活动范畴，故都可以产生非常广泛的直接影响和间接影响。这些影响本身会随着设施的生命周期而变化，因此还需深入探讨以量化测度为主对设施不同影响进行评估的科学性。因此，我国科研基础设施管理部门要积极跟踪国际社会的发展，根据对影响认识的不断深入、设施建设需求以及社会发展趋势等，对评价指标体系和评价方法等进行适应性修正和扩展。如社会经济影响很难完全用成本效益分析或计算设施的净现值等常规方法进行度量，因此不能仅仅关注科学活动产出或投资财务回报等，还需要进一步探索如何采用更多指标和描述进行补充说明，包括通过案例研究进行纵向反向追踪，从而有选择地说明用户使用设施所产生的经济效益，或是在宏观经济模型和深入的定性化回溯案例研究之间探索中间解决方案，或是参考OECD参考框架经验，借助于咨询项目数量、访客人数以及媒体出现数量等替代性评价指标，对社会的影响进行多维度的衡量。再如，鉴于科研基础设施的高度特殊性及其可能产生的长期性和扩散性影响，如何有效利用现代技术来管理评估所需支撑的数据，使其保持一致性和完整性，并在此基础上如何通过数据挖掘技术、视觉化技术等来更加清楚地呈现和说明科研基础设施产生影响的多样性等，也是未来努力的方向。