国际科研评价改革实践与启示——以DORA为代表的探索

徐 芳，晋新新，吕雯洁，李晓轩

(1.中国科学院 科技战略咨询研究院，北京 100090；2.中国科学院大学 公共政策与管理学院，北京 100090)

当前，我国科技评价改革正处于新的关键点上，破“四唯”之后怎么立新标成为社会普遍关注的问题，迫切需要在科技评价上有新的思路和新的方法。本文聚焦科技评价的国际实践，介绍《关于科研评价的旧金山宣言》(The San Francisco Declaration on Research Assessment,DORA)(以下简称“旧金山宣言”)以及受其影响，国际学术组织、资助机构、高校等在科技评价改革方面的实践与探索，旨在为我国深化科技评价改革提供参考与借鉴。

一、“旧金山宣言”及其组织

引文分析法是科学计量学的基础方法，也是定量评价的主流方法。从起源看，Schoenbach等提出利用参考文献追踪科学进展的引文分析方法。美国ISI信息研究所在1963年开始通过引文分析筛选期刊，形成SCI期刊库，为引文分析法的发展奠定基础和条件，促进引文分析法在科研评价的应用。引文分析法的引入，一方面促进科研工作，带来通过引文分析了解科学进展的积极作用；另一方面，引文分析法的不当使用，特别是在评价上的不当使用，如过度注重文章被引频次及高影响因子刊物上的文章，也产生日益增大的负面影响。在科研评价中如何避免引文分析法(在名称使用上，现在更多地用“文献计量学”取代)的不当使用成为国际学术界越来越关注的一个重要问题。“旧金山宣言”及其推进组织“DORA科研评价联盟”就是在这个背景上出现的。

1.“旧金山宣言”

2012年，在旧金山召开的美国细胞生物学学会(ASCB)年会期间，时任美国细胞生物学学会总裁斯蒂芬·贝尔图齐和期刊前执行董事马克·帕特森、前主编兰迪·舍克曼、主编大卫·德鲁宾、杂志前主编布鲁斯·阿尔伯茨等学术期刊负责人，讨论期刊影响因子在科研评价中不当使用的弊端，形成对此发表联合声明的共识，并由马克·帕特森执笔起草著名的《关于科研评价的旧金山宣言》初稿。“旧金山宣言”初稿以后经过修改在美国细胞生物学学会网站发布，很快得到来自全球的几乎所有科研领域的研究机构、资助者、政策制定者、文献计量学家和许多不同资历的科学家的认可与签名。经过近十年的努力，自发布以来，该宣言已经得到2 444家机构和18 540名个人的签署支持，包括、等国际知名期刊以及Taylor & Francis出版商等。中国科学院副院长张亚平最早以中国学者身份签署宣言。事实上，“旧金山宣言”的签名是一直开放的，只要认同宣言内容，所有科研相关机构或个人都可以在网上随时签名。

“旧金山宣言”指出，科学研究的产出形式多种多样，基金资助机构、科研单位以及科学家自身都有对他们的科研产出质量和影响进行评估的愿望和需求，对科研产出进行准确地测度、明智地评估、经过思考的应用已势在必行。该宣言倡导科研评价要回归到科研工作本身的价值中去，而不是基于论文发表的期刊或影响因子。从内容上看，“旧金山宣言”从科研评价关键利益主体角度出发，就资助机构、研究机构、出版机构、指标提供机构以及科研人员等如何恰当使用论文、出版物、期刊影响因子，开展负责任评价等提出倡导性建议和禁止性清单。该宣言已被翻译成26种语言在全球范围内广泛流传。表1列出“旧金山宣言”的部分内容。

表1 “旧金山宣言”部分内容摘录

2.DORA 科研评价联盟

为持续宣传和实践“旧金山宣言”，不断优化科研评价方法， 2016—2017年间，DORA科研评价联盟在美国细胞生物学学会的支持下正式成立。DORA科研评价联盟的目标包括四个方面：提高认识，即提请注意科研评估中的新工具和流程以及负责任地使用符合核心学术价值观的指标，并促进决策的一致性和透明度；促进执行，即帮助制定招聘、晋升和资金决策的新政策和做法；推动变化，即通过跨学科和全球合作，广泛推广科研评估改革；改善公平，即在设计直接解决学术界结构性不平等问题的科研评估实践中有更广泛代表性的研究人员的参与。来自全球高校、科研院所等27名科学家和科研评价领域专业人员组成的执行委员会负责DORA科研评价联盟重要事务的决策，来自中国科学院评估中心的李晓轩主任是执行委员之一。

根据DORA科研评价联盟2018年制定的最新路线图，其近年来活动主要聚焦于三个方面：一是提高对开发可靠的评估方案的认识，以避免在研究评估中不适当地使用量化指标；二是研究和推广促进科研评估最佳实践的工具和流程；三是在学术领域和相关领域中扩大“旧金山宣言”的影响力。2020年启动的“促进研究评估工具”项目作为DORA科研评价联盟近年来的重点活动，研究重点之一是跟踪学术机构在全球范围内用于人员招聘、晋升和任期决策的方法和标准，并遴选好的实践案例，为科研评估改革提供资源和实践指导。当前DORA科研评价联盟已经面向全球收集完成大量实践案例，正在计划开展用户反馈和大规模的问卷调查活动。

二、国际科研管理学会联盟等学术组织共同行动

受到“旧金山宣言”的影响，国际科研管理学会联盟于2018年成立科研评价工作小组。该小组致力于更好地理解和发展负责任评价的最佳做法，目的是为从业者和高级领导人提供有效和负责任评价所需的工具。当前，该研究小组的重点包括两个方面：一是开发对全球大学排名进行评级的方法，试图引起人们关注并考虑如何使大学排名更公平和更负责任；二是提出负责任评价的SCOPE评估框架，如表2所示，指导大学高层领导者和相关人员采用和实践负责任评价。SCOPE评估框架得到了等知名期刊的认同与重视，并已被翻译成中文、丹麦语、冰岛语、挪威语、葡萄牙语等多种语言在相关领域内多个国际学术会议中进行宣传与交流。

表2 国际科研管理学会联盟科研评价工作小组提出的SCOPE评估框架[3]

事实上，除国际科研管理学会联盟外，许多国际学术组织也积极投身推动科研评价改革。例如，全球研究理事会在2021年发布负责任评价的全球倡议，旨在动员资助机构在所在国家或区域内实现其负责任评价目标，制定有效的科研影响力评估框架。2021年，由全球青年学院、国际科学院组织和国际科学理事会联合发起一项全球科研评价改革调研，旨在为改进现有科研评价方法提供咨询意见。据悉，近期这三个国际学术组织将联合发布一项有关科研评价改革的倡议。

三、科学基金资助机构的项目评审改革

“二战”之后，同行评议作为科研资助经费的核心分配机制在科学基金资助机构得到普遍应用，形成由评议主体及其行为规范、评议程序、评议准则等所构成的相对成熟的同行评议系统，从而实现控制科研质量的目标。“旧金山宣言”对资助机构开展以同行评议为主的项目评审活动提出两条建议：“关于评价的标准，在评价项目申请者(特别是职业生涯早期研究人员)科研产出能力方面，要明确学术论文的科学内涵比出版物的计量指标或期刊等级重要得多；为了评价科学研究，除了发表的研究成果外，应考虑数据集和软件等所有研究产出的价值和影响，还应该考虑采用更广泛的影响测量指标，如对政策和实践的影响。 ”

“旧金山宣言”提出的倡议得到国际上许多基金资助机构的认同，推动了资助机构的项目评审改革。美国国家科学基金会率先修改科研基金申请指南，将指南中“出版物(publications)”一节的名称变更为“产品(products)”，寓意科学研究的产出不仅仅是论文和著作等出版物。同时，从形式和要求上对项目申请书作出改动，包括降低成果数量要求，即申请者最多提交5项与项目密切相关的成果清单以及不超过5项的其他重要成果(不限于是否与申请项目相关)。

爱尔兰卫生研究委员会在其资助计划中明确认可各种类型的研究成果，如同行评议文章、研究数据、研究材料、数据库、音频/视频产品、国家和/或国际报告、专利等。爱尔兰卫生研究委员会在2017年签署“旧金山宣言”后，推出一系列政策，旨在通过提高认识、员工培训和为评审专家制定额外指南来减少决策中的无意识偏见。例如，评审专家在评估研究方案的内容、质量和影响的同时，要考虑科研人员职业中断、灵活的工作安排以及研究领域变化等因素。爱尔兰卫生研究委员会还承诺，资助机构将采用开放研究指标和负责任的指标进行评估，并且奖励各种产出和具有更广泛社会影响的科研活动。

英国癌症研究所重视并奖励所有类型的研究成果，除出版物外，还包括预印本、培训、对联盟的贡献、专利和关键数据集的共享、软件、新的检测和试剂。英国癌症研究所研究制定同行评议的评审指南，以期引导专家在评审中加强对研究方式和科学贡献的重视。其中明确指出，专家在进行评审时，除去评估申请人的研究成果记录、主要研究成果及其是否支持所申请的研究时，还要重视研究成果的价值和影响。惠康基金会强调要考虑因学科不同产生的各种可能的研究成果，包括研究文章、数据、试剂、软件、知识产权和政策变化，同时在其修改后的项目申请表中，不再刻意要求研究人员的论文引用次数，而是要求研究人员列出具体成果。

我国基础研究的最大资助机构——国家自然科学基金委员会在2018 年提出“负责任、讲信誉、计贡献”的项目评审机制，探索对专家评审的结果和行为进行记录和分析，以此规范专家评审行为并引导专家负责任地开展评审。这既符合我国当前发展需要，也与“旧金山宣言”的精神相契合。

四、高校的科研人才评价改革

在大数据时代，基于数据和指标等证据的决策制定方式促使科研管理人员更加关注对科研活动和发展趋势的跟踪与分析。量化评价模式因简单好操作，在一定程度上能够有效降低管理成本、减轻管理压力，因此，全球范围内一度形成了“指标潮”，科研人员面临“不出版就淘汰”的压力也越来越大。国际上一些高校纷纷开始寻求新的科研人员评价模式，并逐渐形成成熟的案例库。

受到“旧金山宣言”的影响，挪威大学协会构建了一个灵活的、结构化的国家级职业评估框架，它是评估一般学术活动(结果和能力)的框架，主要目标之一是比已有实践更加系统地评估多个专业领域。该评估框架可根据不同目的和需要进行组合，其评估方法更透明、更广泛和更全面，而非片面使用指标。这种扩大的评估方法旨在激励和奖励更广泛的学术活动，并最终改善学术文化和研究质量。该评估框架的构建参考了欧洲委员会针对开放科学职业评估模型的六大类内容：研究成果、研究过程、教育能力、影响力和创新性、领导力以及其他经验，如表3所示。在此基础上，增设三个纵向要素，即结果和能力指标、标准文件资料及客观证据、具有反思性的自我定性估。挪威国家级职业评估框架已经根据自身国情进行调整，在挪威高校内推广开来并发展成为通用框架。

表 3 挪威国家级职业评估框架

与挪威相似，伦敦大学学院在签署“旧金山宣言”后，也受其影响并在科研人才评价方面作出新的探索，提出科教人员学术职业框架，通过从第7级(最低级)到第10级(最高级)科教人员在科学研究、教育、企业和外部联系以及机构参与度等方面的活动和影响力指标范例的描述，为科教人员规划职业生涯提供参考。该框架旨在支持选择不同类型科教人员职业生涯的发展，并以多种方式供员工和管理人员使用，比如可用于建立推广案例、评估晋升案例、讨论职业轨迹、考虑奖励和表彰情况等。

五、结论与启示

总体上，科研评价是国际学术界关注的热点问题，国际学术界正在多方面采取措施，形成丰富多彩的实践案例。具体来说，第一， “旧金山宣言”是近年来针对在科研评价中如何避免引文分析法的不当使用问题的一个有重要影响的倡议，得到包括中国在内的国际学术共同体的广泛响应，越来越多的科研相关单位和科学家签署该宣言。第二，为落实“旧金山宣言”，国际学术界成立以DORA 命名的专门的科研评价联盟，我国也是该联盟的执行委员之一。国际科研管理学会联盟等国际学术组织也将改进科研评价方法作为一项重要工作，发挥各自优势开展改革科研评价的研究以及推广好的实践经验。第三，受“旧金山宣言”的影响，许多资助机构和科研单位(高校)正在积极对照该宣言精神改进科研评价工作，并探索形成一些好的科研评价方法。分别而言，科学基金资助机构以改进评审资助标准以及同行评议机制为着力点，高校机构将以人为本、更加综合全面的人才评价作为改革的主流方向。

多年来，改革科技评价一直是我国的一项重要任务，也是一块难啃的“硬骨头”。2018年以来，我国密集出台“三评”改革、“破四唯”等一系列政策，一些明显不合理的评价方法得到纠正。但是，“破”之后“立”什么的问题还远没有解决。结合以“旧金山宣言”为代表的国际科研评价改革实践来看，有如下几点启示：

第一，科技评价的问题不仅我国有，世界其他国家包括发达国家都有。就其本质而言，既是科学投入与科研队伍大规模发展带来的管理复杂化的体现，也是科学研究从个人兴趣发展到满足国家需求的趋势带来的适应性问题的体现。但是，我国因为科研起点低，近四十多年来发展快，科技评价方面的问题相比科技先进国家更多一些。为此，改革科技评价需要有打持久战的准备。

第二，科技评价改革需要有一个清晰的理念框架指导并有专业组织持续推进落实。比如“旧金山宣言”就是一个好的理念框架， DORA科研评价联盟就是持续推进宣言落地的组织。我国在科技评价改革方面虽然投入很大，但是清晰的理念框架和推进的专业机构尚不明确，需要进一步做好顶层设计。

第三，科技评价改革不能仅靠政府出台各种政策文件或者运动式整改，而是更加需要由科研单位探索形成各自的科技评价方法。比如，国际上许多学术组织、资助机构与高校都在根据“旧金山宣言”精神分头行动，完善各自的评价方法，而这些好的方法的交流推广则能推动整体科技评价的进步。为此，要进一步深化“放管服”改革，给科研单位下放足够的自主权，调动其积极性，让各单位结合自己的特点和需求不断探索好的评价方法，这是解决科技评价“硬骨头”问题的一条根本出路。