国际上同行评议典型做法及对我国的启示
2022-02-08肖妍
肖妍
(中国食品药品检定研究院,北京 100050)
近年来,为改进科技评价工作,破除过度看重论文数量和影响因子的“唯论文”导向,我国相继出台了《关于深化项目评审、人才评价、机构评估改革的意见》《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》等政策文件,提出科技评价实施分类考核,注重标志性成果的质量、贡献和影响,对于基础研究类科技活动,注重评价新发现、新观点、新原理、新机制等标志性成果,对于应用研究、技术开发类科技活动,注重评价新技术、新工艺、新产品、新材料、新设备等[1]。
同行评议(peer review)是科技评价的重要手段和不可替代的评价方式。要破除我国科技评价中“唯论文”导向,需要更好地发挥同行评议在项目评审、人才评价、机构评估等分类考核评价中的基础性作用,激发科研机构和科研人员创新创业潜能活力,推动科技创新高质量发展。
1 同行评议在科学评价中的作用
同行评议是指某一领域的同行专家,利用专业知识和智慧,按照一定的评议准则,对科学问题、研究结论或科技成果进行评价,对科研方法、科研过程、科技成果的可行性、科学性、真实性、客观性等给出判断的过程,既是对科研工作和科研成果进行评审评估的一种基本方法,也是评审过程科学化和民主化的重要环节。同行评议被全世界普遍采用,是科技管理与决策、科研任务部署、科技资源分配的重要手段。
同行评议是一种有效的、公开的科技资源分配机制,科技管理部门采用同行评议方式,充分依靠科学家群体的专业知识进行科技发展和科研项目部署,引入竞争机制,择优支持,从而使得科研投入和知识生产要素得到优化配置。同行评议的时间短、成本低、公开透明,对科技决策和管理参考价值高,可以激励科技创新,推动科学进步,强化大众监督。
同行评议也是科研工作和科技成果评价的有效手段。科研工作是专业性极强的工作,也是探索性强、有一定不确定性的工作,同行评议专家一般都是专业领域学术水平较高、有业界声望的专家学者,利用他们精深的专业知识、深邃的专业洞察力、丰富的科研工作经验,对科研过程和科技成果进行同行评议,能够快速高效地评估评价科研活动和研究结果的可行性、科学性、真实性。同行评议通过民主集中方式,能够实现正反观点的反复论证,相互启发,并达成对评议对象的准确认识和评价。
同行评议对于我国科技评价改革不可或缺。同行评议是科技评价的基本方法,不仅用于期刊论文的评审和录用,在项目评审、成果评价等方面也被广泛采用。在我国科技评价制度改革破除“唯论文”导向和科技创新高质量发展的时代背景下,加强同行评议工作十分重要。在对基础研究的新发现、新观点、新原理、新机制等进行评价时,仍需要发挥同行评议的专业化、基础性作用,先由专家对代表作进行同行评议,审核把关,再由行业和社会公众认可。在对技术开发类的新技术、新工艺、新产品、新材料、新设备等进行评价时,也需要先由专家评审确认,同行评议,再接受用户、市场、社会的后续评价。而对项目可行性和先进性评价,支撑国家重大需求和工程建设评价,创新能力和国际科学前沿竞争力评价,人才的品德、能力、业绩评价、科研机构的中长期绩效评价等多元化评价过程中,都离不开专家权威的同行评议。因此,科技评价改革离不开同行评议,弘扬和完善同行评议制度对科技评价改革意义重大。
2 主要国家和组织的同行评议典型做法
同行评议具有悠久的历史,从1416年威尼斯共和国率先实行专利审査制度,到1665年英国皇家学会创办世界第一份期刊《哲学会刊》[2-3],同行评议方式逐步形成。20世纪30年代,美国率先把同行评议引进到科研项目经费申请的评审工作中,随后被欧美等国家广泛使用,成为国际学术界通用的学术水准评价手段[4]。
2.1 美国的同行评议现状
美国已将同行评审的相关要求在国家法律和联邦法规(Code of Federal Regulations)层面进行规范和固化,为其国内的项目同行评审提供支撑。例如,美国国会通过的《公共卫生服务法案》《联邦咨询委员会法案》中有专门章节对项目同行评议内容进行约定。美国卫生与人类服务部(United States Department of Health and Human Services)制定了《同行评议条例》《研究项目基金条例》。各项目管理方也制定更具体的同行评议条款,如美国国立卫生研究院(National Institutes of Health,NIH)制定了《评审会议程序》《评分程序》《评审专家指南》《评审小组主席指南》等,拥有一个规范高效的同行评审体系,有1.8万名院外科学家参加NIH各评审小组的学术评审工作,内外结合,相互制约,运行严密,其规定了学术性同行评审的8条标准,包括研究的意义、方法、创新性,申请者的能力、研究环境,不同群体的参与性、预算,以及时间安排的合理性等[5]。NIH高度重视学术评审小组专家的遴选工作,明确要求评审专家必须关注相应领域的最新发展和学科边界的变化,采取多种措施吸引优秀的科学家参加评审,聘任优秀的科研人员进入评审专家队伍。
美国国家科学基金会(National Science Foundation,NSF)制定了《项目评审指南》,明确专家评议的学术价值与广泛影响准则,学术价值指项目推动知识进步的潜力,广泛影响指项目造福社会、实现特定的期望成果和贡献的潜力。评审内容包括申请项目的学术价值、理论意义、预期社会成果、项目创造性、原创性或具有潜在变革性、项目研究的清晰性和可行性、申请人资质条件、项目前期基础和条件保障等。外部评议一般以函评、会评、函评加会评3种方式进行,对仪器设施类和中心类项目的评议往往还要进行实地考察。目前,NSF专家库中的评议专家约有40万人,并不断更新,尽量涵盖多学科、多个领域的专家。
2.2 欧盟的同行评议现状
欧盟的科研项目同行评议标准的设立与整体科研规划的目标是一致的,同行评议的基本标准包括卓越、影响、执行3个方面,其中卓越性指项目研究内容的创新性、先进性等,具体包括目标的清晰程度与针对性、项目的合理性和研究方法的可靠性、研究的卓越或前沿程度、潜在创新程度、项目基础和团队等。影响力指社会影响、市场潜力等,具体包括对招标文件的满足情况、超出招标文件的创新性、创造新的市场机会、给社会带来重要利益、研究成果的宣传利用和共享等。执行能力指项目申请人是否具有完成项目的执行能力,包括工作计划的质量与效率,项目分解与实施,项目管理与风险控制,可利用的资源、人才、技术及其他。
欧盟明确专家评议的评价原则包括独立性、公正性、客观性、准确性和一致性,在同行评议过程中与评议专家签订劳动合同的方式确保评议专家的责、权、利,合同中规定了评议人的权利和义务,评议工作按天计酬。
2.3 日本的同行评议现状
日本学术振兴会(the Japan Society for the Promotion of Science,JSPS)掌管的科研经费占日本政府全部竞争性科研经费的60%以上,是日本最大规模的竞争性科研经费[6]。JSPS制定了《科研资助项目评估标准》,对评审方针、评审准则、评审程序等作出全面、详细的规定,推动评审过程的标准化,评审结果以综合评分表示。评定要素包括研究内容、研究目的、研究方法、学术价值、独创性、核心关键问题是否清晰、国内外发展趋势是否清楚、以往的研究经历和研究成果、研究计划的可行性、申请经费的合理性、研究结果的应用和拓展性等。
JSPS每年都委托日本学术会议推荐评审专家,基本要求是具有相关研究领域的学术研究经验,一般应具有大学教授或副教授的资格[7]。在专家遴选过程中,特别注意大学之间的平衡,不得过分集中,兼顾公立、私立大学的研究者。为保证评审的独立性和公平性,评审期间不公布评审专家姓名。JSPS根据项目的类型及性质在不同的学科范围内开展同行评议评审,对应的学科评审范围包括11个“大分区”、65个“中分区”、306个“小分区”,根据项目类型采用不同的同行评审方式。
此外,德国、法国、澳大利亚、加拿大等国家均建立了比较完善的同行评议制度。
3 国际上同行评议制度的主要经验
同行评议能够充分利用专家的知识和经验,对评议的问题进行正反观点的反复论证,达成对评议目标的准确认识和评价。但同行评议作为以人为主的评价方式,专家因自身因素不可避免地会产生主观性,以及对日新月异的科技发展把握不足造成评价失准。为了充分发挥同行评议制度的优点,克服不足,发达国家根据评议对象的类型和性质,采取不同的同行评议流程、标准,并取得了较好成效,积累了丰富的经验。
3.1 制定较为完备的同行评议政策法规
政策法规是同行评议机制建设和持续运行的基础,发达国家都制定有同行评议的相关政策法规或标准规范,极大地提高了同行评议的规范性和严谨性,强化了科学界和全社会对同行评议的认可与信任。美国在联邦层面的相关法规中用专门章节对项目同行评议进行规定,制定专门的《同行评议条例》,在部门层面也制定同行评议的程序、指南等管理办法,形成完整的同行评议政策法规体系,让同行评议工作有法可依、有据可查,具有良好的可操作性,规范同行评议的流程和行为,保证同行评议的客观性、公正性和可靠性。
3.2 营造良好的同行评议生态
专家是同行评议制度建设的关键点,发达国家在吸引优秀科学家参与同行评议、调动专家积极性、保证专家评审公正性、多样性等方面做了很多细致的制度安排,营造有利于同行评议可持续发展的生态环境。在专家遴选方面,比较注重专家的多样性和平衡性,充分考虑到各地区、各机构、各学科、性别、年龄的相对平衡。在专家评审方面高度重视同行评审培训,美国NSF评议专家必须完成30多个小时的培训,澳大利亚研究理事会(Australian Research Council,ARC)网站提供评审专家的在线培训资源。在同行评议监督机制方面,建立常态化的同行评议监测机制,例如NIH建立评审专家定期报告与讨论制度,征集对评审的意见,建立开放研讨会网站,鼓励科学家在网上提交评论。发达国家还大力营造专家评审的荣誉环境和学术生态,欧盟和英国惠康基金会都在网站上公布所有评议人的名单,实际上是对其学术水平的一种认可。澳大利亚健康与医学研究理事会(National Health and Medical Research Council,NHMRC)每年都会在网站公布在同行评议过程中做出贡献的同行评审小组成员、社区观察员和外部评审员的荣誉名册。
3.3 采用灵活多样的同行评议方法
发达国家普遍根据项目特点采用不同的同行评议流程和标准,提高同行评议的科学性和评议结果的准确性。美国NSF采用函评、会评和二者结合的方式进行项目评议。NHMRC根据不同资助计划的目的、目标及评审准则,采取不同的同行评议流程。JSPS在项目评审中,将项目分属的400多个小学科,从大到小分解为“广泛”“中等”“基础”3个类别,对基础研究类项目,在小学科范围内采用函评即可,而对于挑战性研究等项目则需要在更大学科范围内采用综合评审方式。发达国家还大力推进同行评议的数字化和网络化,提高评审效率,改进评审环境,缩短评审周期。美国NIH大力推行网络评审,建立了完善的网络辅助评审系统,该系统实现与NIH资助管理系统的集成,可以网上指派评审专家,支持以视频会议或视频与现场相结合的形式召开评审会议。
3.4 制定规范化的评议标准和准则
发达国家大都制定较为完整、具体、可量化的同行评议指标体系,确保同行评议内容的全面、科学和公正。美国NIH对研究性项目分别从重要性、研究人员、创新、方法、环境5个方面进行打分评价。欧盟科研项目同行评议的基本标准是卓越、影响、执行3个方面,并且欧盟提供的申请书模板的主体内容也是分为这3个方面,需要项目申请人在申请环节就按照最终评价的指标来准备申请书。ARC的评审标准则根据特定项目而定,不同计划的评估标准不同,相同标准在不同项目类型中的权重也不同。
4 国际上同行评议做法对我国的启示
作为科学界长期实践形成的同行评议制度,在大数据、开放科学的发展时代,仍具有强大的生命力,依然是科技评价的主要方式。为更好地发挥同行评议在科技评价制度改革中的作用,支撑我国科技创新高质量发展,需要尽快完善和优化我国的同行评议制度。
4.1 加强同行评议的政策法规体系建设
制定相关的政策法规和标准规范,是建设和完善同行评议制度、科学合理的固化同行评议方法和流程的有效手段。我国应大力推进同行评议政策法规体系建设,完善宏观、中观、微观各个层面的规章制度,既有宏观层面方向性、指导性的法规,也有中观层面对同行评议总体流程的规定,更有微观层面对同行评议的操作流程、评估标准等做出具体规定,真正做到同行评议有法可依,杜绝同行评议中的随意性、模糊性。通过同行评议政策法规体系建设,科技管理部门可以加强对同行评议的统一管理和统筹协调,明确责任,细化过程,抓好落实,强化约束,加强监督。在法规体系建设过程中,要强化落实和监督,提高各级管理部门及评审人员的法制意识。
4.2 营造良好的同行评议生态环境
我国科研和学术机构对同行评议工作的认知度不深,认可度不够,需要借鉴国外经验,将科研人员参与同行评议工作作为科研绩效考核和职务职称晋级的参考指标之一,增强同行评议专家荣誉感和成就感。加强对同行评议专家的学科领域细分,完善对专家研究领域和学术特长规范描述,提高同行评议专家遴选的科学性和准确性,支撑“大同行”“小同行”评议工作的开展。建立同行专家诚信监督机制,避免同行评议的不足之处。加强评审薪资的保护保密工作,提高防范意识,保护被评审项目的知识产权。加强同行评议工作程序、评议规则和方法的培训,提高评议专家的科技判断力、科研认知度。建立健全的评审责任追溯机制,严肃处理失职、渎职问题。
4.3 建立规范化的同行评议准则
要规范同行评议准则。建立统一的同行评议程序和工作流程,制定标准化、规范化的同行评议内容模板和科学的同行评议指标体系,做到评议原则一致化,评议内容细化,评议指标量化,评议过程程序化。实现同行评议标准的多元化,实行定性评议和定量评议相结合的同行评议方式,引入结构化的定性评价意见。定性评议可以根据不同的评价对象,采用贡献度和影响力评价、先进性和创新性评价、市场和社会效益评价、支撑服务能力评价、综合绩效评价等多元化评价标准,大力破除“唯论文”不良导向。采用大数据手段,为评议专家提供除申报材料之外的定量数据支持,并采用轮换制度,以杜绝人情关系和权钱交易。委托第三方评审,降低权力外溢产生的影响。
4.4 采取因项制宜的同行评议方式
坚持分类评价的原则,针对不同的评价对象,在评价内容、评价方式、评价过程、评价专家类型选择、评价结果表现形式等方面都应有所不同。需要吸纳第三方、企业用户、社会公众等参与同行评议,特别是根据评价对象的特点,匹配不同专业粒度的评审专家,兼顾“小同行”和“大同行”之间的合理匹配。不同评价对象可采取不同的同行评议方式或流程,根据学科领域、经费规模、任务目标等方面的区别,灵活采用通信评审、合议评审、公开评审等多种方式,完善函评、会评、函评兼会评等评议方式的规则和流程,创新网络评审等新评议形式。采用不同的同行评议方式,特别要保证客观公正,提高公开性和开放性,保证独立性和公正性,确保评议结果科学、准确、客观。
4.5 构建完善的同行评议专家库
评审专家是同行评议活动的主体[8],同行评议需要夯实专家储备,完善专家选取使用。科技管理部门应该进一步建设集中统一、学科全面、标准规范、开放共享的科技评审专家数据库,细化专家的科研领域、研究方向、学科主题等信息,建立专家入库信息定期更新机制。要遴选一些活跃在生产和市场一线的专家,满足同行评议多元化的需求。可按研究方向和研究专长增加学科专家的细分和描述,形成不同学科、专业、方向上的“专家画像”,构建详尽描述的多层级、多学科、动态的同行评议专家库。严格落实专家轮换、动态调整、随机抽取、回避、公示、责任追究等相关制度,做好评议专家的诚信记录,严格规范专家的同行评议行为[9]。
5 结语
同行评议具有专业化、科学性、效率高等特点,深化科技评价改革需要坚持以同行评议作为各类科技评价的基础方式和基本手段,与代表作评价、标志性成果评价、实践应用评价、社会贡献评价、综合绩效评价、支撑服务能力评价等评议方法相结合,充分借鉴国外同行评议的先进经验,不断完善我国同行评议制度,加强同行评议标准化规范化建设,探索同行评议方法在不同科技评价中的作用和运用方式,扩大同行评议在科技评价制度改革中的应用范围,为形成中国特色科技评价体系、加快建设创新型国家和世界科技强国提供支撑服务。