美日科技评估体系比较*
2021-05-18曹诗嘉孙占辉程明邓李政王汝栋
曹诗嘉 孙占辉**, 程明 邓李政 王汝栋
(1.清华大学公共安全研究院,北京 100084;2.清华大学工程物理系,北京 100084)
根据国家《科学技术评估办法》,科技评估指的是根据委托方明确目的,按照规定的原则、程序和标准,运用科学、可行的方法对科学技术活动以及与科学技术活动相关的事项所进行的论证、评审、评议、评估、验收等活动[1]。科技评估可以帮助政府改进科技管理手段、优化科技资源配置、完善科技政策、提升科技管理水平,对于保障国家科技安全具有重要意义[2]。2014年国家科技计划管理改革启动以来,国务院、科技部等部门不断出台方案、意见与文件,对科技评估活动中的不良导向、科技评估体系中过度看重论文、影响因子、忽视标志性成果质量、贡献以及影响等问题进行改进。
科技评估的参与主体包括委托方、评估机构与评估对象。从不同角度出发,可以将科技评估分为不同类型。按照科技活动的管理过程,可以分为事前评估、事中评估、事后评估和跟踪评估;按照评估方的类型,可以分为自评估、外部评估与第三方评估;按照评估对象类型,可以分为计划评估、项目评估、成果评估、机构评估、人才评估、绩效评估等[3-5]。
我国科技评估研究始于1981年,李强[6]等通过对1981年以来发表的中文学术论文进行关键词分析,总结出目前我国科技评估研究正处于发展完善阶段;主要从国家、企业、高校等不同层次,围绕科技评估的制度、参与主体、成果、方法、应用等领域开展研究;聚焦问题主要包括:科技评估制度规范化建设、第三方评估建设与参与机制、科技评估指标体系与评价体系建设、科技评估成果评价与科技评估应用等。
在科技评估的研究中,借鉴学习其他国家的先进做法与经验,对于改进完善我国科技评估体系具有重要价值。国内外学者已经在国际科技评估体系学习比较方面开展了大量研究工作,主要可归纳为三种类型:第一类主要是针对某一特定国别科技评估体系的研究,如申丹娜[4]较为系统地总结了美国科技评估体系的组织结构、法律体系、评估方法;第二类为国家间的科技评估体系比较研究,例如张逸雯[7]等比较了美国、瑞士、日本、英国、德国等发达国家科技评估体系在政策法规、评估主体、项目评估、成果与绩效评估、人才评估方面的主要特点;第三类主要是关于科技评估某项内容的发展态势与核心问题方面的讨论。例如肖小溪[8]通过考察调研美国、德国、中国的第三方评估机制,讨论了第三方科技评估的定义以及核心要素。以上这些研究成果,尚缺乏从不同科技评估对象维度进行的横向对比研究。
在发达国家中,美国与日本已经建立了较为完备的科技评估体系,科技评估作为一种成熟手段在科技机构管理、科技项目管理与科技人才评定中发挥了巨大作用,因此,本文选取美国、日本的科技评估体系作为研究对象,首先概述两国科技评估体系,然后从评估对象角度出发,分别梳理两国在科技机构、科技项目与科技人才方面的评估方法,接着对两国科技评估进行整体对比并总结其中存在的问题及突出经验,最后根据我国实际情况提出科技评估体系改进方面的建议,以期为科技评估管理部门提供有益参考。
1 国际科技评估体系
1.1 美国科技评估体系
20世纪初,美国国会服务部开创了政府组织下的科技评估先河,随后,美国癌症咨询委员会、美国海军办公室、美国国家科学基金会等单位采用同行审议方法对科研经费申请、科研项目质量进行评估[9]。20世纪60年代,冷战结束后,美国科技体制与研究体制基本框架形成[10],美国联邦政府在科研经费上的支出不断增加,纳税人要求政府提升在科研经费、科研资源分配等方面的决策透明度[11],美国科技评估作为衡量科技项目投入、产出、成果及影响的有力手段,开始被广泛应用。此后,伴随着美国国家科学基金会、美国国立卫生研究院等机构先后建立了内部评估体系,美国国家标准与技术研究院开始对美国先进技术项目、制造业扩展项目等重点项目的评估进行系统整合,美国的科技评估发展开始以一种常态化、系统化的形式存在于美国的科技体系中。
目前,美国科技评估机构包括三类:第一类为美国国会、联邦政府下设的政府科技评估机构,例如美国审计总署;第二类为企业、非营利机构等民间评估机构;第三类为专业学术评估机构[4,7]。在国家层面,政府主要对国家科技发展战略、科技发展计划、科技政策实施情况进行评估,另外,各部门会依据《政府绩效与结果法案》,结合第三方评估机构对本部门的科技计划或项目进行自评估。政府也会负责政府间跨部门项目的评估与协调[4]。民间评估机构与专业学术评估机构,例如美国国家研究理事会,一般作为第三方科技评估机构,相对独立地开展科技评估工作[2,12]。
美国科技评估的法律基础包括1975年颁布的《项目评估标准》、1976年颁布的《美国国家科技政策、组织和重点法》和1993年美国国会通过的《政府绩效与结果法案》,其中,《政府绩效与结果法案》是美国各部门进行科技评估的法律基础[4]。
1.1.1 科技机构评估方法
美国的科技机构主要包括三类,第一类为联邦政府直接下设或部门下设的科技机构,例如国家自然科学基金会;第二类为独立科技机构,例如美国高校;第三类为企业、工业界设立的研究机构以及社会非营利科技机构。美国科技机构的评估体系框架如图1所示,该体系主要包括外部评估、自评估与第三方评估3种评估模式:联邦政府下设机构与美国国会下设机构会分别代表政府与国会对联邦政府下设科技机构开展外部评估;在国会主导下,美国各类科技机构会开展自评估工作;专业学术评估机构与民间评估机构作为第三方评估机构对各类科技机构开展评估工作。
图1 美国科技机构评估体系Fig.1 Evaluation System of Science and Technology Institutes in the U.S.
根据《政府绩效与结果法案》的规定,科技机构在自评估基础上每年需向国会提交该年度的年度绩效规划以及绩效评估报告,每三年需向美国国会与国家管理与预算办公室提交一份五年战略规划,其中机构年度绩效规划由机构五年战略规划分解而来,机构绩效评估报告主要考察绩效规划中各类目标的达成情况。这些规划及报告的结果会对科技机构的科研经费额度产生影响[13]。
美国联邦政府下属机构的科技评估内容主要关注这类科技机构对其长期目标、年度目标的完成情况、经费管理、项目管理、成果产出、科技机构的国际影响力与社会贡献。评估方法以同行审议为代表的定性评估为主,以科技评估指标体系为代表的定量评估为辅。
作为独立科技机构的典型代表,美国高校的科技评估主要以自评估与外部评估相结合的方式进行。其中,自评估由高校内部建立专门的科技评估小组负责,外部评估方主要来自社会的第三方评估机构[14,15]。美国高校科技评估具有独特的“认可”与“认证”双轨制机制特点,其中认可是指由鉴定机构,如高等教育认证委员对第三方认证机构的能力、水平进行评估,认证是指第三方认证机构对高校教学科研管理质量进行评估。美国高校评估方法与内容并无统一标准,各州自成体系,常见的评估方法包括指标法、同行评议法。在指标法中,目前常用的指标可归纳为四类:一类为高校办学目标与计划、规章制度建设情况;二类为高校建设水平,如软硬件设施水平;三类为经济指标,例如学校经费数量;四类为教学科研指标,如师资情况、生源情况、研究生毕业数量、校友贡献等[14-17]。
1.1.2 科技项目评估方法
美国科技项目的评估方主要包括美国审计署、美国国家管理与预算办公室、美国国家研究理事会等。美国会在项目事前、事中、事后分别开展科技评估工作。在项目立项前,项目申请方需说明项目相关性、潜在公共利益、涉及领域是否符合科技发展需求或与客户需求相关。在项目实施过程中,需要对项目研发质量、项目实用性、项目成果转化效用、研发活动与目标的一致性以及项目经费使用情况进行汇报。在项目实施后,需对项目产生的学术价值、经济效益、社会影响进行评估。
在具体方法上,美国针对科技项目所采用的方法既包括定量的文献计量分析法、经济回报率分析法,也包括定性的同行评议方法、案例分析方法、回顾性分析方法与指标分析法等[18]。例如美国的先进技术项目在项目前期,会通过采用严格的同行评议方法选择项目,在项目进行过程中采用问卷调查方法持续跟踪项目进展信息,并出具标志性阶段报告(包括基线报告、年度报告、结题报告、项目后期报告)。对于多个项目群或某项技术,先进技术项目会进行宏观层面的经济影响与社会影响评估[19]。另外,美国还会开发相应科技评估工具辅助进行科技评估,例如2006年美国管理与预算办公室开发的计划评估等级工具。
1.1.3 科技人才评估方法
美国的科技人才评估包括了自评估、上级评估、同行审议等方式。自评估中,需要科技人才对自身在过去一定时间内的表现进行回顾性总结,自评估指标不仅包括传统的科技文章发表数量、基金与项目的参与数量、科研项目进展,还包括科技人员的影响力、研究内容、与其他机构的合作程度、学生指导和科技机构日常工作参与情况等。上级评估中,需要对科技人员的自评估内容进行评估,并提出对研究人员未来发展的意见与建议,评估内容通常包括科技人员的目标完成度、工作态度、合作能力、为机构提供的服务、个人技能发展状况等。
除了自评估、上级评估,同行审议也是美国进行科技人才评估的一种主要方式,同行审议中的同行既可来自科技机构内部的专家委员会,也可以来自机构外部。美国高校终身教授评估中就采用了校内与校外同行审议相结合的方法,通过校内组建专家组、校外发送信函给外单位专家对教师是否可以获得终身教授教职进行评审,评估内容包括教师的科研水平、教学能力、大学服务、社会影响力等。
1.2 日本科技评估体系
日本的科技评估最早可追溯到20世纪40年代。1995年11月,日本颁布《科学技术基本法》,确定了“科学技术创造立国”的基本方针,明确了科技政策的制定与评估主体为日本政府[20];次年,日本制定第一期《科学与技术基本计划》,规定了科研预算分配、成果管理的管理机制;1997年,日本出台《国家研究开发评估实施办法大纲指南》[21],详细规定了研究机构、研究课题与研究人员的评估办法[22];2001年,日本为了更加准确地评估科技政策效果,在《科学与技术基本计划》的基础上,颁布了科技评估的法律基础《关于行政机关实施政策评估的法律》。
日本的科技评估主体主要包括四类,第一类是国立科技评估机构,例如日本科学技术政策委员会、日本科学技术振兴机构、日本学术振兴会、国立科技政策研究所;第二类是依附于各地方政府的专业性评估机构;第三类为企业型评估机构;第四类为各研究机构内部设立的评估机构,例如日本原子能研究所[20]。
日本科技评估过程主要包括调查分析、评估、决策三个主要阶段,其中调查分析阶段主要是分析数据、收集专家意见等客观评估依据,评估阶段主要是依据收集上来的依据对评估对象进行评估,决策阶段主要是依据评估结果制定未来行动计划。在评估阶段,日本非常重视外部专家与第三方评估机构的作用。在进行专家选择时,不仅会依据专家的专业领域与知识水平进行筛选,还会依据评估目标,调整专家筛选的标准,例如当评估对象对于国家科技政策、科技发展具有较强影响力时,日本不仅会考虑专家在其专业领域内的知识水平,还会考虑专家对于评估内容的社会、经济以及国际影响力的判断能力。
在科技评估方法的选择上,日本会依据评估对象、评估目的、评估所需信息的多寡来选择,其中,基于产出指标与成果指标的评估方法较为常用,该方法会从研究目标的实现程度、成果质量、实施效率等方面进行评估。在指标选择上,不仅包括定量指标,同时也会考虑定量指标的局限性,提倡采用定性与定量相结合的模式。
1.2.1 科技机构评估方法
日本的科技机构主要包括大学、国立研究与开发机构、私人机构和公立试验研究机构等实体。不同类型的科技评估机构在进行科技评估时均有特定的法律依据。大学评估的法律依据是《学校教育法》,国立研究与开发机构评估的是《独立行政法人法》和《独立行政法人机构评估指南》,私人机构和公共试验研究机构等实体依据的是《特定国立研究开发法人促进研究开发等相关的特别措施法》[23]。
根据《国家研究开发评估实施办法大纲指南》,日本科技机构评估以自评估为主,外部评估或第三方评估为辅(图2)。外部评估主要由外部专家实施,第三方评估由独立第三方评估机构受政府或企业委托实施。第三方评估机构主要包括科学技术创新委员会、国立大学法人评价委员会、大学改革支援与学位授予机构等。
图2 日本科技机构评估体系Fig.2 Evaluation System of Science and Technology Institutes in Japan
日本大学严格按照《学校教育法》规定进行自评估,同时也会采纳认证评估机关的外部评估结果。大学改革支援与学位授予机构作为第三方主要负责评估教学科研状况,国立大学评价委员会主要评估中期目标实现情况,评估结果会影响日本文部省的大学经费分配。
日本国立研究和开发机构主要依据《独立行政法人法》与《独立行政法人评估指南》评估机构中长期目标的实现情况。根据《独立行政法人机构评估准则》,日本国立研究和开发机构的评估需要充分考虑研究机构的研究内容及其机构特点,以及研究的长期性、不确定性、结果不可预见性,避免评估对机构造成过重负担。国立研究与开发机构的主管官员会依据评估结果决定机构运营补助金的分配,机构自身也会利用评估结果指导未来的运营管理。日本文部省在特定的国家研究和开发机构的中长期目标期结束时,会对绩效评估的结果和审查结果进行反馈,并将评估结果适当应用至未来科学技术和创新政策的制定中。
日本私人科技机构的评估以自我评估为主,但当某些私人机构在政府委托或合作下和公立试验研究机构共同进行某些研发时,日本政府将从确保高效执行政府支出的角度对其进行必要的外部评估。
1.2.2 科技项目评估方法
与美国类似,日本也会在科技项目前期、中期与后期三个阶段对科技项目进行评估,项目开始前着重评估项目方法与管理方法的合理性、研究目标的可行性、正确性与有效性,如果课题资助基金具有竞争性,就会聘请外部专家,从项目未来影响、项目创新等角度对项目进行评估。在项目执行过程中,主要关注项目的执行进度、管理状态、协作情况等,中期评估结果将作为项目执行进度甚至项目是否存续的主要依据,由项目资助方向公众公布评估结果,并说明评估结果在项目管理中的作用。在项目后期评估中,存在两种情况:第一种,中期评估时被判定为终止执行,项目资助方会在项目终止后进行跟踪评估,包括对项目负责人的工作情况进行评估;第二种,项目正常结束后,会评估项目目标的达成程度、项目成果的经济效益与涟漪效应,项目过程管理与经费管理情况等。对于经济效益较为可观的项目,会在项目结束后的5~15年内,通过一系列绩效指标对科技项目的涟漪效应进行评估,指标包括项目的经济影响、社会影响以及对政策制定的影响[24]。
以日本重大科研计划——“登月”计划为例(图3),根据2020年7月公布的执行与评估指南,该计划下的各科研项目均需建立项目评估制度,实行自评估与外部评估并行模式。各项目组需邀请外部专家,在项目开始后的第3年与第5年对项目进行外部评估。此外,项目组需每年向负责“登月”计划总体协调与评估的战略理事会以及相关部委提交自评估结果。如果在自评估过程中,项目组邀请了外部专家,在提交自评估结果时,需要一并提交外部专家的评审意见并说明其在自评估结果中的反馈情况。外部评估与自评估结果原则上都将向公众公布[25]。
图3 日本“登月”计划项目评估示意图Fig.3 Evaluation Diagram of the Moonshot Research and Development Project
1.2.3 科技人才评估方法
日本的科技人才评估主要采用分层考核法。在研究人员的评估上,日本主要采用基于能力与研究成果的评估方法,对于年轻研究人员,还会评估其未来发展潜力。总体而言,需要从个人待遇、研究费用分配等角度促进研究人员的积极性,同时需要评估其在研发活动、产学研合作中,对经济、社会的贡献。对于在高校中任职的研究人员,日本会从研究与教学两方面对人员进行评估,研究人员也会开展自我评估工作。
在评估结果方面,为了减轻科技评估人员的负担,避免评估的重复性,研发的定位、目标、实施周期、评估方法、评估基准、主体等评估结果都需要在政策制定者、项目实施方之间进行共享,项目实施方的自我评估结果也可以在上层评估中被直接采用。此外,日本通过建立标准评估数据库,引入标准化研究人员ID、项目ID等,存储相应的项目评估内容,将评估内容以标准化的形式存储起来,方便日后查阅。
2 美日科技评估体系对比
基于上述对美国与日本两国科技评估体系的梳理归纳,可以从以下5个方面总结其异同:
1)在科技机构评估方面,美国与日本均实现了科技机构评估的常态化与制度化,科技机构评估均以自评估与外部评估或第三方评估并行模式进行。两国体系相比,美国更加分散多元,日本更加规范统一,美国科技机构可能同时受到联邦政府与国会下设科技评估机构的审查,而日本各科技机构的管理单位都更加明确,并且已经进行了机构分类评价的规范性建设。日本的《国家研究开发评估实施办法大纲指南》明确规定了日本大学、国立研究所、私人机构和公立试验研究机构四类主要科技机构的评估流程与方法。
2)在科技项目评估方面,从评估阶段来分,美国会在项目的前、中、后期分别开展科技评估工作,不仅关注其具体产出成果,还会分析项目对于生产力、科技成果转化、知识创造与创新方面的效益效用。而日本除了在项目的前、中、后三个阶段进行评估之外,对具有较高经济效益的项目,还会在项目结束一定时间之后继续跟踪项目成果对经济、社会发展、科研实力等方面的提升作用。
3)在科技人才评估方面,美国通常以自评估为主,同行审议与外部评估为辅,日本的科技人才评估则以外部评估为主。两国都会关注考量人才的论文、基金等成果数量,及其领域内影响力、研究成果对经济和社会产生的贡献、教育教学情况,以及未来发展潜力等,以便较为全面地评估科技人才的综合能力。
4)在科技指标选定方面,美国与日本科技评估指标总结见表1。由于大学评估不仅仅要考量其科学研究水平,还需要对其人才培育、社会服务等职能进行综合评定,因此表1对大学的评估指标进行了单独总结。从表1可以看出:(1)两国都在同时使用定量指标与定性指标,并不会将定量指标作为唯一依据;(2)从国家层面,两国都没有对评估指标做出“一刀切”规定,一般都是通过评估指南给出评估内容,为指标设定提供方向。
表1 美国与日本科技评价指标Tab.1 Evaluation Indicators Comparison of Science and Technology Evaluation between the U.S.and Japan
5)在科技评估结果使用方面,美国与日本的科技评估结果原则上均会向公众公开,会对科技评估机构、项目与人才的管理政策、资源配置产生影响。美国科技机构的绩效评估结果与科技机构未来获得的科研经费额度挂钩,而日本政府发布的《国家研究开发评估实施办法大纲指南》《登月计划实施与评估指南》更是明确了科技评估结果的重要价值:科技评估结果会影响科技机构未来经费拨付以及人才配置,是科技项目是否存续与进度要求变更的基本依据,科技人才的评估结果会直接影响科技人才待遇与研究经费分配。
3 结论与讨论
本文首先较为全面地总结了美国、日本两国科技评估体系的历史沿革、法律基础;然后分析了两国在科技机构、科技项目、科技人才三方面的科技评估方法;最后对两国科技评估体系的异同进行了总结。对比发现,美国与日本都有比较完备的科技评估机构、标准、体系和机制,在法律制度保障的前提下,各个部门协调统一地完成科技评估工作,日本在评估结束后还会进一步监督追踪评估对象科技成果的转化情况,这样的科技评估工作可为国际科技评估工作提供了标准和方法的参考。
我国科技评估工作目前存在的问题主要包括:1)第三方科技评估机构规范性不足。目前,我国第三方科技评估机构尚未建立准入机制,在评价工作中尚未统一评价标准,其专业性与公正性因此受到一定影响;2)科技评估指标体系与分类分级体系建立不完善。在我国的人才评定、机构评价与项目评估中,科技评估指标一直以定量指标为主,且针对不同类型的科技评估对象没有建立起符合其特性的分类评价体系,导致评价标准较为单一、评估结果科学性不足且难以对科技活动的改进产生实质性指导价值;3)科技评估结果共享与应用不足。目前,为了破除“唯论文、唯帽子、唯职称、唯学历、唯奖项”困局,解决“一刀切”问题,我国在科技评估体系建设中投入了大量资源,但科技评估结果并未做到完全公开透明,一方面公众无法完全参与科技评估活动的过程监督与意见反馈,可能会影响公众对于科技评估公正性的判断;另一方面科技评估结果反映出的问题可能会在不同科技评估中重复出现,科技评估结果不能得到有效利用,产出效益较低。
面对上述问题,基于美国、日本在科技评估体系建设方面的经验,从科技评估主体、科技评估标准与科技评估结果角度出发可得出以下三条对我国科技评估体系建设的启示:
1)完善第三方评估主体参与机制,保证科技评估的独立性与公正性。首先,完善第三方评估机构资格申请与准入审查机制,允许科技智库等满足独立性与专业性要求的科技机构主体申请,在经过严格、标准化的审查流程后,纳入第三方评估机构库。其次,利用数字化创新手段,对第三方评估机构进行数字化信息管理,尤其是对机构的利益相关方实行动态监控。在进行第三方机构评估对象分配时,及时对可疑情况发出预警,要求第三方评估机构定期主动上报本机构信息变化,从主动上报与被动监测两方面保证科技评估的独立性;最后,完善第三方评估机构的支持与监管机制。不仅需要从资金、人员、专业技能等方面给予第三方评估机构独立从事科技评估工作的物质保障与能力保障,还需要强化监管机制,定期收集科技评估委托方与评估对象对第三方评估机构的意见建议,考察第三方评估机构在工作效率、工作能力、资金使用、评估结果等方面的专业性与合规性,维护科技评估结果的公平公正。
2)完善科技评估标准分级分类机制,促进科技评估指标的合理化发展。首先,对于科技机构,评估要充分考虑不同科技机构及其研究内容的特点,考虑到科技机构在经营、运营方面具有自主性,在评估指标制定方面给予科技机构一定的自主权。可参考美日做法,从国家层面在科技评估指标制定上以指南形式给予指标内容的方向性指导,在此基础上鼓励科技机构从自身特点出发制定科技评估指标,完成自评估工作。自评估的结果应受外部评估方审查,在评估内容合理、流程规范、结果可信的基础上将之作为外部评估基础,满足科技机构个性化、多样化的发展需求。其次,对于科技项目,以高质量科技成果产出为目标,从项目的研究领域前沿程度、知识产权成果产出难易、技术转化周期长短、预期经济效益多少等方面制定分类分级标准,设定动态评估指标权重。对于关键领域重点难点问题研究项目,可适当减少科研成果转化、知识产权产出指标权重,使得从事难度较大、不确定性因素较多的基础研究、颠覆性技术和“卡脖子”技术研究的科研工作者减轻指标负担,真正以突破科学认知、打破技术瓶颈为目标潜心科研。最后,对于科技人才的能力评估与绩效考核,在考察其过去专业积累、科技成果产出、前沿理解程度、教学能力等方面进行评估之外,也应该将其未来发展潜力、工作敬业态度与社会责任感纳入考核指标,全面评价科技人才的综合素养。
3)完善科技评估资源共享机制,促进科技评估的透明化发展。每一次科技评估工作都是在科技评估委托方、科技评估对象、科技评估主体的共同努力下完成的,科技评估数据资源、工具方法、人员交流的共享与公开对于完善科技评估流程、扩大科技评估效益、形成科技评估协同效应、降低科技评估成本方面具有重要价值。首先,可建立公开的科技评估交流平台,对历史科技评估中的数据、人员信息、方法与评估结果进行集中编码存储,并建立经验分享与资源交换机制,一来方便科研人员进行数据的分类查阅,二来借此平台实现科技评估的知识传播与经验传递;其次,及时向社会宣传分享科技评估成果,加强科技评估的社会监督与介入。对于一些研究结果直接影响国计民生、人民福祉的科研项目,可纳入社会公众监督机制,采取调查问卷等方式,在项目成果落地一段时间后,倾听来自民众的反馈意见,提升科研项目的实际应用价值。