APP下载

农业科研机构评价实践探索与思考
——以中国农业科学院研究所评价为例

2022-07-20胡铁华冯晓赟董照辉

农业科研经济管理 2022年2期
关键词:中国农业科学院研究所指标体系

胡铁华,冯晓赟,董照辉

(中国农业科学院科技管理局,北京 100081)

科研机构评价作为推动科技创新的重要管理手段和工具,一直受到各国科研管理部门和科技工作者的高度重视和关注,同时也是备受争议和持续发展变化的焦点问题。长期以来,各国政府及科研机构都在不断探索和发展与本国科技发展相适应的评价制度和方法。中国农业科学院于2012年开始对院属研究所实行量化评价制度,有效激发了科研人员创新热情,推动了中国农业科学院科技产出快速增长。但随着我国进入全面建设社会主义新阶段,创新在现代化建设全局中居于核心地位,这一历史性变化对全国科研机构提出了更高要求,科研机构的评价制度也必须随之调整。文章将以中国农业科学院为例,考察回顾其研究所评价的实施情况,总结经验得失,以期为当前科研评价制度改革提供借鉴和参考。

1 国外科研机构评价典型做法

1.1 英国高等教育研究机构科研评价体系

英国曾采用以同行评议为主的方式对高等教育研究机构进行科研评价,但饱受主观性太强的争议。从2006年开始,英国尝试对其科研评价体系进行改革,直到2014年才确定采用Research Excellence Framework(卓越研究框架)的方式对高等教育研究机构进行评价。该方式从科研产出、科研影响、科研环境三个大的方面开展评价。主要变化有四个方面:一是将学科归并为生命和医学科学类、理工工程类、社科管理类、人文艺术类四大学科领域,既考虑学科之间差异,又避免分类过细。二是注重衡量科研成果的学术价值与社会影响,引导科研成果在社会、经济、文化等各个领域发挥作用。三是从单纯定性评价到量化评估与专家评估相结合,解决定性评价主观性强、公正性弱的争议。四是不以分数作为最终评价结果,而是以代表不同等级的星级进行分档[1]。

1.2 美国绩效管理评价体系

美国国立科研机构评价起步于20世纪60年代,受各届政府执政目的影响,早期评价制度和评价结果缺乏连续性、可比性和系统性。1993年美国国会通过了《政府绩效与结果法案》(GPRA,Government Performance and Results Act)奠定了联邦机构评价的基本模式。2001年为克服GPRA评价中存在的机构间评估目标和具体评估指标不一致的问题,又提出了《总统管理议程》(PMA,president's Management Agenda),从人力资源、竞争资源、财政绩效、电子政府和绩效提升动议五个方面对联邦机构进行评估,评估结果以红、黄、绿3种颜色表征。2002年在GPRA和PMA的评价体系下,提出了针对项目评估的“项目评级工具”(PART,Program Assessment Rating Tool),形成了以GPRA为制度基础,以PMA为总体评估标准,以PART为评估工具的评价体系[2,3]。

1.3 德国同行评议制度

整体上看德国研究机构的科技评价大都是采用同行评议方法,但评价内容与专家的构成上通常存在较大差异。马普学会、弗朗霍夫学会、赫尔姆霍兹协会等研究机构对其下属研究所评价的一般过程为专家先阅读研究所的状态报告,随后到研究所实地考察了解情况,最后通过集体讨论形成评价报告。各研究机构对下属研究所的评价大体都包括研究活动、管理与对外关系等三个方面,但是评价的重点和专家的构成与研究所所处的学科领域紧密相关。例如:马普学会是以基础研究为主的机构,更加注重对研究质量和水平的评价以及相近学科领域研究机构之间相互比较,研究论文的数量和水平是其重要的指标[4,5]。

纵观英、美、德等国家研究机构评价的主要做法,发现科技评价制度的发展与完善是一个长期的、不断变化的过程。一方面是推动经济社会发展所需的科技发展的必然要求,另一方面国家之间、同行之间的强大科技竞争压力也必然推动评价制度和方法的不断演进。

2 中国农业科学院以量化为主的研究所评价体系

2.1 指标体系框架

2012年中国农业科学院改变以往院属研究所述职汇报后定性评价的年度评估方式,建立了以量化指标为核心的研究所评价体系及其实施制度。该体系将研究所的科研投入、科研产出、成果转化、人才队伍、科研条件、国际合作、管理水平等反映科研实力的年度工作成效,以可量化、可考核的指标进行表征,构建了由6项一级指标、21项二级指标、87项统计指标组成的评价指标体系。评价指标根据创新导向和院所发展情况,每年度进行适当调整。至2020年,该指标体系包含7项一级指标、22项二级指标、98项统计指标,指标体系框架见表1。

表1 2020年中国农业科学院研究所评价指标体系框架

2.2 评价计分方法

该指标体系的设计思路是将研究所所有纳入考核的内容分拆成可量化的统计指标,对每项统计指标给予一定的分值,类似于对每项工作给予一个“价格”,该项工作完成得越多或质量越高,获得的分值累计越高。每个研究所所有统计指标的单项累计分值加总,得到该研究所年度总分,以此方式对研究所的年度工作进行量化[6]。

2.3 指标体系设定

中国农业科学院院属34个研究所,覆盖作物、园艺、畜牧、兽医、植保、资源环境、农业工程、农经、信息等农业科研各大学科领域,每个领域的创新工作内容各不相同,因此,评价体系构建的核心是指标选取,这是整个评价制度的基础和难点。中国农业科学院采取逐级分解的方式进行指标体系构建:(1)确立评价导向,将院层级确定要考核的内容作为一级指标;(2)确定评价内容,将一级指标下需要重点关注考核的内容分解为二级指标;(3)院所共同构建三级指标,即将每个二级指标分解为一组可量化的统计指标。经过三级分解,形成完整的指标体系,既反映院级层面的发展导向,又体现研究所的创新工作。

2.4 指标权重确定

指标权重赋值是构建研究所评价指标体系的难点,既要体现每项指标的自身价值,又要体现指标间的相对价值。在实践中,中国农业科学院采取统计测算+专家赋值的定值方法。首先对统计指标的近年数据进行统计测算,根据测算结果对指标进行初始赋值,再由各学科领域专家、管理专家及研究所对初始赋值进行研究、修改或再赋值。按照测算—调整—验证的技术路线,经多轮研讨咨询和比对修正,最后确定指标权重体系。

2.5 分类评价的体现方式

由于不同学科领域科研机构的创新工作存在较大差异,分类考评一直是科技界重点关注的问题[7]。中国农业科学院研究所评价系统,采取“全品类计价”方式来解决分类问题,即将各学科领域研究所的共性指标和个性产出指标都纳入指标体系,既体现共性成果,也反映个性产出。例如,作物科学研究所和哈尔滨兽医研究所,分属作物和兽医两个学科领域,指标体系中既有标准类、专利类共性指标,也分别有作物领域的审定农作物新品种和兽医领域的新兽药等个性指标。

表2 不同研究所在科研产出指标中的不同得分点

2.6 对创新实力、发展速度和人均实力的衡量

中国农业科学院的研究所评价体系从创新实力、发展速度和人均实力3个维度,反映研究所的创新发展情况。如前所述,研究所的年度总分是各统计指标得分之和,反映了一个研究所的整体创新实力,体现了研究所之间横向比较结果。发展速度是指创新实力得分的增长率,由研究所当年的年度总分与前三年平均分比较得出,用于衡量研究所与自身相比发展的快慢。人均实力是指研究所人均产出情况,由研究所年度总分除以在职职工数得出,反映了全所人员的创新效率。

3 中国农业科学院研究所评价实施成效

该评价制度的实施解决了创新工作难以衡量、评价标准模糊的问题,促使研究所明确创新目标,聚焦创新任务,创新能力大幅提升。同时,大部分研究所依据评价指标体系,结合本所实际制定了内部绩效奖励标准,有效激发了科研人员的创新活力和创新动力,科研成果持续增加。

3.1 推动形成竞争发展的创新环境

研究所评价克服了以往主观评价方式缺乏数据支持、研究所之间难以比较等缺点,客观反映研究所的发展态势和发展水平,形成了竞争发展的良好局面。各研究所据此新建或完善所内考评制度,传达政策导向,优化资源配置方式,有效激发了科研人员的创新活力,进而提升院所整体创新实力。

3.2 科技论文实现量质双升

2012—2020年,如图1所示,SCI/EI论文发文数量总体呈增长趋势,且SCI/EI论文发文数量占论文总数的比重从2012年的23.4%增长到2020年的56.6%,特别是Science/Nature/Cell主刊发表论文大幅增加,论文质量显著提高,体现了评价导向对基础和应用基础研究的重要推动作用。

图1 2012—2020年论文数量

3.3 品种、专利等成果翻倍增长

2012—2020年,如图2、图3所示,审定农作物新品种年均增长率17.3%,国审农作物新品种占比48.2%。授权发明专利年均增长率14.3%,新兽药证书年均增长率14.7%,标准制定年均增长率46.2%,国家标准占比45.8%。

图2 2012—2020年审定农作物新品种和授权发明专利数量

图3 2012—2020年新兽药和国家标准数量

4 中国农业科学院研究所评价存在的问题

随着我国进入新发展阶段,中国农业科学院作为国家级农业科研机构,需要在更高起点上满足农业农村现代化的重大科技需求,对照这一新形势新要求,现有评价体系在实践上存在一些亟待解决的问题,主要集中在以下几个方面。

4.1 指标体系过于繁琐

该指标体系类似于全工作类别计价的方式,逐渐出现了指标分类过细、指标数量过多的问题。指标过细会导致较多关注具体工作,忽略整体协同发展,缺乏对重大任务和重点突破的引导。同时,一年一评容易导致科研人员追求短平快,不利于引导开展长期持续性研究。在操作层面,指标填报、数值核对、统计计算等各环节,都带来了很大工作量。

4.2 难以衡量成果质量

如何衡量科技成果质量一直是科技评价的难题,目前虽然也发展出了影响因子、H指数等质量指标,但远远少于数量指标,且很多创新成果和成效仍然难以量化表达。这导致科研人员过分关注具体指标的完成数量,忽略创新质量,甚至有些工作与自己本职岗位工作不一致[8]。

4.3 工作难以全部合理量化

科技创新链条长,创新工作内容多,量化指标难以全面反映创新贡献。例如,对公益性农业科技创新工作来说,转化工作一直是量化的难点。一些公益性、基础性工作,如种质资源收集、鉴定和保藏,是农业科技创新的基础源头,但量化考核难以充分反映其重要性。

5 优化科研机构评价的思考

5.1 重视科研导向作用

习近平总书记强调“要把人的创造性活动从不合理的经费管理、人才评价等体制中解放出来”[9]。评价制度是科技管理的重要手段,发挥着重要的导向作用。中国农业科学院的实践也证明,评价往哪走,资源就会往哪去,引导科研走向。科研管理部门要切实重视科研评价的导向作用,利用好、发挥好评价指挥棒的作用。

5.2 科研评价导向要与发展目标相一致

在中国农业科学院设立该评价制度初期,以明确的考评指标和考评标准,引导科研人员加快创新步伐,多产出创新成果,是符合当时的发展阶段的。但随着中国农业科学院整体创新能力和水平的大幅提升,进入追求创新质量,引导产出重大科研成果的阶段,需要根据发展需求,建立新的评价制度。评价标准要由追求数量转向追求科技创新质量,由追求短平快转向瞄准重大突破持续攻关。

5.3 把握新时期的新导向

2021年3月15日习近平总书记在《求是》专门撰文提出,我国要努力成为世界主要科学中心和创新高地。过去40年,从跟跑到并跑,在某些领域实现了领跑。但总体来看,在基础前沿领域、关键核心技术等方面还有很多差距。新时期,我国农业科技创新的核心是在基础前沿探索、关键技术创新和重大产品创制等方面的重大突破,焦点是要解决“卡脖子”技术问题,引领我国农业科技实现率先跨越,支撑我国现代农业的持续发展[9]。反映在科技评价,就是要突出引导针对核心前沿、关键技术和重大问题的持续攻关与重大突破的创新目标导向[10]。

5.4 重视评价分析和结果应用

为进一步深化科技体制改革,加快提升我国农业科技创新水平,全国各级农业科研机构都对科技评价进行了改革创新[11],取得了显著成效。但当前的评价往往是重评价过程和评价结果,忽略对评价结果的分析研判。大部分评价仅发挥了排名次、分层级的作用,没有发挥通过评价进行分析诊断、推进创新工作不断提升的目的。在评价中对获得好成绩的对象,要进行奖励激励,也要分析其优秀的原因,总结形成经验。成绩不理想的,更要深入分析其原因,找出发展薄弱点,明确需强化的学科领域和方向,形成系统的改革发展政策,进而全面提升整体创新能力。

评价是永恒的主题,没有尽善尽美,也没有适用所有机构的评价制度,要根据需求和目标加以不断完善。

猜你喜欢

中国农业科学院研究所指标体系
2022城市商业魅力指标体系
中国农业科学院微信版“养分专家”上线
睡眠研究所·Arch
中国农业科学院农产品加工研究所
以科技创新打好“种业翻身仗”——访中国农业科学院副院长万建民
睡眠研究所民宿
未来研究所
网络空间攻防对联合作战体系支援度评估指标体系构建
中国农业科学院微信版“养分专家”上线
昆虫也会便便吗?