APP下载

如何有效进行科研评价

2021-05-19刘凤芹李晓东

河北林业科技 2021年1期
关键词:模型评价

刘凤芹,赵 旭,李晓东

(1.北京市林业果树科学研究院,北京100093;2.沈阳农业大学,辽宁 沈阳110866)

在全民众志成城抗击新冠肺炎疫情的特殊背景下,探索科学的科研评价无疑与习近平总书记“把论文写在祖国大地上”的号召相得益彰。在实现中华民族伟大复兴的新形势下,我们应该打破固有评价体系,与时俱进地根据现实需求,围绕科研评价的基本规律和价值目的,进行有效、合理评价。以期为推进学术研究事业发展提供有力支撑,促进科学研究出高水平成果,这也是党和国家关注的重大战略问题。目前,如何在实践中有效进行科研评价,形成具体的框架体系,还需要进一步结合实际进行系统专业深入研究分析。

1 现行科研评价存在的问题

1.1 科研评价目标与管理模式亟需改进

我国现行科研评价面临的突出问题是急功近利,科研评价目标功利色彩浓厚[1],科研评价程序简单划一,完全是为了管理便利而评价,丧失了科研评价的价值和意义。现有的科研评价体系亟需重建,科研评价管理模式也要有所改变。研究证明科研评价会产生明显的导向作用,直接影响到科研工作者的动力、目标和具体工作的方式方法[2]。

1.2 科研评价机制无法适应现时需求

当今科学界,绝大多数研究仅仅局限于理论或学术层面的探讨,真正能被实际用于科研评价的屈指可数。数据标准缺失、数据垄断以及数据失准和不完整等因素,使得基于科学计量的科研评价的置信度及其效力大打折扣。科学计量评价体系在数据选择、指标设计等方面存在的主观性,以及用于标准计量规程的研究成果类型的有限性也影响到评价结果的公正性[3]。如何构建符合科学研究发展实际、更为科学合理的科研评价机制已成为科学界必须深思的重要问题。

1.3 亟待建立更为全面、公正的科研评价体系

科研评价中的“唯论文”指标或过分强调论文指标现象十分普遍。当前国内一些学者发表几篇、几十篇论文即可交差了事已经成为科研项目的主要运作模式。科研论文的增长并没有与科研水平的突破性进展相适应,不管是国内核心级别学术期刊或国际性SCI 之类的权威学术期刊中,都充斥大量低水平粗制滥造之作。现行科研评价工作的主要作用是便于管理部门以科学量化的名义考核科研工作者,并对其进行资金和物质的奖励,对科研工作者和国家科学事业的促进作用相对不足。英国伦敦城市大学Grant[4]认为,面对越来越复杂的研究过程和知识的多样化,基于SCI 的研究评价体系已经无法满足需求,以SCI 为中心建立研究评价体系的时代即将终结,亟待建立更为全面、公正的科研评价体系。

2 科研评价的原则和方法

2.1 科研评价的原则

2.1.1 科学可靠原则 科学可靠原则指评价结果可重复性,按照相同的评价过程、相同的评价方法得出相同评价结果的概率。得到同一结果的概率大,评价结果可靠性就高。由于各种因素的影响,评价结果往往是一种概率事件。但是,评价过程越公正、方法越科学,结果的趋同性必然越强,评价结果就愈加科学可靠。

2.1.2 分类评价原则 科研评价应该根据评价对象不同属性和特点确定相应评价程序、评价标准和方法。对评价对象进行正确的类别划分,能够最大限度地使评价对象具有可比性,从而保证评价结果的科学性。

2.1.3 公开、公正、公平原则 只要不涉及保密内容,评价标准、方法和过程都应该尽量公开。唯有公开才能公正,唯有公正才显公平。要做到对不同领域科研团队和人员发展的多指标综合评价,给出更科学的评价结果,守住科研评价的初心。

2.1.4 适度原则 科研评价周期不能太短,频率不能太密,否则就会对评价对象产生负面影响[5]。国外就有学者认为因为评价造成的压力可能让年轻的科学家们不再冒风险从事新领域的研究甚至不再做研究,而从事创造性研究的科学家会发现自己面临不公正的待遇。

2.2 科研评价方法

从科研评价的信息基础出发,可以将科研评价方法分为3 类(图1):基于专家知识的主观评价方法、基于统计数据的客观评价方法和基于系统模型的综合评价方法[6]。有效的科研评价方法应采用同行评议与科研创新成果计量相结合,这也是目前国外比较成熟的评价方法。在科研评价实践中,应该合理利用拥有较高应用价值的评价方法综合进行科研评价,可以对个人与机构科研创新水平进行相对客观的质量评级。

图1 科研评价方法分类

3 有效实施科研评价的对策

3.1 建立正确的价值导向

无论是自然科学的评价或人文社会科学评价,科研评价始终是一项导向性的工作,它是科研的指挥棒和风向标[7]。能否破除体制机制障碍、凸显改革含金量,取决于国家政策对现存问题的精准把握及政策的落实。近年来,特别是2018 年,国家下发一系列关于评价体系的文件:《关于分类推进人才评价机制改革的指导意见》(中办发〔2018〕6 号)、中央组织部、国家人社部发布《贯彻落实〈关于分类推进人才评价机制改革的指导意见〉主要任务分工方案》、《关于深化项目评审、人才评价、机构评估改革的意见》、《关于优化科研管理 提升科研绩效若干措施的通知》(国发〔2018〕25 号)等指出了科研评价体系的改革方向[8]。2020 年2 月18 日,教育部、科技部印发《关于规范高等学校SCI 论文相关指标使用树立正确评价导向的若干意见》,对破除论文“SCI至上”提出明确要求。

国家政策导向层面和现行科研评价体系的实际情况都反映出目前科研评价体系的弊端及对其改进、完善的必要性[8]。过去在“唯论文”的评价导向下,造成了我国数亿元的科研经费花费在购买版面上,科研人员争先在海外发表成果,逐步丧失了国际学术评价的话语权,忽略了科研评价背后的学术导向及人文社会科学背后的意识形态的导向。我们需要破除“唯论文”,但不代表不鼓励发表国际论文了。高品质的国际学术论文仍然是国际科研领域的硬通货,我们需要建立正确的价值导向是营造良好科研生态的关键,加快推进国际精品学术期刊研究和遴选工作,达到我国科研工作的真正目的。

3.2 构建科学的科研评价系统模型

科研评价体系模型框架的构建思路是首先搭建个人科研能力评价模型,然后在其基础上增加学科平台、科研平台等所在机构其他科研贡献度的子模型后,获得机构科研能力评价的综合模型[9]。在构建科研评价模型时,应根据实际情况,全面地对每一个被评价对象从事和完成的各项科研工作进行综合的考核,配合相关系数采用当量折算的方法,将不同类型科研工作业绩运用不同的权重系数计算得分。

3.2.1 个人科研评价模型确立 英国的REF 体系通过计算研究机构或高等学校的每位员工的科研成果指标得分后,加权汇总为机构的考核评分。在借鉴REF 体系设计原则的基础上,将目前通行的科研评价考核管理办法中涉及的科研获奖、专利授权、学术兼职等指标引入模型,从而形成了包含以下六大方面的个人科研能力定量评价模型[10]。模型的总体评价形式可简述为下式:

其中,A 表示由学术论文给被评价者贡献的得分;B 表示由承担纵向/横向科研项目给被评价者贡献的得分;C 表示由专利给被评价者贡献的得分;D表示由科研获奖或成果鉴定给被评价者贡献的得分;E 表示由学术兼职给被评价者贡献的得分;F 表示由成果推广应用或产生社会效益、经济效益带给被评价者的贡献得分;α1~α6表示被评价者各科研能力子模型在综合评价模型中的权重系数。

3.2.2 科研机构科研评价模型 科研机构科研评价应主要考虑研究团队、以往领域的影响力、研究平台和科研环境等方面。研究团队是考查科研事业单位科研能力最重要的指标,建立指标时应考虑人才梯队、团队模式、影响力等方面。研究平台主要包括基础硬件及实验平台,科研环境主要包括人事制度及创新氛围的构建等。此外,还要考虑科研单位对社会服务(以承担纵向课题为主的机构在论文公开发表方面;以承担横向课题为主的机构在专利申请和企业效益提升方面的贡献)以及推动社会进步方面所做的服务和贡献[10]。综合以上因素,建立研究机构科研能力评价模型:

其中α1~α6表示机构各科研能力子模型在综合评价模型中的权重系数;P 表示机构所有个人科研能力汇总的综合得分;T 表示科研团队的得分;F 表示研究积累或同行影响力的得分;L 表示实验平台或基础硬件的得分;E 表示科研环境(主要是政策面等管理、服务环节)的得分;D 表示学科平台的得分。

3.2.3 科研能力评价模型中权重系数确定 合理确定各类科研成果转换为科研业绩分时的权重系数,正确处理合作项目与合作成果业绩分的分解[11]。在对科研成果进行评价时,结合自身特点,考虑在学科领域、科研基础、结构队伍等方面差异,通过调整各个权重系数,来达到评价目的。

3.3 多层次、多维度、多指标分类综合评价

根据不同职业、不同岗位、不同层次人才特点和职责,分类建立健全涵盖品德、知识、能力、业绩和贡献等要素,科学合理、各有侧重的人才评价标准[12]。以哲学、社会科学人才评价为例,必须对人文学科与社会科学采取分类评价。一般而言,人文学科(比如:历史、哲学等学科)的人才评价,应着重考核在基础理论研究与创新、知识体系构建与传播等方面的贡献,他们的研究周期一般较长,有许多是冷门甚至绝活。社会科学人才评价则应着重考核资政谏言、指导社会实践、辅助宏观决策等方面贡献,他们的研究周期一般较短,社会关注度比较高。

3.4 发展多元评价方式,完善评价机制流程

评价主体的多样性,决定了我们的评价方法必须是多元的,评价内容也要多维化。必不可少要建立和完善以同行评价为基础的评价体系。人社部管理司司长俞家栋更明确指出人才评价制度改革的目标就是:“同行评同行,内行评内行,能够综合社会化的、市场化的手段,而不再是单一的行政手段[8]。”科研评价同样如此,不能只依赖单位科研管理等行政部门,可以采用第三方机构等市场化的方式来完成同行评价。完善评价机制流程,消除大众对同行评价公信度的质疑。规范评价流程,严格把关同行评价专家信誉度,明确专家责任,消除评价过程中的不公平因素。

3.5 推行代表作评价制度及创新成果认定

科研评价体系要以科研质量为核心,合理设置和使用论文等评价指标,摒弃盲目地追求SCI 影响因子的量化评价。将研发成果原创性、创新性,创新成果的转化效益纳入评价指标体系。推行代表作评价制度,项目成果、研究报告、专著译著、技术标准规范、资政成果等均可作为代表作,彻底告别“重论文轻应用、重数量轻质量”的做法[7]。

3.6 实施过程评价,优化评价考核周期

随着国内科研成果产出量的不断增多,各级各类科研评价过度强调SCI 等国外评价指标体系作用,忽视了科研过程和成果本身的实际价值。科研成果是通过科研过程产生的,关注科研过程更重要。科研单位要力求做到科研过程管理的全面化、精细化,这样才能形成应用性强的高水平科研成果。在整个科研过程评价中,还要注重隐性评价与显性评价相结合,保证科研评价的全面性,最终科研成果的推广与应用也是重要参考内容。科研成果的产生需要积淀,在时间上具有滞后性,不能过多集中在当前绩效上。结合实际情况合理设置科研评价考核周期,关注指标的绝对值的同时注重指标的增量。科研单位要做到对不同领域科研团队和人员发展的多指标综合评价,给出更科学的评价结果,守住科研评价的初心。

科研评价是一个重要问题,因为这牵涉所做研究的水平高低及其重要性。当今诸多因素都是实行有效科研评价的阻力,需要认真研究对待。只有构建一个科学为本的科研评价体系,才能有效进行科研评价,更有效地促进我国科研事业发展。

猜你喜欢

模型评价
一种去中心化的域名服务本地化模型
适用于BDS-3 PPP的随机模型
针刺治疗术后肠梗阻的系统评价再评价
不等式创新题的模型化解题探究
重要模型『一线三等角』
模型小览(二)
2006—2016年度C—NCAP评价结果
2006—2015年度C—NCAP评价结果
2006—2015年度C—NCAP评价结果(2)
离散型随机变量分布列的两法则和三模型