基于学术计量的代表作评价制度落地实施的研究

荣 婕,杨 帆,苏 爽,陈 平,杨 东,赵天琦,杨智君

(1.中国计量科学研究院,北京 100029;2.中国计量大学 光学与电子科技学院,浙江 杭州 310018)

学术评价是指通过一定的评价标准和评价方式对科研人员的学术成果和学术工作进行价值判断的活动,对学术活动发挥着评判、激励、导向和监督等功能,是一种重要的学术管理手段[1-2]。科学的学术评价是开展高质量科技创新活动的重要保障。有学者认为学术评价对于考核学术质量、评价学术价值、鉴定学术成果、引导学术方向具有重要意义[3]。新中国成立以来,我国科学技术高速发展,多年来以定量评价为主导的学术评价方式越来越难以适应社会的需求,甚至导致了“唯数量论”、“SCI至上”等不良现象的发生,使学术评价偏离了质量导向的本质。

2016年11月,中共中央办公厅、国务院办公厅印发了《关于深化职称制度改革的意见》,提出要“推行代表作制度,重点考察成果质量,淡化论文数量要求”,鼓励使用其他形式的学术成果代替论文评价要求[4]。代表作评价作为同行评议的主要载体被学术界乃至社会加以更多的关注。中国政法大学杜学亮提出要充分发挥代表作评价制度,以学术思维构建评价体系[5]。中国科学院赵军等分析了我国当前科技评价中存在的问题,提出了实行分类评价、优化科技创新环境等宏观建议[6]。本文通过以中国计量科学研究院及中国计量大学为计量领域学术评价工作的主要研究样本,围绕如何基于代表作评价制度构建科学合理的学术评价体系,切实保障学术评价过程科学严谨、评价结果公正客观,对代表作评价制度在我国落地实施的情况进行了研究,并提出几点建议。这对于提高科研人员创新积极性、推动我国科技事业长远进步具有重要作用。

1 国内外研究现状

建立公平公正的学术评价体系是国内外学术界的共同目标。学术计量要求公正准确,但实际操作起来,精准的定量成果评价比较困难,西方发达国家在学术评价问题上也面临着与我国相似的问题。如何避免定量评价带来的负面影响,以及如何高效使用同行评议方法被反复探讨和实践。

在学术论文评价方面,1955年,美国学者Garfield首次提出了使用引文频次对学术论文和刊物影响力进行评价的方法,并在此基础上创建了《科学引文索引》(SCI)引文数据库和《期刊引用报告》(JCR),使用影响因子(JIF)作为期刊影响力的评价指标和期刊等级划分的主要依据[7-8]。影响因子在期刊影响力的评价中长期处于国际主导地位,而SCI的量化指标也广泛应用到了成果评价、学科评价乃至国家科研能力评价当中。然而,随着科技的发展,定量评价在学术评价中的应用也出现了诸多不匹配的问题。2012年,美国细胞生物学会会同期刊与出版社联合发布了旧金山宣言[9],提出不能以期刊的量化指标去评价单篇论文的质量,更不能作为科研人员晋升、招聘或资金分配的依据。2015年,Hicks等学者发布的莱顿宣言中[10],再次强调了不能用定量评价代替内容质量评审,人才评价应基于综合作品的质量评价等观点。

在科研机构评价方面,英国于2014年开始采用“研究卓越框架”(REF)对高校进行科研评价。REF是对“研究评估活动”(RAE)评价体系的改进[11],主要由三项评价指标组成,分别是:科研成果、研究影响和科研环境,其中科研成果的比重占65%[12]。在评价科研成果时,要求每名研究人员最多只能提交4项代表作品,可以是公开发表的论文、专著或其他形式的代表成果。同时,REF在RAE的基础上进行了修改,在同行评审中将论文、著作引用的量化分析作为主要参考,而非直接的评审依据,从而避免量化评价的绝对化[13]。

近年来,我国科技管理部门、科研院所和高校陆续从科研成果认定、职称评审等方面尝试推行代表作评价制度。在政策制定方面,中共中央办公厅、国务院办公厅和科技管理部门等先后出台了相关制度,积极引导代表作评价制度的落地。如2018年中共中央办公厅和国务院办公厅联合发布的《关于深化项目评审、人才评价、机构评估改革的意见》[14],2020年,科技部印发《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》[15],教育部、科技部联合印发《关于规范高等学校SCI论文相关指标使用树立正确评价导向的若干意见》[16]等政策文件,这些均提出了代表作评价制度实施的有关要求和指导措施。

在政策实践方面,高校较早开展了代表作评价制度试点的工作。2003年,南开大学在教师学术成果等评定中引入了代表作评价制度[17]。2005年,北京大学在中文系等院系试点开展论文代表作制度[18]。2010年,复旦大学在多个文史类专业试行代表作评价制度,至2012年已逐步将该制度扩展到全校范围[19]。2012年,中国人民大学在教师的科研成果评价中引入了代表作制度[20]。此外,许多高校也开展了对代表作评价制度的理论研究。浙江工商大学俞立平提出了代表作制度分析框架的理论,基于框架对代表作存在的问题进行了研究[21]。北京工业大学陈燕针对代表作评价制度在学科评价中的应用进行了探索[22]。江南大学的田贤鹏分析了高校教师代表作制度评价面临的困境[23]。同时,科研院所在代表作评价制度落地方面也相继开展了有益的探索。例如,中国科学院自2018年以来,将自然科学研究人员的代表性成果作为职称评审的重要内容[24]。中国农业科学院致力于探索建立更科学的农业科技论文评价方法体系,进一步优化评价机制[25]。中国计量科学研究院提出科研成果管理的最终目的不是成果定量统计,而是在保证数据可靠的同时实现成果评价的定性分析,进而提高高质量成果产出[26]。

然而在实际应用中,国内外均未形成能够被普遍参考的评价体系研究成果。对于代表作评价制度,缺乏具有较好应用成效的实例研究。我国高校和科研院所实施代表作评价制度不平衡和不充分的问题仍然突出,科技评价中定量评价制度比重过大的情况仍然普遍存在。

2 代表作评价制度落地难的原因探析

2.1 定量评价的历史惯性难以在短期扭转

在计量领域,我们长期以来所形成的以定量评价为主导的学术评价体系不可否认具有一定的基础和优势。首先,基于量化指标的成果评价(影响因子、期刊层级等)在一定程度上避免了学科差异和主观因素等方面的影响,与同行评议相比更加客观。其次,量化指标相较于文字评价往往更直观清晰。尤其在考核指标与政策导向相挂钩时,其实施效果和变化趋势更易于统计和说明,使用数量指标作为评价标准有利于管理部门进行绩效监控。同时,定量评价的评审工作量相对更小,评审效率更高。部分科研单位及评价机构在进行职称评定、奖励评审等工作时,为避免候选人数过多,采用增加或调整论文、专利、项目等成果数量要求的方式,从而提高申报“门槛”,减少筛选的工作量。

然而,过度使用量化指标进行硬性要求,缺乏与实际工作的联系,则会导致“唯论文”、“唯帽子”、“唯奖项”等错误导向的发生。这会造成具有一定研究能力和科研水平的候选人由于个别数量指标未达到要求落选,而水平相对较低的候选人入选的情况,也会破坏公平公正的科研环境,造成科研人员急功近利的不良心态,甚至成为学术造假的“导火索”。

虽然定量评价的局限性和负面影响日益凸显,国家相关部门也陆续出台和制定了改革政策,但是短期内的改善效果并不明显。其主要原因是无法快速找到能够替代数量指标的考核标准。由于学术评价体制体量庞大、体系复杂,改变评价标准的试错成本巨大,导致无法在短期内完成革新,而必须经过一个较长周期的探索和实践才能使评价体制更加健全合理化。

2.2 代表作评价缺乏统一规范的互认制度

如何建立统一规范的代表作评价互认体系,科学合理地评选出代表作,是代表作制度落地实施的主要挑战。代表作评价并不仅限于学术论文,不同领域、不同岗位的学术成果形式也多种多样,包括学术著作、专利成果、工作报告,甚至是设计方案、病例研究等。对于不同形式的学术成果,如何界定是否属于代表作范畴目前还没有统一的标准。在进行宏观评价时(例如机构评价、学科评价),若两个个体间所提供的代表作形式不同,如何进行公平公正的比较和打分也需要更加科学的评价依据。

对于同一项研究成果,不同的专家由于自身研究领域的局限性与评价过程的主观性,给出的评价意见往往会存在较大差异。通过计量领域的成果认定和评价工作的研究发现,在大小同行专家合理配置的问题上,小同行专家对于被评价研究成果的认识会比较深入,但是存在专业领域评审专家选择性小等问题。大同行专家对于一些细分领域的研究成果通常难以有足够深入的了解,容易导致评价结果缺乏合理性。此外,不同机构的评审结果是否能够得到互认,单位内部遴选的代表作结果是否能够在行业内得到认可,涉及多个单位的评审由谁负责组织,这些都需要有规范化的制度提供行为标准。

2.3 同行评议受主观影响的弊端无法避免

代表作评价的评审结果主要由同行评议产生,需要评审专家具有较高的专业技术水平和评价能力。但是,由于同行评议本身容易受到评审专家的主观判断影响,存在着一些不可控因素,在评价代表作时,这些问题所产生的负面影响更加突出。

首先,受人情意识和利益意识等其他人为因素影响的现象依然存在。近年来,多项科技评价政策陆续出台,引导形成客观公正的主流评价方式。但是,随着同行之间多年来的学术合作与交流的不断加深,形成了以科学研究领域为单位的“朋友圈”。在进行小同行评审时,由于专业领域窄,即使使用双盲评审也不免通过研究内容判断出受评人,此时不仅可能出现“圈内朋友”凭“人情”打分的情况,同时也存在竞争者或对立学派间刻意贬低的可能性,这成为了阻碍其客观公正评价的重要因素。

其次,同行评议容易受到评审过程不规范的影响。同行评议是一项时间成本和经济成本都较高的评审方式。在评审时间紧张、任务繁重时,为提高效率,难免出现个别评审专家略看、漏看或凭印象打分的情况。在过程管理中,若评审机构体制不完善,也可能出现专家选取、评分标准简单化等现象,导致评审结果缺乏权威性。然而,同行评议受主观或非专业因素影响的情况并不能完全避免,需要建立完善的评价制度进行约束或修正。

3 思考与建议

3.1 建立“量”与“质”辩证结合的综合评价机制

以量化指标为基础的定量计量评价制度和以质量要求为基础的代表作评价制度,在具备各自优势的同时均存在一些不足。任何单一地坚持某种评价制度而偏废另一种做法都会导致评价制度的畸形,甚至产生极端化的不良结果。定量评价具备评价方式客观、评价指标清晰、可操作性强等优点,但存在“一刀切”的弊病;代表作评价是高水平成果价值引导的重要方式,但也存在操作性差、公正评价落实难度大等弊病。若重代表作评价、轻定量评价,则容易忽略学术成果的数量积累——学术成果数量的积累在一定程度上也是质量的体现;若过度依赖定量评价,则容易走向“唯数量论”的极端,抑制高水平科技成果的产出。因此,在学术评价制度的设计上,需将定量评价和代表作评价辩证结合,建立有机统一的综合评价体系。例如,在评价论文代表作时,为消除同行评议所带来的主观因素影响,可通过引入量化指标加以修正(表1)。参考专业领域内发布的“三类高质量论文”目录、中科院期刊分区、影响因子、引用频次等指标,对论文的质量进行侧面评价。再将同行评价结果和量化评价指标根据专业特点分别配以不同的分数和权重,以计算总得分。为得到更加科学公平的评价标准,还需结合实际经验和实践结果对指标进行不断优化。

表1 计量领域论文代表作评价示例

3.2 开展代表作分类评价和互认依据研究

由于目前已出台的代表作评价制度相关政策较为宏观,要将代表作评价制度纳入到不同领域的现有评价体系当中,还需大量微观层面的基础性问题研究。需从切实反映研究成果质量的角度出发,制定不同类别研究成果的评价指标和互认体系。对于不同领域所产生的研究成果,建议由业内专家根据学科特点组织制定适应该学科发展的代表作评价标准,并公开征集业内人员对评价标准的意见建议。同时,实施评价反馈机制,根据社会需求动态调整和完善评价标准体系。对于不同形式和类型的学术成果,也应设置不同的评价指标。例如由基础性研究和应用性研究所产生的学术成果与应用价值,其评价指标必然要有区分。基础性研究成果需重点考虑前沿性、创新性与学术价值,而应用性研究则需重点考虑其产业价值与经济贡献能力。

3.3 完善和优化专家数据库及其管理体制

在建立分类评价和互认体系的基础上,优化基于同行评仪的专家库管理体制。在计量学科层面,根据专业特点细化学科分级,在三级学科基础上可进一步添加精细化“标签”,有助于评审专家的抽选和规避;在专家所在地域层面,推广远程评审模式,建立多元化、国际化的专家库,补充国内外优秀行业专家,增加评审专家的选择性和灵活性;在专家工作领域层面,根据研究成果类型合理选择和分配学术专家与产业专家;在专家库的动态性层面,实施专家随机抽选机制和流动机制,即通过随机抽取专家,消除选取时的人为因素干扰,并根据评审专家的学术水平、信誉度、评价客观公正程度等定期更新专家库。

3.4 建立公开公正的评价过程监督机制

在专家库完备可靠的前提下,还需要对评价过程进行控制。首先,需建立学术评价奖惩机制,制定评审过程规范,将评审与诚信体系相挂钩。例如,可通过区块链技术建立在一定范围内公开化的个人评审记录档案,对每次评审的时间地点、参会人员、评审内容、评分记录、评审意见等进行实名认证并存档,实现历次评审过程有据可查,起到约束、监督的作用。其次,要完善专家评审机制,尽可能采用双盲评审,建立科学的专家回避制度,防止评价结果出现过度的人为倾斜。要完善公示制度、申诉复议制度等评价反馈机制,公开参评专家和完成人员名单。最后,对于特定类型的研究成果,必要时可以选择第三方评价机构,以保障成果评价过程的公平性和透明度。