APP下载

论文相关指标在基础研究绩效评价中的归位

2024-10-16赵蓉

甘肃科技纵横 2024年9期

摘要:为使论文及其相关评价指标在基础研究评价活动中回归其评价“初心”,更大程度地发挥论文相关指标在绩效评价中的效能,在分析基础研究的内涵与本质以及论文在基础研究系统内外的功能与定位的基础上,重新点明了论文相关指标在基础研究绩效评价中所具有的核心地位—是衡量基础研究绩效最为可靠且最易获得的指标。指出了论文相关指标在基础研究绩效评价实践中使用的问题:“目的”与“手段”“评价指标”与“专家评议”“研究进程”与“实际应用”的3种错位现象,并就此对论文相关指标在基础研究绩效评价中的合理使用与归位提出了合理化建议:第一,将论文相关指标回归其作为“手段”的本质;第二,多种方法并用,系统展示论文价值;第三,促进评价领域研究成果与实践的衔接。

关键词:基础研究;绩效评价;论文相关指标

中图分类号:G353文献标志码:A

0引言

基础研究在科技与社会发展中的基础性地位和重要作用已经得到世界各国的广泛认可。中国作为发展中国家,提升原始创新能力、加强基础研究,既是有效应对外部风险、实现科技自立自强的迫切要求,也是面向长远发展、构建先发优势、建设世界强国、实现中华民族伟大复兴的重要战略支撑[1]。尽管国家对基础研究的投入无论从资金金额还是在科技研发总投入量中所占比重均逐年增加,然而基础研究所占比重仍然偏低,基础研究资源依然相对较为稀缺。在有限的资源投入情况下,通过基础研究绩效评价优化资源配置,来提高基础研究质量与效率以及资源利用率,进而提高科技创新能力、提升科技管理水平、保障国家科学事业健康发展的有效手段[2]。其中,科学合理的绩效评价指标体系作为基础研究评价的“风向标”,为基础研究各个层面起到战略性引导作用。宏观层面上,科学的绩效评价指标体系能够检验基础研究的效率,说明公共资金对基础研究的投资价值,从而为政府及其他组织继续加大对基础研究的投入提供坚实的理论和现实依据。微观层面上,科学的绩效评价指标体系能够引导和激励研究机构和研究人员,并能够有效地影响与规范他们的科研价值观与科研行为[3]。然而,在实践中广泛存在的将论文数量、被引次数、期刊影响因子等论文相关指标简单机械地作为绩效评估的硬性指标甚至唯一依据等问题,使得论文等基础研究成果出现“目的错位”,基础研究绩效评价脱离了其评价初衷,严重影响了基础研究绩效评价功能与实际评价效果,甚至导致基础研究领域出现急功近利的风气,同时也反映出当前论文相关评价指标在实践中运用的问题,甚至基础研究评价体系的不合理。

为破除科技管理与评价中过度看重论文数量多少、影响因子高低,忽视研究成果的质量、贡献和影响等“唯论文”不良导向,转而以创新与实际贡献为主要导向,科技部于2020年2月17日发布了《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》,明确指出对于基础研究类科技活动,注重评价新发现、新观点、新原理、新机制等标志性成果的质量、贡献和影响。强化代表作同行评议,实行定量评价与定性评价相结合,重点评价其学术价值及影响、与当次科技评价的相关性以及相关人员的贡献等,不把代表作的数量多少、影响因子高低作为量化考核评价指标[4]。指明了科技评价应秉持的分类考核评价原则与导向,也为基础研究绩效评价提供了基本方向。

论文作为科学研究尤其是基础研究的主要成果之一,与基础研究的联系是天然且最为密切的,在基础研究绩效评价实践中扮演着重要角色。在基础研究绩效评价领域破解“唯论文”,需要科学地把握使用论文相关指标进行评价的尺度。为此,不仅需要将论文及其相关指标回归科学本真,回归其作为评价指标的“初心与使命”[5],还需要按照分类评价、注重实效的原则,将其放置在基础研究评价系统中的合理位置。重新梳理论文在基础研究系统中的功能与定位,进而理顺论文相关指标在基础研究绩效评价体系中的位置,对于科学有效地使用论文相关指标进行绩效评价,从而发挥论文相关指标在绩效评价中的效能,建立符合基础研究特点的绩效评价机制具有重要意义。

1基础研究的内涵与本质

目前对于基础研究尚无统一的定义,通过梳理各权威机构对基础研究的定义,从中总结出基础研究的本质与核心任务。

经济合作与发展组织(OECD)在《弗拉斯卡蒂手册》(《Frascati Manual》)中对基础研究的定义是“为了获得关于现象和可观察事实的基本原理的新知识(揭示客观事物的本质、运动规律,获得新发现、新学说)而进行的实验性或理论性研究,它不以任何专门或特定的应用或使用为目的”[6]。

美国国家科学基金会对基础研究的定义是“增加新的科学知识的活动,没有特定的、直接的商业目的,但并不排除这一研究可能会在当前或其他潜在的领域具有商业价值”[7]。

《国家中长期科学和技术发展规划纲要(2006—2020年)》对于基础研究的描述是:“基础研究以深刻认识自然现象、揭示自然规律,获取新知识、新原理、新方法和培养高素质创新人才等为基本使命”。

上述各定义虽表述不同,但均指明了基础研究以“认识”为要务的本质,其根本任务是探索未知,拓展人类认识自然的边界,即都是以获取知识为目的,其本质都是从“0”到“1”的认识过程,且无论其成果是否能够立即被应用于实践,其成果均填补或拓展了人类对世界的“认识地图”。基础研究的价值核心就在于开拓认识领域,完成从“0”到“1”的跨越,相应地衡量基础研究价值的标准也应当涵盖基础研究从“0”到“1”的全过程。基础研究领域的成果通常主要表现为研究论文或专著,然而,基础研究所具备的内在价值与外在影响却不仅仅体现在论文的外显形式上。从基础研究价值这一角度来讲,一方面,基础研究从“0”到“1”的过程中所产生的外溢效应,是基础研究价值常常被忽略的一个重要层面;另一方面,价值考量需要向基础研究成果的微观与宏观两个方向拓展如图1所示。从微观层面来看,需深入到研究成果的“知识层面”,考查其对于“认识”这一本质的完成情况。从宏观层面来看,基础研究成果的价值也不仅仅停留在基础研究成果本身,其在整个科学研究到技术突破的创新体系中,将产生以点带面的辐射效应与影响,这是基础研究在整个科技创新领域中的独特价值所在。

2基础研究绩效

OECD对于基础研究绩效的界定如图2所示,其将“产出”(Output)定义为“通过活动实施而产生的产品、商品和服务,也可以包括由活动引起的变化”;“产效”(Outcome)定义为“产出将要实现的,或已实现的短期和中期效果”,在此基础上进一步产生的对整个社会的更长期的效果被称为“影响(Im⁃pact)”。“产效”是相对较为直接的效应,可能在相对较短的时期内就能观测到,“影响”则是更为间接的效应,需要相当长的时期才能体现出来。但“产效”和“影响”均是基础研究的“产出”作用于除了该研究以外的领域所产生的“效应”。由于基础研究所产生效应的间接性和时滞性,长期以来理论研究始终未能找到系统的方法衡量基础研究的实际价值,实践中绩效评价指标体系对此更是力所不及,也正是因此,才造成在评价实践中过分偏重论文等直接产出指标的状况,而忽视或低估了基础研究在其他层面所产生的实际价值。

绩效概念本身强调对研究过程的管理,研究过程中所产生的外溢效应也应当纳入基础研究所产生的绩效范围内。例如,在基础研究过程中培养出的研究生、年轻科学家,以及由此所带来的效益;承担研究项目的组织与个人在基础研究过程中研究能力的提高、管理研究项目的机构在管理过程中管理能力的提高,以及基础研究管理制度的不断完善,均是在基础研究过程中所产生的外溢效应。

根据文章前述对基础研究价值的分析,由基础研究所产生的论文、专著等出版物是基础研究的直接成果,是基础研究成果在知识增量方面的外显形式。在基础研究领域使用论文相关指标进行绩效评价具有简单、便捷等优点,但论文数量、外在质量等相关指标并不能有效代表基础研究所具备的内在价值。从基础研究成果的微观层面入手,对论文等显性成果进行深入的知识挖掘,衡量其在知识增量方面的贡献,能够有效避免单独使用论文相关指标等对基础研究进行评价时所造成的片面结论。

3基础研究绩效评价

根据绩效的理念,基础研究绩效评价应当不仅涉及到研究活动的直接产品,即基础研究理论的论文、专著等直接成果,还应当重视研究成果所带来的多方面的影响和长期效果的综合评价,以及对国家或组织目标的完成与实现情况。同时,基础研究所产生的直接成果或间接影响等,其所带来的效益是多维的,价值也是多元化的。基础研究所产生的直接成果以及由此所带来的知识增量,不仅拓展了人类认识世界的边界,为科学研究领域带来质的飞跃,也为新学科的建立、现有学科的深化发展以及学科交叉发展等提供了原材料,为教育领域提供了发展动力;根据科技创新线性模型,技术的发展有赖于科学的进步,基础研究在科技创新链条中由“0”到“1”的起始作用,对于促进新产品、新工艺、新技术的产生做出重要贡献。基础研究的直接成果进一步在社会中的传播,所产生的中、短期影响(产效)与长期影响则更为广泛,不仅涉及科学、教育、技术领域,更进一步向社会经济、文化等领域扩散,带来难以估量的影响如图3所示。因此,基础研究绩效评价是一个多元、动态、综合的评价活动,对基础研究所产生的成果、产效以及影响的展现是全面的。

4论文及其相关指标在基础研究绩效评价中的作用

科学论文是在调查研究或实验研究等一系列基础研究过程的基础上,经过分析论证的深化认识过程,把研究成果具象化、文字化、知识化,形成论文。它既是对研究的科学问题进行探讨、呈现的一种手段,又是对科学研究成果进行交流的一种工具。科学社会学家默顿认为,科学论文的意义在于其对科学知识的承载能力,它是科学知识最主要的存储方式。论文对科学知识的承载与存储功能使得科学知识跨越语言、国别、空间、时间,在人类认识领域得以积累与存储,科学得以在已有研究基础上不断向前发展。从科学发展史来看,发表论文最初是为了与同行进行学术交流,促进科学的新发现与新知识的传播。在横向上,通过公开发表的论文,研究者得以借鉴他人研究成果、发现并填补研究领域空白,扩展人类的认识地图;纵向上,论文将其所承载的科学知识向后世传递,科学得以在前人研究的基础上向更高的层次发展,这是科学论文在基础研究系统所承担的另一个功能——传播。

通过论文的公开发表,科学知识一方面在基础研究领域内不断积累与传播。另一方面则向基础研究自身以外的领域扩散,向外产生溢出效应并进一步发挥其对经济社会各方面的影响力,从这一角度来讲,研究论文的发表并不是科学研究的终点。从整个创新链的视角来看,研究论文的公开发表是基础研究科学知识进入创新链的起点,也是基础研究成果进一步产生效应以及对社会经济等各方面产生影响的一个作用点。从基础研究绩效产生过程来看,科学论文的发表只是基础研究绩效的第一个层面(即成果),由基础研究成果进一步所产生的效应与影响,则可能需要通过公开发表的论文所承载的知识扩散至社会各领域发挥作用,进而促进社会各领域向前发展。因此,论文不仅在基础研究系统内承担着积累与存储科学知识并在系统内部交流传播的作用,也是向基础研究系统外部产生绩效的重要媒介。

正是由于论文在基础研究系统内外所承担的重要作用,论文相关指标在评价实践中得到广泛应用。与评价领域其他指标一样,实践中所运用的论文相关指标也分为定量指标和定性指标。常见的论文相关定量指标包括论文数量、被引次数、期刊影响因子等量化指标。其中,论文数量用来测度知识的产量,期刊影响因子用来代表该研究成果质量,论文的被引次数则近似作为研究成果影响力的测度。论文在某一期刊发表前都要经过同行评议过程,该过程主要对论文的科学意义、结果的可信度、与期刊宗旨的相似性以及学术水平等方面进行评议,通过同行评议过程实现用来源期刊的质量(影响因子)对论文质量的前期控制。而被引次数则是同行对论文的后期评估,论文发表后,其被引用的次数不仅反映了该论文在研究领域受到的关注程度,而且能够一定程度地反映该研究成果在同行中的认可度[8]。因此,这些指标可近似用于基础研究产出水平的评价指标,在绩效评价活动中扮演着不可或缺的角色。定性指标诸如借助领域专家的专业知识对评价对象进行定性判断时所使用的诸如论文的创新性、科学性、重要性等方面的描述性指标。定性指标能够将无法计量却反映了评价对象某方面状况的潜在因素纳入评价范围,通过分析判断,辅助验证定量指标评价结果得出综合评价结论。由于基础研究所产生效应所具有的长期性、间接性、多元性和复杂性等特点,在实践中以同行评议为主的定性评估,由于能够集合专家所具备的隐性知识,以及评估过程的综合性与动态性,是目前最适合基础研究绩效评估的手段[9]。但同时由于其自身的弹性过大,极易掺杂过多人为因素,论文相关的定量指标能够在一定程度上规范评议标准,并为定性评价提供了较为可靠的支撑数据,提高了定性评估的信度与效度[10]。

与应用研究及技术开发等其他创新活动不同,基础研究的本质任务就是知识生产,科学论文的产出是基础研究最核心的成果,在基础研究绩效评价中占据重要地位,因而论文相关指标也就成为基础研究绩效评价中举足轻重的部分。同时,论文相关指标还能够提供其他方面的重要信息,例如研究生发表的论文质量来衡量由基础研究所带来的人才培养方面的绩效,又如用论文的专利引用量来衡量基础研究所产生的技术方面的绩效。此外,由于基础研究在其他方面所产生绩效大多难以量化,且其量化数据可获得性较低,能够用于基础研究绩效评价实践的量化指标有限。因此,论文相关指标就成为衡量基础研究绩效最为可靠且最易获得的指标。

5论文相关指标在基础研究绩效评价实践中的“错位”

论文作为基础研究主要的直接产出,其相关指标能够为绩效评价提供最直观的可量化数据。然而,论文相关指标在基础研究绩效评价实践中的应用却饱受诟病,究其原因,在于论文相关指标在基础研究绩效评价实践中的不当使用,造成论文相关指标在评价体系运用中的“错位”现象。

5.1“目的”与“手段”错位

单纯采用论文单一维度量化指标进行评价,会产生“目的”与“手段”错位的后果,即论文的生产反而成为目的,而不是在科学研究过程中自然而然产生的成果。针对定量评价指标使用不当的问题,早已在全球范围内引起了反思和讨论[11],国内也有很多学者就论文相关指标的误用进行了讨论[12-13],均指出论文相关指标本身是合理的,饱受诟病的原因就在于机械地、单一地使用量化指标所带来的评价偏差。从文献学角度来讲,实践中所采用的诸如论文数量、被引次数、期刊影响因子等量化指标本质上属于论文的外部要素,即论文内容以外的外部特征,其对研究成果及其所产生绩效的评价作用与效果是有限的。由于基础研究系统的复杂性,其研究成果质量的影响因素是多维度的,涉及研究过程、认知方面(研究的前沿性)、成果应用(社会价值)等诸多方面,仅靠论文的量化指标无法全面代表某一研究人员的科研表现或某一研究的研究质量与实际价值。将论文相关指标作为首要评价要素甚至唯一评价要素,就导致研究人员、机构等盲目追求量化结果,而非探索未知领域、提升研究质量。

5.2“评价指标”与“专家评议”错位

尽管论文相关指标在基础研究绩效评价领域占有重要地位,但其本质仍然是在绩效评价过程中所使用的一种评价工具,这些指标只能在一定的限定范围内按照一定的规则使用。例如在领域专家对科研人员及团队等评价对象做出评估时,利用论文等成果方面的评价指标作为基础数据辅助支撑,进而从知识贡献、创新潜力、影响力等方面进行综合的绩效评价。同时,以论文等成果为主的相关评价指标作为辅助工具,则能够克服同行评议自身所固有的主观性强、人情关系等先天性缺陷。而实践中过分依赖论文等研究成果相关指标,甚至用简化的指标评价替代合理的评价流程,将“评价指标”与“专家评议”的地位主次颠倒,弱化了领域专家在评价活动中的地位,更严重的是,忽视了对基础研究成果价值的本质性衡量,即基础研究绩效评价的根本任务——衡量由研究成果所带来的知识增量以及由该成果所进一步产生的效应。

5.3“研究进程”与“实际应用”的错位

从科学评价领域对评价指标与方法的研究来看,一方面,研究者们一直在不断寻找更为有效的评价指标,例如在学术环境更加开放的当下,利用研究者们在网络环境中开展学术交流、获取与分享科研成果的过程中所产生的记录性数据,将研究者或研究成果在网络环境中的影响力进行补充评价的替代计量学指标[14],引起科学评价领域的广泛关注,力图在引文指标等传统评价指标触及不到的领域进行补充评价,从而更大程度地拓展评价维度。另一方面,研究者们也在追求更加合理的评价体系的高度进行探索[15-16]。然而在实际应用层面,尽管国家在政策层面已经开始了分类评价、强化代表作同行评议等正向引导,但在实践层面,出于节省时间成本、人力成本等方面的考虑,用简化的指标评价替代合理的评价流程的现象仍旧广泛存在。于是形成了科学评价领域“研究进程”与“实际应用”的错位,研究成果在实践中未得到充分利用,不仅无法发挥各类评价指标甚至整个评价体系的效能,也是对投入评价领域的各类研究资源的浪费。

6论文相关指标在基础研究绩效评价中的“归位”

如上文所述,论文相关指标本身是合理的,其在基础研究绩效评价中的合理使用与“归位”才是破解“唯论文”的关键,研究成果和影响是多维概念,当用论文等指标来评估个人和团队时,这些指标必须受到严格的限制[17]。只有把论文相关指标放置在整个基础研究绩效评价体系框架内,综合运用反映基础研究绩效的各维度信息并运用各种方法,才能更加充分地发挥基于论文开发出的各类定量指标的评价功能。

6.1将论文相关指标回归其作为“手段”的本质

如前文所述,论文相关指标等量化指标的误用导致其在基础研究评价中“手段”与“目的”的错位,将量化指标回归其作为评价指标的本质,关键在于以下2个要点:

(1)定量评价与定性评价相结合。在基础研究绩效评价中,既要有论文相关指标等客观数据作为支撑,又不能仅靠数据模型进行简单量化;既要定性地综合评议,又不能出现主观印象的无限放大。定量与定性相结合是绩效评价指标使用的基本前提,定量指标只有与专家知识相结合才能发挥其作为绩效指标的基本功能,这一结论已在整个科学评价领域达成共识。同行评议等定性评价所具备的专家智慧等优势能够有效去除定量指标的外部虚假性所引起的偏差,尤其是在绩效评价中运用论文相关指标时,利用专家知识能够进一步挖掘论文所具备的实际价值,理想状态下,能够以研究质量和实质贡献为根本遵循,科学合理地界定评价对象。而利用论文相关指标等定量指标作为定性评价的支撑数据,使定性评价有了更充分的依据,一定程度上限制了定性评价自身的主观性缺陷。因此,论文相关指标作为基础研究成果评价指标中的一个评价维度,其在评价过程中的使用不仅要结合绩效评价的其他方面,同时也要合理规范与限定论文相关指标在评价实践中的使用范围与方法。

(2)重视长期评价。由于基础研究自身的长期性,加之其作用于经济社会等各领域产生效益的长周期,对基础研究的短期评价无法体现其研究价值,需要结合长期动态监测对评价对象进行评估。例如生命科学等需要长期深耕的领域,相对于频繁考核其研究成果,定期追踪监测其研究进展更具有现实意义。具体到利用论文等成果对评价对象进行绩效评估时,作者认为可以对单篇和系列论文分别加权评估。以研究者为评价对象为例,将单篇论文和系列论文分别加权评估,是评价研究者在该领域研究深度的有效方法。对研究者发表的某一领域相关的系列论文给予较高权重,一方面能够有力地支持研究人员在自身擅长或感兴趣的领域深入研究,对“甘坐冷板凳”的研究人员给予更大支持,让他们在自己的研究领域深掘出更多有价值的成果。另一方面能够在一定程度上规避一些研究人员盲目追求成果数量而追“热点”、跟“易出成果领域”的不正之风,引导他们回归科学研究的“初心”。6.2多种方法并用,系统展示论文价值由于论文承载着基础研究活动产出的直接成果,充分利用论文的有形实体来评估研究者等评价对象,是目前应对基础研究绩效评价复杂性较理想的方式。但又不能过于简化绩效评价,避免简单使用论文数量、引文数、影响因子等单一指标进行绩效评估,而是以论文相关指标作为辅助,充分挖掘论文等研究成果的研究水平、创新能力以及影响力等多方面价值,全面展示由其所产生绩效的多维度信息。例如,就某篇论文来说,施引文献的质量也与其学术水平成正比,如果在该论文的基础上能够产出更优秀的成果,那么它的影响力和学术贡献是毋庸置疑的,因此可以通过施引文献的质量评价其学术贡献与影响力[18-19]。

随着可视化等技术日渐成熟,利用知识图谱,通过挖掘科学知识之间的合作、共现、引用等关系,构建出网络拓扑结构,可以用来反映科学知识节点的特点与影响力[20]。科睿唯安旗下科学信息研究所发表的全球研究报告指出,每一个被过度简化或误用的指标,可以寻求更优的信息表达方式[21],通过对研究者等评价对象进行全面画像,取代利用单点指标进行评价。基于详尽准确的数据,以多个维度互补的图表形式进行数据可视化,同时通过展开数据,将指标置于具体案例背景下,通过挖掘新的特征来展示更全面的科研绩效信息[22]。

此外,单篇论文评价指标逐渐丰富[23],构建单篇论文评价体系的条件已经具备,在使用论文在基础研究领域进行微观评价时(例如研究者评价),开展单篇论文的综合评价相对于单纯使用被引次数和期刊影响因子评价可能是更好的选择[24],从论文自身内容出发全面展现基础研究成果的影响力、创新性、学科贡献等各个方面,能够为基础研究绩效评价提供更为可靠的数据支撑。

6.3促进评价领域研究成果与实践的衔接

在我国基础研究领域发展初期,对论文数量等量化指标的要求的确曾在很大程度上促进了基础研究的发展[25],然而随着时代形势与科研环境的巨大改变,这种简单的量化要求已不适应我国当前基础研究的发展,并且有可能在一定程度上阻碍基础研究的可持续发展。科学评价领域研究人员积极探索更加适应当前科研环境与更加符合科学研究自身特点的评价指标[26-27]并致力于构建更为有效的评价体系[28],各方评价主体将研究成果运用于实践不仅是当前科学发展的必然要求,而且是对科学评价领域各类资源投入的正向反馈,并能够促进科学评价领域产出更多贴合实践的研究成果。研究成果向应用的转化知易行难,面临着实际操作难、成本高等重重阻碍,然而在国家大力推行的分类评价、强化代表作同行评议等积极政策进一步完善的条件下,将更加符合基础研究发展规律、能够激发研究人员创新潜力的评价方法、评价指标等评价领域研究成果应用到评价实践中是势在必行的。不积跬步无以至千里,客观地看待论文等直接成果,科学地运用由论文等直接成果衍生出的各项评价指标,率先在破解“唯论文”层面有所突破,是基础研究评价领域成果向实践转化的重要甚至首要环节,也是引导科研人员回归科研“初心”的第一步。

7结论

在国家破除“唯论文”等一系列科技评价制度改革的背景下,论文这一基础研究的直接成果以及利用论文相关指标进行基础研究绩效评价的实践活动均应被重新审视。破除“唯论文”并不是否定论文的重要性,尤其在基础研究领域,论文仍然是承载、储存和传播基础研究新发现、新认识、新理论等研究成果的重要载体和手段,对基础研究领域的持续创新具有重要意义。破除“唯论文”,是要破除简单利用论文相关量化指标进行科学研究评价的形式主义本质,使绩效评价发挥其引导基础研究回归理性、专注于创新“初心”的功能。破除“唯论文”也不是不再使用论文相关指标等科学量化数据,方法的创新不是目的,合理运用评价指标以发挥绩效评价在基础研究领域的引导与规范作用,从而提高基础研究领域创新成效才是绩效评价的目标。基础研究绩效评价是一项复杂而艰巨的系统工程,构建科学合理的基础研究绩效评价体系任重而道远。文中归纳了论文相关指标在基础研究绩效评价实践活动中合理运用的几个要点:一是将论文相关指标回归其作为“手段”的本质;二是多种方法并用,系统展示论文价值;三是促进评价领域研究成果与实践的衔接。针对每一要点提出了合理化建议,并就每一条建议详细阐述了一些可行性较强的措施,以期为基础研究绩效评价体系的构建与完善添砖加瓦。

参考文献:

[1]叶玉江.持之以恒加强基础研究夯实科技自立自强根基[J].中国科学院院刊,2022,37(5):589-595.

[2]邱均平,张裕晨,周子番.新时代我国科研评价体系重构中必须处理好八大关系[J].中国图书馆学报,2021,47(1):47-60.

[3]郑栋伟,陈宏民.我国基础研究绩效评估体系研究[J].科学管理研究,2009,27(5):24-27.

[4]中华人民共和国科学技术部.科技部印发《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》的通知-中华人民共和国科学技术部[EB/OL].(2020-02-17)[2023- 11- 20]. https://www.most.gov.cn/xxgk/xinxi⁃fenlei/fdzdgknr/fgzc/gfxwj/gfxwj2020/202002/t20200223_151781.html.

[5]陈云伟,张志强.科技评价走出“破”与“立”困局的思考与建议[J].情报学报,2020,39(8):796-805.

[6]经济合作与发展组织.弗拉斯卡蒂手册[M].张玉勤,译.北京:科学技术文献出版社,2010.

[7] NSF. Science&Engineering indicators[R]. National Sci⁃ence Foundation,Ann Arbor,MI:1993.

[8]林德明,姜磊.科技论文评价体系研究[J].科学学与科学技术管理,2012,33(10):11-17.

[9]赵立雨.基础研究绩效评估的国际比较及启示[J].科技进步与对策,2011,28(24):140-144.

[10] Wainer J,Vieira P. Correlations between bibliometrics andpeer evaluation for all disciplines:The evaluation of Bra⁃zilian scientists[J]. Scientometrics,2013,96(2):395-410.

[11]陈云伟.科技评价方法与应用[M].北京:科学出版社,2021.

[12]王嘉,王贺,徐雷鸣.树立正确科技评价导向破解科技经济“两张皮”难题[J].农业科技管理,2022,41(1):45-47.

[13]李牧南,周科宇. SCI论文价值的再锚定:兼论如何破解“唯论文”的科技评价弊端[J].情报杂志,2021,40(10):179-185.

[14]曾燕,杨晓,吴京晶.替代计量指标的应用、问题和反思:基于发达国家科技评价政策和实践的调查[J].情报理论与实践,2022,45(6):74-83

[15]章熙春.我国科技评价体系的困境与优化[J].学术研究,2020(, 10):38-46.

[16]吴星.学术论文代表作评价指标体系研究[D].郑州:郑州航空工业管理学院,2023.

[17] Moed H F. Appropriate use of metrics in research as⁃sessment of autonomous academic institutions[J]. Schol⁃arly Assessment Reports,2020,2(1).

[18]何春建.单篇论文学术影响力评价指标构建[J].图书情报工作,2017,61(4):98-107.

[19] Iman T,Lutz B. Creativity in science and the link tocited references:Is the creative potential of papers re⁃flected in their cited references?[J]. Journal of Infor⁃metrics,2018,12(3):906-930.

[20]陈必坤.学科知识可视化分析研究[D].武汉:武汉大学,2017.

[21] Adams J,McVeigh M,Pendlebury D,et al.全面画像而非简单指标[J].科学观察,2019,14(4):58-65.

[22]何薇,王琳.全面画像,而非简单指标:利用可视化手段全面揭示单点指标的蕴含信息[J].世界科技研究与发展,2020,42(1):107-118.

[23]姜磊.单篇学术论文的评价指标体系研究[D].大连:大连理工大学,2014.

[24]王贤文,方志超,王虹茵.连续、动态和复合的单篇论文评价体系构建研究[J].科学学与科学技术管理,2015,36(8):37-48.

[25]陈云伟,张志强.科学计量学迎接新挑战与新机遇:2018科学计量与科技评价天府论坛综述[J].图书与情报,2018(, 5):134-140.

[26] Priem J,Piwowar H A,Hemminger B M. Altmetrics inthe wild:Using social media to explore scholarly im⁃pact[J]. Computer Science,2012.

[27]高锡荣,杨娜.基于社会网络分析方法的论文评价指标体系构建[J].情报科学,2017,35(4):97-102.

[28]钱玲飞,贺婉莹,杨建林.论文学术创新力特征指标体系研究[J].情报科学,2021,39(1):56-64.

The Positioning of Paper Related Indicators in The PerformanceEvaluation of Basic Research

ZHAO Rong

(Gansu Agricultural University Library,Lanzhou Gansu 730000,China)

Abstract:In order to make the paper and its related evaluation indicators return to the“original intention”ofevaluation in basic research evaluation activities, give full play to the effectiveness of relevant indicators in perfor⁃mance evaluation of the paper to a greater extent, and on the basis of analyzing the connotation and essence of basicresearch as well as the function and positioning of the paper inside and outside the basic research system, The paperpoints out the core position of the relevant index in the evaluation of the performance of basic research - it is themost reliable and easy to obtain index to measure the performance of basic research. This paper points out the prob⁃lems in the use of paper related indicators in the performance evaluation of basic research:“purpose”and“means”,“evaluation index”and“expert review”“, research process”and“practical application”, and puts forward reasonablesuggestions on the rational use and placement of paper related indicators in the performance evaluation of basic re⁃search: First, the paper related indicators return to its essence as a“means”. Second, use a variety of methods to sys⁃tematically demonstrate the value of the paper. Third, promote the convergence of research results and practice in

the field of evaluation.

Key words:basic research; performance evaluation; paper related indicators