融合评价视角下的查收查引工作发展与探索

豆洪青 贺伟

摘 要 研究基于多源数据多维指标融合学术评价理论，图书馆查收查引业务工作的新拓展，克服工作过程中过于依赖SCI收录与引用数量等问题，探索多源多维度反映学术论文影响力的评价工作方法。通过梳理查收查引工作内容变化以及影响力相关学术评价理论，对面向计量评价的数字基础设施各类型评价指标进行梳理，对单篇学术论文及学者根据“即插即用”的工作要求进行应用分析。研究认为，查收查引工作应充分利用现有的计量学评价理论研究成果及数字基础设施，适应我国学术评价时代特征与环境不断拓展工作内容，多源、多维度、多指标融合地进行学术成果的综合评价。

关键词 查收查引；学术评价；即插即用；科技评价

分类号 G252

DOI 10.16810/j.cnki.1672-514X.2024.05.008

On the Paper Index and Citation Retrieve Service From the Integrated Evaluation

Dou Hongqing， He Wei

Abstract Based on the academic evaluation theory of integrating multi-source data and multi-dimensional indicators， this paper explores the new developments in library checking and citation work. It aims to overcome the over-reliance on the number of SCI entries and citations in the work process， and instead， it seeks to explore multi-source and multi-dimensional evaluation methods that accurately reflect the influence of academic papers. By examining changes in the content of checking and citing work as well as its impact， this paper organizes various types of evaluation indicators for digital infrastructure oriented towards quantitative evaluation. It also analyzes how a single academic paper and scholars can be applied according to the “plug-and-play” requirements of the work. In conclusion， it is suggested that checking and citing work should fully utilize existing theoretical research results on metrological evaluation and digital infrastructure. Additionally， it should adapt to China's current academic evaluation environment by conducting comprehensive evaluations of academic achievements using multiple sources， dimensions， and indicators.

Keywords Collection and citation. Academic evaluation. Plug and play. Scientific and technological evaluation.

0 引言

随着我国在“破四唯”领域对以唯“论文”为代表的不良导向不断深化改革[1]，学术界也进一步完善相关评价体系，相继发布《医学学术评价规范建议》[2]、《计算机学科学术评价规范建议》[3]等，认为学术论文应注重其在基础研究方面的影响力。2022年发布的《关于开展科技人才评价改革试点的工作方案》指出，基础研究类人才评价要体现学术影响力[4]。从以上政策文件来看，“破四唯”的本质是对现有的学术评价标准进行全面的反思，克服“重数量轻质量”等顽疾，注重学术影响力评价，进而形成更加科学合理的评价体系。

作为学术评价重要辅助单位之一的高校图书馆，以包括论文发表和引文信息的数量统计为主的查收查引报告，一直是各类评价的重要素材之一。但在实践过程中，存在所应用的指标规范化不够、评价指标过于简单、过于依赖SCI收录与引用等问题。在不“唯SCI”论文要求下，查引查引需要综合考量多个方面的指标数据，采用多源数据多维指标融合作为工作内容，应是查引查引这一学术评价工作演进的方向。因此，本研究基于现有查收查引依托的数字基础设施——引文类文献数据库相关指标数据，探讨多源多维度反映学术论文影响力的评价指标体系，指导查收查引工作在“破四唯”的学术评价中，创造独特的价值，提供有力的支持，成为第三方评价中坚力量。

1 图书馆查收查引工作现状

1.1 查收查引工作定位与内容

查收查引工作是我国图书情报界特有的一种工作形态，是根据科技管理部门相关科技成果管理办法与登记要求，提供基础理论研究成果发表后的被引证明[5]，为科技成果管理提供支撑。从国内业务发展研究来看，较早的研究成果发表在2003年《利用Dialog系统进行SCI收录和引文检索的研究》[6]一文中，分享SCI收录与引文检索过程中的一些技巧，用以节省检索费用。随着查收查引业务在成果管理中更多的应用于学术评价支撑，其学术评价功能已越来越受到业界关注。梁红妮等人[7]认为，收录引用情况是衡量相关人员科研成果的一项重要的评价指标，是以证明其科研能力和水平而开展的信息咨询服务[8]，朱玉奴[9]进一步提出，查收查引服务是以支持学术科研评价为目的的一项咨询服务工作。

查收查引从其表现形式上来说，证明报告是查收查引工作内容的形式体现，具有客观性、中立性、依附性、动态性、可操作性、权威性等特点，但其格式与内容目前业界还未建立统一标准。根据“985工程”高校图书馆查收查引服务项目的网上调研，其服务内容主要提供WOS数据库系列子库、SCOPUS数据库、中国引文数据库等的收录与引用证明，以及期刊影响因子、期刊分区证明，ESI高被引、热点论文证明等[10]。国外图书馆类似服务是基于文献计量的科研成果影响力的咨询服务，用以支持研究评估，监测研究成果[11]。

从查收查引业务研究与实践发展来看，其工作内涵逐渐丰富，由原来单纯的检索工作向定量评价工作转型在业内逐渐成为共识，成为一种根据学术论文内在要素及外在特征开展的辅助评价服务工作。

1.2 面向“质量”评价的查收查引工作新要求

“破四唯”下的学术评价是不“唯论文”“唯数量”，要构建从“唯”到“不唯”，从“唯”到“多维”的影响力评价体系。索传军认为引文影响力可作为判断论文质量或影响力的辅助指标[12]，王少[13]将论文作为多元评价的标准之一，既看数量，又看质量，还要看其实际价值；杨晓刚提出建立健全以创新能力、高质量、贡献、影响力为导向的科学评价标准[14]。从双一流监测数据来看，学术论文依然是其重要的监测点，包括D0401科学研究标志性成果，D040104 教师在国内重要期刊发表的代表性论文等内容[15]。第五轮学科评估中提出采用“计量评价与专家评价相结合”“中国期刊与国外期刊相结合”的“代表作评价”方法[16]。这些均表明关于学术论文的定量评价仍然是“破四唯”下的学术评价的重要内容之一。

在上述学术评价需求动态变化的背景下，作为一项依据文献数据开展的第三方评价工作，查收查引服务机构更加要明确自己的定位和作用，适应时代发展要求。目前大部分查收查引机构将单个评价指标证明报告作为最基本的类型，对“质量”维度的评价更多的局限于论文数量、被引次数、影响因子等数据的佐证材料。因此，在评价功能定位上，需要把收录、引用与期刊影响因子评价应回归作为论文成果质量评价的组成部分，而不再仅是论文与被引“数量”这一指标，应综合考虑学术论文评价的各类指标的综合运用，提高学者影响力评价的全面性与系统性，回归以数据分析为评价支撑的本质，生产出价值含量高、方便用户利用的信息产品[17]，2014年，美国学者西格斯（Diana Hicks）等人在“莱顿宣言”中，提出合理利用科学评价指标的原则[18]。适应“破四唯”下学术评价发展的需要，多源、多维度、多指标融合地进行学术成果的综合评价，规范化行业标准，使查收查引工作系统化、正规化和便捷化，不断丰富自己业务内涵。个别科技查新工作站已开展代表性论文影响力分析服务，对代表性论文成果进行综合评价。

因此，适应不“唯”与多“维”的要求，查收查引工作如何基于融合评价的理念，融合多维指标，测度学术论文多方面的不同特征值，全面反映其“质量”，构建合理的评价指标体系，从而引导学术的卓越发展、为决策部门提供更多的评价支撑信息，是目前查收查引工作迫切需要研究和解决的问题。

2 查收查引工作相关评价性文献计量学理论基础

查收查引工作是基于文献计量学理论体系而开展的，长期以来，文献计量学逐渐形成被引频次、影响因子、H指数等一系列核心计量指标，用以表征论文、期刊、学者等评价对象的学术影响力。从欧洲科研人员调查来看，定量评价依然得到广泛的认可[19]，评价性文献计量学已成为可接受但存争议的实践。被引频次等指标的使用在注重成果的质量、贡献、影响的破“四唯”要求下正面临严峻挑战，学界也在不断完善相关理论与方法，如构建学术评价价值尺度[20]、“全评价体系”[21]，这为查收查引工作提供了不断发展与完善的理论基础指导。

学术影响力是指在学术方面产生的影响，包括原生影响力（如发表时间、作者、机构基金等），以及次生影响力（如期刊影响因子、被引频次、使用次数等等），次生影响因素是学术论文影响力水大小的体现[22]。查收查引工作一般基于文献数据库，反映学术实体或科学研究在时间、空间上的影响程度，以成果被文献数据库收录与引用证明为服务产品的影响力评价工作，为体现其被同行关注、认可程度提供佐证材料。一般来说，以论文为代表的科技成果被同行认可、关注程度分两个阶段，一是发表前的同行评议，决定论文在什么样的期刊上发表，虽然说不能以刊评文，但论文在期刊上的发表层次，本身代表了被同行认可的结果，期刊影响因子、超越指数等，从侧面上可以反映论文的质量，体现其影响力情况，这是查收工作的基础。二是发表后的同行下载与引用情况，也就是论文被关注程度，论文的多样化的引证指标可多维度反映出研究人员对于论文价值的客观认可表现，是查引工作的基础。

2.1 学术影响力评价相关指标研究

以引文分析为代表的学术影响力评价，一般包括对论文集群及单篇论文的引用评价，其类型有引文数量分析、引用链、引文主题分析等。

针对学术论文集群的影响力评价，一般是针对学者在某一个阶段所取得的研究成果集进行的综合评价。评价指标以H指数为代表，还有G指数、Z指数、F指数等衍生指数，主要用于评估研究人员的学术产出数量与学术产出水平，如John P. A. Ioannidis团队根据论文发表数量及被引数量等指标筛选出全球前2%顶尖科学家[23]。从实践来看，H指数取决于职业生涯的长度与学科，不适合对不同学术生涯的学者个体进行比较。学术产出数量集评价，还可根据其产出时间变化情况，进行趋势性评价，如活跃趋势、引用贡献趋势、学科变化情况、研究主题变化情况等。

面向单篇论文的影响力评价，主要有引文标准化及影响力测度两类。通过引文标准化处理实现不同学科、不同年份之间论文影响力比较，如何春建、曹进军等采用比均值法反映发表年差异对引用的影响[24-25]，伍军红等提出被引频次标准化指数[26]。在学术影响力测度方面，叶鹰[27]介绍了均值测度、高影响特征测度两类，进而提出基于学术迹影响力整体综合测度方法，学者们还根据学术论文的传播速度、深度及广度，发展了P指数、绝对颠覆性指数等评价学术论文质量。

2.2 面向计量评价的数字基础设施相关影响力指标

查收查引工作，不但需要理论指导，其付诸实践还需要面向文献计量评价的数字基础设施支持。在21世纪初，电子资源的持续增加和知识组织研究成果的发展，推动了新的数据聚合与使用，促进了各种数字基础分析工具的改进和完善，如《科学引文索引》 （美国）、《中国引文数据库》、SCIval等对于学术表现提供了更多更好地客观评价新成果。同时，查收查引工作已从《科学引文索引》、EngineeringVillage（EI Compendex）等数据库的收录引证查询，扩展到更多数据库平台，应用更多指标综合体现论文的影响力。

这些数字基础设施在影响力标准化方面也付诸了实践探索，如为了消除时间因素和学科差异对于不同文献的影响，国外文献数据库Web of Science和Scopus都分别提供了采用比均值法进行标准化的学科规范化论文影响力指标[28]，爱思唯尔SciVal中表述为Field-Weighted Citation Impact，FWCI）的概念，在科睿唯安在其InCites数据库中的命名为Category Nor-malized Citation Impact（CNCI），用以直接反映学术论文相对于总体或平均学科水平的差异；Web of Science还通过射束图（beam-plot）将每篇文章与相应年度本学科的参考数据集进行比较，对被引次数按平均值进行规范化，并转换为百分位数，用以衡量论文的学术表现。

每一个数字基础设施中的各类指标数据，并不是单独存在的，每一个被过度简化或误用的指标都有更好的替代选项，馆员需要深入学习了解各个文献数据库的各种指标，通过多个互补的维度，将数据置于更广泛的背景下，提高第三方评价机构专业服务能力。

3 “破四唯”下的查收查引工作拓展

随着学术评价理论的深入，以及面向计量评价的数字基础设施相关指标的不断丰富[29]，查收查引工作也应适应科研评价支持服务需求，拓展服务内容。

3.1 查收查引业务应多源多维全面展现评价对象

查收查引工作中的多源是指同一指标数据来源于不同的数字基础设施，以及不同的对比源。可利用不同文献数据库平台数据，以及不同检索条件下不同结果对比源，对同一评价对象在客观数据展示上采取结构性证据链，充分运用“融合评价”，多源展现评价对象。科睿唯安发布全球研究报告 《全面画像，而非简单指标》[30]，提出是全面画像，而不是单一指标，但这只是基于单一平台数据的画像。以论文被引频次为例，可以通过WOS（Web of Science）、SCOPUS、中国引文数据库等多个数字基础设施查找其被引情况，也可以利用WOS平台下不同的检索途径，获取不同的参考指标，如通过学者检索获得论文的引用百分位，检索结果导入Incite平台后还可以进一步获得学科规范化引文影响力等。多源数据的融合，避免了单个数据源结果的片面性，促进了成果的全方位立体展现。

查收查引工作不但需要多源数据，其评价维度也需要更加多元化，将“唯”转变为“维”，为全面评价提供更科学、客观的参考。文献数据库中各类指标数据都是文献计量评价研究成果的体现与应用，查收查引工作应充分、综合利用各指标进行关联，展现成果价值，如针对论文被引情况，不但可以从数量上体现其影响力，还可以从论文发表后首次被引到峰值的时间，引文的级联次数，被其它学科、国家、地区、机构、期刊、学者引用等多个维度体现影响力传递速度、广度与深度。具体如表1所示。

各指标的应用都是为了解决某一方面的问题而出现的，需要根据评价目的来选择不同的指标组合。查收查引过程中，同一指标的证明报告可以应用于不同检索目的，而不同检索目的可能涉及不同数据源的指标应用或各种指标的组合应用，因此，查引查引工作不能简单地依赖某单个数据源或指标，需从不同角度判断，综合看待和利用好各工具和指标。在不唯“SCI”论文的情况下，查收查引工作者应准确理解下载次数、引证文献、发文主题分析等各类相关指标，仅是对科研成果进行客观描述的一种而不是唯一表现形式评价工作[31]。

随着学术评价理论与数字基础设施建设的的不断发展，为查收查引工作工作在学术评价方面提供新的方法和范式参考，工作中所应用的评价指标必定会随之发展和丰富，因此，充分利用科学可靠、多源多维的全面指标，而非机械地采用单一数据来源与指标，对于查收查引工作的可持续发展具有重要意义。

3.2 查收查引应体现“即插即用”工作方法

客观性与易操作性是查收查引工作的特点，与目前图书馆开展的其它学术评价服务工作的不同之处，在于采用“即插即用”方法，直接利用数字基础设施平台提供的工具进行数据获取与分析，其依赖于数据的可获取性与可用性，不受工作人员主观切入角度的影响。

客观性体现在查收查引工作过程中，在依据现有数字基础设施开展，在其使用的各类指标数据体现“即插即用”的实践和态度，保证所有评价数据直接来源于数字基础设施，通过规范化服务获取相应的资源，保证数据的原始性与客观性，以便于工作的标准化，具有高度相关性和公正的特点。多维度详细、准确地对指标进行描述，避免过度分析与解读，消除相关指标滥用的现象。在数据成为生产要素的情境下，从客观性角度考虑数据要素供给，是查收查引工作保持权威地位的必要前提。

在易操作性方面，“即插即用”的工作方法可简化查收查引工作流程，缩短操作时间，降低成本，保证质量，方便用户使用。现有数字基础设施是本身具有模块化、标准化等特征，可帮助查收查引评价数据的模块化与标准化处理，提供“即插即用”的按需服务。同时，基于数字基础设施的各类指标在工作中的“即插即用”，可保障查收查引工作在不同文献数据库中的数据互操作，以便查收查引工作中需要利用的各类指标根据实际需求动态组合，实现评价中的多源数据融合与多维指标评价。查收查引多源数据来源及指标，也导致数据彼此相对独立，需要馆员根据用户需要，对同类型指标进行关联比较。如图1所示，学者Carolyn R. Bertozzi分别在中国引文数据库、Scopus数据库、Web of Science数据库检索其某一篇代表作所能得到的指标，可进行多源指标分析评价。

4 结语

查收查引作为高校图书馆科研评价工作的一项重要体现形式，长期以来形成了论文收录和被引“指标-量化”式的信息产品，越来越不适应破“四唯”的需求。就查收查引工作现状来看，并未完全利用好各类数字基础设施“即插即用”的多维评价指标，在微观层面的“指标-量化”模式未能体现专业第三方评价服务的深度与广度，应适应社会学术评价体系变化需求进行调整，综合运用前沿技术理论及文献数据库平台功能，重新审视查收查引辅助评价方法与模式，与社会发展同频共振，充分融合各类数据库各种计量指标，打破唯“SCI”论文与数量的状况，对科研成果进行全面定量评价，推动科研评价更加准确、透明、负责任，这也是图书馆服务至上理念的不断践行。

数据是计量评价的基本要素，馆员需具备丰富的计量评价理论知识，以及对数据的高度洞察力、数据甄别能力、数据处理能力等，激活数据潜能，赋能查收查引工作的价值实现。同时，学术评价作为一项复杂评价，馆员需要广泛宣传相关知识，提高研究人员和科研管理者的文献计量素养，让更多用户了解各项指标的内容和意义，而不是片面理解为论文发表与被引数量，帮助学者或机构关注并获得自己在评价中的竞争优势，并通过查收查引服务辅助科研发展。

*本文系宁波市软科学研究项目“宁波加强科技评价破‘四唯对策研究—构建基于价值导向的人才评价体系” （项目编号：2022R049）系列成果。

①Web of Science数据库已有部分论文的引证文献类型进行标引。

①数据来源：https：//www.webofscience.com/wos/author/record/19703329。Carolyn R. Bertozzi为2022年诺贝尔化学奖得主。为更好的进行分析比较，选择Carolyn R. Bertozzi H指数（112）对应的论文为代表作进行分析。Gabriela， de Almeida， Ellen，等. Thiacycloalkynes for Copper‐Free Click Chemistry[J]. Angewandte Chemie International Edition， 2012.51（10）：2443-2447。

参考文献：

Dou Hongqing， He Wei ： On the Paper Index and Citation Retrieve Service From the Integrated Evaluation

豆洪青 贺 伟：融合评价视角下的查收查引工作发展与探索

中华人民共和国科学技术部.科技部印发《关

于破除科技评价中“唯论文”不良导向的若干

措施（试行）》的通知[EB/OL].[2022-12-03].

https：//www.most.gov.cn/xxgk/xinxifenlei/fdzdgknr/

fgzc/gfxwj/gfxwj2020/202002/t20200223_151781.html.

中华医学会.中华医学会关于发布《医学学术

评价规范建议》及《医学科研活动行为规范建

议》的通知[EB/OL].[2022-12-03].https：//www.cma.org.cn/art/2022/4/24/art_42_44557.html.

中国计算机学会.CCF关于发布《计算机学科

科研活动行为规范建议》和《计算机学科学术评

价规范建议》的通告[EB/OL].[2022-12-03].https：//

test2.ccf.org.cn/Focus/2022-05-05/761604.shtml.

中华人民共和国科学技术部.科技部等八部门印发《关于开展科技人才评价改革试点的工作方案》的通知[EB/OL].[2022-12-03].https：//www.most.gov.cn/xxgk/xinxifenlei/fdzdgknr/qtwj/qtwj2022/202211/t20221109_183356.html.

中华人民共和国科学技术部.关于印发《科技

成果登记办法》的通知[EB/OL].[2022-12-03].

http：//www.gov.cn/gongbao/content/2001/content_

61051.htm.

顾震宇，唐鹃.利用Dialog系统进行SCI收录

和引文检索的研究[J].图书情报工作，2003（9）：

88-93.

梁红妮，胡小飞.论文查收查引服务的分析与探讨[J].情报理论与实践，2009，32（4）：96-99.

刘艳民，祝忠明，张旺强.基于机构知识库的查收查引功能设计与实现[J].图书情报工作，2018，62（12）：91-97.

朱玉奴.面向可持续发展的查收查引服务规范化研究[J].图书馆学研究，2021（20）：82-90.

苏秋侠.智慧图书馆背景下查收查引服务探析：基于“985工程”高校图书馆网站的调查[J].图书馆学研究，2019（24）：61-68.

GUMPENBERGER C， WIELAND M， GORRAIZ J. Bibliometric practices and activities at the University of Vienna[J].Library Management，2012，33（3）：174-183.

索传军，盖双双.基于引文的论文质量与影响力探析[J].情报理论与实践，2018，41（5）：11-15.

王少.评价标准怎么立？破“五唯”后的思考[J].天津师范大学学报（社会科学版），2021（4）：82-87.

杨晓刚.破“四唯”之后科学评价体系的构建研究：基于扎根理论的视角[J].南通大学学报（社会科学版），2021，37（5）：126-132.

湘潭大学科技处.关于开展2021年度“双一流”监测数据集中填报工作的通知[EB/OL].[2022-12-03].https：//kjc.xtu.edu.cn/info/1050/4193.html.

中华人民共和国教育部.第五轮学科评估工作

方案[EB/OL].[2022-12-03].http：//www.moe.gov.

cn/jyb_xwfb/moe_1946/fj_2020/202011/t20201102_497819.html.

倪晓建. 信息加工研究[M]. 北京：北京图书馆出版社， 1998.

HICKS D， WOUTERS P， WALTMAN L， et al.

Bibliometrics： the Leiden Manifesto for research metrics[J]. Nature， 2015（520）：429-431.

谌中伟.欧洲大学的科研评价现状与启示[J].图书馆论坛2022， 42（9）：

153-159.

索传军.论学术评价的价值尺度：兼谈“唯论

文”问题的根源[J].中国社会科学评价，2021（1）：

122-131，160.

叶继元.学术“全评价”体系与中国特色哲学社会科学学术评价体系的构建与完善[J].社会科学文摘，2021（7）：4-6.

赵蓉英. 学术影响力[M].武汉：武汉大学出版社， 2021.

JOHN P A I. September 2022 data-update for “Updated science-wide author databases of standardized citation indicators”[EB/OL].[2022-09-21].https：//elsevier.digitalcommonsdata.com/datasets/btchxktzyw/4.

何春建.单篇论文学术影响力评价指标构建[J].图书情报工作，2017，61（4）：98-107.

曹进军.基于Total-Top论文引用均值的非线性

分段评价体系研究[J].情报杂志，2017， 36（4）：

189-195，201.

伍军红，肖宏，任美亚，等.PCSI：一种单篇论文

被引频次标准化方法[J].图书情报工作， 2020，

64（23）：22-30.

叶鹰.国际学术评价指标研究现状及发展综述[J].情报学报，2014，33（2）：215-224.

PRATHAP G. Is there a place for a mock h-index？

[J].Scientometrics，2010，84（1）：153-165.

夏翠娟.面向人文研究的“数据基础设施”建设：试论图书馆学对数字人文的方法论贡献[J].中国图书馆学报，2020，46（3）：24-37.

ADAMS J， MCVEIGH M， PENDLEBURY D， et al.

全面画像 而非简单指标[J].科学观察，2019，14

（4）：58-65.

教育部 科技部印发《关于规范高等学校SCI论

文相关指标使用 树立正确评价导向的若干意见》的通知[EB/OL].[2022-09-21].http：//www.

moe.gov.cn/srcsite/A16/moe_784/202002/t202002

23_423334.html.