对我国科技评价的文献计量与审思

姜春林，宫嘉琪

（大连理工大学科学学与科技管理研究所暨WISE实验室，辽宁大连 116085）

0 引言

科技评价对科研活动具有判断、预测、选择、导向、诊断、激励和合理配置资源等作用。科技评价体系作为科技发展的顶层设计，其制度的优劣也将对国家科技进步产生重要影响。习近平总书记在全国科技创新大会上强调“建立以科技创新质量、贡献、绩效为导向的分类评价体系，正确评价科技创新成果的科学价值、技术价值、经济价值、社会价值、文化价值”。一个优秀的科技评价体系不仅是国家科技创新发展的“方向旗”“指挥棒”，而且对党和国家实现“加快建设创新型国家和世界科技强国”，实现高水平科技自立自强战略目标具有重要推动作用。

我国的科技评价起步晚、基础差，但发展较为迅速。我国科技评价体系始于1978年的全国科学大会，历经多次调整，已形成以量化标准、数字化评价为主要特征的评价体系。2001年出版的《科技评估规范》，正式标志着我国科技评估活动走上了规范化与专业化道路。随后，科技部等5部委于2004年联合发布《科学技术评价办法》，进一步明确了科技评价的目的、方法、基本原则和监督机制等，针对科技活动中计划、项目、机构、人员和成果等要素关联的评价进行了系统性的规范。

自党的十八大以来，以习近平同志为核心的党中央高度重视科技评价体系改革。国家制定和颁布的多项政策，标志着科技评价的改革力度正在逐年增强，并且越来越细致的靶向政策表现出国家对破除当前科技评价顽疾的决心与力度越来越大。2018年7月3日，中共中央办公厅、国务院办公厅联合印发《关于深化项目评审、人才评价、机构评估改革的意见》，就如何优化科研项目评审管理、改进科技人才评价方式、完善科研机构评估制度提出了具体改革举措，实现系统部署、不唯论文、优化评审的改革目标；2020年2月17日，科技部、财政部发布《关于破除科技评价中“唯论文”不良导向的若干措施（试行）》，提出了破除科技评价中“唯论文”的相关措施，扭转过去评价一切科技活动“唯论文”的不良导向；2021年8月2日，国务院办公厅印发《关于完善科技成果评价机制的指导意见》，围绕科技成果“评什么” “谁来评”“怎么评”“怎么用”完善评价机制，作出明确工作安排部署。

1 文献综述

2000年以来，我国与科技评价有关的研究逐渐丰富，关键词以项目评审、项目评估、人才评价、科技评价、科技评估等为主。2017年10月中共十九大召开前，我国进行科技评估相关内容研究的学者数量与成果数量均较丰富。从时期的代表性关键词来看，1995—2004年为“评估对象” “科技评估”，2011—2016年为“科技社团” “科技体制改革” “科学技术体制改革” “评价体系”，2014年后还包括“分类评价”“科技管理”等；从整体的研究内容与主题来看可以归结为三类：一是关于科技评价体系的局限、方向偏差等问题的研究，二是关于如何破除科技评价体系困境的研究，三是关于科技评估的综述性与总结性研究。

1.1 关于科技评价当前框架局限、方向偏差等问题的研究

王晓莉等分析了SCI作为科研成果评价标准所存在的局限性，认为由于伪引、漏引、引用率在学科间的不可比较性、来源期刊地域分布不平衡、语言障碍以及存在大量引用率与质量不一致等原因导致评价结果不可靠，并初步提出改进建议。王松梅、成良斌分析了我国科技人才评价中存在的问题及其原因，指出我国在该方面与世界先进国家还存在的差距并给出相关建议。李思宏等在对国内外科技人才评价和选拔相关研究文献的回顾和分析基础上，对我国科技人才评价与选拔体系中存在的问题进行了分析，并提出了改进思路。朱郑州等从人才评价主体的责任心缺失和大学人才评价的行政化、简单化，以及评价体系的“重”科学理论、 “轻”工程技术等三个角度分析我国科技人才评价的问题及其形成原因，并针对我国科技人才评价的现状和发展趋势提出若干建议。陈兆莹认为如何促进科技管理者、科学家和评价专家之间的对话，对科技评价的基本问题形成共识，是我国科技评价系统建设的一项重要任务，提出将公共R＆D的绩效评价和学术评价中的价值导向作为科技评价改革的突破口。李晓轩等认为应当将破除简单机械的量化评价体系作为破“四唯”的关键，提出以原创性成果产出为特征的基础研究的同行定性评议替代量化评价。加强对社会上不必要的评价和排名的规范与取缔，逐步让科学共同体承担起在科技评价方法和导向改进上应有的责任，从而为学术高地探索破“四唯”模式预留足够的空间和自主权。

1.2 关于如何破除科技评价体系困境的研究

章熙春针对科技评价的内在需求与现实走向之间的矛盾，在制度设计、组织架构和价值引导三个层面提出改革路径及优化方案，探索构建具有中国特色的科技评价体系的相关对策。陈云伟等讨论了科技评价指标体系面临的关键问题，并提出从科技评价治理的正确原则和理念、完善科技评价治理的政策制度体系、科学合理约束性使用科技评价指标（体系）三个方面应对科技评价困局。俞立平从评价对象、评价方法、评价目的、评价管理等方面分析，对规范使用SCI论文评价的适用范围与存在问题进行探讨。邱均平等认为要扭转过去科研评价体系存在的突出问题，我国新时代科研评价体系必须处理好管理评价与学术评价、统一与分类、工具与目的、数量与质量、定性与定量、论文与评价、元评价与评价、理论与实践八个重点关系，并要留取以往体系的优势面，避免矫枉过正。

1.3 关于我国新时代科技评价体系展望的研究

汪雪峰等采用文献计量学和科学知识图谱方法对改革开放40年来我国学者从事的相关研究工作及其主题变迁情况进行梳理，并结合中国科技评价改革动向对未来的研究侧重加以讨论。陈套认为新的科技评估体系应当立足国情，使标准更加科学准确。包括明确服务国家和人民利益的成果导向、坚持工具理性下的分类评估原则、构建自律的科学共同体发挥评估优势等。赵军等讨论了我国科技评价体系中的问题及科技评价制度改革的相关思考，指出应摒弃“唯论文”的评价体系，建立面向不同评价对象的以科研质量为导向的分类评价体系。

综合来看，当前关于科技评价的研究成果数量较为丰富，且涵盖内容广泛，包括现状分析、问题归纳、破“唯”关键、未来方向等，但研究内容仍不够全面深入，处于体系不明确、方向不坚定的阶段，距离合理权威的、能够体现面向科技强国建设、具有中国特色的科技评价体系这一目标依旧存在较大距离，亟须在理顺现有相关研究与剖析国家、社会与个人等发展需求的基础上，明确科技评价的功能定位和基本特征，形成行之有效的科技评价智库集，初步构建符合科技评价实践逻辑和知识逻辑的理论体系和方法体系。

本文旨在通过计量科技评价领域期刊论文，从年度发文数量、来源机构、基金资助、关键词、主题聚类、发文作者、合作作者及合著特征等七个维度进行分析，为判断当前科技评价领域的困境和原因，把握科技评价领域未来发展方向提出对策建议，为完善科技评价体系和提高评价工作质量提供客观依据。

2 数据来源及研究方法

2.1 数据来源

本文选取2001—2020年中国知网（CNKI）上科技评价领域的期刊论文作为数据源，按照检索式（TI＝‘科技评价’or TI＝‘科技评估’or TI＝‘项目评审’or TI＝‘项目评价’or TI＝‘人才评价’or TI＝‘人才评估’or TI＝‘机构评价’or TI＝‘机构评估’or TI＝‘成果评估’or TI＝‘成果评价’or KY＝‘科技评价’or KY＝ ‘科技评估’or KY＝ ‘项目评审’or KY＝‘项目评价’or KY＝ ‘人才评价’or KY＝‘人才评估’or KY＝‘机构评价’or KY＝‘机构评估’or KY＝‘成果评估’or KY＝‘成果评价’）进行检索。为保证论文质量，选择核心期刊及CSSCI期刊等高影响力期刊作为检索数据源，最终获得1 364条数据作为研究数据集。

2.2 研究方法

为分析科技评价主题，本文通过文献计量方法对数据搜集和整合，并利用VOSviewer软件构建科技评价领域主题聚类网络、共词网络等。将2001—2020年CNKI中科技评价领域的期刊论文从年度发文数量、来源机构、基金资助、文章关键词、主题聚类、发文作者、合作作者及合著特征等七个维度进行分析，采用文献分析法和信息可视化技术，更加直观地展现数据间关系。从计量视角对2010年以来的科技评价研究主题分布及演进进行分析，并结合质性分析对相关问题展开阐释。

3 研究结果

3.1 文献时间分布

年度发文数量能够反映研究对象在不同时期的关注热度与研究重视程度。数据显示，在2001年后，与“科技评价”相关的发文数量整体上呈现上升趋势。2009年达到峰值102篇，2018年为次峰值96篇，分别为初始2001年28篇的3.64倍和3.43倍。文献随时间分布数量可以反映出某研究领域的发展状况，图1为2001—2020年科技评价研究领域的文献时间分布图。由图1可知，科技评价研究可分为三个发展阶段：第一阶段（2001—2010年）为开拓研究阶段， “科技评价”相关领域研究开始进入学者研究视线，并逐渐成为热点；第二阶段（2010—2018年）为深入研究阶段，学者对“科技评价”领域研究开始跳出表象，转而进行机理研究，研究数量有所减少但趋于稳定；第三阶段（2018—2020年）为创新发展阶段，结合新时代特点，学者对“科技评价”领域有了新认识，新思路，研究广度与深度呈现波动变化趋势。结合国家政策来看，文献数量在2009年开始快速增长，这与教育部发布的《国家中长期教育改革和发展规划纲要（2010—2020年）》有密切关系；在2018年出现第二次峰值，这与《关于深化项目评审、人才评价、机构评估改革的意见》联系紧密，反映出我国学者对科技评价领域的政策变化关注十分密切。

图1 2001—2020年科技评价研究领域的文献时间分布

3.2 来源期刊

所有数据来源中，本文截取了发文量前十五的期刊，其中发表篇数排名前三的期刊为《科技管理研究》《中国科学基金》 《科技进步与对策》，发表数量依次为86、65、52。从分布来看，发文数量分布集中，主要在排名前几的期刊，排名第15位的《情报资料工作》发文数量为14，与排名靠前的期刊发文数量差距较大。具体如表1所示。

表1 发文量排前15位的来源期刊

3.3 基金资助

文献获得科研基金资助情况一定程度上反映了学术研究的背景和质量。本文统计了发表的科技评价成果的基金资助情况，包括基金资助篇数及基金资助文章占比。在所有1 364篇科技评价中，共有533篇标注了基金资助，总体基金占比40%，其中部分科技评价有两项或两项以上的基金资助。将533篇科技评价文章所获得的基金逐年进行统计，其中国家社会科学基金项目资助的55篇，国家自然科学基金资助的120篇。具体数据如表2所示。

表2 2001—2020年基金资助统计

国家自然科学基金资助数量整体呈增长趋势，期间伴随波动变化，分别在2009年、2018年达到峰值。国家社会科学基金在2001至2009年增长缓慢，随后整体看，资助数量有所提升，但波动明显，2011年为峰值，达到7，2014年则为最低值0。

3.4 关键词分布

关键词能够在较大程度上概括文章的研究主题与方向，因此对有关科技评价文章的关键词统计，合并相近含义词、剔除相同含义关键词和剔除“不予受理”“日本” “美国”等与主题无关的关键词后显示，关键词最多的是“科技评价”一词，这是显而易见的。其次是“项目评审”，排名第三的是“项目评估”；并且从关键词的分布与关联程度上看，数据显示学术界以科技评价为中心，展开了各方各面的延伸与拓展性研究。从排序前15的关键词类别来看，科技评价的内容、分类、评价方法成为近年来关注热点，也是联结各部分的关键结点。同时，各界学者的持续讨论也一定程度上反映了社会对科技评价体系改革的迫切与关注。具体数据如表3所示。

表3 2001—2020年度关键词统计

2010年来，主题主要涉及科技评估、项目评价、评价指标体系等关键词。至2012年左右，科技评价、同行评议、指标体系、项目评审、人才评价等成为聚焦内容，2017年后则主要涉及分类评价、文献计量、成果统计、科技体制改革等主题。主题聚类变化时间节点与国家政策发布时间基本吻合。

3.5 主题聚类

利用VOSviewer对科技评价来源文献的主题进行主题聚类分析，结果如图2所示。主题聚类分析主要体现了不同时间段科技评价主题的变化情况。由于2010年前有关科技评价文章数量较少，因此生成的聚类主要呈现2010—2020年间的主题关键词变化情况，其能明显体现出对科技评价的主要关注内容与方向。由图2可以看出，讨论热度较高的主题关键词为科技评价、项目评审、项目评价、人才评价等，同时，随着时间推移，由这几大关键词引申出其他关键词，且相互间存在关联，绩效评价、同行评议等关键词随着科技评价改革推进成为关注重点，对策、建议等关键词出现量逐年上升。

图2 2010—2020年主题变化

3.6 作者发文

剔除“本刊特约评论员”“本刊编辑部”等相关此类表述后，对作者发文情况进行统计，并将科技评价相关发文数量排名前15位的作者及其机构情况进行汇总，详情如表4所示。发文最多的作者是来自于浙江工商大学的俞立平，发文36篇；其次是来自中国科学技术信息研究所的武夷山，发文17篇；来自国家自然科学基金委员会的郭进义发文15篇，排名第三。

表4 2001—2020年度发文作者统计

3.7 合作作者及合著

为进一步了解哪些作者倾向于合著文章，以及哪些领域与主题的文章中出现合著的概率较高，利用VOSviewer绘制了作者合作网络，结果如图3所示。可以看出，科技评价研究领域的作者之间并没有形成大范围的合作网络，现有合著网络主要形成四个簇。进一步了解发现，合作大多以2人合作为主，在1 364篇文章中有741篇是由2人合作；在合作情况中，有半数以上文章的合著作者来自于同一机构；发文量排序前15的高产学者没有在合作网络中出现，也体现出高产作者通常选择独立撰写文章。

图3 作者合作网络

4 讨论

本研究大致呈现了我国科技评价领域的概貌，基于计量结果结合重点文献阅读，并综合当前科技评价实践成效和科技评价政策供给状况，形成如下认识。

4.1 当前科技评价领域存在的困境

过去我国科技评价体系是以“四唯” “五唯”为导向的，尤其是过分看重SCI论文数、被引次数、影响因子等数量化评价指标，目的是对科技评价进行行业规范，使其系统化、正规化和便捷化。但在大量量化指标、权威数据引导的定量评价导向下，这种看似公平的评价模式已经畸变成科技发展道路上的“顽瘴痼疾”，并深入到了科技活动的各个领域。我国科技指标数量上的领先还不能真正克服“卡脖子”问题。科技评价当前存在的突出问题，一是片面追求打分排名”“评比评优”，导致评价“过度”、片面追求业绩；二是评价结果与科技人员的工资、职称等直接挂钩过多，导致科研活动中容易产生急功近利思想，甚至成为科研不端行为和学术腐败的诱因；三是评价指标盲目套用，简单量化盛行，重视科技人员发表论文数量和刊物级别，而忽视了科研成果的质量和成果转化对社会的贡献。我国的科技评价是一个拥有多个主体、多重目标、多层结构的评价体系。从国家级别的科技管理部门，到各研究院所、各大高校，再到科学研究人员，不同的主体在科技评价中所追求的多样化目标，必然要求科技评价制度多样化，需要满足不同的利益诉求。目前僵化死板的单一方式不可避免会让各主体间产生摩擦冲突，造成科技评价失衡混乱。破解科技评价困境应先明确困境因何而产生，对症下药。围绕科研评价问题的形成原因，主要包含体制机制、机构、社会文化、评价工具等四个层面。在体制机制层面，学界认为当前困境产生的原因是由于科技体制和科研管理规则不合理。面对有限的科研资源，定量评价加剧了资源配置的不均衡性，并且过于依赖竞争性资源配置模式和绩效导向模式。在机构方面，矛盾问题集中于政府、学术共同体和高校等具备科研能力的组织，认为当前困境产生的原因是组织缺乏规范性。如我国科技评价体系组织不健全、政府科研管理缺位和越位、政府行政干预过多造成学术机构自主性不足，学术共同体自治和自律不足难以发挥作用，高校的改革动力、资源和能力有限，评价主体（如第三方和同行）缺位等。在社会文化层面，人们对改革开放前社会上靠人情关系、老乡关系上位的局面缺乏信任，进一步选择了审计文化下的数字至上、将数据量化标准视为评价圭臬，抑或在市场经济冲击下，资本逐步进入各类组织，追求高效率导致功利主义和行政化管理盛行。在评价工具层面，当前评价技术与方法的合理性不足，主要体现在评价指标体系设计不够合理，过于单一的评价方法、有失公允的评价程序和片面采用定量指标对结果造成“以偏概全”。除以上四层面外，当前问题还归咎于科研人员的行为偏好，如没有将个体价值追求与科学道德精神和规范统一起来，原有评价体系中的既得利益者形成“马太效应”和“圈子文化”，过分功利化的主观倾向导致评价体系的主体间“内卷”严重等。习近平总书记曾说过，我们要高度重视科技创新工作，坚持把创新作为引领发展的第一动力。这些负面影响一定程度上制约我国科技创新水平与发展，打破这一危险困境迫在眉睫。

4.2 科技评价的发展形势

21世纪以来，我国提出了一系列关于科技评价改革的重要举措，力图改变过去简单粗放的评价模式，并将其扭转成为一种适应中国实际国情、具有中国特色的科技评价体系。尤其是党的十八大以来，国家对科技评价体制机制的改革步入深水区。伴随着多项政策的出台，这场由国家主导、以“质量、贡献、绩效”为导向的科技评价体系改革拉开了帷幕。从数据中我们能发现，2000—2020年，科技评价的受关注度逐年上升，2010年之后各层次关注格外热切。国家自上而下发起改革，理顺矛盾，出台多项整治政策，将科技评价标准从过去简单以刊物、头衔、荣誉等作为科技评价唯一依据，转而以科技创新与实际贡献为主要导向。评价体系转变为科学确定评价标准，开展多层次、差别化评价，如基础研究成果以同行评议为主，应用研究成果以行业用户和社会评价为主，不涉及军工、国防等领域的技术开发和产业化成果以用户评价、市场检验和第三方评价为主。在确保核心理念“质量、贡献、绩效”大方向正确的情况下，创新评价标准，将科技评价由过去的单一化向多元化转变，科技政策越来越多地向科技评价领域倾斜。科技评价的价值从更多维度被挖掘。科技成果不再只作为科技价值而被人们认同，其经济价值、文化价值、艺术价值、生态价值等在逐步被重视。

科技评价的改革不会一帆风顺。政策的制定是综合考虑社会多方面因素形成的综合性成果，反馈到各行业中不可避免会出现差异，不同机构、团体或个人在考量利益得失、角色更替、发展方向等实际需求时，并不能做到周密细致，且发展方向难以准确把握。其一，新的科技评价体系中所要求的原创性、科技创新度、社会贡献等定性指标，在缺乏同行专家的小领域并不能较好地被反映出来。其二，过去的评价理念扭转并没有预计得快。论文、项目和奖项仍集中于知名专家， “品牌效应”的影响依旧存在，头衔、职称在科技评价中依然是加分项，这将会挤压其他科研人员的发展空间，并且为不良行为提供土壤，从而削减科研动力。其三，政府相关部门仍然需要加强对评审机构的管理。为取得更好成效，科技资源多以竞争形式分配，评审机构是各科研机构的直接接触者，是国家与机构和人员之间的关键一环，上级政策的作用大小更多取决于评审机构的落实程度。目前出现的现象褒贬不一，正向发展符合政策预期目标，持续稳步推进；而有的单位和地方将上级政策生搬硬套，走教条主义的路，过于刻意看轻学术论文成果，在人才评价或绩效考核中主动忽视其理论学术的影响，造成了优秀人才流失；有的单位面对繁琐的新评价体系表示抗拒，依旧坚持效率至上、利益至上的自身原则，改革动力明显不足，一方面表达自己的反对意见，强调量化评价的好处与优势，一方面依旧坚持简单的“一刀切”评价政策，数量重于质量、形式重于内容、短期重于长远的势头不减。

5 结论与对策

总体而言，国内有关科技评价持续受到学界的广泛关注，已经取得较为丰硕的成果，但科技评价体系的完善不是一朝一夕就能完成的。国家政策的颁布为科技评价发展指出了方向，这一过程中仍需要政府、各级科技管理部门、大学和科研机构、科研人员等协同发力。

5.1 政府应在科技评价体系建设中发挥主导作用

要充分利用科技评价对科技发展的引领作用，唤醒我国科技自身潜在实力。在处理好政府与科学关系的基础上，明确主攻发展领域，给予它们相应的区别性政策支持，建设相应新型科研院所，尊重科研人员的探索兴趣。同时根据国家战略定向发展，结合地区特色和本土优势进行资源转化，在吸取外来优秀经验的同时，立足自身做大做强，走具有中国特色科技发展道路。构建以追求卓越价值、质量和创新、贡献为导向的评价体系，发挥政府引导带头作用，完善科技评价政策供给水平，将我国打造成为世界科技强国，并将科技强国能力转化为国家综合竞争力。

5.2 大学和科研院所应发挥好科技评价体系建设的主体作用

大学和科研机构不仅是科技创新系统的重要主体，还是科技评价新体系落实的最前线，必须要坚持不懈抓评价体系改革，认真扎实抓政策落实。学科差异性和研究方向的差异，导致不同的科研活动必定会产生不同类型的科研成果，影响力也存在差异，因此各机构应因地制宜设置科学合理的成果、人才、学科、机构等评价指标。要明确“破四唯” “破五唯”不是阶段性工作，更是长久性全局性战略性的工作。只有各类条规政策都严格执行，赏罚分明，每一个细枝末节都监管好，落实到位，新的更有创新活力的科技评价体系才会形成。同时，各科研机构应当发挥主观能动性，在坚持总体原则的基础上，大胆为探索框架评价的新思路和新做法。例如提高同行评议在评价中所占权重，在科技人才评价和项目评价中建立有助于人才成长和重大科技成果产出的“评价试验区”，落实“揭榜挂帅”制度，充分调动最广泛的科技人员积极性，引导健康科研风尚。

5.3 科技人员应当进一步树立正确评价观和事业观

明确科研初心使命，坚定科研理想信念。过去的很长时间里，某些研究人员忘却了自己的本职岗位职责使命，过分追求名利，舍本逐末，严重破坏科研生态。国家提出的建设以创新和贡献为导向的科技评价体系，是对科研迷路人的纠偏。建立负责任的同行专家管控机制。鼓励科技人员以“咬定青山不放松”的坚定韧劲，毫不动摇扎根科研一线。弘扬和践行科学家精神，立志高远，淡泊名利。不单纯为评价而科研，以正确的事业观，久久为功，努力营造良好科研生态，勇于承担科技领域“四个面向”的重大课题。

习近平总书记在参观国家“十三五”科技创新成就展时强调科技工作者要“自觉肩负起光荣历史使命，加快实现高水平科技自立自强”。作为顶层设计，科技评价体系也应当向促进科研资源向前瞻性、战略性领域倾斜，为加快创新成果转化应用服务。当前，破除“四唯” “五唯”最关键抓手就是在打破旧体系的基础上尽快建立以创新和质量为导向，分类合理、指标科学、程序规范、可操作性强的科技评价新体系。总之，科技评价体系是一个复杂系统，涉及科技评价的分类、理论、方法、方案、治理等方方面面。一个好的评价体系能够激发科技创新活力，促进科技成果向产业化转移，激励和培育多层次人才，最终推动我国科技发展向高水平自立自强迈进。一个好的科技评价体系也需要政府、企业、科研机构、公众乃至行政司法机关等众多社会机构的参与。随着我国对科技创新重视程度的不断提高，相信在不远的将来，一个具有中国特色的服务科技高水平自立自强的评价体系定会形成。

本研究尚存在不足。其一，数据集规模偏小，所得研究分析结果可能不够全面。只对2001—2020年间以“科技评价”等为主题的核心期刊论文进行分析，应当使用多种数据库，并包含不同时间段的政策文本、报纸、自媒体等文献。其二，尚未厘清科技评价体系的理论框架。科技评价体系是一个复杂系统，牵一发而动全身。要想实现从科技大国转变为科技强国，学术界必须加强科技评价理论研究，尤其是元评价研究，以实现评价实践和理论的良性互动。