国内近十年学术评价研究的文献计量分析——基于CNKI数据库

蔡 顺,马秀峰

(1.曲阜师范大学 传媒学院，山东 日照 276800；2.曲阜师范大学 继续教育学院，山东 曲阜 273165)

学术评价就是权威的学术主体依据一定的标准，采用科学的方法，按照公正的程序，对学术成果进行评价，从而考核学者以及机构对研究所做出的贡献。学术评价对研究人员、研究机构、研究领域乃至整个国家的发展都有着重大意义。学术评价涉及所有的与学术研究相关的领域，学术评价中包含的研究对象数量多、种类杂，无论是国内还是国外，如何更好地进行学术评价，如何使评价结果更加公正客观，一直都是亟待解决的难题。

国内目前虽然已经存在大量研究有关学术评价的文献，但是近年来对这些文献进行计量研究的文献并不多见。任增元、徐婧和姜春林(2016)利用CNKI数据库对1998年—2015年之间发表的1 429篇研究主题为学术评价或科研评价的CSSCI期刊文献进行了计量分析[1]。张容和李勇文(2017)也是利用CNKI数据库对1998年—2016年之间发表的977篇研究主题为学术评价的CSSCI期刊文献进行了共词分析[2]。这些计量研究都是以CSSCI期刊文献为研究数据样本的，缺乏其他类别的学术期刊文献，并且还缺少最近几年的有关学术评价研究的文献。

在目前已有的学术评价研究的基础上，笔者采用文献计量的方法，利用CNKI数据库，运用CiteSpace等软件，对CNKI数据库中收录的2011年—2020年近十年的全部学术期刊中主题为学术评价的中文文献进行分析。分析的内容主要包括发文量、期刊、作者、机构和关键词等，并对近十年来学术评价的研究热点和趋势进行总结，以为今后的学术评价研究提供参考。

1 数据获取与分析工具

本文全部文献均来自中国知网数据库(CNKI)，检索方式采用高级检索，检索主题为“学术评价”，时间范围为“2011年—2020年”，来源类别为学术期刊中的全部期刊，语言为中文，检索时间为2021年1月31日，一共检索到4 003篇文献。手动剔除没有作者名、作者名是“本刊讯”“本刊编辑部”、访谈、贺词、广告等与学术评价研究无关的文献，重新整理后得到2 680篇有效文献，作为本文的研究数据样本。

将选中的文献分别以xls和RefWorks格式导出，将xls格式的文献利用Excel进行历年发文量、期刊分布、作者发文量、机构发文量排名的计量分析，将RefWorks格式的文献利用CiteSpace进行作者合作、机构合作、关键词词频共现和聚类的计量分析。CiteSpace中的各类参数除了下文中特别提及的，其余的均为软件默认设置。

2 数据分析

2.1 历年发文量分析

首先，从图1总体来看，2011年—2020年近十年有关学术评价研究的发文量整体起伏不大，发文量多集中在200篇～300篇之间，说明国内学术评价研究经过几十年的发展已趋于成熟，进入稳定发展阶段。其次，从各个阶段来看，可以看出，2011年—2015年这前5年的发文量是逐年增加的，2015年发文量达到309篇，是这十年来发文量的顶峰；2015年—2020年，发文量略有起伏，由2015年的309篇逐渐下降到2018年的194篇，达到这十年来的最低值，随后又逐渐上升到2020年的300篇。

图1 2011年—2020年近十年发文量分布

2.2 期刊分布分析

将数据进行统计后发现，这2 680篇主题为学术评价的论文总共来源于954种期刊，平均每种期刊的刊文数约为2.8篇。将刊文数前20名的期刊整理成表1，从表1中可以发现，刊文数排名第一的是《中国科技期刊研究》，高达64篇。其次分别是刊文数为61篇的《图书情报工作》、52篇的《情报杂志》、50篇的《情报理论与实践》以及41篇的《科技与出版》等。排名前20的期刊刊文总数为645篇，约占到954种期刊刊文总数的24%。对刊文数前20名的期刊进行进一步的分析可以发现，其中有17种期刊都是核心期刊。除此之外，普刊中排名最高的是第6名的《云梦学刊》，刊文数为40篇。这些期刊大多来自图书情报领域的学术期刊，其次为教育领域，可以看出图书情报学和教育学对学术评价研究的重视程度非常高。

表1 刊文数排名前20位的期刊

2.3 作者分析

表2 发文量≥7篇的作者

将数据导入CiteSpace进行作者合作分析，将c，cc，ccv值均设为2，2，4，一共纳入了246个节点，101条连线，合作密度为0.003 4，这表明作者之间的合作关系很少。阈值设为2，并将没有合作关系的节点隐藏，得到作者合作可视化网络，即图2。从图2中可以看出，国内学术评价研究作者团体较为分散，并没有形成较大的作者合作网络，多为各个地域或机构内部的小部分团体。如南京航空航天大学的徐海燕、王伟明等人组成的团体，大连理工大学的姜春林和张立伟等人组成的团体，南京大学的杨建林和朱惠等人组成的团体。

图2 作者合作关系

2.4 机构分析

表3为统计过后的学术评价相关研究的发文量排名前10位的机构，其中排名第一的是南京大学，发文量总计117篇，是唯一一所超过100篇的大学，且发文量是第二名的将近2倍。这说明南京大学在学术评价研究领域发挥了很好的学术带头作用。除了第一梯队的南京大学外，中国人民大学和武汉大学属于高产机构的第二梯队，发文量也分别高达65篇和63篇。第三梯队分别有北京大学、吉林大学、大连理工大学、华东师范大学等，发文量也有20多篇到30多篇。通过观察表3可以看出，这些机构均属于高校机构且都是“211”“985”的国内一流大学。

表3 发文量排名前10位的机构

将数据导入CiteSpace进行机构合作分析，将c，cc，ccv值均设为2，2，4，一共纳入了194个节点，55条连线，合作密度为0.002 9，这表明机构之间的合作关系很少。阈值设为3，并将没有合作关系的节点隐藏，得到机构合作可视化网络，即图3。从图3中可以看出，国内学术评价研究团体网络较为稀疏，并没有形成较大的机构合作网络，多为机构内部的分属机构合作。如中国人民大学书报资料中心和中国人民大学图书馆、中国人民大学人文社会科学学术成果评价研究中心。机构与机构之间的合作有南昌大学和南京航空航天大学、浙江工商大学，武汉大学和北京工业大学等。

图3 机构合作关系

2.5 关键词分析

图4关键词知识图谱

关键词是论文核心观点的集中体现，对关键词进行分析可以在一定程度上揭示学术评价研究领域的热点、主题和方向。将数据导入CiteSpace进行关键词可视化分析，得到488个节点，2 018条连线，将阈值设为20，按频次显示，并进行关键词聚类，得到图4。根据图4制成表4，即词频≥20的高频关键词统计表。从表4中可以看出，除了因学术评价为检索主题词出现次数最多以外，学术期刊、期刊评价、学术影响力、评价指标、学术共同体、高校、同行评议、评价、学术评价体系、学术道德、h指数、研究生、学术不端、影响因子等关键词出现的频次较高，说明这些是国内学术评价的研究热点。

表4 高频关键词统计

从图4的聚类图谱可以看出，国内学术评价研究可以大致划分为10个大类，分别是：学术腐败、学术影响力、学术评价、评价体系、学术期刊、质量评价、学术共同体、比较研究、代表作评价、学术型硕士研究生。根据10个聚类的具体信息制成表5。第0类聚类的文献篇数为97篇，文献紧密度为0.741，文献发表的平均年份为2013年，根据LLR算法得到的具有代表性的标签有：学术腐败、学术不端行为、学术规范、学术道德等。其余9个聚类的具体信息均在表5中可以看出。从紧密度看，各个聚类的紧密度都比较高。平均年份比较新的有7号的比较研究、8号的代表作评价和9号的学术型硕士研究生，平均年份分别为2017年、2018年和2017年，说明这3个主题是近几年国内学术评价的新的研究热点。

表5 各聚类标签词表

3 热点讨论

3.1 学术评价与期刊评价的关系

期刊评价是基于期刊形式和所有论文的整体进行的影响力评价，而学术评价是基于个别学术成果的内容进行的价值评价。两者之间有联系，但是不能相互取代。学术评价与期刊评价之间的联系早在学术评价出现初期就已经存在，国内的学术评价起源于20世纪80年代的职称评定。当时，评委们需要评价申报材料中论文的学术水平，经过反复权衡和商议，最终决定以论文所发表的期刊的影响力来衡量论文的学术水平[3]。之后国内陆续出现了各种研究与评价期刊的机构，对期刊影响力的评价也逐渐成熟，根据期刊影响力来衡量论文的学术水平的方法也沿用至今。但有些人简单地将期刊评价与论文评价、学术评价等同起来也滋生了许多问题，如“以刊评文”“唯论文”“SCI至上”等学术评价的异化问题。

不可否认的是，期刊评价对学术评价的发展起到了推动作用，但上文中提到的异化问题也对学术评价的良性发展造成了危害。“以刊评文”使有的学者一味追求发表SCI、CSSCI、北大核心等“核心论文”，忽略了学术研究本身，甚至不惜以身犯险做出造假抄袭等学术不端行为。除此之外，“SCI至上”导致国内大量优秀论文外流，使得国内的人才选拔和学术研究受到国外期刊的影响，也使得国内期刊缺少优秀论文，不利于国内期刊质量的提升[4]。这些问题在近年来一直饱受诟病，针对这些问题，学术界提出了一些改进的方法，如建立“以文评文”“以文评刊”的评价机制，完善同行评议制度等。

3.2 学术评价体系的构建

目前，国内的学术评价体系主要分为两种，一种是政府部门主导的学术评价体系，另一种是专业学术评价机构主导的学术评价体系。学术界主要倡导以同行评议为主的定性评价和以引文分析为主的定量评价结合起来的评价方式[5]，这两种评价方式也是学术评价体系的基础。同行评议是一种定性的学术评价方式，指的是某一领域的同行专家对该领域科学研究中的知识成果进行专业评价的活动。国内的同行评议制度开始于20世纪90年代初期，虽然同行评议难免会受到专家自身的局限和国内人情社会的影响，但就目前来看，同行评议依然是学术评价中不可或缺的且首选的评价方式。引文分析是利用数学及统计学的方法和比较、归纳、抽象、概括等逻辑方法，对科学期刊、论文、著者等各种分析对象的引证与被引证现象进行分析，进而揭示其中的数量特征和内在规律的一种文献计量分析方法[6]。由于引文分析结果直观、有着较强的可比性，所以引文分析成了学术评价的一种重要方法，在学术评价中发挥重要作用的SCI就是一个典型的引文数据库[7]。

3.3 学术评价新方法的研究

关于学术评价的改进，学术界进行了一些探索，引入了一些新的方法，包括替代计量、分类评价和代表作评价等。①替代计量。随着网络上的学术交流活动越来越普遍，传统的以论文为度量指标的文献计量显得愈发片面，因此基于在线社交媒体数据的替代计量应运而生。替代计量关注的是学术的社会影响力，通过对网络中的学术成果传播路径和使用进行追踪与评价，使学术界来关注和认可学术成果的社会影响力。替代计量在一定程度上弥补了传统文献计量的不足，但其自身仍存在数据源稳定可靠性存疑、缺乏权威指标、与传统评价方法结合力度不够、评价方法与理论研究还不够充分等问题，这需要专家学者进一步的探究[8]。②分类评价。目前，有的学术评价活动过于单一， 同一种评价方法、标准和程序应用于不同类型的学科、教师、成果类型和成果形式，这种“大一统”的学术评价忽视了学术活动的差异性和特殊性，由此得到的评价结果也受到质疑，对此有学者提出了分类评价的3个划分标准：依据学科分类评价；依据教师岗位分类评价；依据研究类型分类评价。分类评价可以使学术成果呈现出不同的学科特色，能够更好地激励人们开展多样的学术活动，推动学术质量的提高[9]。③代表作评价。代表作评价指的是在学术评价活动中，对科研人员的一个至几个水平最高或最能体现其特色的代表性学术成果进行评价的相关规则设计，其核心是淡化数量，突出质量和贡献[10]。推行代表作评价制度的意义在于把现有的学术评价思路朝着注重质量的方向引导，正确发挥评价的“指挥棒”作用，促进学术评价回归价值、回归科学[11]，代表作评价是目前我国学术评价改革的重要内容之一。

3.4 学术失范与规范的讨论

由于学术评价的结果与职称评定、科研奖励以及经费申请等实质性利益挂钩，因此催生了一部分人和机构枉顾法律与道德的约束，做出违反学术规范的行为。学术失范、学术腐败与学术不端大致属于同一类的学术问题，其主要表现为：①抄袭剽窃，即未经他人许可就将别人的学术成果随意复制或采用；②东拼西凑、粗制滥造，甚至为了获得“理想”的实验结果进行数据造假，篡改信息；③学术霸权现象，即一些导师对所带的学生提出各种不合理的要求、压榨学生来为自己牟取利益甚至对学生造成了身心上的伤害，学术霸权还表现在一些所谓的专家对与自己持不同观点的学者进行打压，遏制新生力量和学术创新[12]；④评价腐败和评价过度，评价腐败即在学术评价活动中存在靠关系、走后门、权钱交易、暗箱操作等行为，评价过度则是指学术评价过于量化和频繁，导致人们越来越急功近利、学术风气也更加浮躁[13]。

学术失范会严重阻碍学术的健康发展，因此也有不少专家学者就学术失范问题提出了一系列的解决措施：如改进现有的学术评价体系，不以数字为标准，而是以质量为导向；加强学术道德教育，广泛开展优良学风建设宣传活动，发挥优秀榜样的模范带头作用，提高研究人员的个人素质，增强学术责任心，强化学术自律观念；严惩学术失范行为，一旦发现失范行为，要在查实后给予相应的处罚，严重时应移交司法机关依法追究其法律责任；完善学术监督机制，现有的学术监管机制存在较大漏洞，许多学术机构为了自身的利益存在包庇纵容学术失范的现象，因此要由相关部门成立专门的学术监管机构，对学术失范行为进行调查和处理[14]。

4 总结

为了厘清近十年国内学术评价研究的发展状况，笔者采用文献计量的方法，利用CNKI数据库，运用CiteSpace等软件，对CNKI数据库中收录的2011年—2020年近十年的全部学术期刊中主题为学术评价的中文文献进行分析，最终得到以下几点结论：①就发文量来看，每年发文数量都保持在200篇～300篇之间，说明国内学术评价研究经过几十年的发展已趋于成熟，进入稳定发展阶段。除此之外，从期刊分布来看相关研究多集中在图书情报学和教育学领域。②通过机构和作者合作网络分析可以发现，相关研究的合作网络分布较为分散，多为少数人员之间的合著，缺乏大规模合作群体。③通过进行高频关键词分析和关键词聚类分析，可以发现国内学术评价研究热点和趋势，总结为4个方面，即学术评价与期刊评价的关系、学术评价体系的构建、学术评价新方法的研究以及学术失范与规范的讨论。