APP下载

高影响力中文期刊的识别与分档评价

2024-06-03梁超周茂邱彦黄可东

江苏科技信息 2024年8期

梁超 周茂 邱彦 黄可东

摘要:从多维度融合的多源异构信息计量学指标来综合评估学术期刊影响力,为更准确掌握中文期刊影响力提供新思路和新方法。文章以“双碳”关注的能源动力类期刊为例,在完善量化评价机制的驱动下集成因子分析、独立信息数据波动赋权法、改进TOPSIS结合秩和比法等优势从多维视角出发开展实证研究以提升综合评价能力。相关结果揭示了各评价指标及维度间的相关性关系,所构建的评价方法结果虽与影响因子排名总体趋势相似,但更能全面评价和有效甄别出真正的高影响力期刊并实现合理分档。基于理论、方法和应用逻輯的学术期刊影响力评价研究结果合理可靠,具有相当的实操性、兼顾性和可推广性。

关键词:期刊评价;多维视角;期刊影响力;文献计量指标

中图分类号:G353.1;G237.5文献标志码:A

0引言

2021年5月,由中宣部、教育部、科技部联合印发的《关于推动学术期刊繁荣发展的意见》中指出学术期刊建设要服务于经济社会的发展;要破除“唯影响因子论”,完善以内容质量评价为中心,坚持分类评价和多元评价的学术期刊评价体系[1]。于是,开展特定领域的期刊评价既是国家的现实需要,也是新时代帮助掌握相关期刊的影响力和时效性,以及期刊的整体得分和排名的新课题。这不仅有利于期刊之间的竞争,提高学术期刊的内在质量,对促进学术期刊的健康成长和学科发展也具有潜在意义。然而,目前鲜有研究关注高影响力中文期刊的识别和综合性评估。

自加菲尔德博士开发文献计量学指标以来[2],期刊评价最早乃至如今仍在局限使用单一指标进行简单的横向对比[3],特别是对影响因子的过分依赖。但由于单一指标涵盖的信息量有限,产生的评价结果往往有失偏颇,并且传统的影响因子等定量指标时滞长、虚假引用及马太效应等问题也饱受诟病[4]。为了弥补其局限性,国内外学者试图在传统引文指标的基础上引入社会属性的替代计量学指标Altmetrics以期实现更全面的评价。例如,Fernandez等[5]提出一种将使用广泛的媒体生产力和引用指标相结合的多变量模型,用于评价国际急诊医学期刊。俞征鹿等[6]使用Altmetrics工具统计分析了中国英文科技期刊的社会影响力表现现状。然而,这对于中文期刊是不适用的,因为国内尚没有成熟的平台支持,大多国内社交媒体的功能限制导致数据采集困难,真实性难辨。因此有必要寻求其他维度及更科学的方法来实现对期刊影响力的识别与综合评价。与此同时,由于期刊评价是一项较为复杂的系统工程,并非简单的线性加权,相比单一指标具有更广阔视角的多属性评价法也应运而生并逐渐被广泛应用。如苏新宁[7]通过将选取的多个指标主观赋予相应的权重,由此建立我国人文社科期刊的多属性评价构架;姚红[8]则应用秩和比法对高校自然科学学报展开综合评价;熊国经等[9]以图情类学术期刊为例,基于PLS结构方程模型完成了影响力分析及综合评价,并与因子分析法对比从而揭示其用于学术期刊综合评价的可行性;王志娟等[10]基于因子分析法构建了广东省医药卫生期刊的综合评价指标体系;王慧等[11]则运用加权TOPSIS法围绕湖南经济管理期刊展开质量评价初探。综合来看,多属性综合评价法已然得到不同学科领域的期刊研究者的重视,但应该看到现有的多属性评价法仍存在一些不足亟待解决。一是受限于方法论造成的局限性。每一种评价方法都有两面性,难以细分每一种方法的优劣,但如果仅依赖一种评价方法无疑存在一定的限制,评价结果可能有失公允。而已有的少数研究零星散落,评价结果也仅为排序没有辅以基于影响力的期刊分档,致使目前仍缺乏一套完整适用于中文期刊的多维信息计量视角下的复合评价模型。二是从单一视角出发的信息不对称。现有学术期刊的评价多依赖于单一数据库提供的指标,然而不同数据库之间的结果往往存在差异,很少有将多种数据库信息整合的报道;同时,倘若只应用传统的普适型指标更是不足以有效甄别出高影响力期刊。另外,不同国内数据库在期刊评价指标上的关联度或相互关系也尚不清楚。三是对一级指标的评价不够重视。对于现有学术期刊的评价,目前大多数评价方法利用底层指标的权重汇总得到学术期刊的影响力值、时效性值等一级指标。一级指标的权重分布常通过主观确定或直接等权重处理。但主观赋权过于依赖专家或个体的“情感-意志-习惯”,其结果差异难以用科学理论解释[12]。而一些评价方法如TOPSIS对权重又非常敏感,不适当的权重变化会严重影响评价结果[13]。因此需要引入一种合适的客观方法去衡量一级指标的权重并能突出高影响力期刊的特征属性。

为解决上述问题,本文试图丰富和完善学术期刊影响力的指标体系和评价理论,立足多维视角下的指标本底数据信息建立了一套可实操的、科学客观的复合期刊评价模型,开展应用于我国能源动力领域中文期刊的实证研究。通过有机整合多种统计学方法扬长避短,在期刊引文影响力维度一、期刊特征影响力维度二和期刊引文影响力维度三的评价基础上,统筹得到我国能源动力领域中文期刊影响力的综合评价结果并辅以合理分档,以期为期刊管理部门和情报机构遴选期刊提供有价值的决策参考。

1期刊影响力综合评估框架搭建

通过对期刊影响力的基本问题讨论,尝试搭建多维视角的中文学术期刊影响力复合评价模型。期刊的引文影响力是通过在知识传播交流中所载论文被其他学术文章引用来体现的,在一定程度上可以代表刊物的学术辐射能力。实际上,除了这种单向交流性质的辐射影响,真正决定一本刊物在读、作者群体和学术圈子的地位和影响力,还应该看到其是否受到同行专家认可以及被国内外权威检索系统或数据库收录等情况[14]。因此,目前学界普遍认为融合文献计量与同行评议更为有效。然而,同行评议制难以排除一些影响公正判断的因素,如利益冲突、人情关系等,容易评价标准不一,于是刚性的量化评价被提上议程[15]。有趣的是,领域内的学者和机构通常对高影响力期刊的认识基本是趋同的,分歧很小,顶尖机构的业界同仁也往往倾向于在他们认可的期刊上首发研究成果。与此同时,期刊被各大数据库收录的考察过程中实际上已经融入了期刊专家和学科领域专家的评估,是一种固有的定性和定量的潜在融合。另外,期刊品牌和所载论文相辅相成,不能割裂来看,作为高影响力的期刊也理应包括刊载一定数量的标志性论文以及在Web 2.0网络环境下的传播情况等多向性的交流情况。Bornmann[16]给Journal of Informetrics编辑的信中就提到可采用TOP10%被引文章数量来评价期刊的表现力。

借鉴以上思路,本文以多指标、多方法融合的方式建立引文影响力和特征影响力两方面多维度的中文期刊影响力测度。先对两种影响力分别进行单独评价后,再将其结合起来进行综合评价,如图1所示。对于期刊引文影响力,以不同的数据库来源,选取7个指标进行两个学术期刊引文影响力维度评价(旨在探索传统引文指标、不同国内数据库之间的相互关系)。对于特征影响力维度,纳入中国知网统计源的2012—2022年期间TOP1%、TOP0.1%被引论文数量及2022年的知网源总下载量等指标为论文表现力要素及顶尖机构发文占比和检索覆盖率等指标作为同行认可度要素,共计选取5个指标进行学术期刊特征影响力维度评价。由于国内高校排名众多,难以趋同,本文暂以普遍共识的九校联盟C9高校作为顶尖机构的认定。(1)对多元指标数据使用系列统计学方法分别进行学术期刊引文影响力维度和特征影响力维度评价;(2)将各维度得分按相互关系赋权后导入改进TOPSIS确定各评价对象与最优解的相对贴近度,结合秩和比法对样本期刊按影响力进行合理分档,最终甄别出高影响力期刊;(3)对各维度展开相关性分析以及验证本文复合评价模型与影响因子排名相比的合理性。

2期刊多属性复合评价方法

根据构建的期刊影响力综合评价框架,运用SPSS 27统计学程序处理各指标数据,整合多种评价方法形成的多属性复合评价模型及步骤如下。

2.1因子分析法确定期刊各评价维度影响力

本文主要利用因子分析法中的降维思想能够很好地把多元指标的信息浓缩,避免各评价指标之间因多协方差而重复计算的问题,同时可以将可测度的表观变量转换为不可直接观察的一级指标潜变量,进而得到各评价对象在当前维度下的综合影响力。每一本期刊的综合得分F可由下式计算得出:

F=∑np=1Sp∑np=1Sp×∑mj=1yj×αj(1)

式(1)中:n为提取的成分个数;Sp为第p个成分的方差贡献率;m为评价指标数量;αj为第j个指标的成分得分系数;yj为评价对象在相应指标上的标准化数据。

2.2独立信息数据波动赋权法确定各维权重

考虑到各评价维度间存在一定的关联度,可能存在潜在的信息重叠,因此如果不重视一级指标的赋权,那么综合各评价维度下的结果实际上是一种重复计算,不确定性反而愈强,对高影响力期刊的甄别作用更是无从体现。为此,特征影响力维度的补充既要显现其数据信息作用于期刊影响力的影响,也要消除其与传统引文维度之间的重叠信息。鉴于此,本文利用独立信息数据波动赋权(DIDF)法确定各维权重。DIDF是由俞立平等[17]提出的一种线性客观赋权法,它以指标间的数据波动信息和独立信息为基础,分别以离差系数Vj和独立信息比率Dj的形式来表现,其标准化后的乘积越大则包含的纯信息量Ij越大,意味着该指标的权重就愈重,相关的计算公式为:

Vj=δjyj,Dj=1-Rj,Ij=Vjmax(Vj)×Djmax(Dj)(2)

式(2)中:δj、yj分别为一级指标的标准差和均值;Rj为选定指标作为因变量时其余指标作自变量进行线性回归得到的拟合优度。各维权重wj的计算公式为:

wj=Ij/∑mj=1Ij(3)

2.3改进TOPSIS法确定期刊影响力的综合排序

TOPSIS是一种接近理想方案的排序方法,可在缺乏参考体系下用于有限方案的多目标决策。与TOPSIS类似,改进TOPSIS以稍微不同的方式引入属性权重概念与评分排序结合,评价对象与最佳方案之间的相对贴近度仍通过计算评价对象与最佳方案和最差方案之间的距离得到,不过这个距离与备选权重有关。这里改进TOPSIS提出使用基于DIDF法的权重分布,这种方法具有较好的区分性,避免了直接使用加权和或等权重来计算评价值,对样本的分布和大小没有严格的要求,可以充分利用原始数据信息对每个评价对象的优劣度进行排序,信息损失较少,使结果更加符合实际。改进TOPSIS的计算方式如下:

Ci=∑mj=1wj(xij-x-j)2∑mj=1wj(xij-x+j)2+∑mj=1wj(xij-x-j)2(4)

式(4)中:Ci为第i个评价对象的相对贴近度;xij为标准化后的一级指标数值;x+j为标准化后的最大值,即正理想解;x-j为标准化后的最小值,即负理想解。分子表示样本对象到负理想解的距离,而分母则表示到正、负理想解的相距之和。

2.4联用秩和比法对期刊影响力合理分档

秩和比法属于一种非参数统计的综合分析方法,能迅速反映出评价样本的优劣程度并以正态分布为依据给出合理分档,分辨能力强,能够区分数据间的微小差异和消除异常值的影响[18]。而改进TOPSIS虽然能够定量得到评价对象的优劣排序,但不能排除测度过程中异常值的干扰,也不能实现对评价对象的合理分档,且灵敏度不高。考虑到改进TOPSIS法Ci值的[0,1]数据特点同秩和比法中的行(或列)秩和的无量纲平均值分布特征相同,本文在改进TOPSIS的基础上对定量依据Ci值进一步挖掘利用,能够给出按照影响力高低的期刊分档。二者的模糊联合不仅能够克服TOPSIS的上述缺陷,又能克服秩和比法在非参数转化过程中的过大信息损失。

3实证分析

3.1数据说明及处理

本文引文数据来自两种国内主流数据库,即中国知网发布的《中国学术期刊影响因子年报(自然科学与工程技术)2022版》(以下简称“年报”)和中信所编制的《2022版中国科技期刊引证报告(扩刊版)》(以下简称“CJCR”),特征影响力维度的部分数据则采集自中国知网《学术精要数据库》。此外,本文鉴于核能作为非石化能源,是推进能源革命,实现“双碳”目标的重要战略性抓手,因此参照年報的分类将核技术期刊引入后共有61本能源动力大类领域的中文期刊(剔除指标缺失样本)被纳入评价。需要注意的是,为了消除不同评价指标间的维度和量纲效应,需要归一化处理来解决数据指标之间的可比性。特别是半衰期这类成本型指标,数值越大则期刊时效性越差,需要对数据规范化处理。本文分别采用以下标准化方法[19]使效益型和成本型指标数据转化为纯无量纲值,并将数据统一映射到区间[0,1]以便综合评价:

yk=xk-min(xk)max(xk)-min(xk)(5)

yk=1-xkmax(xk)+1-max1-xkmax(xk)(6)

式(5)中:xk为原始指标数据;yk为标准化指标数据。

3.2维度一:基于年报的原生引文影响力

根据P-P图分析结果发现,基于年报的引文指标数据,除引用半衰期和被引半衰期近似服从正态分布外其余指标均不服从,因此本节采用Spearman相关分析法。除一些例外不同指标间存在着中等或高度的正相关关系(ρ值为0.252~0.988,P<0.01或P<0.05),相反代表期刊收到和发出引用的半衰期则和其余引文指标几乎呈不相关,如图2所示。然后经信度和效度分析,得到Cronbachs Alpha系数为0.885,这是一个高度可接受的值(接近于1)且具有高度统计学意义。通过KMO-Bartlett检验得到KMO值为0.777,显著性水平为0,说明各指标数据间通过相关检验,具备条件使用因子分析法来反映评价对象的引文影响力。

利用主成分分析法提取因子响应的大部分数据信息。由于未旋转的因子载荷矩阵不能准确反映公因子和每个指标的关联关系,模棱两可的载荷差别造成难以解释和命名各公因子的专业含义。根据表1的结果采用最大方差法旋转后,以特征根大于1为标准的前3个公因子累计方差贡献率达到92.231%,已经可以相对完整地表达原始数据的相关信息,即可以将7个原始指标降维减缩至3个公因子中。同吴涛等[20]的研究结果一致,根据旋转后因子载荷分布显示公因子1在反映期刊在知识传播中总体上被使用或受重视程度的影响力指数(0.734)和总被引频次(0.939)上有较大的载荷系数,可被称为整体影响力因子F1。公因子2在复合影响因子(0.906)、他引影响因子(0.897)及五年影响因子(0.877)上都有明显的载荷极化,这些指标反映期刊载文在某段时期内的被引情况,因此可以被称为平均影响力因子F2。而公因子3在代表期刊老化速度快慢及新近文献被利用度的被引半衰期(0.945)和引用半衰期(0.795)上反馈出很强的载荷取向,因此可以称为即时影响力因子F3。

将3个公因子作为因变量进行回归分析得到得分系数矩阵,从而更直观地分析各公因子与各成分之间的得分表达式。以公因子旋转后各自贡献率占比为权重进行赋权求和后,可得每本评价期刊在该计算场景下的综合得分情况。限于篇幅,暂仅列出前10种能动类期刊在引文影响力维度一上的评价结果及得分情况(见表2)。

3.3维度二:高影响力期刊的特征影响力

为了选择恰当的相关性分析方法,柯尔莫可洛夫-斯米洛夫(K-S)检验被应用对该维度下入选指标进行检验,发现全部数据均不服从正态分布。如图3所示,Spearman相关性分析显示各指标之间存在不同强度的正相关关系,总体上一致性显著(ρ值为0.183~0.770,P<0.01),可见若刊物被权威数据库收录和能吸纳更多顶尖机构发文,可能更容易获得更多的标志性优秀论文和更好的网络传播情况。其次,通过可靠性分析发现Cronbachs Alpha系数为0.875,校正项相关极差为0.494~0.879,说明研究数据的高质量精度。根据效度分析,KMO值为0.766,满足因子分析的前提要求;Bartlett球形度检验近似卡方值为394.209,显著性水平为0,各指标提取的公因子共同度为0.837~0.972,其值均较高,意味着本次因子提取的总体效果很理想,信息丢失很小,能够相对完整反映特征维度指标的原始信息。

表3显示特征根大于1的主成分有2个,而后面的成分特征值很小,对解释原始信息的贡献也越来越微弱。成分1的特征根为2.723,解释了原有指标总方差的54.46%=2.723÷5×100%,前2个成分解释的累积方差贡献率达90.343%。经最大方差法旋转后提取的特征值仍都大于1,累积贡献率与旋转前亦保持在一致,显然所提公因子解释了原始数据的绝大部分信息。旋转后因子载荷发生明显分离,结合因子载荷分布的结果可知同本文预设的指标解释极为一致,可以将这5个原始指标划入2个公因子中:公因子F1命名为论文表现力因子,包括高被引文章数量和知网统计源的论文总下载量;公因子F2定义为同行认可度因子,包括顶尖机构发文占比和检索覆盖率。

最后,根据各成分的得分系数给出各公因子得分情况,以各公因子的旋转后贡献率占比为权重进行加权求和,得到每个评价对象的综合得分。限于篇幅,仅展示前10种能动类期刊在特征影响力维度二的评价结果及得分情况(见表4)。

3.4维度三:基于CJCR的原生引文影响力

基于CJCR的指标数据同年报类似,除半衰期指标外其余皆呈非正态分布,因此本节仍采用Spearman相关分析法,结果如图4所示。与基于年报的结果不同的是,扩散因子的引入使其和大部分引文指标呈负相关关系,这与扩散因子的定义是吻合的。使用Cronbachs Alpha系数计算多元指标的可靠性指数仅为0.601,表明数据信度质量一般,但KMO-Bartlett检验得到KMO值为0.762,远超0.6的Kaiser推荐标准,显著性水平为0,说明使用因子分析法来分析评价对象在该维度下的引文影响力依旧是可接受的。

由于提取因子要求特征根大于1,所以从原始指标中旋转后提取了3个公因子。根据表5结果,公因子的累计方差贡献率可达到87.949%,即所提公因子可以反映所有信息的87.949%,说明信息损失少,可以较好地替代原有指标。为了更方便地解释这些因子,同引文影響力维度一的分析相似,提取的3个公因子可以被分别用来描述期刊整体影响力、平均影响力和即时影响力3个方面。整体影响力公因子F1在总被引次数、H指标及扩散因子上有较大的相关性,载荷系数绝对值都大于0.760。平均影响力公因子F2在影响因子和即年指标中具有较大的相关性,其载荷系数都大于0.853。即时影响力公因子F3反映了期刊引用和被引用的情况,系数都大于0.723。

同理,根据各成分的得分系数整理出各公因子得分,再以各公因子的方差贡献率计算权重后加权求和,从而得到每个评价对象的综合得分。前10种能动类期刊在引文影响力维度三的评价结果及得分情况如表6所示。

3.5期刊影响力的综合评价与分类

首先利用DIDF法确定各维度的权重依次为18.76%、63.42%、17.82%。不难理解,出于非引用角度考虑的特征影响力维度同传统引文维度的信息重叠较小且具更鲜明的独立性,因此权重愈重。运用2.3节中改进TOPSIS方法的原理,对赋权后的数据进行处理,计算得到前15种及末位学术期刊的最终评价结果,此处仅展示评价指标值与最优解的Ci值,如表7所示。可见其值均介于0~1,分布特征同秩和比法中的连续变量一致,因此继续按照Ci值从大到小的排列顺序列出不同组段的频数f和累计频数R,随即算出累计百分率(R/N×100%)后参照《百分数与概率单位对照表》匹配相应的概率单位值(Probit)。最后以Probit(式中记为Probit)为自变量,Ci为因变量回归得到线性方程Ci=-0.172+0.189×Probit,拟合优度为0.872,方差分析F=403.56,P<0.001,表明所求的回归方程有统计学意义。结合合理分档数表[21],根据秩和比法的合理分档要求对61种学术期刊进行归类,按期刊影响力大小可分为权威、专家、重要、普通4个档次。经方差分析,不同分组样本对于Ci值均呈现出显著性(P<0.05),表明各分档间差别有统计学意义;通过事后两两比较SNK-q检验,P<0.01,表明分档有效,各分档间差异均具备统计学意义。

此时将学术期刊综合影响力和期刊排名的关系投射在二维坐标系上形成可视化的分档结果,如图5所示。其中,权威、专家级期刊可被认为是本领域内的高影响力期刊,故本文复合评价模型共识別出12种刊物,占比约20%。第一档中的《太阳能学报》《储能科学与工程》《热力发电》的整体影响力居于头部,特别是《太阳能学报》,其Ci值为0.8907,远远超过0.5732的分档线,经查阅该期刊由中国可再生能源学会主办,所刊载论文延伸涉及太阳能、生物质能、风能、氢能、海洋能及地热能等多种新能源,经咨询专家意见确认其为领域内公认的、目前国内最具权威和声望的刊物。而重要、普通级期刊的总体影响力则相对偏低一些,究其主要原因,笔者发现高影响力期刊皆被中国科学引文数据库(CSCD)收录。众所周知,CSCD期刊被誉为中国的“SCI”,历来被广大科研工作者和研究机构所青睐,其载文无论是学术内容还是编校质量都普遍偏高,相比普通期刊乃至一般的核心期刊都更受到重视,进而得到可观的总体影响力水平。该结果在一定程度上也反映出本文的评价方法能够对不同影响力的期刊表现出应有的区分度。

3.6相关结果分析与讨论

对61种能动类期刊3个影响力维度的得分情况开展Spearman相关性分析,如表8所示。可以看出,两个引文影响力维度之间的相关系数为0.876(P<0.01),存在着非常强的正相关关系,说明中国知网与中信所的数据库所提供的传统引用指标具有很高的一致性,因此两者可替代使用评价期刊的影响力水平。这个结果也能和两个引文维度提供几乎相当的纯信息量权重相吻合。而特征维度影响力与引文影响力维度的相关系数分别为0.603和0.610(P<0.01),两两间存在较强的正相关关系,说明基于非引用角度出发的期刊特征影响力相对传统引文影响力虽有一定差异,但可以起到较好的补充作用。考虑到论文引用存在时滞性,被知名数据库或检索收录的期刊以及知名研究机构在发表研究成果后更能激发受众群体的阅读兴趣,可能在后期更容易获得引用,故时效性更优越。再结合其正相关关系,说明将多维异构数据组合的综合性评价具有一定意义。

为了进一步验证模型的合理性,与最常用的影响因子评价指标相比,本文评价模型能够使影响因子指标不占优势,但拥有高影响期刊特征属性的期刊排名更有效突出。图6集成了61种期刊分别应用本文评价模型和影响因子的排名对比情况。不难看出,年报复合影响因子和CJCR扩刊影响因子的评价趋势存在较高一致性,而本文模型的排名虽与典型的影响因子在总趋势上有一定相似,但对具体期刊而言差异性仍然较显著。例如,《原子能科学技术》和《核动力工程》虽然在影响因子方面表现并不出彩(依年报排名分别为第28名和第35名),但经过本文评价模型的筛查仍能进入前10行列,主要是因为这两本期刊都载有数量不俗的优质文章(如TOP1%论文量分别为70篇和41篇),且都被知名的国际工程索引(EI)、CSCD数据库收录,特征维度影响力表现很好。该结果与中国核学会认定这两本刊物为T1级期刊(表示已经接近或具备国际一流期刊水平)不谋而合,确属对应研究领域的高影响力期刊。此外,由于本文模型能提供更多的维度信息,对于部分影响因子不分伯仲的期刊区分性更高。例如,《工程热物理学报》《汽轮机技术》《车用发动机》的年报复合影响因子分别为0.749、0.755和0.737,仅从被引的角度来区分这些刊物影响力高低是比较困难的。但融入本文模型新增的高影响力期刊特征属性等指标后,发现《工程热物理学报》的顶尖机构发文占比、高被引文章数量及检索情况都表现更优,故最终排名更高。综合来看,本评价模型在多维视角下探讨期刊的影响力,可以更全面地展示期刊影响力在各个维度的表现,充分体现各期刊之间的差别,对期刊评价结果的区分性更高。

4结语

本文从期刊影响力这个基本问题的讨论着手,从完善量化评价机制,坚持分类评价出发,参考基于引用的期刊对外辐射影响力和高影响力期刊的特征属性搭建出了一套完整客观、易于实施的多维度复合评价方法,以我国能源动力领域中文期刊为例进行实证研究。与已往报道的期刊评价方法相比,本文最主要的亮点有两个方面:在指标体系设计上,除了充分考虑国内不同数据库信息来源及多元化的引用指标,引入数个代表高影响力特征属性指标作为新维度来弥补传统指标的局限性;在评价模型上,利用因子分析法转化得到各维度下的量化分值,继而采用维度间相互影响的DIDF法确定权重后融入改进TOPSIS结合秩和比法最终甄别出高影响力期刊。结果表明,本文复合评价模型累计识别出12种高影响力期刊,占比约前20%。与最经典的影响因子排名相比,本文多指标融合的模型对期刊影响力的评价更加全面饱满,能够使被引表现不佳但期刊特征指标表现优异的期刊排名更加靠前,从而拉大高影响力期刊与普通期刊的差距,使得结果更具区分度。因此,基于多源异构数据的多维复合评价模型在一定程度上对高影响力期刊的锚定是比较精准、公正的。

参考文献

[1]胡绍君,秦新国.基于结构方程模型的期刊质量同行评价影响因素研究[J].情报杂志,2023(2):184-195.

[2]叶继元.“SCI至上”的要害、根源与破解之道[J].情报学报,2020(8):787-795.

[3]白雪娜,陈夏,张辉玲.广东省农业类科技期刊学术影响力动态评估[J].科技管理研究,2017(7):248-254.

[4]林德明,姜磊.科技论文评价体系研究[J].科学学与科学技术管理,2012(10):11-17.

[5]FERNANDEZ C A, IM F G. A multivariate model for evaluating emergency medicine journals [J]. Scientometrics, 2017(2):1-13.

[6]俞征鹿,马峥,田瑞强,等.中國英文科技期刊国际社会影响力表现:基于Altmetrics提及次数指标[J].编辑学报,2021(3):349-354.

[7]苏新宁.构建人文社会科学学术期刊评价体系[J].东岳论丛,2008(1):35-42.

[8]姚红.基于秩和比法的期刊综合评价[J].中国科技期刊研究,2006(2):213-215.

[9]熊国经,熊玲玲,陈小山.基于PLS结构方程模型进行学术期刊评价的实证研究[J].情报理论与实践,2017(8):117-121.

[10]王志娟,姚亚楠,杨克魁.基于因子分析法的科技期刊学术影响力综合评价及发展建议:以广东省医药卫生期刊为统计源[J].中国科技期刊研究,2018(10):1036-1041.

[11]王慧,喻琨.运用加权TOPSIS法的学术期刊影响力的定性与定量评价研究[J].经济师,2020(12):32-33.

[12]赵蓉英,朱伟杰,张兆阳,等.融合BP神经网络的学术话语权评价方法探讨[J].图书情报工作,2022(11):50-58.

[13]SUBRATA C.TOPSIS and modified TOPSIS: a comparative analysis[J].Decision Analytics Journal, 2022(2):100021.

[14]张积玉.学术期刊影响力及其评价指标体系的构建[J].陕西师范大学学报(哲学社会科学版),2010(5):70-76.

[15]邓毅.CSSCI与学术评价[J].华南师范大学学报(社会科学版),2006(4):135-137.

[16]BORNMANN L. A better alternative to the H index [J]. Journal of Informetrics,2013(1): 100.

[17]俞立平,潘云涛,武夷山.一种新的客观赋权科技评价方法:独立信息数据波动赋权法DIDF[J].软科学,2010(11):32-37.

[18]朱干江,王桂芝,赵靖.科技进步综合评价中秩和比法的运用[J].科技进步与对策,2007(6):151-154.

[19]俞立平,潘云涛,武夷山.学术期刊综合评价数据标准化方法研究[J].图书情报工作,2009(12):136-139.

[20]吴涛,杨筠,陈晨,等.基于因子分析法的科技期刊引文综合评价指标研究[J].中国科技期刊研究,2015(2):205-209.

[21]田凤调.RSR法中的分档问题[J].中国卫生统计,1993(2):26-28.

(编辑编辑姚鑫)

Identification and classification evaluation of high-impact Chinese journals

Liang  Chao, Zhou  Mao, Qiu  Yan, Huang  Kedong*

(Information Center of Science and Technology, Nuclear Power Institute of China, Chengdu 610213, China)

Abstract:  To comprehensively evaluate the influence of academic journals through multi-dimensional fusion of multi-source heterogeneous information metrics, providing new ideas and methods for more accurate understanding of the influence of Chinese journals. The article takes the energy and power journals that focus on “dual carbon” as an example, and under the drive of improving the quantitative evaluation mechanism, integrates factor analysis, independent information data fluctuation weighting method, and improves TOPSIS combined with rank sum ratio method to conduct empirical research from a multidimensional perspective to enhance comprehensive evaluation ability. The relevant results reveal the correlation between various evaluation indicators and dimensions. The results of the constructed evaluation method are similar to the overall trend of the ranking of influencing factors, but it can more comprehensively evaluate and effectively identify truly high impact journals and achieve reasonable classification. The research results of academic journal influence evaluation based on theory, methods, and application logic are reasonable and reliable, with considerable practicality, balance, and generalizability.

Key words: journal evaluation; multidimensional perspective; journal impact; bibliometric indicator

基金项目:四川省期刊协会、四川学术成果分析与应用研究中心联合资助项目;项目名称:多维信息计量视角下期刊影响力复合评价方法及应用研究;项目编号:SCAA23QK-004。四川省科学技术协会“一流科技期刊”培育示范项目;项目编号:川科协发〔2023〕80号。

作者简介:梁超(1996—),男,助理工程师,硕士;研究方向:期刊编辑出版与科技评价。

*通信作者:黄可东(1986—),男,高级工程师,硕士;研究方向:期刊发展战略规划与管理。