期刊P指数与其他评价指标相关性探讨*
2014-03-26王圣洁何晓庆
■王圣洁 蒋 旭 何晓庆
1)四川大学图书馆,四川大学文理图书馆信息咨询中心,四川成都望江路29号 610064,E-mail:wangshengjie@scu.edu.cn
2)四川大学图书馆,四川大学文理图书馆信息咨询中心,四川成都望江路29号 610064,E-mail:jiangxu@scu.edu.cn
3)四川大学图书馆,四川大学文理图书馆信息咨询中心,四川成都望江路29号 610064,E-mail:applehe1980@scu.edu.cn
1 引言
科研评价是针对科研学术成果的评价,是学科建设、资源配置和科研人员的绩效评价的重要基础。学术论文是科研人员新的科学研究成果或创新见解的科学记录,因此学术评价在现阶段常常是通过对学术论文实现,而学术期刊作为学术论文最主要的载体,其评价方法的科学性是学者们都非常关注的一个重要课题[1-2]。Garfield于1955年提出了影响因子(IF)概念,作为学术评价的量化工具,但是在使用之中,许多学者都发现其存在缺陷。之后很多学者和机构都致力于研究新的评价方法,例如:Hirsch提出的h指数,Egghe的g指数,N.Sombatsompop的影响因子分数平均值等,但是以上的评价指数仍然有诸多局限,比如h指数不能分辨h指数相同而被引频次相差较大的情况[3],g指数相同时,表示期刊中高被引文章的总被引次数相同,但是无法显示出高被引论文的数量[4],而影响因子分数平均值是基于影响因子,所以不能避免影响因子的缺点[5]。
为了进一步完善学术指标,2006年Glanzel通过数学验算,推断出h指数和发文量及被引次数的比值存在一定相关性[6],2007年,Csajbok等[7]在Glanzel研究的关系模型基础上,通过实证研究推算出h=0.932(C2/N)1/3(C为被引次数,N为发文量)并且通过相关性研究发现,其 R2为0.988,2010年Prathap在此基础上提出用P指数来代表(C2/N)1/3,他认为P指数是一种新型效能指标,可被称为卓越因子(prominence factor)或杰出因子(prestige factor),并指出其相对于传统期刊评价指标具有更高的灵敏度,更好的区分度[8],具有作为新型综合性学术评价指标的能力。但是目前国内对P指数的研究较少,本文拟对CSSCI收录图书情报类核心期刊的2008-2012年P指数、h指数、被引频次、五年影响因子等文献计量学指标的相关性进行案例分析,考察P指数这种新型指标与这些图书情报领域中传统指标之间的关系。
2 P指数的计算方法及其原理
Prathap认为P指数是一种效能型的指标,具有成功模拟h指数的功能,当出现h指数相同,而无法区分评价期刊时,用P指数来进行期刊评价,其敏感性更强,更能合理的进行排名。如果将期刊被引用次数计作C,论文出版量(发表文章总数)计为N,P指数的计算公式为:
P=(C2/N)1/3
Prathap将P指数的计算方式与动力学中动能的计算方式和电学中电能的计算方式进行了类比,如表1所示。
表1 P指数与动能及电能类比
由此表可以认为C2/N其实是一种学术势能,其物理意义与动能电能是类似的,即都能体现其目标物的运动潜能[9-10]。Gangan进一步的研究发现(C2/N)1/3具有丰富的内涵,可以被看做综合性的学术指标,通过使用Web of Science中的自然科学类期刊作为样本进行研究发现,P指数不但与传统经典的评价指数之间有较高的相关性,并且能够在期刊的评价中相比于传统评价指数更有效的平衡被引次数与平均被引率之间的关系,证明P指数属于更高级别的期刊评价指标[11]。
3 数据统计及研究方法
3.1 数据统计
本文选择南京大学的《中文社会科学引文索引》(CSSCI)作为来源数据库,统计周期为2008-2012年,选择CSSCI在此期间连续收录的图书馆、情报与文献学核心期刊作为样本统计载文量(N)、总被引次数(C)、并计算了其h指数、P指数,同时为了契合人文社会科学期刊被引半衰期较长的特点,减少2年期刊影响因子的短期波动,本文选择计算了统计周期内该学科期刊5年影响因子(IF5),并进行了数据汇总。其结果如表2所示。
表2 图书情报类期刊多种指标统计(2008-2010)
3.2 研究方法
相关性分析是一种基于假设检验的统计分析方法,而显著性水平(Significant level)反映了显著性水平是估计总体参数落在某一区间内,可能犯错误的概率[12-13]。本文用SPSS19.0统计软件对期刊的五年影响因子、h指数和P指数进行相关性分析,结果如表3。
4 研究结果
根据表2,P指数在双尾概率0.01水平上与C、C/N、IF5显著正相关,与h指数在双尾概率0.05水平上显著正相关,与发文量N不相关。P指数对被引数量敏感性优于h指数和g指数;平均被引率的计算考虑了发文量的影响,P指数与平均被引率相关性显著程度与五年影响因子接近,均强于h指数,但其对于发文量的敏感性低于五年影响因子。所以可以得出结论,综合来看P指数能在被引数量、平均被引率和发文量之间达到了相对较好的平衡,从而可以更准确的呈现论文的数量与论文的质量之间的关系。
为了明确的呈现P指数、h指数、五年影响因子之间的量化关系,本研究运用SPSS19.0统计软件中的曲线回归的方法以P指数为被解释变量,分别以h指数和五年影响因子为解释变量,建立变量之间的关系模型。
4.1 P指数与五年影响因子
以五年影响因子作为自变量,P指数为因变量,选择线性曲线、对数曲线、二次曲线、三次曲线进行回归拟合,其曲线拟合效果图及检测报告分别如表4和图1所示,拟合度最高的是三次曲线,回归方程判定系数R2为0.895,所以选择三次多项式进行回归拟合,回归曲线拟合方程为:P指数=3.342+58.999*IF5-50.908*IF52+19.358*IF53。*.在0.05水平(双侧)上显著相关。**.在0.01水平(双侧)上显著相关。
表3 图书情报类期刊多种指标相关性
表4 期刊P指数和五年影响因子(IF5)曲线模型检测结果
图1 P指数与IF5相关关系拟合
4.2 P指数与h指数
以h指数作为自变量,P指数为因变量,选择线性曲线、对数曲线、二次曲线、三次曲线进行回归拟合,其曲线拟合效果图及检测报告分别如图2和表5所示,拟合度最高的是二次曲线,回归方程判定系数R2为0.469。所以选择以二次多项式回归拟合,回归曲线拟合方程为:P指数=21.066-5.109*h+0.948*h2。
图2 P指数与h指数相关关系拟合
5 结论
5.1 P指数与发文量(N)的关系
从表3可以看出发文量(N)与P指数不存在显著相关性,但是存在一定的负相关关系,从而在一定程度上避免了发文量对于期刊评价指标的影响,并且从相关指数来看,P指数受到发文量的影响小于五年影响因子(IF5)所受到的影响。
5.2 P指数与被引用次数(C)的关系
从表3可以看出被引用次数(C)与P指数存在着显著相关性,在0.01水平(双侧)上显著相关。其相关系数为0.815,h与IF5也均与C显著相关但是其显著性低于C与P的显著性,从而总而反映了P指数对于引用次数的敏感性高于h指数和IF5,当期刊中的论文引用次数增加时,P指数能敏锐反应这一变化,从而有利于激励期刊发表更高质量的论文。期刊自引与P指数之间更确切关系还需要选用更多的学科的期刊作为样本来进行进一步研究。
5.3 多个关键评价指标的相关性及对比分析
从计算角度来看,P指数延续了h指数、IF5指数的简洁易算的优点,但也同样受到统计的数据来源和统计时间的限制。从相关性来看,P指数与平均被引率(C/N),IF5都在0.01水平(双侧)显著相关,其相关系数分别达到了0.944和0.940,与h指数也在0.05水平(双侧)相关,其相关系数达到了0.656,这在一定程度上证明P指数代替其他学术评价指标的可能性。
进一步具体研究对比各指标,发文量在期刊的评价中一般只作为一个参考因素,因为发文量受期刊的出版周期影响很大,并且其并不直接影响期刊的质量,从表2中可以看出,《中国图书馆学报》虽然发文量最少,但是该期刊的总被引数是最高的,同时该期刊的平均被引率、IF5及P指数排名也处于第一位,从而肯定了该期刊在图情领域的先锋地位,这也证明了P指数与传统学术评价指标之间的一致性,进一步分析发现,虽然《中国图书馆学报》的P指数为37.591,显著高于排名在其后的期刊,但是h指数为6,与《情报学报》、《图书情报工作》、《图书馆论坛》相同,这样的情况也出现在《现代图书情报技术》、《图书情报知识》、《情报理论与实践》、《图书馆杂志》、《图书与情报》这五本期刊中,其h指数均为5,这是由于h指数的计算方式缺乏灵敏度和区分度所导致的,但是对于P指数来说,期刊每增加一篇文章,或者每增加一次被引用次数,都会导致P指数的变化,所以此时若使用P指数则能够更明显区分期刊的排名。
6 结束语
学术期刊的影响力和质量评价一直以来都是文献计量学中的重要问题,传统的期刊学术影响力评价工具都有自身的局限性,本文针对这些问题,基于CSSCI收录的图书情报类期刊作为研究样本,研究了新型评价指数P指数对于学术期刊的评价方法及评价效果。本文统计了期刊的发文量、总引用次数、平均引用次数和h指数,并计算了五年影响因子、P指数,再在此基础上分析了h指数、五年影响因子、P指数间的关系。结果表明P指数延续了h指数、五年影响因子运算方便优点并且区分度好于h指数,其与被引次数、平均被引率、5年影响因子、h指数相关性较高。但是P指数的局限性也不能被忽略,由于P指数的计算过程是平均对待每一篇论文,并没有赋予高被引论文更高权重,所以对高被引论文不敏感,同时,低被引论文的长尾现象会对P指数产生负面影响,但低被引论文的出现不能一概而论,例如不同学科的引用习惯会导致出现被引次数悬殊的情况,而P指数并不能区分出这些论文,并且本文只采用了社科类图书情报领域的期刊作为研究样本,所以P指数在更宽学术评价领域的适用性及评价效能还需进一步研究。
但是无论是IF5、被引频次等传统指标又或者P指数、h指数等新兴指标,都能够从不同的侧重点对期刊的质量进行评价,其结果既相互联系,又各自独立,所以,在进行期刊的评价时,应该综合各种文献计量学指标和方法,既定性又定量的从不同的侧面全方位的评价期刊,才能得到合理公正的结论。
1 Vieira ES, Gomes JANF.The journal relative impact: an indicator for journal assessment.Scientometrics,2011,89(2):631-651
2 何晓庆.以需求为导向的图书馆知识管理研究.天府新论,2013,13(2):157-160
3 张学梅.用h指数对我国图书情报学界作者进行评价.图书情报工作,2007,51(8):48-50
4 郭红,潘云涛.影响因子分数平均值:一个评价学术论文质量的新指标.编辑学报,2006,18(6):475-477
5 Seglen PO.Why the impact factor of journals should notbe used for evaluating research.BMJ,1997, 314(2):498-502
6 Wolfgang G.On the h-index-A mathematical approach to a new measure of publication activity and citation impact.Scientometrics,2006,67(2):315-321
7 Csajbok E,Berhidi A,Vasas L,et al.Hirsch-index for countries based on essential science indicators data.Scientometrics,2007,73(1):91-117
8 Prathap G.Is there a place for a mock h-index? .Scientometrics,2010,84(1):153-165
9 Prathap G.The iCE approach for journal evaluation.Scientometrics,2010,85(2): 561-565
10 Prathap G.Qualifying Scholarly Impact using an iCX(impact-Citations-Exergy)Analysis.DESIDOC Journal of Library&Information Technology,2011,31(5):382-386
11 Gangan P.Evaluating journal performance metrics.Scientometrics,2012,92(2): 403-408
12 孙荣恒.应用数理统计.北京:科学出版社,1998:241-258
13 蔡智澄,何立民.相关性分析原理在图书情报分析中的应用.现代情报,2005,26(5):151-156