SNIP、SJR及其修正指标SNIP2、SJR2在期刊评价中的应用*
2014-03-26刘雪立刘睿远郑成铭
■王 璞 刘雪立 刘睿远 郑成铭
1)河南省科技期刊研究中心,河南省新乡医学院 453003,E-mail:liueditor@163.com
2)新乡医学院管理学院,河南新乡 453003;
3)新乡医学院期刊社《眼科新进展》编辑部,河南新乡 453003
荷兰Elsevier出版公司的Scopus数据库目前已收录来自超过5000家出版商的5000万记录,是世界上最大的同行评议文献摘要库[1],在科研人员进行文献计量分析和期刊评价时又多了一个新的选择,通过 López-Illescas C[2]、Gorraiz J[3]、王丽伟[4]等的实证研究证明,Scopus数据库在期刊评价方面同样准确而且有效。
在评价指标方面Scopus推出了基于自身数据库的评价指标SNIP[5]和SJR[6],新指标的出现受到学术界高度关注。Nature在2008年报道了新型指标SJR的发布[7]。之后研究者也一直对两种新型期刊评价指标保持关注并引发热烈讨论[8-12]。2012年SNIP和SJR对各自的算法进行修正和改进,发表了修正指标SNIP2[13]、SJR2[14]。
SNIP、SNIP2通过对不同学科引文潜力进行标准化处理来平衡被引频次的差异,从而实现不同学科间期刊影响力的比较。在SNIP的计算中如果用粗计量篇均影响(Row Impact per Paper,RIP)代表期刊前3年发表的论文在统计年的篇均被引频次,相对数据库引用潜力(Relative Database Ciation Potential,RDCP)代表标准化处理过的引文潜力的比值则SNIP的计算方式为:
SNIP2对分母部分计算进行修正,首先改变了引文标准化计算方法中SNIP取中位数作为标准化的方式,在SNIP2中使用调和平均数算法,其次在引文潜力计算中引入活跃参考文献(active references)ri和参考文献比例pi的概念,SNIP2中数据库引文潜力的计算方式为:
SNIP2的计算公式为
SJR通过计量高声望期刊被引的权重对期刊进行威望值(prestige value)的评估。SJR2增强了同被引期刊之间的影响,使得相同研究主题的期刊间相关度更高;限制了计算过程中威望值的传递比例,从而避免在引文量极小的期刊和小学科期刊间威望值的过度提升。在数据来源上SJR使用3年间论文、综述、简讯、会议论文的数量计算威望值,SJR2则通过论文、综述、调查和会议论文占全部文献的比例计算威望值。
2 数据来源
2.1 SNIP、SJR、SNIP2、SJR2 数据
SNIP、SJR、SNIP2、SJR2 数据来源为爱思唯尔科学出版公司www.journalmetrics.com网站,在SNIP and SJR journal values栏目中可下载这4种指标的详细数据,下载数据为Excel文档,内容包括1999-2011年Scopus数据库收录期刊历年的 SNIP、SJR值、Scopus数据库学科分类、学科排名等内容。通过网站查询可知,自2010年SNIP、SJR发布至今共有4版 SNIP、SJR数据和 1版 SNIP2、SJR2数据。SNIP、SJR版本包括:2010年1月版17169条数据、2010年9月版24705条数据、2011年7月版24705条数据和2011年11月版30759条数据。本研究选择SNIP、SJR统计数据条目最多的2011年11月版为统计源进行分析。SNIP2、SJR2选择2012年10月18日发布的最新版数据。
2.2 眼科学期刊问卷调查
使用问卷方式进行期刊影响力调查是科研中的常用方法,其结果能够最直观的反映出期刊在研究人员中的学术影响力[15,16]。本文选择SCI收录的眼科学期刊及其作者作为调查对象,首先因为JCR的学科分类更为简单容易获取,不会因期刊数量过多影响问卷效果,其次由于国内外作者对SCI收录期刊的重视,较易获得更多有效结果。调查对象选择在SCI收录的眼科学期刊上发表过论文的作者,这些作者都是眼科学专业的研究人员,对专业期刊有深入了解,能够从专业角度对期刊影响力做出评价。为避免期刊排序前后对问卷评分的影响,问卷调查期刊采用A-Z的首字母排序方式,并提醒调查者该问卷非评价指标调查,仅依据期刊在个人科研过程中有效性和学术影响力从1-10评分。为保证问卷时效性,选择2008-2012的论文,在导出结果中选择“电子邮件地址”字段,将所有电子邮件地址汇总至Excel文档,经过查重处理后得到电子邮件地址8525个。本次问卷调查时间为2012年1月8日至2012年3月14日,期间共成功发送问卷7742份,截至2012年7月17日共收到回复291份,回复率3.76%与Shao Peiji[17]报道的基于电子邮件调查的问卷回复率相符,其中有效回复239份,有效率82.13%。回复来自36个国家,国家和有效问卷回复数量分布见表1。
表1 有效问卷回复的国家分布
2.3 SJR四分位数据(SJR quartile)和 JCR Journal Ranking
SJR四分位数据来源于SCImago研究小组网站www.scimagojr.com,在网站的期刊查询中按ISSN号检索期刊信息。网站对检索出的期刊提供学科领域(Subject Area)和学科归属(Subject Category)的信息,根据所有归属该学科期刊SJR值的四分位数将期刊分为四个区域,Q1代表值较高的部分期刊,Q4代表值较低的部分期刊。
JCR Journal Ranking来源于WoS数据库,在“其他资源”中选择Journal Citation Reports®,按照ISSN号检索期刊信息,在期刊详细信息页面的学科归属(Subject Categories)信息栏点击 “Journal Ranking”可查询该所属学科期刊数量和本刊在该学科中影响因子排名分区,Q1代表期刊所处分区影响力较高,Q4代表所处分区影响力较低。
3 结果
3.1 SNIP、SJR、SNIP2、SJR2 差异
3.1.1 统计源期刊数量差异
SNIP2在来源期刊筛选上更为严格,剔除了分类为行业杂志的、4年间没有连续出版的、统计年期刊中活跃引文论文比率低于20%的3种期刊。在来源期刊数量上,SNIP的来源期刊由1999年的15075种增加到 2011年的 19727种;修正后的SNIP2有效来源期刊总体上少于SNIP,由1999年的10078种增长到2011年的18990种。SJR与SJR2相比来源期刊标准没有变化,数量从1999年的18695种增加到2011年的19335种。
3.1.2 标准差年度分布趋势差异
标准差可以体现评价指标的离散程度和变异趋势。由于SNIP2使用引文潜力比例计量,SJR2限制迭代运算中威望值的传递比例,修正后的两种指标应具有更好的稳定性。使用 SPSS18.0计算SNIP、SNIP2、SJR、SJR2 的年度标准差和均值后用Excel制图,指标集中和离散趋势年度变化见图1。
图1 SNIP、SJR、SNIP2、SJR2 标准差变化
从图1可以看出SNIP标准差逐年增大,SNIP2在13年间波动中有小幅增长。SJR在前12年逐年下降,在2010-2011年度由于Laser Physics Letters期刊的异常高被引值出现较大反弹,如剔除此期刊则SJR仍维持下降趋势,SJR2标准差较为稳定有小幅增长。
3.2 与影响因子、5年影响因子等指标的相关分析
影响因子和5年影响因子广泛应用于科研绩效评价的各个领域,在科研评价中应用广泛[18],特征因子、论文影响分值也有较多应用。SNIP、SNIP2、SJR、SJR2作为期刊评价指标应与经典评价指标在相关度上有一定的一致性。由于SNIP、SNIP2目的在于平衡高、低被引学科间差异,SJR、SJR2侧重于学科内评价,因此在相关度分析中选取高被引学科(内科学)、低被引学科(航空工程学)和社会科学学科(图书馆学情报学)进行分析,以综合分析评价指标在不同被引潜力学科中的表现。
3.2.1 内科学中相关关系
医学属于JCR中影响因子较高的学科[19],内科学归属医学大类。由于医学类期刊的引文数量较多,内科学又是其中表现突出的学科类别,本文选择内科学期刊作为引文潜力较大学科的代表类期刊。JCR2011收录内科学期刊151,其中同时被JCR2011和 Scopus收录的期刊 141种,重合率93.4%。在内科学中,影响因子最大值为53.298,最小为0,影响因子均值为2.4。Scopus数据库评价指标与JCR评价指标都显著相关。
表2 内科学中 SNIP、SJR、SNIP2、SJR2 与JCR评价指标的相关关系
3.2.2 航空工程学中相关关系
工程学期刊属于影响因子和引文潜力都较低的期刊[20],归属工程学大类的航空工程学类期刊较有代表性,其期刊在2011年JCR Science Edition中篇均引文数最高34篇、最低0.2篇,本文选择航空工程学类期刊作为引文潜力较低的代表期刊。JCR2011收录航空工程类期刊26种,其中同时被Scopus数据库收录的期刊24种,重合率92.3%。航空工程类期刊中影响因子最高值3,最低值0,影响因子均值0.7。在航空工程学中SNIP与影响因子、特征因子相关度低,SJR与特征因子不相关,与影响因子相关度低。SNIP2、SJR2与JCR评价指标均显著相关。
表3 航空工程学中SNIP、SJR、SNIP2、SJR2与JCR评价指标的相关关系
3.2.3 图书馆学情报学中相关关系
图书馆学情报学期刊(简称图情学)属于JCR Social Science Edition收录学科,其归属期刊影响因子最高为4.447,最低0.015,影响因子均值0.98。计量学文献主要发表于图情学类别,因此该学科期刊的各项评价指标一直是科研人员关注重点[21-23]。本文选择图情学期刊作为社会科学代表类期刊。JCR2011收录图情学类期刊83种,其中同时被Scopus数据库收录的期刊77种,重合率92.8%。在图情学中Scopus数据库评价指标与JCR评价指标均显著相关。
表4 图情学中SNIP、SJR、SNIP2、SJR2与JCR评价指标的相关关系
3.3 SNIP、SNIP2在跨学科评价中的表现
查询2011年SNIP、SNIP2值最高的50种期刊的SJR四分位数据和JCR Journal Ranking发现,SNIP值最高的50种期刊在SJR四分位数据中有49种处于Q1分区,1种(Acta Crystallographica Section A:Foundations of Crystallography)处于 Q2分区;在JCR中40种期刊处于Q1分区、3种处于Q2分区、7种未被收录,被收录的期刊中仅排名第33的Journal of Economic Literature被 SSCI收录,其他均为SCI收录期刊。50种期刊中大部分归属于高被引学科例如医学、化学、材料科学,少部分归属于较低被引学科例如工程学、农学、经济学,其中21种期刊在其归属学科排第一位。
SNIP2值最高的50种期刊在SJR四分位数据中有49种处于学科Q1分区,1种(Harvard Business Review)处于学科Q2分区;在JCR中有42种处于Q1分区、3种处于Q2分区、5种未被收录,其中3种期刊为SSCI收录的社会科学期刊。这50种期刊中归属低被引学科如数学、天文学类的较SNIP期刊更多,社会科学类期刊的排序也更高,例如Journal of Economic Literatur第 13、Harvard Business Review第21、Quarterly Journal of Economics第50。
3.4 与眼科学问卷调查结合的有效性分析
从有效回复中看SCI收录期刊在眼科学者中有广泛影响力,问卷调查涉及的56种期刊均有评分,其中评分次数最多的期刊British Journal of Ophthalmology219次,评分次数较少的期刊Spektrum der Augenheilkunde61次。期刊的评分均值可认为是该刊在眼科学研究人员中的影响力水平。将期刊评价指标与研究人员实际调查评分进行相关分析发现SNIP、SNIP2、SJR、SJR2与评分均值在置信度(双测)为0.01时显著相关,其中SJR2与均值相关度最高(0.867),SJR其次(0.862),SNIP第三(0.825),SNIP2 最低(0.797)。 眼科期刊评分均值见表4。
4 结论
4.1 SNIP2较SNIP在跨学科评价中表现更好
跨学科评价指标应能够平衡由于被引频次差异引发的影响力差异,修正后的SNIP2标准差较SNIP离散程度更低,更好的平衡了学科间的差异。SNIP2、SNIP值最高的50种期刊在其归属学科中的排名分布中SNIP2排名靠前的期刊中包含更多社会科学期刊和低引文潜力期刊,其在归属学科中排名也较SNIP值高的期刊更高。
4.2 SJR2较SJR在评价中表现更稳定
威望值评价指标应能够更准确的反映期刊影响力差异,在标准差变化趋势上SJR标准差逐年减小其期刊评价越来越趋于相近,而SJR2标准差逐年上升可以更好反映期刊间差异。在排除异常值影响上2010-2011年度 SJR2没有受到异常高被引的影响,说明改进后的算法表现出更好的稳定性。
4.3 SNIP2、SJR2在低被引学科中相关性更好
不同学科中与JCR评价指标进行的相关度分析证明SNIP、SNIP2,SJR、SJR2在所选代表学科中均相关,大部分学科中表现为在0.01阈值下的显著相关,说明在期刊评价的大方向上两个数据库的评价指标具有一致性。在引文潜力较高的学科中这种相关度更为明显。在引文潜力较低的航空工程学期刊中,SNIP和SJR表现出较大的差异,SNIP2、SJR2一致度较高。
表5 眼科学SCI来源期刊学术影响力问卷调查评分
4.4 在问卷调查中SJR2较SJR更准确
从与问卷评分的相关度来看,Scopus数据库的4种评价指标与眼科学科研人员对期刊的评分均值均显著相关,说明4种评价指标均能够准确的反映期刊学术水平。如果对相关程度进行细分则改进算法的SJR2与研究人员对期刊的实际评价最为接近SJR其次,说明权威值评价指标能够在学科内更准确的反映期刊学术影响力差异。SNIP2略低于SNIP可能是由于更侧重跨学科评价的平衡性,在对学科内期刊影响力的差异上表现较为平均。
1 50 million records|21,000 titles|5,000 publishers[EB/OL].[2013-9-22].http://www.elsevier.com/online-tools/scopus
2 Lopez-illesca SC,De Moya-Anegon F,Moed H F.Coverage and citation impact of oncological journals in the Web of Science and Scopus.Journal of Informetrics, 2008, 2(4): 304-316
3 Gorraiz J,Schloegl C.A bibliometric analysis of pharmacology and pharmacy journals:Scopus versus Web of Science.Journal of Information Science, 2008, 34(5): 715-725
4 王丽伟,牟冬梅,王伟.Scopus数据库的期刊评价功能及其实证研究.情报科学,2009,27(6):864-868
5 Moed H F.Measuring contextual citation impact of scientific journals.Journal of Informetrics, 2010, 4(3): 265-77
6 Gonz Lez-pereira, Guerrero-bote V P, Moya-aneg N F.A new approach to the metric of journals’ scientific prestige: The SJR indicator.Journal of Informetrics, 2010, 4(3): 379-91
7 Butler, D.Free journal-ranking tool enters citationmarket.Nature,2008, 451(7174): 6
8 Raj RG,Zainab A N.Relativemeasure index:ametric tomeasure the quality of journals.Scientometrics, 2012, 93(2): 305-317
9 Leydesdorff L, Opthof T.Scopus′s Source Normalized Impact per Paper(SNIP) Versus a Journal Impact Factor Based on Fractional Counting of Citations.Journal of the American Society for Information Science and Technology, 2010, 61(11): 2365-2369
10 Moed H F.The Source Normalized Impact per Paper Is a Valid and Sophisticated Indicator of Journal Citation Impact.Journal of the American Society for Information Science and Technology, 2011,62(1): 211-213
11 Moed H F,Colledge L,Reedijk J,etal.Citation-based metrics are appropriate tools in journal assessment provided that they are accurate and used in an informed way.Scientometrics, 2012,92(2): 367-376
12 赵星,高小强,唐宇.SJR与影响因子、h指数的比较及SJR的扩展设想.大学图书馆学报,2009,27(2):80-84
13 Ludo Waltman, Nees Jan van Eck, Thed N.van Leeuwen.et al.Somemodifications to the SNIP journal impact indicator[EB/OL].[2013-3-10].http://arxiv.org/abs/1209.0785
14 Guerrero-Bote V P,Moya-Anegon F.A further step forward in measuring journals′scientific prestige: The SJR2 indicator.Journal of Informetrics, 2012, 6(4): 674-688
15 贺颖,邱均平.同行评议专家遴选的科学计量方法与实证研究.图书情报工作,2012,56(6):33-37
16 Weale A R,Bailey M,Lear P.The level of non-citation of articles within a journal as ameasure of quality:a comparison to the impact factor.BMC Medical Research Methodology, 2004, 4(14):1-8
17 Peiji S, Jiaming F, Judy D, et al.Research of the Web-based Survey on the Development of E-Business in China, Canada, and Taiwan.Proceedings of the 5th Asian e-business workshop.JCJU,Korea:KAIST Press, 2005
18 刘雪立.全球性SCI现象和影响因子崇拜.中国科技期刊研究,2012, 23(2): 185-190
19 Hu L-H,Liao Z,Gao R,et al.High quality medical journals and impact factors.International Journalof Cardiology, 2010, 140(3):362-363
20 Lancho-Barrantes B S,Guerrero-Bote V P, Moya-Aneg N F.What lies behind the averages and significance of citation indicators in different disciplines? Journal of Information Science, 2011, 36(3):371-382
21 Thomas E N,Charles H D.The Perception of Library and Information Science Journals by LIS Education Deans and ARL Library Directors:A Replication of the Kohl-Davis Study.College&Research Libraries, 2005, 7: 341-377
22 Lokman I.Mehol, Cassidy R.Sugimoto, Assessing the scholarly impact of information studies:A tale of two citation databases-Scopus and Web of Science.Journal of the American Society for Information Science and Technology, 2009,60(12): 2499-2508
23 彭晓东,王哲.SSCI收录的图书馆学情报学期刊研究——基于JCR网络版(2009)的分析.图书情报工作,2011,55(8):145-148