基于文献类型矫正的影响因子及其实证研究
2016-03-26刘雪立盖双双
■刘雪立 盖双双 周 晶
1)新乡医学院期刊社,河南省新乡市金穗大道601号 453003
2)新乡医学院河南省科技期刊研究中心,河南省新乡市金穗大道601号 453003
3)新乡医学院管理学院,河南省新乡市金穗大道601号 453003
LIU Xueli1,2) ,GAIShuangshuang1,3) ,ZHOU Jing1,3)
1) Periodicals Publishing House, Xinxiang Medical University, 601 Jinsui Road, Xinxiang 453003, China
2) Henan Research Center for Science Journal, Xinxiang Medical University, 601 Jinsui Road, Xinxiang 453003, China
3) Management Institute, Xinxiang Medical University, 601 Jinsui Road, Xinxiang 453003, China
影响因子(Impact Factor,IF)自 1955年Garfield博士[1]提出以来,已经发展成为评估期刊国际地位和学术影响力的最普遍、最权威的指标之一。然而,IF的设计并非完美,随着在期刊评价中的广泛应用,IF逐渐暴露出各种缺陷并引发各种争议[2-3]。确切来讲,IF是一个平均值,被定义为某期刊最近两年发表的所有类型文献在统计当年的被引频次与该刊最近两年内发表的可被引文献(Citable Items)量之比[4]。 由定义可以看出,IF计算公式中的分子包含了所有类型文献的被引频次,分母仅包含可被引文献的数量,而可被引文献仅包含研究论文(Article)和综述(Review)[5-9]。 期刊除了发表可被引文献,还发表会议摘要(Meeting Abstract)、述评(Editorial Material)、信稿(Letter)、新闻(News Item)、更正(Correction)、书评(Book Review)、人物传记(Biographical Item)和重印文献(Reprint)等所谓的非可被引文献(Non-citable Items)。非可被引文献尤其是 Letter和 Editorial Material实际上是可被引用的,而且确实对期刊被引频次作出了贡献[10-12],由于这部分文献量不计入IF的分母,而其被引频次被计入分子。因此,这部分被引频次通常被学术界称为“免费的午餐”[13-14]。显然,IF计算公式中分子与分母所用文献类型不一致是其设计缺陷之一。
国内外部分学者开始注意IF的这一缺陷,并针对这一缺陷提出了相应建议。武夷山研究员[15]建议将IF分母中的可被引文献改为所有类型文献。Tort等[16]、Hernan[17]和 Pendlebury等[18]提出将 IF定义中的分子改为Article和Review两种类型文献的被引频次。Moed等[19-20]提出了两种改善方法,一是分别计算期刊各种类型文献的IF,二是将可被引文献定义为Article、Note、Letter和Review四种类型文献,并将这四种文献的被引频次计入IF的分子。然而,目前关于IF分子与分母文献类型计数不一致的研究仍然停留在提出修正建议,或者选择样本期刊进行修正后IF与传统IF的比较,缺乏对其修正效果的实证分析。本文以美国SCI眼科学期刊为研究对象,结合不同类型文献的被引用特征,对计算IF的设计公式进行调整和完善,在传统IF计算基础上提出5种矫正方法,并以美国眼科医生和研究人员对美国SCI眼科学期刊学术影响力的问卷调查评分为期刊真实影响力标准,通过实证分析验证不同矫正IF的期刊评价效果。
1 研究对象与方法
1.1 研究对象
研究对象为2014年版JCR数据库收录的美国眼科学期刊,共30种。
1.2 研究方法
1.2.1 不同类型文献数量及其被引频次获取
登录Web of Science(WoS)数据库,检索各期刊2012—2013年发表的全部文献,利用数据库的“精炼”功能,获取各期刊发表的不同类型文献数量,并通过数据库的“创建引文报告”功能,获取不同类型文献在2014年的被引频次。检索日期:2015-08-05。
1.2.2 IF的矫正方法
为保证IF分子与分母文献类型计数的一致性,结合不同类型文献的被引用特征,提出了5种矫正方法:
其中,公式(1)和(2)中,Ct-1和 Ct-2分别表示期刊在(t-1)年和(t-2)年发表的所有类型文献在t年的被引频次,Nt-1和Nt-2分别表示期刊在(t-1)年和(t-2)年发表的所有类型文献数量,NAREL(t-1)和NAREL(t-2)分别表示期刊在(t-1)年和(t-2)年发表的Article、Review、Editorial Material和 Letter类型文献数量。 公式(3)中,CAR(t-1)和 CAR(t-2)分别表示期刊在(t-1)年和(t-2)年发表的Article和Review类型文献在 t年的被引频次,NAR(t-1)和 NAR(t-2)分别表示期刊在(t-1)年和(t-2)年发表的Article和Review类型文献数量。 公式(4)和(5)中,CAREL(t-1)和CAREL(t-2)分别表示期刊在(t-1)年和(t-2)年发表的Article、Review、Editorial Material和 Letter类型文献在 t年的被引频次,NAR(t-1)、 NAR(t-2)、NAREL(t-1)、NAREL(t-2)与公式(2)和(3)中的含义相同。
1.2.3 问卷调查
考虑到问卷调查中不同国家的科研人员对其他国家的期刊不了解而导致评分误差[21],我们对前期的调查方法进行了相应改进,仅调查美国眼科医生和研究人员对美国眼科学期刊学术影响力和质量的评分。从WoS数据库获取近10年发表过SCI眼科学论文的美国眼科医生和研究人员E-mail地址,共获取7077位通讯作者的E-mail,通过问道网(AskForm)提供的问卷调查系统(http://www.askform.cn/Survey/default.aspx)设计英文版调查问卷并给这些通讯作者发送电子邮件,邮件内容中说明调查目的以及评分原则和方法,并提供填写问卷的网页链接(http://app.askform.cn/b8e560ec-16ec-4b35-9267-f895e3915e51.aspx? Type=2),让被调查者给每种期刊评分(最高分为10.0,最低分为0.0,未打分者计为0.0),统计各期刊所得专家评分总和作为期刊真实影响力标准。共收到回复问卷124份,剔除评分期刊低于3种、对所有期刊评分均为最高或最低分以及对期刊按顺序评分的问卷,得到有效问卷112份。问卷调查时间:2015-08-04—2015-09-15。1.2.4 统计分析方法
采用SPSS 22.0对各指标进行双变量Spearman相关性分析,检验水准:α=0.05。
2 结果与分析
2.1 30种眼科学期刊发表的不同类型文献量及其被引频次
不同期刊发表的文献类型和各类型文献数量及其被引频次具有明显差异,2012—2013年30种眼科学期刊发表的各类型文献数量及其被引频次见表1。可以看出,30种眼科学期刊主要发表Article类型文献,其次是 Letter、Editorial Material和Review类型文献,被引用的主要是Article类型文献,其次是Review、Letter和Editorial Material类型文献。眼科学期刊发表的Letter总量远高于Editorial Material,但两者的被引频次相差不大,说明眼科学期刊发表的Editorial Material比Letter更容易被引用。Editorial Material和Letter作为非可被引文献,都有一定程度的引用,但发表的Biographical Item、Correction和News Item等非可被引文献数量非常少,而且几乎没有被引用。不同期刊发表的各类型文献数量差异显著,Molecular Vision发表的Article比例最高,占 98.23%;Current Opinion in Ophthalmology发表的 Review比例最高,占93.98%;Ocular Surface发表的 Editorial Material比例最高,占35.82%;Ophthalmology发表的Letter比例最高,占29.65%。不同类型文献对期刊IF的贡献率不同,Ophthalmic Surgery Lasers&Imaging Retina发表的Article对IF贡献率为100%;Current Opinion in Ophthalmology发表的Review对IF贡献率达99.75%;Journal of Neuro-Ophthalmology发表的Editorial Material对 IF贡献率为9.87%;JAMA Ophthalmology发表的 Letter对 IF贡献率为11.21%。Surv Ophthalmol和 Curr Opin Ophthalmol两种期刊主要发表Review类型文献,同时发表少量的 Editorial Material和 Letter类型文献,Surv Ophthalmol仅发表 Article论文 1篇,Curr Opin Ophthalmol发表0篇。由于Review论文往往有更高的引用潜能,Editorial Material和Letter类型文献数量不计入IF的分母,而一旦被引用则被计入分子[22]。因此,这两种期刊的IF都相对偏高。
2.2 30种眼科学期刊的问卷调查评分及矫正IF
总结112份有效问卷,我们获取了30种眼科学期刊的问卷调查评分总和。根据前文介绍的IF矫正方法,分别计算了各种期刊的5种矫正IF值,并通过JCR数据库获取了Garfield定义的传统IF,结果见表2。可以发现,期刊的不同矫正IF及传统IF之间均存在差异。因此,根据不同类型IF对期刊进行排序可能会产生不一样的结果。由于IFTotal/Total和IFTotal/AREL分母统计的文献量比传统IF多,IFAR/AR和IFAREL/AR分子统计的被引频次比传统 IF低,而IFAREL/AREL分母统计的文献量比传统IF多但分子比其统计的被引频次低。因此30种眼科学期刊的5种矫正IF均低于传统IF。
表1 30种眼科学期刊发表的不同类型文献数量及其被引频次
表2 30种眼科学期刊的问卷调查评分及矫正IF
2.3 30种眼科学期刊的问卷评分与矫正IF及传统IF相关性分析
同行专家评价被公认为是检验引文指标有效性的最重要标准,通过专家问卷调查获得的期刊影响力得分能够直接反映不同期刊在科研人员心目中的真实影响力[23-24]。因此,分析30种眼科学期刊的专家评分和5种矫正IF及传统IF之间的相关性,可以验证各种矫正IF以及传统IF的期刊评价效果。
对30种眼科学期刊的问卷调查评分以及各种IF分别进行K-S正态分布检验。结果显示,问卷评分、IFTotal/Total、IFTotal/AREL、IFAR/AR、IFAREL/AREL和传统 IF均服从正态分布,IFAREL/AR为非正态分布。因此,对期刊的问卷评分和各种矫正IF及传统IF进行Spearman秩相关检验,结果见表3。
由表3可以看出,30种眼科学期刊的5种矫正IF及传统IF与问卷调查评分之间均呈显著正相关关系。传统IF与5种矫正IF的相关系数均在0.9以上,其中与IFAREL/AR、IFAR/AR之间的相关度最高,相关系数分别为0.967和0.966。5种矫正IF之间高度相关,IFTotal/Total和 IFTotal/AREL、IFAREL/AREL之间的相关系数高达0.999;IFTotal/AREL和IFAREL/AREL之间的相关系数为1.000;IFAR/AR和IFAREL/AR之间的相关系数为0.996。IFAR/AR和 IFAREL/AR之间的相关度最高,IFAREL/AREL和IFTotal/AREL相关度最高。5种矫正IF与问卷调查评分之间的相关系数均高于传统IF与问卷调查评分之间的相关系数,其中IFAR/AR与问卷调查评分之间的相关性最高,相关系数为0.715,其次是IFAREL/AR,与问卷调查评分之间的相关系数为0.713。IFTotal/AREL、IFAREL/AREL与问卷调查评分之间的相关系数相同,均为0.692。
表3 30种眼科学期刊的问卷调查评分与矫正IF和传统IF相关性分析
3 结论与讨论
3.1 矫正IF与传统IF均呈显著正相关
矫正IF是在传统IF基础上根据可被引文献与非可被引文献的定义对其进行调整和完善,本文从三个角度确定了IF的矫正方法:一是对分母进行矫正,二是对分子进行矫正,三是对分子和分母同时进行矫正。对于眼科学期刊而言,各种矫正IF与传统IF之间均呈显著正相关,而且均为高度相关,原因可能是尽管眼科学期刊发表了较多数量的非可被引文献,但这些非可被引文献的数量与Article和Review类型文献量相比仍然很低,其被引频次与Article和Review的被引频次相比更低。IFAR/AR和IFAREL/AR是对传统IF分子进行的矫正,与IF之间的相关系数明显高于其他指标与IF之间的相关系数。由于眼科学期刊发表的非可被引文献中,被引用的主要是Letter和Editorial Material,其它非可被引文献几乎很少被引用。因此IFAREL/AR与传统IF的相关度最高。Letter和Editorial Material类型文献的被引频次远低于Article和Review,因而IFAR/AR与传统IF之间也有极高的相关度。IFTotal/Total和IFTotal/AREL都是对传统IF分母进行的矫正,IFTotal/Total保持了分子与分母文献类型的统一,与IF之间的相关度略高于IFTotal/AREL与IF之间的相关度。
3.2 5种矫正IF之间均有极高的相关度
统计学分析表明,5种矫正IF之间均高度相关。IFTotal/Total和IFTotal/AREL几乎完全相关,相关系数高达0.999,原因是这两种矫正方法的唯一差异在于分母,而眼科学期刊发表的文献类型相对集中,主要是 Article、Review、Letter和 Editorial Material四种类型。因此,两者之间的来源文献数量相差不大。由于眼科学期刊的被引频次主要来自Article、Review、Letter和Editorial Material四种类型文献,其它非可被引文献几乎很少被引用,文献量也很低。因此,IFAREL/AREL和 IFTotal/Total最相关,相关系数为0.999。Letter和Editorial Material类型文献的被引频次远远低于Article和Review的被引频次,基本不会影响指标的计算值。因此,IFAREL/AR和IFAR/AR最相关,相关系数高达0.996,即眼科学期刊的IFAREL/AR值和IFAR/AR值非常接近。眼科学期刊各种矫正IF之间的相关系数均在0.9以上,因此,根据各种矫正IF进行的期刊排序应该基本一致。
3.3 IFAR/AR的矫正效果最理想
30种眼科学期刊的5种矫正IF与问卷调查评分均呈显著正相关关系,相关系数都明显高于传统IF与专家评分之间的相关性。因此,对于眼科学期刊,5种矫正IF的期刊评价效果都优于传统IF。IFAR/AR与问卷调查评分之间的相关度最高,表明该指标的期刊评价效果最理想。IFAREL/AR与问卷调查评分之间的相关性仅次于IFAR/AR,但高于IFTotal/Total,说明 IFAREL/AR的期刊评价效果优于 IFTotal/Total。IFTotal/AREL、IFAREL/AREL与问卷调查评分之间的相关度最低,期刊评价效果在5种矫正IF中可能最不理想。鉴于此,我们建议对期刊影响因子的矫正采用IFAR/AR。如果考虑Editorial Material和Letter两类文献对期刊影响力的贡献,也可采用IFAREL/AR。
3.4 研究的局限性
本文基于传统IF的计算原理,结合不同类型文献的被引用特征,对传统IF进行了文献类型矫正,提出了5种可能更加合理、更能反映期刊真实影响力的矫正IF,最终认为5种矫正IF的期刊评价效果都优于传统IF。然而,我们的研究结论完全基于眼科学期刊,由于学科性质的差异,不同学科期刊包含的文献类型不同,而且不同类型文献数量及被引频次构成差异很大,其他学科是否会呈现出同样的规律还有待进一步研究。
[1] Garfield E.Citation Indexes for Science:A New Dimension in Documentation through Association of Ideas[J].Science, 1955,122(3159):108-111.
[2] 俞立平.历史影响因子:一个新的学术期刊存量评价指标.图书情报工作,2015,59(2):89-92.
[3] 徐海丽.影响因子人为操纵案例分析及构建期刊综合评价体系设想.中国科技期刊研究[J], 2014,25 (5):691-695.
[4] Garfield,E.The History and Meaning of the Journal Impact Factor[ J].The Journal of the American Medical Association,2006, 295(1):90-93.
[5] Dorta-Gonzalez P, Dorta-Gonzalez MI, Santos-Penate DR, et al.Journal Topic Citation Potential and Between-Field Comparisons:The Topic Normalized Impact Factor[J].Journal of Informetrics.2014, 8(2):406-418.
[6] Zupanc GKH.Impact beyond the Impact Factor[J].Journal of Comparative Physiology, 2014, 200(2):113-116.
[7] Journal Citation Reports.Journal Source Data[OL].[2015-09-14].http://admin-apps.webofknowledge.com/JCR/help/h_sourcedata.htm#sourcedata.
[8] 刘雪立.基于Web of Science数据库预测SCI期刊影响因子的方法[J].科技与出版,2014 (2):87-91.
[9] 刘雪立.10种国际权威科技期刊影响因子构成特征及其启示[J].编辑学报,2014,26(3):296-300.
[10] Heneberg P.Parallel Worlds of Citable Documents and Others:Inflated Commissioned Opinion Articles Enhance Scientometric Indicators[J].Journal of the Association for Information Science and Technology, 2014, 65(3):635-643.
[11] Moed HF,Vanleeuwen TN.Improving The Accuracy of Institute for Scientific Informations Journal Impact Factors[J].Journal of the Association for Information Science and Technology, 1995, 46(6):461-467.
[12] 刘雪立,盖双双,张诗乐,等.“非可被引文献”的引证特征及其对科技期刊影响因子的贡献[J].编辑学报,2015,27(5):495-499.
[13] Opthof T.Impact Factor 2013 of the Netherlands Heart Journal Surpasses 2.0[J].Netherlands Heart Journal, 2014, 22(4):167-138.
[14] van Leeuwen T.Discussing Some Basic Critique on Journal Impact Factors:Revision of Earlier Comments[J].Scientometrics, 2012, 92(2):443-455.
[15] 武夷山影响因子的定义最好调整一下[OL].[2015-09-25].http://blog.sciencenet.cn/blog-1557-806325.html.
[16] Tort ABL, Targino ZH, Amaral OB.Rising Publication Delays Inflate Journal Impact Factors[J].Plos One, 2012, 7(12):1-6.
[17] Herna′n MA.Epidemiologists(of All People) Should Question Journal Impact Factors(with Discussion) [J].Epidemiology,2008,19:366-368.
[18] Pendlebury DA, Adams J.Comments on a critique of the Thomson Reuters Journal Impact Factor[ J].Scientometrics,2012, 92(2):395-401.
[19] Moed HF,Vanleeuwen TN.Improving the Accuracy of Institute for Scientific Informations Journal Impact Factors[J].Journal of the American Society for Information Science, 1995, 46(6):461-467.
[20] Moed HF, vanLeeuwen TN,Reedijk J.A Critical Analysis of the Journal Impact Factors of Angewandte Chemie and the Journal of the American Chemical Society-Inaccuracies in Published Impact Factors based on overall Citations Only[ J].Scientometrics,1996, 37(1):105-116.
[21] 刘雪立,盖双双,张诗乐,等.不同引证时间窗口影响因子的比较研究——以SCI数据库眼科学期刊为例.中国科技期刊研究,2014,25(12):1509-1512.
[22] Bagatin E, Gontijo B.The Expansion of a Measure:What Is a Scientific Journal Impact Factor and How Important Is it for Academic Brazilian Dermatologists[J].International Journal of Dermatology, 2011, 50(11):1432-1434.
[23] Harnad S.Validating Research Performance Metrics against Peer Rankings[J].Ethics in Science and Environmental Politics, 2008(11) :103-107.
[24] Weale AR,Bailey M,Lear P.The Level of Non-Citation of Articleswithin a Journal as a Measure of Quality:a Comparison to the Impact Factor[J].BMC Medical Research Methodology,2004, 4 (14):1-8.