论文被引率在科技期刊评价中的地位和作用——基于36种SCI眼科学期刊问卷调查的实证研究*

盖双双 张诗乐 刘雪立 刘睿远

1）新乡医学院管理学院，453003 新乡市金穗大道601号，E-mail：gss0402@126.com

2）河南省科技期刊研究中心，453003 新乡市新乡医学院

3）新乡医学院期刊社，453003 新乡市金穗大道601号，E-mail：liueditor@163.com

科技期刊被誉为“整个科学史上最成功、无处不在的科学情报载体”，期刊评价是文献计量学研究的重要组成部分，它通过一系列文献计量学指标进行量化分析，揭示科技文献在期刊中的分布规律，为提高学术期刊的内在质量、优化学术期刊的使用提供重要参考［1-2］。运用文献计量学指标准确、合理地评价科技期刊学术质量日益受到编辑出版、图书情报和科研管理部门的重视［3］。但近年来，随着科研环境日渐复杂及科研工作者对传统文献计量学指标的深入研究，各指标的弊端日渐凸显。例如，一直备受青睐的影响因子，自1975年JCR发布即成为关注焦点，并逐渐演化成国际通行证和期刊评价的核心内容［4］。但Vanclay［5］却指出人们其实高估了其重要性，中国人民解放军医学图书馆资源建设部刘鹏年［6］也指出，影响因子对期刊的评价远非完美，理论上和实践上都需要更为准确的评价指标。因此，寻找新的期刊评价指标成为国内外研究的焦点。

美国学者Markusov［7］和Smart等［8］分别在1973年和1981年提出“被引率”这一概念，并对其进行了初步探讨，之后学者们陆续提出论文被引率与期刊质量的关系，开始考虑将论文被引率作为期刊质量评价的标准之一，并对其进行了更深入的研究。Smolinsky等［9］研究指出被引率随着学科不同而变化。Vanclay［5］分析了影响因子、作者h指数等与被引率之间的关系，并指出被引率仅仅是科研评价的一个方面，将其作为期刊评价指标还需进一步考证。Weale等［10］和刘雪立等［11］研究了零被引率与影响因子之间的关系，证实了零被引率作为期刊反向评价指标的合理性。Guthrie等［12］也指出期刊被引率作为期刊质量评价标准是合理有效的。Ohmer等［13］认为，论文被引率与论文发表时间和论文发表期刊的影响因子均显著相关，建议同时使用被引率和影响因子两个指标进行科研绩效评价。另外，Van Campenhout［14］指出论文被引率与同行公认的其它指标高度相关，也支持被引率作为有效的科研绩效标准。美国汤森路透科技信息集团在其2011年新创建的InCites数据库中，把论文被引率（% documents cited）作为机构评价的重要文献计量学指标之一［15］。综合国内外研究现状，目前有关论文被引率作为期刊评价指标是否合理均是通过与目前通用评价指标比较而确定的。但是任何一个期刊评价指标都存在一定的局限性，因此用一个指标来验证另一指标的有效性都是不科学的。本文通过对36种SCI眼科学期刊的问卷调查，试图建立一个期刊评价的金标准，进而探讨论文被引率在科技期刊评价中的地位和作用。

1 研究对象与方法

1.1 研究对象

本文选择SCI数据库2012年收录的56种眼科学期刊，考虑到过度自引对期刊影响因子等指标有明显影响［16-19］，参考Liu等［20］提出的中国医学期刊过度自引的标准，排除自引率≥0.3以及IF自引率≥0.3者。由于要计算期刊的10年论文被引率，排除2003年未被SCI数据库收录者，同时排除被SCI数据库收录但未参与问卷调查者，最终确定36种眼科学期刊为研究对象。

1.2 论文被引率的概念和计算方法

期刊论文被引率是指某期刊在某一年发表的论文中，在一定时期内被引用的论文所占的百分率，主要反映期刊发表高质量论文的多少。由于论文被引用情况与论文发表后时间长短有密切关系，所以计算期刊被引率必须考虑论文发表的时间。本文主要研究科技期刊的2年、3年、5年、8年和10年被引率［11］。

某期刊的2年论文被引率是指该期刊在某一年发表的论文到次年末被引用的论文数占该刊在某一年发表论文总数的百分比，具体到本文，其计算公式如下：

其他年限的论文被引率以此类推。

1.3 指标来源

各期刊影响因子、5年影响因子、即年指标和特征因子均来源于Web of Knowledge数据平台的2012版JCR数据库。

1.4 问卷调查数据来源

本文所用的问卷调查数据来源于我们前期对全球8525个眼科医生所做的问卷调查的总结，数据处理方法和结果见文献［21］。

1.5 统计分析方法

统计分析工具为SPSS 21.0，期刊论文被引率与传统文献计量学指标及问卷调查得分排序的关系采用Spearman秩相关检验进行分析，检验水准：α=0.05。绘图使用Excel2003。

2 结果与分析

2.1 期刊论文被引率、传统文献计量学指标及问卷调查得分情况

36种眼科学期刊的2年、3年、5年、8年和10年论文被引率与传统文献计量指标（影响因子、5年影响因子、即年指标和特征因子）及问卷调查得分结果见表1。36种期刊2年、3年、5年、8年和 10年的平均被引率分别为0.580、0.789、0.907、0.948和0.958。

由表1可以看出，随着出版时间的延长，各眼科学期刊的论文被引率均逐渐升高，无一例外。论文发表5年后，多数期刊被引率达90%及以上，之后逐渐趋向稳定，变化不大，即各期刊被引逐渐趋于一致。这说明，论文被引用多集中在发表后5年内，如果5年内没有被引用，今后被引用的概率也不大。

在全球眼科医生心目中，排在前5位的期刊依次为InvestOphthVisSci、AmJOphthalmol、Ophthalmology、Arch Ophthalmol-Chic和BritJOphthalmol。这些期刊的2年、3年、5年、8年和10年被引率、各传统文献计量学指标值以及问卷调查得分均明显高于其他期刊，可见这些期刊在眼科学领域确实具有较高的学术地位和影响力。各眼科学期刊得分的显著差异，反映了各期刊在眼科医生心目中的实际影响力明显不同。

2.2 论文被引率与其他文献计量学指标的关系

目前，全球公认的文献计量学指标主要有影响因子、5年影响因子、即年指标及特征因子，探讨被引率同这4个指标之间的相关关系，可以间接说明期刊论文被引率用于期刊评价的合理性。为了直观反映不同年限期刊被引率与传统文献计量学指标的关系，本文利用Excel 2003制作了36种眼科学期刊2年论文被引率与各传统文献计量学指标关系的散点图（图1），Spearman双变量相关性检验结果见表2。

由图1和表2可知，36种眼科学期刊的2年和3年被引率与各传统文献计量学指标均显著相关。5年被引率与影响因子、5年影响因子和特征因子显著相关。8年被引率与影响因子和5年影响因子相关，10年被引率只与影响因子相关。2年、3年和5年被引率与影响因子、5年影响因子及特征因子都显著相关。以上数据说明被引率作为科技期刊评价指标具有一定的科学性和合理性。但随着论文发表时间的延长，被引率与传统文献计量学指标相关性下降，表明短期被引率指标用于科技期刊评价优于长期被引率指标。

2.3 论文被引率、传统文献计量学指标与问卷调查结果的比较

利用SPSS统计软件，将期刊的问卷调查得分排序与传统文献计量学指标及论文被引率排序进行等级相关检验，结果如下：36种眼科学期刊问卷调查排序与影响因子、5年影响因子、即年指标和特征因子排序的相关系数分别为0.749（P=0.000）、0.723（P=0.000）、0.602（P=0.000）和0.838（P=0.000）。问卷调查排序与特征因子相关系数最大，与影响因子的相关系数大于其与5年影响因子的相关系数。36种眼科学期刊问卷调查排序与2年、3年、5年、8年和10年被引率排序的相关系数分别为0.544（P=0.001）、0.354（P=0.034）、0.230（P=0.178）、0.095（P=0.581）和0.075（P=0.662），其与2年被引率的相关系数最大，与5年、8年和10年被引率无相关性。为更直观反映不同年限论文被引率与问卷调查得分情况的关系，本文利用Excel 2003制作了36种眼科学期刊问卷调查得分与2年、3年、5年和8年论文被引率关系的散点图（图2）。

表1 36种眼科学期刊论文被引率、传统文献计量学指标及问卷调查得分

表2 期刊论文被引率与传统文献计量学指标的相关性

图1 36种眼科学期刊2年论文被引率与传统文献计量指标的关系

图2 36种眼科学期刊问卷调查得分与不同年限论文被引率的关系

3 结论

3.1 问卷调查的目的和意义

考虑到任何一个文献计量学指标都存在其自身无法克服的局限性甚至偏差，因此，用其评价另外一个指标的有效性是不严谨的。基于这一缺陷，我们对全球8525个眼科医生发放E-mail问卷调查表，由眼科医生自己填答问卷，对每个SCI眼科学期刊打分、排序，并以此作为眼科学期刊影响力评价的金标准来研究被引率。问卷调查排序之所以能够作为金标准，理由是：

（1）问卷调查能够突破时空限制，对众多调查对象同时进行调查，准确反映出36种眼科学期刊在全球眼科医生心目中的真实地位和实际影响力，且结果便于统计和分析；

（2）以问卷调查排序为金标准，将其与传统文献计量学指标及被引率排序进行等级相关检验，能够进一步确定目前传统文献计量学指标中的最优指标，判断被引率作为期刊评价指标的科学性及合理性；

（3）由于随着论文发表后时间的延续，被引机会或被引频率均增加，因此，期刊出版后经历的时间长短不同，其论文被引率也不同。确定了论文被引率在期刊评价中的作用后，还必须考虑究竟几年论文被引率用于期刊评价效果更好。

通过问卷调查排序与2年、3年、5年、8年和10年被引率排序的等级相关性检验，能够较好地解决这一问题。

3.2 被引率在科技期刊评价中的应用

通过分析被引率与各传统文献计量学指标之间的相关关系，我们认为被引率用于期刊评价具有一定的科学性和合理性。进一步研究问卷调查排序与被引率排序之间的关系，结果提示，问卷调查排序与2年和3年被引率显著相关，而与5年、8年和10年被引率不相关。说明只有2年和3年被引率指标可以用于科技期刊评价，且2年被引率优于3年被引率。

3.3 传统文献计量学指标的期刊评价效能

问卷调查排序与各传统文献计量学指标排序的等级相关检验结果表明，特征因子排序与期刊实际影响力排序的关系最密切，相比较之下，能够更好地反映期刊的真实影响力，这与特征因子的提出背景及其计算原理相吻合，即基于“期刊越多地被高影响力期刊所引用，则其影响力也越高”这一基本假设［22］，针对期刊影响因子的种种“漏洞”提出的新改进，其计算不包括自引，论文被引年限从2年延长到5年，以期刊影响力为权，同时测量引文的数量和“质量”，实现引文数量与价值的综合评价。影响因子与5年影响因子比较，前者优于后者。5年影响因子是汤森路透科技信息集团于2007年版JCR中增加的新评价指标［23］，是基于期刊前5年发表论文的被引频次计算而来的。本文中期刊问卷调查得分与影响因子相关性大于其与5年影响因子相关性的原因可能在于：（1）部分眼科医生在对某些期刊不是十分了解的情况下，根据各期刊影响因子的大小对其进行打分，导致本文中影响因子用于科技期刊评价优于5年影响因子的结果；（2）医学属于热门学科，医学期刊发表论文多在2年内达到被引高峰，因此2年影响因子能够较客观地反映期刊的学术影响力，使得5年影响因子用于医学期刊评价并不像当初设计的那样理想。确切原因尚有待于进一步研究。

综上所述，2年和3年论文被引率用于科技期刊评价是合理有效的，其中，2年被引率优于3年被引率，5年以上论文被引率完全丧失了期刊评价作用。各传统文献计量学指标相比较，特征因子的评价效能明显优于其他指标。本文研究结果显示，在眼科学期刊的评价中，5年影响因子并不比2年影响因子理想。当然，不同学科有其特殊性，在科技期刊评价的实践中，建议采用多个文献计量学指标（包括论文被引率）对期刊进行全面综合的评价。

1 俞立平，潘云涛，武夷山.学术期刊评价指标选取若干问题的思考.情报杂志，2009，28（3）：75-77

2 俞立平，潘云涛，武夷山.基于因子分析的学术期刊评价指标分类研究.图书情报工作，2009，53（8）：146-149

3 吴月红.文献计量指标与科技期刊评价.淮南工业学院学报：社会科学版，2002，4（3）：99-101

4 宋丽萍，王建芳.期刊评价指标实证研究.图书情报知识，2013，（03）：74-80

5 Vanclay JK.Factors affecting citation rates in environmental science.JournalofInformetrics，2013，7（2）：265-271

6 刘鹏年.期刊引文评价新指标Eigenfactor.科技信息，2009，（35）：1215

7 Markusov VA.Comparative study of citation rates of Soviet scientific and technical publications.Nauchno-Tekhnicheskaya Informatsiya Seriya，1973，（1）：27-31

8 Smart JC，Elton CF.Structural Characteristics and Citation Rates of Education Journals.AmericanEducationalResearchJournal，1981，18（4）：399-413

9 Smolinsky L，Lercher A.Citation rates in mathematics：a study of variation by subdiscipline.Scientometrics，2012，91（3）：911-924

10 Weale AR，Bailey M，Lear PA.The level of non-citation of articles within a journal as ameasure of quality：a comparison to the impact factor.BMCMedicalResearchMethodology，2004，4：14-21

11 刘雪立，方红玲，周志新等.科技期刊反向评价指标——零被引论文率及其与其他文献计量学指标的关系.中国科技期刊研究，2011，22（4）：525-528

12 Guthrie JT，Seifert M L.Mosberg.Research synthesis in reading：Topics，audiences，and citation rates.ReadingResearchQuarterly，1983，19（1）：16-27

13 Ohmer ME，Bishop PJ.Citation rate and perceived subjectbias in the amphibian-decline literature.ConservBiol，2011，25（1）：195-199

14 Van Campenhout G，Van Caneghem T.Article contribution and subsequent citation rates：evidence from European accounting review.EuropeanAccountingReview，2010，19（4）：837-855

15 刘雪立.一个新的引文分析工具——InCites数据库及其文献计量学指标的应用.中国科技期刊研究，2013，24（2）：277-281

16 Biglu M H.Tendency to the self-citation among journals in Iran and Turkey［EB/OL］.［2010-06-23］.http：//M www.zevep.com/ php/artikeldetail_x.php？typ=oa&i id=122736

17 Cam panario JM，Gonzalez L.Journal self-citations that con-tribute to the impactfactor：Documents labeled“editorial material”in journals covered by the Science Citation Index.Scientometrics，2006，69（2）：365-386

18 Zhivotovsky L A，Krutovsky K V.Self-citation can in flate hindex.Scientometrics，2008，77（2）：373-375

19 刘雪立，方红玲，周志新等.我国自引率不同的科技期刊文献计量学特征的对照研究.编辑学报，2011，23（1）：25-28

20 Liu X L，Wang M Y.Self-citation in Chinese biomedical journals.LearnedPublishing，2010，23（2）：93-100

21 刘睿远，刘雪立，王璞等.基金论文比作为科技期刊评价指标的合理性——基于SCI数据库中眼科学期刊的实证研究.中国科技期刊研究，2013，24（3）：472-476

22 王琳.特征因子与影响因子及总被引频次的指标特性比较——基于TOP期刊群样本的实例分析.编辑学报，2013，25（2）：200-204

23 赵星.JCR五年期影响因子探析.中国图书馆学报，2010，36（3）：120-126