影响因子人为操纵案例分析及构建期刊综合评价体系设想*

■徐海丽

上海大学期刊社《Applied Mathematics and Mechanics（English Edition）》，上海市上大路99号 200444，E-mail：hlxuhlxu@gmail.com

近年来，关于影响因子（Impact Factor，IF）这个期刊评价指标的议论越来越多。笔者在各种会议上，或多或少都能听到期刊届同仁在讨论如何进入SCI，如何“合理”地提高IF。这些人为操纵手段甚至被大家争相借鉴来提高其刊物的IF。鉴于以上情况，笔者综合国外相关人为操纵IF的案例，对以IF为主要指标的评价体系提出了自己的看法。对构建合理的科技期刊综合评价体系提出了设想和建议。

1 IF概念及分析

l.l 概念

被SCI收录的期刊某年的IF是由ISI（汤森路透）所计算出来的。IF是指前两年的文章在当年的被引频次与前两年文章数的比值。

以影响因子（IF）为主要指标的期刊评价体系被广泛地采用来评判期刊质量。图书管理员们参考它来做出购买和更新的决定；科研工作者们参考它来决定文章发表在哪个期刊，以及参考阅读什么样的内容；职称评审机构普遍认为高影响因子期刊所发表的文章代表着较好的研究工作；编辑和出版商们也用它来作为评估和提升其刊物的一种手段。

l.2 缺点

20世纪90年代末起，已经对影响因子颇有微词[1-4]：

（1）期刊文章的被引情况不能决定期刊的质量。Luis Amaral等人认为只有当被研究对象是正态分布（贝尔曲线）时，平均数才有充分的意义，但论文引用率并非如此。Amaral小组对1955年来2000多本期刊的2300万篇论文研究发现，引用率最高的论文共被引用20万次，相比之下，其中一半的论文根本没有被引用过。Amaral说：“引用率很高的论文会显著影响到这一平均数字，无论其他论文的引用率高低与否。”

（2）IF只是一个粗略的统计，它只说明了被引情况信息中特殊的一项指标。

（3）IF是一个有缺陷的统计指标。一方面，文章的被引频次被高度放大，因此期刊容易被误导。另一方面，IF仅代表了前两年文章在当年的被引情况。这一点尤其与数学学科发展严重不符。事实上，数学类文章大于90%的被引用发生在出版的两年之后[1-5]。不同领域研究论文的引用程度往往不同。比如医学和物理学方面的论文常常在发表后不久就得到引用，而经济学和数学学科方面的研究成果甚至需要几年几十年来积累引用率。同一领域内的不同期刊同样存在这种情况[6]。

（4）统计IF的期刊数据库有缺陷，其对期刊的选择是有偏颇的。文献[7]指出由于中国科学引文数据库（Chinese Science Citation Database，CSCD）与SCI数据库收录的期刊源不同，“SCI‘顶级期刊'在CSCD中大都沦为‘泯然众刊'：影响因子几乎都小于1，排名呈无规律的分布——与它们在SCI中的高影响因子毫无关联！如果有人也按照CSCD IF排行给科技期刊分区的话，这些‘顶级期刊'大多只能被分到最低的第4区”[7]。

（5）许多复杂因素被忽略了。如作者自引、出版语言、文章类型（社论、评论、快报还是原创稿件）等。阿香博（E.Archambault）等指出：如果加菲尔德当初选择其他语言的期刊作为初始的来源期刊，就会形成与现在完全不同的SCI体系[8]。文献[7]详细说明了汤森路透公布的JCR2011中知名刊物Nature影响因子分母并未将社论、评论、快报这类文章计入，但分子却是所有文章类型的引用数据，导致其IF从12.7骤升到36。

l.3 IF对期刊评价的影响

除了上面提到的，基于IF的简单易获性，它对很多人还是很有吸引力的。它不需复杂的判断却能代表期刊的质量。早在2000年，国外已关注到[9]，IF已经从模糊的文献计量学指标变成判断以下因素质量的主要定性测量指标，包括：期刊质量、论文质量、作者科研水平，甚至成为该作者所在机构科研实力的重要评判指标。期刊通过大力宣传介绍其IF发展情况来扩大刊物的影响，这个现象不仅在国内，甚至在国外也非常普遍。如某期刊出版商会发EMAIL告知大家其刊物IF今年较去年增长了零点零几个百分点，非常感谢为之做出贡献的编委和作者们等。其实仔细分析一下该刊的发文总数和被引总数，我们不难看出，所谓IF的提高也就是较去年有一篇文章多被引了一两次而已。虽然是很简单的数据分析，但从这个绝不是个案的例子可以看出，IF对扩大期刊的影响非常之深。

2 对IF的人为操纵及案例分析

IF重要性日益提高，很多期刊主编和出版商都把它做为期刊发展的目标。于是，出现了许多人为操纵来提高IF的手段，IF是增加了，但刊物的质量却没有上升，甚至还下降了。人为提高IF手段形式多种多样。由于ISI已经越来越重视期刊自引率的控制，因此很多期刊通过人为操纵来提高他引频次。1）期刊联系一批可靠的科研工作者，让他们自引或互相引用本刊所发文章来提高刊物的IF；2）或期刊编辑部之间达成协议，告知修改后录用的文章作者引用合作期刊的相当数量的文章，以达到合理的他引。近年来，国际上也流行一种更高级别的常用手段，通过发表大量引用本刊前两年文章的综述性论文来提高IF。

2.l International Journal of Nonlinear Sciences and Numerical Simulation（IJNSNS）案例

2.1.1 背景分析

从近年JCR报告[10]可知，IJNSNS在应用数学类期刊的IF表中名列前茅。从2006到2009年其IF稳居第一。而作为国际上非常知名的应用数学类旗舰期刊Communications on Pure and Applied Mathematics（CPAM）和 SIAM Review（SIREV）当年仅位居第2和第3名。这个现象引起了国际相关学者的极大关注，Douglas和Kristine对此进行了深入调查[11]，揭示了应用数学类期刊IJNSNS靠人为操纵来提升其IF的事实。此事件在国际上引起了轩然大波。

澳大利亚学术研究理事会[12]（Australian Research Council）的专家评审公布了一项评议，列出了20000多本同行评议期刊的排名。这是一个由庞大成员组成进行评审的过程。包括知名学术机构（如澳大利亚数学学会）和许多研究员和评审专家。这个排名在2010年被澳大利亚杰出研究（ERA）评估所采纳，并被作为2010年ERA期刊列表。

JCR2008年收录的应用数学类期刊共有175种，ERA列表只包括了其中的170种[12]期刊。ERA期刊排名和其JCR中的IF通过比较得出：有相当一部分刊物的IF虽然很高，但却排在ERA列表中的第2、3甚至第4等级中。可见目前评价体系中的主要指标IF在此专家评审体系中所起作用并不大。

2.1.2 高IF之谜解析

IJNSNS期刊在ERA[12]期刊排名中仅位居第3等级，但其IF却远超任意一本同类期刊。在该学科类中，ERA列表中有25种期刊属于第1等级。其中包括高IF的期刊CPAM和SIREV。前10名高IF的期刊多数属于ERA第1等级，除了两本属于ERA第2等级外，只有IF排第一的IJNSNS排在ERA的第3等级。也就是说，ERA列表揭示IJNSNS不仅不是顶尖的应用数学类期刊，而且其在170种ERA期刊的排名范围仅是第75～150位。专家评估结果和其最高的IF严重不匹配。具体分析如下：

（1）作者源分析

首先分析了多少作者引用IJNSNS文章，他们是谁。2008年引用IJNSNS文章最高的作者是其当时的刊物主编，2年内共引了其刊物文章243次，第二最高引其刊物文章的作者是其编委之一，引用114次，第三位是其区域主编，引用58次。这三位已经占了总引的29%。

这些主要引用的是计算IF的两年内的文章。2008年引用从2000以来发表的文章的频次中，CPAM有16%是对前两年的引用，SIREV只占8%，但IJNSNS却占了71.5%[11]！于是，调查者用重新定义的IF，即不是对2006和2007年文章的引用，而是对其之前6年（2000～2005）所发文的引用。被引半衰期（是指占文章总被引数一半所需时间）在应用数学类是10年，因此这个定义和IF一样有意义。而且它是独立的，不像JCR中的5年IF，还是用了IF前两年的引用量（包括被人为操纵的那些被引次数在内）。果然IJNSNS新定义的IF陡降至1/7，为1.27，CPAM和SIREV的IF却几乎保持不变。这说明IJNSNS的引用主要集中在计算IF的这两年内。

（2）期刊源分析

Journal of Physics：Conference Series引用此刊物最多。该刊某一期就引用了IJNSNS文章的294次，占计算IF所用的频次的20%，而这期正好是IJNSNS主编在其大学组织的一期会议的论文集。另外还有较大一部分引用来自IJNSNS的编委们。经过调查者费时的大量调查得知这些主编、编委对刊物的引用占了计算IF的引用频次的70%之多。

2.1.3 IJNSNS近况分析

在此调查之后的两年，在学界舆论的制约下，IJNSNS影响因子的人为操纵程度有所改变，从表1可以看出[10]，其IF等指标都有较大幅度下降，甚至2011年排在学科第28位，影响因子从2008年的8.479直降到2011年的1.484。

表l IJNSNS、SIREV、CPAM在JCR中的影响因子

2.2 国内案例

IF计算方法简单，容易人为操作。笔者发现不管是从政策导向还是各种组织进行期刊评选时，或多或少对IF这个指标都比较看重，甚至是否是SCI期刊成为遴选优秀期刊的门槛之一，在这种导向下，期刊同仁或公开或私下里均对刊物能否进SCI及如何快速提高IF非常热衷，采用一些进行所谓的合理提高IF的方法的不乏其人，尽管大家心里都知道IF只是一个指标并不能代表期刊和文章学术质量。这是笔者所忧虑的情况。

提高IF最方便直接的方法是提高自引率。国内科技期刊的期刊自引率普遍较高[13]。2012年6月30日国际部公布了国际检索月报第90号[14]：有6种中国期刊未能列入JCR（2011）。其中除2种期刊是其他原因未能列入外，其他4种均因“JCR数据中自引期刊的水平明显改变了期刊的影响因子和分类中的排名”，从而从JCR清单和期刊影响因子被从2011 JCR数据清单中取消。这是期刊因过度自引来提高IF而被发现的例子，这样人为操纵IF的期刊绝不是特例，需要引起高度重视。

表2 20ll JCR数据清单中因自引较高取消的一些期刊

由于ISI已经越来越重视期刊自引率的控制，因此很多期刊通过人为操纵来提高他引频次手段更加高明，揭发这些人为操纵的手段需要大量的时间和精力，做到有效的监督和管理非常困难。这种评价体系对期刊健康发展非常不利。

3 IF评价体系分析和专家评审方案

3.l IF评价体系分析

以IF为主要评价指标的评价体系可用来对个人、文章、机构、甚至国家进行评估。由汤森路透提供的基本科学指标被广泛地作为一种工具来评估相关学科顶尖的国家、期刊、科学家、论文以及机构。因此出现了越来越多的人为操纵手段来提高IF。通过以上案例可知，不论是个人还是期刊，以基于被引频次的IF为主要指标的评价体系不能简单地作为评判其质量的标准。上面的例子很极端，但毋容置疑这些手段被很多刊物或多或少地利用着。IF本身的缺陷和人为操纵手段使之不能作为构成评价体系的主要指标来准确地评判期刊质量，随之导致的后果极其严重：奖项可能会被错误地颁发，崇高的科学研究可能会被扭曲等。

与科学研究一样，如果简单的评价体系缺乏真实准确性时，这种简单化一定要被修改或淘汰。国内外对优化期刊论文质量的评价体系做出了努力和探索。统计三年、五年影响因子，确实也是对IF统计窗口的一种改进。但它和两年IF一样具有可操纵性，如果大家知道三年五年影响因子也作为主要指标的话，还是一样可以通过人为操纵提高此影响因子的。因此，这是一个合理的改进，但具有本身的局限性。还有如知网推出的综合IF评价体系[15]、近期颁发的2012年度中国最具国际影响力学术期刊体系、美国西北大学化学与生物工程学副教授Luis Amaral及他的同事提出的新标准[6]、西班牙的SCImago研究小组使用Scopus数据给出的新型期刊测评指标SCImago Journal Rank（SJR）[16]等。这些都不同程度地套用IF的计算体系，同SCI的IF一样本身存在固有的缺陷。

3.2 专家评审方案

以上案例中所提到的澳大利亚学术研究理事会的专家评审严谨、权威，其过程值得我们学习借鉴。通过笔者深入调研[12]，现将其介绍如下：

3.2.1 ARC期刊等级分类

ARC期刊等级分类标准分为以下4类等级：

A*级：期刊为该领域顶级期刊。其发文具有很高质量，研究工作非常重要，甚至左右该领域科研的发展。研究者以文章被录用而感到自豪。文章录用率非常低，编委会主体由该领域资深专家构成，包括许多来自顶级研究机构的专家。

A级：期刊大多数发文具有很高质量，能在本级别期刊上发表文章将提高作者的声望和地位，表明他们真正地致力于该领域的全球科研圈，他们对一些重大意义的课题进行了深入研究。本级期刊典型标志是其较低的录用率，其编委会成员有相当一部分是来自顶级科研机构的知名学者。

B级：期刊不是很著名，但是有可靠，值得信赖的名声。期刊仅有一小部分文章具有很高质量，他们多数发表博士研究生和科研人员早期的一些重要工作。典型例子是具有高录用率的区域性期刊。编委会成员很少有来自顶级国际科研机构的科研带头人。

C级：期刊为达不到以上级别标准的、具有一定质量的同行评议期刊。

3.2.2 评审过程

由于ERA期刊列表2012版是在2010版的基础上修改、发展而成，这里主要对2010版的评审体系进行介绍。ERA2010通过学科专家、学术顶级机构团体评审（为了表示感谢，这些团体名单已在网站进行公布），向公众广泛咨询意见，历时两年形成。

2010版列表涵盖了20712种同行评议期刊（两年内创刊的期刊不评级）。每本对应一个级别，并给与一个或多个分类号（这里采用的是澳洲与新西兰标准研究分类表，ANZSRC）。每个期刊至多有3个一级分类号和3个二级分类号（Field of Research codes或FoR codes）。FoR分类号要能代表期刊大多数文章的研究领域范围，分类号的准确分配能确保期刊的有效分类，有助于确定一个合理的期刊库。其过程具体如下：

第一阶段：列表形成和初审。4个知名科学院和许多学科顶级团体参与了期刊评级，形成列表草稿。该列表由ARC评审，同时咨询科学院和其他列表提供者，移去了重复无效的期刊。第二阶段：相应学科研究专家进行评审和反馈意见。这个阶段收集对草稿的反馈。特别是对期刊质量评级和FoR分类号是否适当的反馈意见。第三阶段：公众咨询期。ERA经两轮公示后最终确定期刊列表。公众可对期刊以下情况进行评论：1）被选资格。2）评估数据。注意这里评估数据是由澳洲高等教育机构提供，对数据的评估工作由研究评估委员会（Research Evaluation Committees， RECs） 承 担，RECs由杰出的国际知名专家组成。3）被分配的级别。4）研究领域代码。同时公众在有效期里可推荐增补符合条件的期刊。接着，发布ERA期刊列表草稿，收集最后反馈意见。ERA办公室通知各机构，公众通过网上公示及相关链接进行意见反馈。第四阶段：相关学科专家终审。在最后终审阶段，结合各方意见整理好的期刊评级列表提供给超过700位评审专家，专家协助ARC对列表的评级、分类号进行最后的检查。最后正式列表在网上进行公布。

4 总结

笔者认为基于专家评审比基于引用频次来判断刊物学术质量来的更为科学[10]。我们不排除专家评审就不存在潜在的问题，但是专家认真的评估比起IF或与之相似的其他指标为主的评价体系更能准确全面地反应刊物质量。

可借鉴澳大利亚学术研究理事会的专家评审过程，形成我国关于期刊质量评级的专家评审方案，对正确评估科研期刊做出贡献，相信经过长期完善和发展，我国期刊列表可以拥有甚至超过ERA列表的国际影响，形成我国自己的、国际化的学术期刊权威列表。

在政府的支持下，评审团体可由庞大的评审成员组成，包括国家和杰出的地方机构和专家。这些学科专家、学术顶级机构团体可由科学院、相关学科团体或相关学会及其科研专家构成，一定比例的专家要熟悉科技期刊的编辑出版或管理，具有权威性。

专家评审资格制度一定要严格。专家要以科学公正的态度评审，决不能为学院部门甚至个人谋取私利。可设立评审监督委员会进行有效监督。

科学家们对本学科内的最好期刊都有共识，因此这个评审体系会更具科学性和权威性。评价需要统一标准，但需考虑期刊专业学科特色及差异性来评定期刊综合水平。期刊评审体系采取定量与定性分析相结合。以学术引证的多项指标进行定量评分。评审专家通过对期刊定性分析，结合定量分析结果，对期刊做出最终评审。

同时，网上公示可使这一过程更全面综合。此外，需要构建一个类似ARC的强大的、成熟的数字化平台。

期刊列表定期公布，不断更新，使期刊能健康发展，真正反应刊物的学术质量。

期刊和科研工作者尝试篡改数据以达到提高IF的目的是非常不可取的。期刊和科研结果的评估不能唯以IF为主要指标的评价体系马首是瞻，需要健全的评审机制。我国相关管理机构和基金资助等机构应对简单的评价体系说不。本文试图对能正确评估我国科技期刊的评价体系进行初步探讨，希望综合权威的专家评审这一期刊评价体系，能促使期刊真正实现其发布科研成果和进行学术交流权威平台的神圣使命，使之对科学做出更大贡献。

1 Seglen PO.Why the impact factor of journals should not be used for evaluating research.BMJ， 1997，314（7079）： 498-502

2 Ewing J.Measuring journals.Notices of the AMS， 2006， 53，1049-1053

3 Golubic R，Rudes M， Kovacic N， et al.Calculating impact factor：How bibliographical classification of journal items affects the impact factor of large and small journals.Sci Eng Ethics，2008，14（1），41-49

4 Adler R， Ewing J， Taylor P.Citation statistics.Statistical Sciences，2009，24（1）：1-14

5 陈光宇，顾凤南，周春莲.对《科技期刊学术类质量要求及其评估标准》的修改和补充.中国科技期刊研究，2007，19（5）：772-779

6 任霄鹏.新的期刊评价标准向影响因子说不[EB/OL].[2012-12-05]http://www.cast.org.cn/n435777/n435799/n1105056/n1109014/n1110359/n1110369/40191.html

7 王善平.SCI统计数据与真相之间的差距.科学，2013，65（1）：1-10

8 王善平.“SCI核心期刊”政策推进还是阻碍了中国科学的发展？科技导报，2011，29（28）：15-19

9 Amin M，Mabe M.Impact factors： Use and abuse.Perspectives in Publishing， 2000，1（2）：1-6

10 Institute Science Information （ISI）.Journal citation reports（JCR）[EB/OL].[2012-07-15].http://admin.isiknowledge.com/JCR

11 Douglas N.Arnold and Kristine K.Fowler.Nefarious Numbers.Notices of the AMS， 2011，58（3）：434-437

12 Australian Research Council.ERA 2010 Journal List[EB/OL].[2013-03-05].http://www.arc.gov.au

13 莫京，任胜利.国内外科技期刊的期刊自引对比分析.中国科技期刊研究， 2005，16（5）：655-657

14 小木虫.为什么JCR（2011）没有公布6种中国期刊的数据[EB/OL].[2012-07-19].http://emuch.net/html/201207/4749828.html

15 中国知网.中国学术期刊影响因子年报[EB/OL].[2013-03-25].http://www.jif.cnki.net/Core/

16 马丽，赵星，彭晓东.新型期刊引文评价方法比较研究.情报理论与实践，2010，5（33）：71-75