数字出版时代的科学论文综合评价研究*

■王贤文 刘 趁 毛文莉

大连理工大学公共管理与法学学院WISE实验室大连 116085，E-mail：xianwenwang@dlut.edu.cn

1 引言

随着数字图书馆的出现和网络化水平的不断提高，科学文献评价逐渐从整本期刊转变为更加关注单篇论文的评价。自从科学计量学诞生以来，研究者们就意识到了利用被引次数进行评价的科学性、可靠性和可操作性。长久以来，引用评价就一直是科学计量学评价的一个传统指标。然而，将被引次数作为评价的单一指标并不全面，科学成果影响力体现在许多方面。对于有些学科，尤其是社会科学的论文来说，成果所产生的社会影响力不容忽视，甚至比被引次数还重要。对于新发表论文来说，由于需要2-3年才能达到引用峰值。因此，无法基于被引次数对新发表论文开展评价，这也部分导致人们转而寻求基于文章所发表的期刊影响因子来对论文进行评价。但是，论文在其发表后的很短时间内，其在网络环境下所产生的社会影响力可以很快体现出来。例如，论文发表后2-3周内的被下载次数存在很大区别，并且，这种短期的下载次数与长期的被引次数存在显著的正相关关系。因此，多样化的评价指标探索就显得十分必要，尤其是需要对新发表论文进行评价的时候，例如人事晋升中的考核评价、科学基金项目评审等都涉及到对作者近年新发表论文的评价。如何建立一种将论文的短期影响力（社会影响）和长期影响力（被引次数）的调和机制，这是本文试图解决的问题。

对于期刊的定性评价方面，采用五星分级评价，但受到诸如人力、时间等很多因素的限制[1]。对期刊的定量评价方面，影响因子方法已经成为主流[2]，通过计算所在期刊的影响因子来评价单篇论文，但是同一刊物上论文的质量并不相同，所以使用影响因子的方法不宜作为具体论文内在价值的判断标准[3，4]。在论文的评价方面，主要集中在对引用次数的研究[5]，一些学者在提高引用质量上做了很多研究，例如Kosmulski Marek将一篇论文的被引用次数超过该文章参考文献的数量的论文称为“成功论文”[6]，也就是影响较大的论文；研究者们进一步将期刊的影响因子和发表的时间按照一定的权重加入到引用中[7-10]，后又有人提出论文的发表时间距第一次引用的时间长短作为评价的指标[11，12]。

网络环境下，评价论文的指标得到了一定扩展，绝大部分的科研工作者都会使用网络作为他们浏览论文、讨论和交流的工具，北卡大学教堂山分校在读博士生Priem等人提出了使用Altmetrics来即时对论文进行评价[13]，随即引发科学计量学领域近年来的最大研究热点。国内也有一些文献对Altmetrics进行了介绍[12，14，15]。 但 Altmetrics主要体现论文的社会影响力，一篇在社交媒体上广泛传播的论文，有可能仅仅是因为它的新颖性、趣味性和话题性，与其学术价值并无直接关系。那么，在被引次数、Altmetrics得分以及能够反映论文影响力的其他指标中究竟选取哪些指标来评价一篇论文才是最全面，最准确的呢？这些指标之间的权重该怎么设置？这也是本研究试图解决的一个问题。

PLOSONE主编Peter Binfield在2009年12月召开的一次科学计量学会议上，就网络环境下论文质量评价可以考虑的因素做了分析，并提出了相关的指标，包括使用数据、浏览量、从 Scopus和CrossRef获得的引用量、社会网络链接、相关新闻报道、评论和读者评级等[16]，这些因素综合了论文的引用、社交媒体以及浏览和下载等各方面，能为更全面的对一篇论文做出评价。但仅只是提出了一个概念，也未曾去将这些指标以及它们之间的关系具体化。2012年，何星星、武夷山使用PLOS Biology的数据对基于文献利用数据来评价论文的方法做了实证研究[17]，但并没有考虑到现在逐渐发展的社交媒体指标。目前越来越多的出版商提供论文的浏览、下载和讨论的数据等用户数据，一些学者也使用了该数据进行研究[18]。因此，基于上述调查，本文试图通过运用多指标对科研论文进行评价。

2 数据和方法

2.1 数据来源

公共科学图书馆（Public Library of Science，PLOS）是一个由科学家和医生组成的非营利机构，致力于全球科学和医学文献的开放获取服务。PLOS对其出版的每一篇论文均提供了比较全面的计量数据，如图1所示。包括论文的使用数据和浏览数据（包括 HTML page views， PDF downloads，XML downloads三种格式），在多种数据库中论文的引用数据（包括Scopus和CrossRef等），在社交媒体中的收藏（Mendely）和讨论（Twitter和Facebook等）的次数。为了消除时间对于引用的影响，所以本论文选取的是2010年发表在PLOS出版的系列期刊，类型是Research article的所有论文，共9247篇。

图1 PLOS中提供的M etrics数据

在PLOS提供的四种数据中选取9种指标：在Viewed类中，XML格式的论文是以代码展现的，下载XML格式的用户多是以该论文作为研究对象的文献计量学或科学计量学的研究者们，所以本文删除XML Downloads这项指标。在Cited和Discussed类中，大多数文章在一些数据库中被引的次数和讨论的次数都为0，为保证结果具有现实意义，所以只保留了影响力较大的CrossRef和Scopus被引次数。社交媒体方面使用了Twitter和Facebook以及综合多种社交媒体计算得出的Altmetrics score，同时保留了Saved中的Mendeley和CiteULike读者数。最后一共选择了4个方面的9种指标，如表1所示。

表1 论文评价指标

2.2 方法介绍

在论文用户数据中，每一种指标对于论文的影响是不同的，例如，引用要比社交媒体更能说明问题，因此每个指标的系数都是不同的，为了将多指标问题转化为较少的综合指标，而且能给出较为客观的权重，所以本文使用了主成分分析的方法对指标进行降维处理。主成分分析法是通过考察变量间的相关性，找到少数几个主成分来代表原来的多个变量，同时使它们尽可能保留原始变量的信息。本文首先下载了PLOS系列期刊2010年的9247篇文献的Metrics数据，使用编程语言和文本处理工具将上述9种指标逐一提出，导入SQL Server数据库，对所有的数据进行清洗和预处理，再对其进行主成分分析，得到能够替代9个指标的主成分。

3 分析和结果

3.1 相关性分析

对原始数据进行无量纲化处理，得到标准化的数据后，利用SPSS 19.0软件的因子分析功能进行分析，表2为9个指标之间的相关性，从中我们可以看出，浏览、引用、收藏和讨论这四个方面，每一个指标都与类别内部的指标具有极强的相关性，远远超过了与其他类别指标的相关性。Scopus和CrossRef的相关性达到了 95.1%，Altmetrics和Twitter的相关性达到了78.1%，说明类别内部的信息重复率很高。如表2所示，类别之间的指标也有一定的相关性，PDF下载和Mendeley读者数量的相关性达到了71.5%，虽然较类别内部的相关性较低，但依然说明存在信息覆盖现象，所以需要进行指标之间的替代。

表2 9个指标之间的相关系数矩阵

计算标准化数据的特征根和特征向量、方差贡献率、主成分负载，选择比较少的成分能够代表绝大部分信息，得到表3。表3是获得主成分的累积贡献率，其中第一个主成分的贡献率为37.358%，第二个主成分的贡献率为32.283%，累积贡献率大约达到了70%，说明其综合各指标的信息程度约达到70%，能够表征原来9个指标反映的大部分信息量。于是取前两个主成分作为综合变量，计算出主成分载荷矩阵，进一步分别求出特征向量后，将得到的特征向量与标准化后的数据相乘，然后就可以得出主成分表达式。以每个主成分所对应的特征值占所提取主成分总的特征值之和比例作为权重计算主成分的综合模型。

3.2 指标贡献程度纵向分析

表4为使用Kaiser标准化的正交旋转法旋转后的成分矩阵，从中我们可以看出在第一个主成分中，PDF下载、CrossRef、Scopus和 Mendeley的贡献率比较大，分别为81.7%、90.2%、90.0%、79.8%。而在第二类主成分中占主要的指标是Twitter、Facebook和Altmetrics，分别为 85.2%、81.9%、89.2%。

表3 主成分分析中主成分的方差贡献率

表4 旋转后的成分矩阵

第一类主成分贡献率最高的CrossRef和Scopus，是在数据库中的引用信息，其中Mendeley是开源的文献管理社区和软件，CiteULike是个人学术资料库，这二者的使用对象一般为科研人员，可以视为从学术的角度对论文进行的一种评价。PDF下载是下载的PDF格式的论文数量，用户将论文存储在电脑上，除一小部分留做以后阅读外，很大程度上是因为这篇论文有参考价值，对以后的研究有帮助，所以综合对第一主成分中指标的分析，本文将第一个主成分命名为学术影响。在第二个主成分中，Altmetrics的贡献率最大。Altmetrics是近几年刚刚提出的能够及时对论文做出评价指标，这种指标把各种社交媒体按照一定的权重计算得分，Twitter和Facebook也是大众化的社交媒体工具，对象不仅是科研人员，他们对论文的讨论可能和论文本身的学科和研究内容的趣味性相关，所以反应的是论文在非学术方面的影响，本文称之为社会影响。两个主成分的确定恰好也符合科学计量学界对于论文影响的看法，综合了论文的引用情况评价和用户数据的评价。

3.3 指标贡献程度横向分析

每一个因素在每个主成分中所贡献的力量都是不同的，从图4中我们可以看到，浏览在学术影响和社会影响中占有的比例相差不多，在社会影响中起的作用稍大于学术影响。人们检索到论文时，一般会先对文章进行网页形式浏览，对于文章的浏览只能代表在一定程度上对文章的研究内容感兴趣，如果认为该篇文章对自己的研究有帮助，或是有很大的借鉴意义，就会下载PDF储存在电脑中。这就说明了文章浏览既体现了学术影响力，又体现了社会影响力。相比较于浏览，PDF格式的下载对于学术影响的贡献率要更高一些。对于Scopus，CrossRef和CiteULike，几乎完全是对学术影响力的反应，Twitter和Facebook正好相反，反应的是社会影响。虽然Mendeley在学术影响的系数为79.8%，在社会影响上的系数为21.5%，Altmetrics正好与之相反，说明了这两个指标在两个方面都有影响，但各有针对。CiteUlike在学术中的影响力显然要高于社会影响，但是系数为0.480，说明在学术领域，CiteUlike的使用和影响程度并没有 mendeley、scopus和CrossRef高。

3.4 综合得分和引用评价的比较

在这两个主成分中，学术影响的系数约为70%，社会影响的系数为30%，根据两个主成分系数，计算出每一篇论文的综合得分。Scopus是由世界上最大的学术期刊出版商荷兰Elsevier出版公司于2004年11月推出的，是目前全球规模最大的文摘和引文数据库。因此在传统方法引用的指标中选取Scopus和综合得分进行比较，计算出他们的相关性为0.791，散点图如图2所示，能够发现综合得分随着Scopus被引次数的增加而逐渐升高。圆圈标出的3个点虽然引用次数很低但是却有较高的综合得分，是因为这几个点的社会影响很高且远远大于学术影响，从而导致较高的综合得分。其他点随着被引次数的增加综合得分基本上处于明显增长趋势。以上分析说明本文提出的评价方法基本涵盖传统被引的指标，并在其基础上加入了社会影响这一因素，使论文的评价更为全面。

图2 Scopus和综合得分的散点图

表5展示了综合得分最高的10篇论文的学术、社会以及它们的综合得分。这10篇论文中，有6篇论文学术方面的影响力远远高于社会因素，4篇论文的社会影响得分要高于学术影响得分。对于这3篇论文，它们被下载的次数，在社交媒体中讨论的次数或网页浏览的次数都非常之多，说明该论文所研究的主题或内容非常吸引读者，它们巨大的社会影响力大幅提升了综合得分。从这篇论文的内容分析，该论文主要是通过三组对比试验得出：可爱（Kawaii）的东西，例如小动物，能够使人产生积极的情绪，并提出了或许可以将可爱的物体作为诱导谨慎行为的激发因子应用于一些需要专注作业的的场合（如：驾驶等）[19]。这篇论文的实验对象为可爱的小动物，并且得出了新颖有趣的结论，从而引起了人们在社交媒体的大量讨论。相对于这篇论文在社交媒体中的超高人气，截止2014年9月其被引次数还不到10次，学术影响并不高，导致学术影响得分在所有样本的平均水平以下。而综合排名第8的论文为：“FastTree 2-Approximately Maximum-Likelihood Trees for Large Alignments”，学术影响为24.42，而社会影响为-5.96，学术影响远高于社会影响。FastTree是一款从成千上万条，甚至更多的蛋白质序列或者核苷酸序列中快速推断近似最大似然的系统发生树的软件，该文章是对FastTree软件的完善，主要是提出在不牺牲软件扩展性的基础上提升软件准确性的方法[20]。这篇文章的专业性较强，只有少数处于该领域的学术同行才会对这篇论文感兴趣。因此，该论文的学术影响较高，而社会影响很低。

表5 综合得分最高的10篇论文两个主成分得分及综合得分

4 结论

在传统引文评价指标的基础上，结合近年来迅猛发展的Altmetrics指标、用户数据指标等其他影响力指标，本文提出一种对科技论文进行综合评价的方法，该综合评价方法同时考虑了论文的学术影响力和社会影响力。相比较于单一的引文学术评价或者Altmetrics社会影响评价方法，本论文中的方法同时考虑了学术影响与社会影响，是对单篇论文更为全面客观的方法。同时考虑学术影响力和社会影响力的综合评价方法不仅适用于对单篇文献的评价，也可以应用对文献集合体的评价，包括期刊评价、科学家评价等等。

作为一项探索性的初步研究，本文还存在一些不足之处，包括所选择指标的覆盖性、分析对象的多元化、分学科的比较、不同年代发表文献的比较、学术影响力和社会影响力的协同演化等等。尤其是，在社会影响力评价方面存在这样一种现象：比起严肃、循规蹈矩的论文来说，具有话题性、娱乐性的科学论文更容易在社交网络上被公众接受和广泛传播，产生社会影响力，但是这样的热转、热议有时会对评议结果扭曲化。这也是目前Altmetrics发展存在的一个主要问题。这些都是在未来研究中值得进一步思考和需要解决的问题。未来在对本研究的单篇论文评价进一步完善的基础上，希望对我国的期刊评价能够提供一些有益的启示。

1 Shotton D.The five stars of online journal articles-a framework for article evaluation.D-Lib Magazine， 2012，18（1/2）， http：//www.dlib.org/dlib/january12/shotton/01shotton.html

2 Garfield E.The history and meaning of the journal impact factor.Jama， 2006，295（1）： 90-93

3 Amin M，Mabe M.Impact factors： use and abuse.Perspectives in publishing， 2000，1（2）： 1-6

4 教育部.关于改进科学技术评价工作的决定.中国科技期刊研究，2003，14（5）：482-484

5 张静.引文，引文分析与学术论文评价.社会科学管理与评论，2008，（1）： 33-38

6 Kosmulski M.Successful papers：A new idea in evaluation of scientific output.Journal of Informetrics， 2011，5（3）： 481-485

7 王岩，刘雅娟.运用引文分析进行论文评价的方法初探——引文分析中期刊影响因子的运用.科研管理，2001，22（1）：133-138

8 Walker D，Xie H，Yan K K，et al.Ranking scientific publications using a model of network traffic.Journal of Statistical Mechanics：Theory and Experiment， 2007，2007（06）： P06010

9 Su C， Pan Y， Zhen Y， et al.PrestigeRank： A new evaluation method for papers and journals.Journal of Informetrics， 2011，5（1）： 1-13

10 Yan E， Ding Y.Weighted citation： An indicator of an article′s prestige.Journal of the American Society for Information Scienceand Technology， 2010，61（8）： 1635-1643

11 Bornmann L， Daniel H D.The citation speed index： A useful bibliometric indicator to add to the＜i＞h＜/i＞index.Journal of Informetrics， 2010，4（3）： 444-446

12 刘春丽.Web2.0环境下的科学计量学：选择性计量学.图书情报工作，2012，56（14）：52-56，92

13 Priem J，Taraborelli D， Groth P等.Altmetrics： A manifesto[EB/OL].http：//altmetrics.org/manifesto/.2010

14 顾立平.开放数据计量研究综述：计算网络用户行为和科学社群影响力的 Altmetrics计量.现代图书情报技术，2013，234（6）：1-8

15 邱均平，余厚强.替代计量学的提出过程与研究进展.图书情报工作，2013，57（19）：5-12

16 Kwok R.Research impact： Altmetrics make their mark.Nature，2013，500（7463）： 491-493

17 何星星，武夷山.基于文献利用数据的期刊论文定量评价研究.情报杂志，2012，31（8）：98-102

18 彭希珺，张晓林.国际学术期刊的数字化发展趋势.中国科技期刊研究，2013，24（6）：1033-1038

19 Nittono H， Fukushima M， Yano A， et al.The power of kawaii：Viewing cute images promotes a careful behavior and narrows attentional focus.PloS one， 2012， 7（9）： e46362

20 Price M N， Dehal P S， Arkin A P.FastTree 2-approximately maximum-likelihood trees for large alignments.PloS one， 2010， 5（3）：e9490