外文学术电子图书评价研究

匡登辉

〔摘要〕外文学术图书，对于高校的教学、科研活动有较高的学术指导价值。对外文学术电子图书进行评价能够全面反映其影响力。本文综合运用Altmetrics和传统的引文评价，利用Bookmetrix工具，明确对不同学科（以化学、社会科学为例）的学术电子图书进行探索性研究，对文献计量指标（引文）与Altmetrics指标（Mendeley读者数和下载量）的相关性与一致性进行定量分析，并对引文量、读者数、下载量是否有显著性差异进行了非参数检验。研究发现：Citations、Mendeley Readers、Downloads具有较高的覆盖率，经Mann-Whitney非参数检验，化学和社会科学的外文学术电子图书的被引量、读者数没有显著差异，但是二者的下载量有显著差异。化学图书的被引量与Mendeley读者数的相关性明显高于社会科学图书的被引量与Mendeley读者数的相关性。

〔关键词〕外文；学术电子图书；Bookmetrix；实证分析

DOI：10.3969/j.issn.1008-0821.2018.05.017

〔中图分类号〕G25575〔文献标识码〕A〔文章编号〕1008-0821（2018）05-0110-07

〔Abstract〕The academic books of foreign languages have higher academic value for the teaching and scientific research activities of universities.The evaluation of the foreign language scholarly electronic books can fully reflect its influence.This paper utilized Altmetrics and traditional citation evaluation model synthetically，with Bookmetrix，definitely to explore the performance of different disciplines of academic electronic books（taking Chemistry and Social sciences as examples），the correlation and consistency of bibliometric indicator（Citation）and Altmetric indicators（Mendeley Readers and Cownloads）were quantitatively analyzed，and nonparametric tests were carried out on the difference of citation，reader counts and download.It found that：citation，Mendeley readers，downloads with higher coverage rate，by Mann-whitney nonparametric test，chemistry and social sciences of foreign language scholarly electronic books were not significantly different from the number of readers，but the downloads of the two had significant differences.The correlation between the citation of and the number of Mendeley readers of chemistry books was significantly higher than that of the social science books.

〔Key words〕foreign language；academic e-book；Bookmetrix；empirical analysis

外文學术图书，对于高校的教学、科研活动有较高的学术指导价值。对于外文学术图书的评价，目前可分为以同行评议为主要内容的定性评价和以客观数据为基础的定量评价。定性评价方式主要有书评、专家评价等。书评体例广泛，包括书评汇编，书评集、期刊刊载的零星书评论文、书评索引，出版社、图书馆的新书推荐，读书论坛书评等。专家评价由学科专家根据自己的背景知识和经验，对图书的价值做出主观判断。这些书评或专家评价方法简单，有一定的权威性，往往也会囿于专家个人的学识、偏好等因素，带有较强的主观性、随意性。

在以客观数据为依据的外文图书评价研究方面，汤森路透2012年推出了以英文为主的图书引文索引[1]（Book Citation Index，BKCI），作为WOS（Web of Science）核心收录数据库，BKCI为研究人员快速识别、访问与科研最相关的书籍，实现文献与图书馆馆藏图书、电子书集成商之间的无缝连接。BKCI还是基于引文思想，对学术图书进行引用频次分析，增加了对图书的揭示功能，但是，BKCI只是图书引用评价系统，从图书的出版时滞及引文的时滞来说，其出版周期较长，但体系成熟、内容完整，引用数据可能需要3～5年甚至更长时间才能体现。因此，学术图书无法简单地通过被引频次、影响因子进行评价。而且，随着社交网络的流行，科研环境发生了很大变化，单靠引文等指标已不能有效衡量学术交流在各种新层面的拓展：如读者在线评论研究成果及与科研人员之间在社交网络互动交流等。

对于外文学术图书，现行的订购模式下，往往印刷版本与电子版本并存，不同学科间图书的影响力该如何评价，以及不同学科间的同一评价指标差异是否显著？对于不同学科的学术图书来说，下载量，读者数与引文之间相关性如何，怎样理解这些差异？显然，现有的评价方式不能解决。本文为尝试解决利用新的方法和工具，对这些问题进行探索。

1相关文献回顾

孙勇中等采用数据分析与挖掘方法，筛选学术图书的核心作者、核心出版社、核心机构等评价指标，通过特尔非法确定并分配相应的权重，构建了外文学术图书模糊综合评价模型与采访模型[2]；熊霞等对比分析了BKCI、Scopus Article Metrics、Bookmetrix 3种外文电子图书学术影响力评价工具，并进行了实例对比[3]；林晓华设计了一套基于Altmetrics的电子图书学术影响力评价指标体系，并选取了Springer电子图书进行实例分析，发现Altmetrics在电子图书评价方面优势明显[4]；雷淑义等对学术图书Altmetrics影响力分析评价的研究现状进行综述，对比几款典型的学术图书Altmetrics影响力分析评价工具，分析了我国人文社会科学学术图书Altmetrics评价面临的挑战[5-6]。上述国内研究，其方法停留在对下载量的简单统计及传统定性评价，如出版社、作者、学科分布、平台易用性等简单对比，虽有Altmetrics用于学术图书评价的综述及构建的体系，但缺乏对社交网络环境下，新的计量工具的应用及对不同学科电子图书指标差异性的实证分析。

Hammarfelt B[7]分析了2012年瑞典大学出版的以人文科学为主的文章和图书的Altmetric指标覆盖率和影响，最高覆盖率的指标是Mendeley（61%），其次是Twitter（21%），很少的出版物在博客或Facebook等社交媒体上提及；Zuccala A[8]从Scopus数据库2007-2011年收录的604种历史期刊中出现的论文参考文献列表中提取书名，对图书的Altmetric指标进行实证研究，发现图书引文量与阅读评级呈弱相关（0212），Goodreads的读者评级有助于优化馆藏；Kousha K、Thelwall M[9-11]认为非标准的学术产出难以采用传统的引文评价方法对其影响力进行评价，采用Web影响力指标评价其影响力势在必行，许多评价期刊论文的Altmetric指标可用于评价图书，如：Google Book citations（谷歌图书引文）、Libcitations（馆藏）、Online Reviews（在线书评）、Publisher Prestige（出版者声望）等，总结了这些指标的影响力类型及优缺点，基于2011年横跨人文科学、社会科学和科学的451本书评，进行实证研究，发现选择等级与引文间的相关性；Torres-Salinas D等[12]使用的PlumX计量西班牙大学的学术图书，测量Altmetrics、阅读、下载或引用、图书馆馆藏等18项指标，对图书的分析采取多维角度，理解不同指标之间的互补性水平，并还比较了这些指标的特点；Snijder R[13]利用引文数据、推文数据，验证开放获取能否增强图书的学术影响力，发现2014年学术图书引文量、推文量与开放获取有微弱的正相关，不同的主题、语种，相关关系不同，Twitter的使用与学术图书的被引用很难重叠；Zhou QQ等[14]抓取和处理Amzon.com作为样本的学术图书的在线评论，对评论数据进行多粒度挖掘，确定评论的极性和情感值，利用熵值法，综合评价、情感值、星级等，计算图书学术影响分数。不同的学科领域差异显著，但网络书评反映了图书的总体学术影响力。国外的研究很好地引入了Altmetrics，但是仅就部分学科进行分析，仍具有较大的片面性、主观随意性，缺乏对不同学科（如人文学科、理工学科等）电子图书影响力的评价指标的对比分析及对相关指标显著性检验。

本文综合了Altmetrics和传统的引文评价，利用Bookmetrix工具，明确对不同学科的学术电子图书进行研究，对文献计量指标（引文）与Altmetrics指标（Mendeley读者数和下载量）的相关性与一致性进行定量分析，并对引文量、读者数、下载量是否有显著性差异进行了非参数检验。

2数据与方法

21基础数据集

2015年4月14日，Springer和Altmetric.com发布图书影响力平台Bookmetrix，荣获学术与专业协会出版商协会（The Association of Learned and Professional Society Publishers，ALPSP）2015年出版大奖。该平台提供基于单本图书和章节级别的图书评价，展示在线环境下每本图书或章节被提及、分享、评论和阅读的频率。为作者、编辑和读者提供有关图书或章节的影响力的准确信息。Bookmetrix是学术图书出版的重要补充，第一次用简单的方法，获取一本书现成的使用量化数据。它可以为读者推荐好书，出版商提升出版质量、采购方科学采购订阅学术资源等提供决策依据。

作为一家学术出版商，施普林格·自然集团旗下汇聚了一系列深得信赖的品牌，包括施普林格、自然科研、BMC、帕尔格雷夫·麦克米伦等，产品包括期刊、图书等知识内容。应南开大学科学评价研究组的研究需求，Springer Nature提供了相关学科包的电子图书的Bookmetrix数据。基础数据集主要包括电子图书的出版年（Publication Year）、书名（Title）、电子图书唯一标识码（DOI）、电子图书的Bookmetrix URL链接（Bookmetrix Detail Page URL）、引文（Total Number of Citations）、在线提及（Total Number of Online Mentions）、读者（Total Number of Mendeley Readers）、评论（Total Number of Reviews）、下載量（Total Number of Downloads）、学科（Disciplines Level）等，共1 393条数据，数据采集时间为2017-04-18。

其中，引文数据来自CrossRef对图书和章节的引用，数据每周更新；在线提及数据基于Altmetric的数据，在线提及标签中展示图书/章节在线资源（包括公共政策文档、主流新闻媒体、博客及各种社交网络）中被讨论、提及或分享的情况，数据实时更新；读者数据采集自Mendeley读者数据，即将图书、章节保存在Mendeley中的用户数量，数据每周更新；评论数据来自Springer的图书评论摘录；下载数据则根据Springer Link中的记录，每本书每月以及整体的下载量，数据每月更新。

22学科主题的清理

逐一判断电子图书所述学科。尽管存在电子图书学科主题跨学科的情况，尽可能降低人工研判的偏差，研究者逐一获取电子图书的“Discipline”，将跨学科的电子图书取其中之一，比如“Bayesian Analysis of Failure Time Data Using P-Splines”，原始学科分类为“Biomedical Sciences，Mathematics，Life Sciences”，这里基于电子图书书名，倾向于选择“Mathematics”。

SPSS可以高效地呈现数据分析结果，自动输出很多描述性统计图，呈现各种变量之间的内在关系。因此，本研究的数据统计分析、作图均使用IBM SPSS 25。

3研究结果

31学科主题分布分析

通过对学术电子图书的学科特点分析，可以更加有效地了解学术图书的主题分类和学科分布情况。

对数据包中的电子图书，进行学科频数统计，图1显示：1 393本学术电子图书，Business & Management（经管类）图书占202%（828本），Chemistry（化学）和Social Sciences（社会科学）图书各占118%（165本），Education（教育）图书占103%（144本），其余的学科电子图书数量较少。为保证研究的全面和代表性，选择化学、社会科学作为理工学科、人文学科代表，使用两个学科的学术电子图书为分析对象。

32不同学科指标描述性统计

覆盖率是测试有效性的一个度量，一般用于可靠性、稳定性以及性能的评测。在本项研究中，覆盖率是某指标非零值的文献数量占总文献量的比例，在一定程度上反映该指标在文献评价中的可利用价值。表1显示，学术电子图书下载量（Downloads）的覆盖率最高，达999%，即999%的外文电子图书至少有1次下载，其次，读者数（Mendeley Readers）的覆盖率为897%，也就是897%的外文电子图书至少有1个读者，引文（Citations）的覆盖率为581%，在线提及指标的覆盖率为386%，书评的覆盖率最低，仅为131%，这说明，下载量、读者数和引文量指标数据可靠，稳定性高，为学术电子图书评价的有效性指标，因此，本研究选择citations、Mendeley Readers、Downloads指标来对学术电子图书进行分析。

33数据的正态分布检验

为选择适宜的统计检验方法，需要对数据进行正态性检验。常用的检验方法有单样本Kolmogorov-Smirnov检验（定量）和偏度值分析（定性），本文选用后者，从表1的偏度值可以看出，各指标数据的偏度值均大于0，说明数据分布为正偏态，即Bookmetrix各指标数据不符合正态分布，选择斯皮尔曼相关分析[15]，依据结果进行总体分析、对比分析。

34不同学科电子学术图书被引量、读者数与下载量差异比较对化学、社会科学学术图书的被引量、读者量、下载量作图，进行对比（见图2）。

从图2（a）宏观上可以看出，化学电子图书的被引量与社会科学的被引量数据，高低起伏，但被引量的峰值均为化学类的电子图书，统计数据显示，化学电子图书的最高引用量为65次，而社会科学图书的最高被引量为41次。

但从图2（b）、（c）看出，读者量、下载量的峰值为社会科学类图书，结合统计数据，化学电子图书的最高读者数为143，而社会科学图书最高的读者数为265，化学电子图书的最高下载量为63 354次，社会科学电子图书的最高下载量71 710。

35不同学科电子书的被引频次、读者数量与下载量的非参数检验

两独立样本的非参数检验是在样本所属总体不服从正态分布且分布情况未知时，通过对样本的分析，判断相应的总体分布是否存在显著差异性的方法。对于数据不符合正态分布的样本，SPSS提供了4种独立样本的非参数检验方法，包括Mann-Whitney U检验，Kolmogorov-Smirnov Z检验，Wald-Wolfowitz Runs检验以及Moses Extreme Reactions检验，本研究采用Mann-Whitney U检验，用于判别两个独立样本所属的总体是否有相同的分布，注重对两样本分布的中心位置（平均水平）做检验。

以化学、社会科学的电子图书作为两个独立样本，以被引量为例，进行Mann-Whitney非参数检验。

相关系数r是用来衡量两个变量之间线性相关关系的参数，一般按数值大小划分：0

4结论

第一，本研究中与Hammarfelt B的研究结果接近，电子图书Mendeley读者数的覆盖率较高，达897%，电子图书在线提及量较低，仅386%。根据Bookmetrix数据，电子图书的在线提及和评论次数普遍很少，这与图书的内容、出版特点有很大关系。Bookmetrix中的图书评论主要来自专业学术期刊、正式媒体评论，而未对商业图书网站（如Amazon.com）中的用户评论进行收集，而且很少的学术电子图书在社交网站上被提及。众所周知，学术图书知识系统性强，体系缜密，出版周期长，这与社交网站的实时性、便捷性的特点相悖，在一定程度上制约了图书在社交媒体的传播。

第二，无论是理工科（如化学）还是社会学科（如社会科学），电子图书的被引量与下载量均属低度相关。结果说明被引量与下载量在变动方向上趋于一致。作为一款基于DOI（Digital Object Identifier，数字对象标识符）实现文献引文跨出版社服务平台链接的参考链接服务，CrossRef推出的图书被引用链接，只能在CrossRef成员内部之间实现，包括Springer Nature、Elsevier、Wiley、Emerald等出版商和学术机构，因此限制了引文范围。

第三，化学电子书的被引量与读者数的显著相关，说明在一定程度上Mendeley读者数可以预测图书后期引用的情况。学术图书或其章节在Mendeley、CiteUlike等系统中被收藏、阅读、标注等，使图书独立于载体之外，彰显了学术图书的影响力。有研究证实被引峰值与利用峰值出现在成果发布后不同的时段[17]。这也充分证明Mendeley读者数可以作为科学评价的一个维度指标反映成果的学术影响力。

第四，化学图书的被引量与Mendeley读者数的相关性明显高于社会科学图书的被引量与Mendeley读者数，反映出不同学科在科学评价中评价方法或评价策略有所不同。这是由于自然科学与人文社会科学的研究对象与研究范式不同，另外，科研成果的呈现方式各异，如理工科较多地以期刊论文，而社会科学则偏重于学术著作，因此，对于科学成果的评价，应区分学科，区别对待，社会科学不能完全套用自然科学的评价标准[18]。

第五，通过Mann-Whitney非参数检验非参数检验，发现：化学和社会科学电子图书被引量、读者数没有显著差异，化学和社会科学电子图书的下载量有显著差异（p=005），但从化学图书的被引量与下载量的相关系数略高于社会科学图书的被引量与下载量的相关系数，这反映出读者对电子图书利用有学科差异，需要进一步挖掘数据，结合考虑语义，分析其下载动机、引用动机以及两者的影响因素。

5不足之处

同时，本文也存在一些不足：①本研究是对现有图书自身的评价，没有考虑作者和出版社因素；②本研究中的数据源是有限的，目前，Bookmetrix平台仅有Springer的电子图书，读者数据是有限的，如仅有Mendeley的用户。在伦敦书展上，一些出版商已经表示有兴趣增加其在线书籍目录的Bookmetrix，这些未来将是极大数据源和用户群；③数据采集源多，造成数据不对等，这些都影响了指标的有效性，如下载次数较多，有些计数是按章节计，因此，有的图书如果章节下载量较多，对其他图书的下载次数“显失公平”。此外，数据更新不同步，有的是周更新，有的是月更新，有的是实时更新。④评价存在滞后性，且对Bookmetrix的利用只考虑了评论数量，并未从内容上进行深入地文本挖掘分析，因此结论可能相对浅表。

6结语

由于科学研究活动是一种复杂的人类社会活动，单纯的定量、定性指标很难对个性化的科研结果，特别是科研成果的学术质量做出合理、全面的评价。实证研究作为理论检验与拓展的研究方法，推进研究进程作用显著。基于Bookmetrix的电子图书评价结果，主要展示了其受关注程度和网络传播的社会影响力，并不能用于评判图书的全部价值，综合考量学术电子图书的学术影响力和社会影响力，应该针对学科的不同，成果的不同形式，构建同行评议、文献计量与传播影响力相结合的多维科学评价方法，使科学影响力的评价更趋合理。

参考文献

[1]Book Citation Index[EB/OL].http：//wokinfo.com/products_tools/multidisciplinary/bookcitationindex/，2017-08-12.

[2]孙勇中，袁曦临，钱鹏.外文核心学术图书模糊综合评价体系的建立[J].图书情报工作，2007，51（6）：134-138.

[3]熊霞，高凡，郭丽君.外文电子图书学术影响力评价方法探讨——基于BKCI、Scopus Article Metrics、Bookmetrix的实例比较[J].现代情报，2016，36（10）：118-122.

[4]林晓华.基于Altmetrics工具的電子图书学术影响力评价体系构建——以Springer电子图书为例[J].出版发行研究，2016，（4）：85-89.

[5]雷淑义，吕先竞.Altmetrics视角下的学术图书影响力评价研究[J].西南民族大学学报：人文社科版，2017，38（6），225-231.

[6]雷淑义，吕先竞.我国人文社会科学学术图书Altmetrics评价：挑战及应用[J].图书情报工作，2017，61（11），133-139.

[7]Hammarfelt，B.Using Altmetrics for Assessing Research Impact in the Humanities[J].Scientometrics，2014，101（2）：1419-1430.

[8]Zuccala A A，Verleysen F T，Cornacchia R，et al.Altmetrics for the Humanities：Comparing Goodreads Reader Ratings with Citations to History Books[J].Aslib Journal of Information Management，2015，67（3）：320-336.

[9]Kousha K，Thelwall M.Web Indicators for Research Evaluation.Part 3：Books and Non-Standard Outputs[J].El Profesional De La Información，2015，24（6）：724-736.

[10]Thelwall M，Kousha K.Web Indicators for Research Evaluation：Part 2：Social Media Metrics[J].El Profesional De La Información，2015，24（5）：607-620.

[11]Kousha K，Thelwall M.Alternative Metrics for Book Impact Assessment：Can Choice Reviews be a Useful Source？[C].Proceedings of the 15th International Conference On Scientometrics and Informetrics，2015：59-70.

[12]Torres-Salinas D，Robinson-Garcia N，Gorraiz J.Filling the Citation Gap：Measuring the Multidimensional Impact of the Academic Book at Institutional Level with PlumX[J].Scientometrics，2017，113（3）：1371-1384.

[13]Snijder R.Revisiting an Open Access Monograph Experiment：Measuring Citations and Tweets 5 Years Later[J].Scientometrics，2016，109（3）：1855-1875.

[14]Zhou QQ，Zhang，CZ，Zhao，SX et al.Measuring Book Impact Based on the Multi-Granularity Online Review Mining[J].Scientometrics，2016，107（3）：1435-1455.

[15]迈克·塞沃尔.链接分析：信息科学的研究方法[M].孙建军，译.南京：东南大学出版社，2009：34.

[16]卢冶飞，孙忠宝.应用统计学（第2 版）[M].北京：清華大学出版社，2015：36-48.

[17]Yan K K，Gerstein M.The Spread of Scientific Information：Insights from the Web Usage Statistics in PLOS Article-Level Metrics[J].PLOS ONE，2011，6（5）：e19917.

[18]Li X，Thelwall M.F1000，Mendeley and Traditional Bibliometric Indicators[C].Proceedings of the 17th International Conference on Science and Technology Indicators，2012，（2）：451-551.

（责任编辑：郭沫含）