APP下载

学术图书Altmetrics评价指标分层框架探析

2018-07-11李明陈铭

现代情报 2018年5期
关键词:评价指标

李明 陈铭

〔摘要〕[目的/意义] Altmetrics作为学术成果影响力评价新方式正逐渐兴起和发挥日益重要的作用。当前Altmetrics研究多基于期刊论文层面,较少涉及学术图书,而在传统图书评价体系有待完善的情况下适时引入Altmetrics有其现实意义。[方法/过程]提出可按照学术图书在线影响力产生过程的递进分为阅前查询、阅读意向、阅读使用、评价反馈四个层次构建基于Altmetrics的学术图书评价指标框架,以体现学术图书影响力产生从传播、获取到利用、反馈逐步深入的完整过程。[结果/结论]分层框架不仅能涵盖学术图书Altmetrics指标的广度,还能从学术图书影响深度面向反映指标间的差异,可以有机地构成学术图书Altmetrics评价指标层级体系。

〔关键词〕学术图书;Altmetrics;学术评价;评价指标

DOI:10.3969/j.issn.1008-0821.2018.05.016

〔中图分类号〕G2502〔文献标识码〕A〔文章编号〕1008-0821(2018)05-0106-04

〔Abstract〕[Purpose/Signficance]As a new way to evaluate academic achievements,Altmetrics is gradually rising and playing an increasingly important role.Current Altmetrics researches are more based on Article-Level Metrics,less involved in academic books.Since it has not yet a perfect evaluation system of traditional books evaluation,timely introducing Altmetrics has its practical significances.[Method/Process]According to academic books online influence process progressively which included search before reading,reading intention,reading and using,evaluation and feedback,a framework of four levels can be stratified for Altmetrics indicators.It reflected the whole gradual process of academic books influence from communication and accession to utilization and feedback.[Result/Conclusion]The framework not only could cover the breadth of academic books Altmetrics indicators but also the depth of academic book influence by the difference between indicators.It could organically constitute the hierarchy of academic books Altmetrics evaluation.

〔Key words〕academic books;Altmetrics;academic evaluation;evaluation indicators

Altmetrics方法可通過获取有关学术内容的在线传播交流数据指标分析其影响力状况。当前国内外对Altmetrics的探讨多基于期刊论文层面,较少涉及学术图书。学术图书在学术研究与学术评价中占据重要地位,但学术图书评价体系并不完善亦常被诟病,Altmetrics的提出能为弥补传统方式的不足提供可贵契机和丰富素材,对构建新型学术图书影响力评价指标框架深具启发。

1Altmetrics概述

Altmetrics是Alternative Metric的缩写,首先由Priem Jason于2010年在Twitter上提出,目前暂未有统一定义,中文译名有“选择计量”、“补充计量”、“替代计量”等,为免歧义本文仍直接使用“Altmetrics”一词。

Altmetrics最早被提出是为了捕捉分布在博客、Facebook等社交网络上的评论数、转发量、粉丝数等信息以对学术成果影响力进行计量,如今Altmetrics被认为是一种基于社会网络分析技术利用各类在线学术交流数据开展学术影响力评价的综合计量方法,亦即从技术上讲,学术交流中曾经不可见的元素变得可以捕捉收割和测度挖掘并作为学术评价的参考依据[1]。目前已有PLOS、Altmetric.com、PlumX等多个此类应用工具被开发出来。Priem等人预测Altmetrics将成为下一代重要的学术成果影响力评价标准[2]。

2学术图书评价引入Altmetrics的现实意义

21弥补传统学术图书评价方式的不足

传统学术图书评价主要方法是同行评议和引文分析。同行评议的问题在于评价标准、成本、人为干扰等难以控制且覆盖面窄,易造成结果差异和公平缺失。引文分析虽然在客观性方面有一定优势,但也存在时滞性、表面化、不全面、人为操控、用而不引等方面的问题[3]。许多学者指出学术图书评价不应再陷入“引文误区”而忽视其他影响因素,必须引入多元指标对学术图书进行更广泛的测度。Altmetrics即可以提供更多类型和来源的参考修正信息,克服传统方法单一的不足,与现有机制形成互补,增强学术评价的多样性和全面性[4-5]。

22“图书层面计量”更具适应性优势

当前对Altmetrics的探讨多集中在单篇论文层面。在线出版商PLOS率先在学术影响力测量领域推出论文层面计量(Article-Level Metrics,ALMs),突破了学术论文评价仅从期刊层面展开的局限。PLOS认为用户对数字期刊的使用通常是针对其中的单篇文章而非期刊本身,因此ALMs更能揭示利用影响效能[6]。实施单篇论文综合评价,是从学术文献自身功绩角度进行的评判[7]。

如果说单篇论文的Altmetrics是谓论文层面计量,那么用于测量单本学术图书的Altmetrics即可谓“图书层面计量”。很显然,并不依附于期刊的学术图书从来就是作为独立客体被使用和发挥其影响的,因此针对学术图书开展基于Altmetrics的测度与评价研究具有先天优势,甚至可说适应性更强,图书层面计量研究潜力巨大。

事实上,Altmetrics评价测度对象确实已经很自然地从单篇论文拓展到了书籍、软件、学位论文等其它类型学术成果。典型如2015年学术出版商Springer与Altmetric.com联合开发并仍在进一步完善的Altmetrics应用工具——BookMetrix,可以实时展示单本Springer电子书在线被浏览、提及、下载和评论等的频率,以帮助评估一本学术图书的影响力状况[8]。

23学术图书影响力价值呈现更为完整

由于引用率等外部特征指标无法全面展现学术成果的内在价值,近年来学术评价已开始趋向对更深层内容价值的探索,但传统主观评价法的客观性却屡遭质疑,Altmetrics多元指标的大量涌现则提供了克服相关问题新的可能性及大数据基础,这对于内容充实、更需多维价值评判的学术图书来说尤为可贵。

Altmetrics既包含点赞、收藏等定量指标,也包含评论、推荐等定性文本数据,突显了对学术内容大范围、深层次的思考交互。如读者使用“新视角”、“新发现”、“实证研究”等网络标签,实际上是从研究视角、研究结果与研究方法等方面揭示着一本学术图书的价值类型和学术贡献。再如人们对学术图书的在线关注可能有褒有贬,Altmetrics可经由星级评定或文本情感分析等判断正负面倾向并区别计量。笔者亦曾通过对网络书店读者书评内容分析发现,其评论文本涉及图书学术性、新颖性、适用性、结构形式、语言风格、思想境界等等多重视角,几乎指向图书内容价值的所有方面[9]。

现代信息分析技术发展迅猛,未来Altmetrics的核心功能将不仅限于简单数据收集计数,而是能深入到内容层次[10],通过深度语义挖掘、文本倾向性分析等对海量在线评价数据内容反映出的学术内涵及意义做出分析阐释,从而令准确定位和量化隐含信息指向、提取更为完整的学术图书价值评判范式成为可能。

3学术图书Altmetrics影响力评价指标层级框架构建

Altmetrics指标数据来源众多、各具特色,当前国外发展相对成熟的工具提供商构建的指标体系实施流程与规范机制尚缺乏统一认识和标准,且多基于英文数据源,可供借鉴但并不完全适用于我国,针对学术图书更未形成权威性指标分类标准与组织框架。

合理组织Altmetrics的方式应是使用相关指标测度不同深度和层级的学术影响力,而非急于将数据源及其表征的活动类型融为一体进行总量比较[11]。学术图书Altmetrics评价也应从揭示层级和深度入手,提出不同类型的利用统计指标,力求多维揭示学术图书影响力价值状况。

线上学术交流行为数据通过Altmetrics方法被搜集和整理之后,可以生动展现从学术图书相关查询、获取到阅读利用及评价反馈的完整传播过程,在这一传播过程的递进关系中,体现和包含了多重信息和重要价值判断,且均有相应的Altmetrics指标标记,对其进行分层整理架构有利于未来更为清晰地描述和评估学术图书的影响力价值状况。

31层级框架构建

各种Altmetrics数据类型往往代表着不同的影响力等级,例如:购买一本学术图书意味着比浏览该书简介产生的影响更大,提及或讨论意味着进一步提升了影响程度,而推荐或撰写书评则可视为影响力水平的更高层次。目前多数工具商将Altmetrics指标大致分为使用(Usage)、获取(Capture)、提及(Mention)、社群媒體(Social Media)、引用(Citation)等类别简单平行列示[12],未能揭示这些指标所体现出的学术影响力深度内涵。学术图书内容的丰富程度非单篇论文可比,需要更为精细多元地揭示其影响力价值,因此笔者建议按照学术图书影响力产生过程从阅前查询、阅读意向、阅读使用、评价反馈4个层次来进行Altmetrics指标分类以构建其影响力多级评估框架,见图1。

上述4类指标分级不仅能涵盖学术图书Altmetrics指标的广度,还能从学术图书影响力深度面向反映指标间的差异。从学术图书阅前相关信息查询到形成阅读意向,再到实际阅读使用及评价反馈,可以看作是学术图书影响力产生从传播、获取到利用、反馈逐步深入的一个完整过程,整个过程中涉及的多种Altmetrics指标既有层次区别又有相关联系,可以有机地构成学术图书Altmetrics评价指标层级体系。

32层级指标说明

1)图书搜索、访问链接、信息浏览、试读等数据可归为阅前查询层次的Altmetrics指标,其标示的是针对学术图书的相关查询探索行为。用户通过各种网络途径搜寻目标、进而访问学术图书相关链接并浏览相应网页了解图书信息或试读图书部分篇章内容等,此类在线行为数据易于量化统计,但可供深度发掘的信息量较少,属于较浅层次的学术图书可见度影响力指标。

2)关注、收藏、添加标签、借阅、购买等数据可归为阅读意向层次的Altmetrics指标,其标示了针对学术图书的阅读意向。如收藏、购买等并不一定真正导致阅读行为,但显示出对某一学术图书的关注人数、受欢迎程度及后续阅读可能性。再如豆瓣读书等阅读社交平台可以自定义标签形式供用户对图书进行多元标引,或依据书名、作者、出版社、装帧、排版等外部特征,或依据内容质量、理论方法、学术成就、突出价值等内部特征,亦可依据用户个性化阅读需求添加,相应地表明后续实际阅读利用图书的可能性增强,信息量丰富,是更深层次的图书关注度揭示指标。

3)读书笔记、讨论、提及、分享、注释、问答等数据可归为阅读使用层次的Altmetrics指标,其标示出了学术图书实际阅读利用行为层面的在线交流状况。线上读书笔记、注释、问答等可以反映出学术图书在相关读者群中的使用效果及其影响,在博文、社交网络、论坛乃至网上公共政策文档、主流媒体中对某本学术图书的提及、讨论、分享包含了对该书发表的意见或使用了其中的内容,提供的是可即时追踪的影响力反馈指标[13],不但能弥补传统引文的滞后性,其含义丰富的文本内容也是后续深层探求学术图书影响力多维指向的重要基础性分析数据。

4)点赞、转发、推荐、星级评分、评论、书评等数据可归为评价反馈层次的Altmetrics指标,其标示了对学术图书的相关评价行为。单纯的浏览并不能表明浏览内容对访问者产生的影响倾向,而转发、推荐等行为则不仅可以表达认可,还能通过较强的用户关系和学科关联,将该书推广到其他潜在高相关群体,形成更广泛并有针对性的深度影响力。点赞和星级评分等可直观动态地展示学术图书的受欢迎程度,对于图书本身及其出版者、著者、读者等不同群体均有关联性影响。同样,豆瓣读书、当当网等带动了读者图书评论的兴盛,不但评论数量能够反映出学术图书的受关注程度,一些被认为“有用”的书评还能升入“热门”评论,由此可带动更多个体参与到学术图书阅读和评价之中并扩大其后续影响力的广度与深度。

更值得关注的是海量评论文本内容来自广泛的社会学术共同体,正在更为丰富深刻的层面上揭示对学术图书的价值判断,成为体现学术图书真实影响力的重要因素。学术图书网评人数无上限且及时迅速、自由开放、广泛平等,能够积聚大数据级别的文本数据,构成了深度语义挖掘与情感分析基础,具备了发现客观评价基准的可能性,为全方位科学评价学术图书提供了无限想象空间。

33层级权重分析

有了基本框架,后续研究重点应是根据具体操作需要设定层级权重以量化学术图书影响力Altmetrics评估。显然,基于前述分析,指标层级越高,其信息含量及信息指向越丰富明确,相应权重值理应越高,与此同时指标来源平台也是权重设定需要考虑的面向。随着网络交流多元化、信息服务人本化的发展,层级框架中的众多指标数据已开始出现在各类交互平台之中,但不可否认的是,不同类型平台指标数据所体现出的学术图书实际影响力价值是有所差异的,亦即在分配确认各层指标权重等级高低的同时,同层指标也应依据不同来源赋予不同的权重系数,而非同等对待。例如一本学术图书在微博等社交平台、在小木虫等学术论坛、在机构知识库等学术平台中被讨论、提及的重要性应依次提升并给予相应权重处理。多类型平台是Altmetrics体系架构的基础,学术图书相关Altmetrics评价指标分布在专业(如学术数据库、机构知识库等)、半专业(如网络百科、学术论坛等)乃至非专业(如微博、微信、网络书店等)的各类平台上,依据平台类型合理确认同类指标的不同权重,应是后继操作性与适用性研究的着眼点。

4结语

Altmetrics的发展为学术成果评价带来了新的活力,2014年美国研究图书馆协会(ACRL)把Altmetrics列入学术图书馆发展重要趋势之一[14]。学术图书的出版传播是学术影响力评价体系中不可或缺的一环,及时关注和引入Altmetrics方法创新意义深远。当前Altmetrics相关研究正处于理论探索与工具开发的初始阶段,其在学术图书评价方面的应用亟待学界研究论证的跟进。Altmetrics集成中文工具尚未进入开发应用阶段[15],本文针对学术图书评价的Altmetrics层级指标框架构建希望能起到抛砖引玉的作用,在了解借鉴已有西文Altmetrics评价经验的基础上,可为架构更为合理的中文相关系统工具提供参考思路。

信息时代的学术传播格局已越来越开放、多元和互动。在我国网络媒介发達程度及用户数已不逊于发达国家的今天,我们完全有理由抓住机遇,多方合作研究和探索开发基于国内众多涉及学术图书平台的Altmetrics数据搜集分析与指标评价体系,并与传统评价方式有机融合创新,确认和展示学术图书在开放互联时代的真正角色及其影响力,以更好地实现其学术价值和社会效用,而这也正是学术图书评价的最终目的所在。

参考文献

[1]任翔.数字学术传播与出版转型[J].科技与出版,2016,(2):4-8.

[2]Priem J,Groth P,Taraborelli D.The Altmetrics Collection[J].PLoS One,2012,7(11):35-39.

[3]张艳丽.学术图书质量评价方法与评价指标研究评述[J].出版发行研究,2015,(12):18-21.

[4]杨柳,陈铭.常用替代计量学工具之比较研究[J].情报理论与实践,2015,(9):114-119,144.

[5]Bornmann L.Do Altmetrics Point to the Broader Impact of Research?An Overview of Benefits and Disadvantages of Altmetrics[J].Journal of Informetrics,2014,(8):895-903.

[6]Neylon C,Wu S.Article-Level Metrics and the Evolution of Scientific Impact[J].PLOS Biology,2009,7(11):1-6.

[7]刘丽敏,王晴.论文层面指标(ALMs)计量理论发展及实践探索[J].现代情报,2016,(11):16-20.

[8]刘春丽.Altmetrics工具的发展、现况及相关问题[J].图书情报工作,2016,(5):87-92,117.

[9]李明.网络书评的多元价值与社会文化传播功能[J].图书馆杂志,2013,(11):30-33,44.

[10]余厚强,邱均平.论替代计量学在图书馆文献服务中的应用[J].情报杂志,2014,(9):163-166,172.

[11]刘丽敏,王晴.Altmetrics应用于影响力评价可行吗? ——国外学者的实证研究及相关论争[J].情报理论与实践,2016,(6):7-14.

[12]赵蓉英,魏明坤,汪少震.Altmetrics的发展动态探析[J].情报科学,2017,(2):171-176.

[13]贾新露,王曰芬.学术社交网络的概念、特点及研究热点[J].图书馆学研究,2016,(5):7-13.

[14]ACRL Research Planning and Review Committee.Top Trends in Academic Libraries:A Review of the Trends and Issues Affecting Academic Libraries in Higher Education[J].College & Research Libraries News,2014,75(6):294-302.

[15]齐世杰,郑军卫.基于文献大数据的国际Altmetrics研究力量与热点分析[J].现代情报,2017,(10):128-136.

(责任编辑:郭沫含)

猜你喜欢

评价指标
陕南生态移民生产生活水平评价及后期扶持
旅游产业与文化产业融合理论与实证分析
基于UML的高校思想政治教育工作评价系统的分析与研究