基于Altmetrics的高校图书馆用户教育评估模型构建

侯志爱++尚晓宇

〔摘要〕为了提高用户教育的有效性和针对性，定量评估用户教育的效果和质量，本文借鉴了科学计量20时代的文献计量方式——Altmetrics（替代计量）研究方法，通过梳理Altmetrics的研究内容、评价指标以及评价方式，利用其丰富的网络数据指标构建了基于Altmetrics的图书馆用户教育评估模型，研究用户教育在教育前期、中期和后期的评估方法。同时探讨了评估模型在图书馆资源建设、图书采购、学科服务、科学管理和个性化服务等方面的应用。

〔关键词〕Altmetrics；高校图书馆；用户教育；评估模型

DOI：10.3969/j.issn.1008-0821.2017.05.019

〔中图分类号〕G25072〔文献标识码〕A〔文章编号〕1008-0821（2017）05-0116-05

Construction of User Education Evaluating Model of

University Library Based on Altmetrics DataHou ZhiaiShang Xiaoyu

（Library，Tianjin Normal University，Tianjin 300387，China）

〔Abstract〕The purpose of this paper is to improve the validity and direction of user education，meanwhile to evaluate its effects and quality.Altmetrics is the way of literature metrology in Scientometrics20 times.Based on the abundant evaluating indicator of Altmetrics，this paper constructed an evaluating model of user education to study the assessment approaches of user education in the early stage，middle stage and late stage.At the same time，this paper discussed the application of the evaluating model in library resources construction，subject service and application of personalized service，etc.

〔Key words〕Altmetrics；university library；user education；evaluation model

用户教育是高校图书馆的一个重要职能，美国从1987年开始探讨图书馆在教育改革中的作用，并且开展图书馆用户信息素质教育。2000年，美国大学和研究图书馆协会（ACRL）出台了《高等教育信息素质能力标准》，2014年，ACRL又发布了《高等教育信息素养框架》，用来指导用户教育以及评估用户的信息素养教育。徐文静研究国外的用户教育评估，总结了1分钟测试法、前-后测试法、档案袋测试法等评估方式，分析了高校图书馆在用户教育评估中的不同尝试[1]。日本于1991年以后在一些高校中提出信息能力教育，经过多年实践之后把高校图书馆评估写入法律。三重大学、文教大学、嘉悦大学等高校针对用户教育所做的评估也取得了相当的成就[2]。

我国从1981年开始颁发条例提出要开设文献检索课，之后陆续发布文件，强调重视图书馆教育。目前用戶教育根据教育对象及内容的不同可分为3个层次：①以大学新生为对象的入馆教育；②以高年级本科生和研究生为对象的文献检索课程教育；③以全校师生为对象的文献知识专题讲座及用户信息技能培训等[3-5]。与蓬勃发展的用户教育研究相反，国内关于用户教育的评价研究起步晚，同时也缺乏统一的标准。笔者在《京津冀高校图书馆用户教育及评价研究》一文中探讨了京津冀地区高校在用户教育评估方面的论文研究情况；曾晓牧[6]等利用德尔菲法研究了北京地区高校信息素质能力指标体系，但是更多的学者还是基于《高等教育信息素养框架》的基础介绍国外的经验，或者是简单地提倡应该重视评价研究，没有实质性的探讨评价研究应该如何开展，更没有在用户教育的前期、中期和后期去评估教育的针对性和教育质量。

本文借鉴产生于文献计量学领域中的Altmetrics评估方式，利用在用户教育中产生的各种可计量数据构建评估模型，以期实现用户教育的定量评估。

1Altmetrics介绍

11Altmetrics的提出

Altmetrics多翻译为替代计量学，也有人翻译成补充计量学，是Web20环境下的一种新型计量方式[7]。在信息时代，开放性资源获取愈来愈便捷，很多学者倾向于使用CiteUlike、Mendeley等进行学术交流，但是评价指标单一的传统文献计量学并不能满足网络化科学交流对于多样化评估指标的需求，因此有学者提出了Altmetrics评估方式。2010年，Jason Priem等[8]提出了“Scientometrics20”，他借鉴了2007-2009年间一些学者基于Web20工具所提出的计量方式，全面总结了科学计量20可以实际采用的数据来源，包括：书签、文献管理工具、推荐系统、文章评论、微博、维基百科和博客。同时，他还简单提及了社交网络、开放存取数据和视频的潜在价值。2012年，刘春丽[9]首先介绍了替代计量学的研究意义，同时提出将标签密度、知名度、热点和合作注释等可提取的网络指标作为替代计量的评价指标。2013年，邱均平[10]等探究了替代计量学的发展过程和研究进展。2015年，刘恩涛[11]等研究了4种Altmetric工具的指标分类和计量对象等内容。刘颖[12]总结了目前Altmetric应用存在的问题，同时研究了Altmetric在图书馆中的应用。邱均平[13]等提出将Altmetrics指标用于评价机构知识库（IR），可以通过累计访问量、浏览量、转载量、评论数等指标衡量IR的影响。由于Altmetrics具有基于网络的数据分析方式，补充了传统计量在评价方式上的滞后性和单一性，逐渐受到了国内外学者的重视。

512Altmetrics的评价指标及评价方式

在Plum-Analytics[14]网站中，具体列出了Altmetrics的评价指标，总结起来有5个方面：①使用量，包括：点击量、下载量、浏览量、图书馆馆藏数、视频播放次数等；②获取量，包括：添加书签的人数、喜爱人数、读者数或者观看人数等；③关注，包括：博客、注释的数量、评论数以及维基百科链接等；④社交媒体，包括：点赞量、喜欢的人数、分享的人数和微博的数量等；⑤引用量，包括：引文索引、专利引用以及临床引用等。

表1中是Altmetrics各项指标的计算分值[15]，根据不同来源数据所受到的关注度和影响力的大小，赋予新闻、博客、维基百科等评价指标相应的分值。首先Altmetrics得分应该是一个整数，也就是说如果得分小于1，将按照1分来计算。其次，在维基百科中提及的研究成果的分值是静态的，也就是说，如果该成果被一篇维基百科文章提及，将会得到3分，即使是在多篇文章中提及，也只有3分。目的是防止作者为了提高Altmetrics得分而故意在多篇维基百科文章中提及自己的成果。同样，研究成果在开放性的教学大纲中的提及也是固定的，无论被提及几次都只有1分。但是在政策文件中，每个政策来源的提及都将为研究成果加上3分，也就是说，如果该成果被一个政策来源（比如某国政府文件）提及1次及以上，记为3分，而同时在另一个政策来源（比如国际货币基金组织）中提及，则可记为6分。而在新闻媒体中，研究成果的得分就要根据媒体本身的重要性和影响力来分层计算分值。举例来说，如果一篇论文同时在一个博客文章和一个脸书账户中被提及，它的得分就是5+025=525≈6分。表1Altmetrics各项指标分值

指标来源分值指标来源分值新闻8问答025博客5F1000/Publons/Pubpeer1推特1YouTube025脸书025Reddit025新浪微博1开放的教学大纲1维基百科3Google+1政策文件（每个源）3

13Altmetrics在用户教育评价中的优势

图书馆是高校的信息文化中心，开展的用户教育是提高用户整体信息素质、促进高校科研水平提高的重要教育方式，有效的评价方式可以评估用户教育的质量，推动用户教育的开展，因此，用户教育评价方式的研究也就显得尤其重要。传统的用户教育评价只能基于线下数据进行，难以将Web20时代庞大的数据利用起来，Altmetrics丰富的评价指标为用户教育的评估提供了一种新的研究途径。

2基于Altmetrics的高校图书馆用户教育评估模型构建如今，中国的网民已经是一个庞大的群体，读者更倾向于使用新媒体接收消息、收集信息，或者通过网络进行学习交流，由此产生的大量网络数据也是宝贵、客观的用户教育定量评估数据。鉴于Web20环境下的用户教育方式[16]与传统教育方式的区别，借鉴Altmetrics丰富的评价指标体系，从用户教育的宣传推广、用户教育的实践过程以及用户教育的质量效果等方面在教育的前、中、后期进行评估，提高图书馆用户教育的针对性：用户教育前期的评估为中期教育的内容和方式的调整提供参考，用户教育后期的数据跟踪为前期的宣传推广、中期的教育实施提供依据，从而节约人力物力，为用户教育提供借鉴。

21用户教育前期

图1是基于Altmetrics的用户教育评估模型。在用户教育前期，从入学开始就进行有针对性的用户教育培训推广。高校常用的線下的宣传方式有：通知栏张贴宣传单、悬挂宣传海报或者在电子屏上发布等。这种方式难以定量评估，暂时不予考虑。而通过线上的宣传方式则有：在图书馆主页上发布信息、通过电子邮件通知相关学院、在图书馆微信公众号中发布等。这种网络宣传的好处除了发布及时、受众面广、节省空间和资源以外，还有一个好处就是可以产生大量的可评估数据。图1基于Altmetrics的用户教育评估模型

以数据库培训为例，当培训通知发布以后，统计从信息发布到培训当天这段时间内图书馆主页中通知的点击量、下载量，微信平台中的阅读量、点赞量、评论等，可以了解本次培训的关注度及影响力。表2是天津师范大学近期培训的相关数据。通过统计天师阅读微信平台中数据库培训通知的阅读量可以看出，万方数据知识服务平台资源获取与利用的培训受到的关注度最高，其次是工具应用素养（Endnote，E-study）和SciFinder在化学科研中的具体应用。通过点赞量可以看出，光影留声机——听着音乐看电影（库克数据库培训）的培训也受到了学生的欢迎。通过横向对比，在今后可以重点邀请万方数据库商和SciFinder数据库商前来培训，增加培训的场次以及培训深度，同时也应该多引入文献管理工具等实用软件的培训，以及增加库克数据库等培训形式活泼有趣的数据库培训。

表2用户教育评估数据

培训主题天师悦读微信平台线下数据线上数据阅读量点赞量评论数培训人数本科生研究生课件下载次数评分揭秘你所不了解的中国知网（CNKI）527505240129845光影留声机——听着音乐看电影（库克数据库培训）69930023230——文献检索方法与利用——以Web of Science数据库为例433608021〖〗599443Emerald管理学期刊数据库应用518110151232426兰芷香幽典籍诲人——古籍特藏资源的查询与利用637130191363436EBSCO平台特色与利用318903316103033万方数据知识服务平台资源获取与利用1 2970143122825〖〗39SciFinder在化学科研中的具体应用90009181082535工具应用素养（Endnote，E-study）1 2010124423155550Wiley数据库深层次利用63403331023331注：数据统计时间为2016/12/14，线下数据的培训人数中含教师人数。22用户教育中期

用户教育中期是整个教育过程的中心环节，采用的方式也更多样。从评估的角度来看，统计实际进入电子阅览室的线下用户信息，可以分析用户的年级、专业、院系等身份信息，了解参与教育的用户群体信息和不同用户的需求及参与度。分析用户对上传的相关文本资料、多媒体教程以及视频课程等的下载量、访问量、添加标签、评论以及收藏量等数据，可以关注用户在培训中的学习行为。根据表2数据，实际参加人数最多的是文献检索方法与利用——以Web of Science数据库为例的培训，其次是揭秘你所不了解的中国知网（CNKI）和工具应用素养（Endnote，E-study）培训，对比3次培训，参加Web of Science数据库培训的以研究生居多，另外两个数据库则是本科生居多，这说明研究生对于外文数据库的需求更高，而本科生则更倾向于使用中文数据库，同时，本科生对于文献也具有相当的需求，因此对于文献管理工具的培训表现出兴趣。此外，从线上数据也可以看出，这3次培训的课件下载量也在所有培训中排名前三，而且随着参加培训的人数的增加，课件下载次数也呈现逐渐增加的趋势，进一步证明了参加人数最多的培训的用户关注度最高，同时也说明了线上文本资料以及相关教程的提供可以满足不能按时参加培训的用户的使用需求，弥补线下用户教育的不足。

表3统计标准及权重（5分制）

序号微信平台培训人数课件下载量区间分值权重（%）区间分值权重（%）区间分值权重（%）1900及以上540以上550以上52700～899430～39430～4943500～69932516～2934010～293354400～499210～1522～925399及以下19以下11以下1

借鉴Altmetrics的計分规则，按照数据的重要性程度，将阅读量赋分为1分/次，点赞量赋分为5分/次，将评论数赋分为10分/次，采用表3的统计标准和权重为每一次培训打分，得到的评分如表2所示。得到4分以上高分的依然是以上用户关注度最高的3次培训。得分在3分以上的有5次培训，说明尽管受到了用户的肯定，但是还有相当的提升空间。而Emerald管理学期刊数据库应用培训只得到了26分，无论是从单项指标还是总体得分来看都需要重视，在今后的考核中要重点关注，分析得分低的具体原因。

23用户教育后期

在传统的用户教育评估中，更多的是评估教育中期的质量，比如常用的问卷调查，多数是在培训结束后进行，用来衡量当下的培训，而缺乏教育后期的长期跟踪反馈。用户教育是一个过程，优质的教育对于学生信息获取能力、信息使用能力的影响也是长期的。在培训结束后的1周、半个月、1个月和3个月，分别统计相关数据，调研用户教育的长期影响。如图2所示，对照培训前及培训后入馆人数以及图书借阅量的增减情况，分析培训后一段时间内，进馆人数以及图书馆借阅量是否有明显的变化，如果进馆人数突然增加（排除考试周或者四六级、考研等几个考试节点），说明本次培训效果显著，吸引了很多读者来使用图书馆的相关资源；如果进馆人数逐渐增加，则要同时对照图书借阅量和数据库的点击量、下载量是否也是同步增加，如果是，说明培训具有持久的效果，可能是参加培训的读者将培训信息传递给了周围的读者，如果不是，就需要分析其他原因。此外，图书馆一般负责学位论文收录，定向跟踪参与过培训和未参与培训的用户在论文写作过程中引用参考文献的数量、质量，以及文献的引用格式是否规范等，分析用户教育的内容是否被真正用于学术研究。同时，也可以调研毕业论文写作期间的数据库使用情况，分析用户最常用的数据库信息，以及用户习惯，从而在今后的用户教育中进行针对性的培训。

分析不同的用户教育培训带来的短期和中长期的效果，反馈到教育前期，可以在通知时针对不同学科、不同年级进行专门的宣传；反馈到教育中期，可以以此为依据对培训的内容、时间和场次安排以及培训形式等作出相应的调整。

3用户教育评估模型在图书馆其他方面的应用

利用构建的基于Altmetrics的高校图书馆用户教育评价模型，可以为图书馆的数据库建设、图书采购等馆藏资源建设提供借鉴与数据支持。在数据库建设方面，通过分析教育前期用户对宣传通知的评论数、点赞量，教育中期用户的参与人数、培训资料的下载量、收藏量，以及教育后期的数据库使用率、文献的下载量等Altmetrics反馈指标数据，可以了解不同专业、不同年级的学生或者教师的具体需求，以及对相关数据库的利用情况，从而有针对性的订购数据库。在图书采购方面，对比教育前期和教育后期的图书借阅量、借阅的图书种类、借阅人员类别、图书的预约情况以及书库的入馆人数等数据，从多角度分析图书的需求，来确定各类图书的采购比例。

同时，用户学习行为的研究也为学科服务、科学管理图2教育后期跟踪分析

以及用户个性化服务提供相应的实践支持。2015年，国务院印发了《统筹推进世界一流大学和一流学科建设总体方案》[17]，提出了“双一流”建设的目标，图书馆教育作为院系教育的有力补充，对于一流学科和一流大学的建设起到了促进作用。尤其是在学科服务方面，用户教育可以提高学生的信息素养，同时也为教师提供科研支持，通过用户教育评估模型可以评价不同学科、专业的用户需求和发展水平，为进一步开展学科服务打下基础，同时也为整合学科资源提供参考。在图书馆管理方面，无论是资源建设，馆内布局，流通阅览，还是技术支持，学科服务，参考咨询等都离不开用户的参与，用户教育评估模型从吸引用户进馆开始，一直到用户离馆，采集全程数据，此外，还能通过线上数据的收集跟踪用户在离馆后对馆藏资源的使用，综合用户的使用习惯和需求情况，来改善图书馆的服务水平，调整馆内的资源配置，通过科学管理将图书馆的信息中心和文化中心作用发挥出来。只有了解用户的需求和兴趣点，才能更高效的进行相应的服务。用户教育评估模型通过收集不同教育阶段的数据指标评价各个年级、专业的用户在图书馆中的具体行为，在共性和个性的对照下，既可以针对群体进行分层服务，也可以针对个体进行个性化服务，例如追踪单个账号在整个用户教育过程中的行为，以此为依据定向推送其感兴趣的相关服务和活动等。

4结语

基于Altmetrics的高校图书馆用户教育评价模型的构建，对于评估图书馆用户教育前、中、后期的教育质量，反思用户教育的方式方法，改善图书馆用户教育具有实践意义，一方面可以使用户教育更加贴合用户的需求，更具针对性和实用性；另一方面可以提高图书馆的资源利用率，为今后高校图书馆用户教育提供参考。

参考文献

[1]徐文静.高校图书馆用户教育评估方法初探[J].图书馆工作与研究，2012，（11）：71-73.

[2]孔兰兰，金潞.中日高校图书馆信息用户教育的比较[J].图书馆学研究，2010，（14）：30-32，36.

[3]姚冀越.高校图书馆用户教育的演进与发展[J].情报理论与实践，2007，30（3）：363-365.

[4]徐庆宁，孙洁.高校图书馆信息用户教育现状及特征分析[J].图书馆杂志，2003，22（3）：51-55.

[5]海岚，李纲，张洪元，等.国内外高校图书馆读者培训讲座的调查与分析[J].图书馆，2014，（6）：85-88，109.

[6]曾晓牧，孙平，王梦丽，等.北京地区高校信息素质能力指标体系研究[J].大学图书馆学报，2006，24（3）：64-67.

[7]夏秋菊，黄英实，刘姝.Altmetrics对图书馆服务的影响研究[J].现代情报，2014，（9）：129-132.

[8]Jason Priem，BMHemminger.Scientometrics 20：Toward new metrics of scholarly impact on the social Web[J].First Monday，2010，15（7）.

[9]刘春丽.Web20环境下的科学计量学：选择性计量学[J].图书情报工作，2012，56（14）：52-56，92.

[10]邱均平，余厚强.替代计量学的提出过程与研究进展[J].图书情报工作，2013，（19）：5-12.

[11]刘恩涛，李国俊，邱小花，等.Altmetrics工具比较研究[J].图书馆杂志，2015，（8）：85-92.

[12]刘颖.Altmetrics视角下图书馆的角色定位与服务策略研究[J].图书馆杂志，2015，（10）：44-49.

[13]邱均平，张心源，董克.Altmetrics指标在机构知识库中的应用研究[J].图书情报工作，2015，（2）：100-105.

[14]Plum Analytics[EB/OL].http：∥plumanalytics.com/learn/about-metrics/，2016-12-03.

[15]Altmetric Support.How is the Altmetric Attention Score calculated？[EB/OL].https：∥help.altmetric.com/support/solutions/articles/6000060969-how-is-the-altmetric-score-calculated-，2016-12-03.

[16]胡明玲，王建涛.基于Web20的数字图书馆用户教育研究[J].图书馆论坛，2009，29（5）：50-52.

[17]国务院关于印发统筹推进世界一流大學和一流学科建设总体方案的通知，国发〔2015〕64号[EB].http：∥www.gov.cn/zhengce/content/2015-11/05/content10269.htm.

（本文责任编辑：孙国雷）