美国大学图书馆科研影响力评价服务实践研究
2021-09-10李春卉
摘 要 论文以美国研究型大学图书馆为调查对象,从网站栏目建设、常规服务形式、馆员配置和常用工具资源等方面总结其科研影响力评价服务概况。美国大学图书馆以科学管理与维护数字身份、增强科研影响力实践策略指导、开发利用科研影响力数据分析工具、探索科研影响力综合评价指标模型为科研影响力评价服务关键策略。以此为借鉴,为应对国内科研评价体系的改革,我国大学图书馆当应科学规划科研评价服务内容,开展提升大学师生科研影响力素养系列活动,促进研究产出的科学管理与利用,加强科研影响力评价体系的研究,创建科研影响力评价服务实践范例。
关键词 科研评价 科研影响力 大学图书馆 美国大学
Abstract Taking the American research university libraries as survey subjects, the paper summarizes its research impact evaluation service from the aspects of website construction, regular service modes, librarian configuration and common tools. The American research university libraries take scientific management and maintenance of digital identity, practice strategy guidance of enhancing research impact, development of analysis tools for research impact, and exploring the index model of research impact comprehensive evaluation as the key strategies. In response to the reform of the domestic research evaluation system, academic libraries in China are supposed to carry out a series of activities to enhance the research impact literacy of university teachers and students, promote the scientific management and utilization of research output, strengthen research on the evaluation system of research impact, and create practical examples of research impact evaluation service.
KeywordsResearch evaluation. Research impact. Academic library. American university.
0 引言
當前,知识共享发生了范式转移,学术交流方式发生了巨大变化。研究成果不再限于传统期刊论文和图书,还包括数据集、源代码和会议演示等其他非传统在线展示类型,这也使得现有科研评价指标和标准的局限性越来越明显[1]。《旧金山科研评价宣言》指出,科研评价要基于研究本身的价值,而不是通过研究成果发表的期刊进行评价[2]。在英国最新颁布的高等教育评价指南“科研卓越框架”(2021)中,降低了科研产出的要素权重,增加了科研影响要素权重,更加重视科研成果的非学术影响力[3]。美国政府和研究资助机构基于科研产出的绩效评价,也开始从基于文献计量方法量化研究成果总体价值向更有意义的影响力评价转变[4]。在我国双一流大学建设积极推进过程中,如何发挥高校的科研影响力是大学重点关注的问题之一。2018年开始,国家教育部、科技部等陆续开展排除四维、五维行动,该行动对于国内学术、科技评价体系无疑是一个破而后立、建立中国特色新型评价体系的重要契机[5]。在大学科研评价领域,大学图书馆面临着参与和发展的新机遇。对此,通过分析美国大学图书馆科研影响力评价服务实践,为国内大学图书馆创新科研影响力支持服务提供借鉴,可以使其更加从容应对科研评价体系的改革,进而促进大学科研影响力的提升。
1 美国大学图书馆科研影响力评价服务概况
美国卡耐基高等院校分类标准把从事最高研究水平的博士授予类大学划分为R1类别,即研究密集型大学[6],故R1类大学图书馆可以代表美国大学图书馆科研影响力服务的较高水平。本文以美国R1类大学(共131所)图书馆为调查对象,分析其科研影响力评价服务概况。
1.1 网站栏目建设
访问131所R1类大学图书馆网站,有125所(95.4%)图书馆网站提供科研影响力服务相关内容专栏。图书馆网站科研评价服务上层菜单多为图书馆指南、研究指南和研究交流等。科研评价服务网站主题名称主要为科研(学术)影响力(32.1%)、影响力评价(23.7%)、影响力指标(19.8%)三种类型,少数大学图书馆以文献计量学、引用分析和学术身份管理命名栏目。科研影响力评价服务是美国大学图书馆科研支持服务的重要组成部分,从网站栏目建设可以侧面反映图书馆科研评价服务的广度与深度,部分图书馆服务内容不仅包括科研影响力评价,还覆盖了科研影响力理论知识普及与提升策略指导等内容。
1.2 常规服务形式
1.2.1 提供基于传统计量指标的科研评价服务
美国大学图书馆创建基于文献计量学方法的科研评价测度指标资源指南,帮助师生了解定量评价文章、作者、期刊和机构影响力的基本方法。图书馆鼓励教师自己利用相关资源来展示学术出版物和学术影响力,在其任期、晋升审查和申请资助时提供证明信息[7]。同时,图书馆利用引文跟踪数据库和各种数据可视化工具,帮助师生追踪出版物,为个人、部门和学校提供定制报告,主题涉及生产力、协作分析、资金分析、研究趋势和研究影响力分析等[8]。毋庸置疑,利用文献计量指标量化学术工作的影响力、普及科研影响力评价基本方法和提供定制报告是大学图书馆科研影响力评价服务的最常见内容。
1.2.2 替代计量指标的推广与应用实践
开放获取、学术交流和开放数据运动的发展催生了科研评价的新方法。替代指标帮助创建更完整的学术活动图像,是传统指标评价科研影响力方法和同行评审过程的必要补充。美国大学图书馆提供有关替代计量的专业知识,引导师生在评价科研影响的过程中考虑和实施在线出版和交流所带来的系列影响。调查对象中有110所大学(84%)图书馆网站介绍了替代指标在衡量科研影响力方面的专业知识,并提供指向替代计量指标统计平台和工具的链接。此外,美国大学图书馆在馆藏开发和研究支持的核心活动中嵌入替代计量指标工具,增强相应条目的影响显示。此举帮助学者们更好地了解在数字研究环境中展示学术成果研究影响力的新形式,明确了替代指标对展示和提升科研影响力的潜在价值。
1.2.3 咨询与培训
美国大学图书馆基于科研影响力相关咨询服务的主题内容包括:制定成功的发布和传播策略;管理或跟踪出版物;保持有效的在线身份;按学科评价科研影响及将科研影响传达给不同群体。为了突出个人咨询主题特点,北德克萨斯州大学图书馆推出学术影响咨询清单,用户需要事先填写查问卷,图书馆根据用户实际需求来制定咨询服务内容[9]。图书馆基于科研影响力内容培训主要分为面对面的讲习班,个性咨询及在线学习教程三种形式。培训旨在普及影响力评价指标知识,促使师生养成影响力证据收集和监测影响的新习惯。表1为部分大学图书馆网站揭示的相关研讨会主题信息。
科研影响力挑战赛[16]是美国大学图书馆吸引师生参与了解科研影响力的一种常见培训活动形式,挑战任务由多个活动组成,线上完成。任务旨在帮助创建专业的在线学术形象,科学管理在线学术活动;促进个人作品的传播以吸引新的受众;理解研究的影响范围和衡量个人研究的影响力。
1.3 馆员配置
美国大学图书馆选择不同的人员配置模式来开展科研影响力服务,有作为一个部门或专业的服务团队而存在的正式服务,也有采用分散的非专职馆员(如学科馆员)根据用户需求提供服务。在2018年之前,全美大学图书馆仅有几个科研影响力服务相关的专职岗位[17]。时隔两年,在本次调查中笔者发现已有多家大学图书馆已经专门设立或正在招聘科研影响力专职馆员岗位,这意味着图书馆科研影响力评价服务将由专人统筹规划,传统的科研评价服务将转变为以提升科研影响力为最终目标的综合性服务。表2为美国研究型大学图书馆提供科研影响力评价服务的代表性岗位设置情况。
1.4 常用工具和资源
美国大学图书馆网站提供常用的科研影响力评价工具和平台资源,协助学者利用评价工具了解和分析影响力。现阶段美国大学图书馆研究影响力评价服务的主要关键工具是Web of Science和Google Scholar平台,表3为美国研究型大学图书馆科研影响力服务常用平台工具及向读者推荐使用的用于监测和衡量科研影响力的资源。
2 美国大学图书馆科研影响力评价服务关键策略
美国大学图书馆在做好常规性科研影响力评价工作的同时,也在为提升大学学术研究的影响力铺平道路,协助大学师生最大程度地发挥科研影响力,促使师生科研影响力整体观的形成,确保了科研影响力评价服务工作的可持续性。
2.1 科学管理与维护数字身份
数字身份是传达学术成果研究影响的关键因素。美国大学图书馆提升大学科研影响力服务的首要策略就是协助大学师生做好个人数字身份的塑造与管理,解决其在创建管理数字身份时遇到的实际问题。图书馆围绕学术身份标识创建、管理学术档案、在线形象的策划与监控等主题,指导大学师生在社交媒体平台创建个人档案,全面展示其研究情况。
永久性身份标识符ORCID作为科研人员身份管理的关键组成部分,大学图书馆提供ORCID的基本理论知识和配置文件平台,协助大学师生创建与维护ORCID工作。德克萨斯A&M大学图书馆[19]将ORCID数据集成到学位论文的发布过程中,帮助学校研究生注册和获取学术身份ORCID,同时将数据推送到校园的其他功能系统如机构存储库等科研信息系统中。该图书馆最终目标旨在创建和维护包括研究生、博士后、教师和全职研究人员在内的完整而准确的ORCID身份信息数据库,并维持新ORCID数据的生成过程。大学社区ORCID身份数据覆盖率的提升为大学图书馆有效跟踪大学与师生的科研产出奠定了基础。
2.2 增强科研影响力实践策略指导
2.2.1 提高研究成果可见性
提高研究成果的可见性是提升科研影响力的重要途径。弗吉尼亚理工大学图书馆在2020—2025年战略计划中指出,通过使用预定义的研究影响指标,图书馆对选定的个人或团队进行重点支持,将提高其研究可见性作为提高机构影响力的主要措施之一[20]。
开放获取是提高研究可见性的重要途径。美国大学图书馆积极推进校园学术成果的开放获取出版,图书馆为师生提供开放获取政策信息、资助机构要求和作者权利等知识,帮助识别和确定合适的开放获取出版平台,设立开放获取基金鼓励师生在开放获取平台发表学术成果。华盛顿大学图书馆与Springer Open等开放获取学术期刊合作,为本校作者提供开放获取文章处理费用的优惠折扣,图书馆还提供开放存取期刊免费托管服务[21]。
优化大学机构库的可见性,鼓励师生将研究成果保存在本校机构库中。IUScholar Works[22]是印第安那大学图书馆提供的一项开放存取库服务,旨在保存和交付印第安那大学各种形式的学术资料(如白皮书、演示文稿、数据、教育材料、研究文章和海报演示等)。IUScholar Works为所有作品在Google上建立了索引,并提供了永久标识符,保证了材料的长期保存,有效改善了本校师生的研究成果在搜索引擎中的索引量和排名。同时,IUScholar Works嵌入Altmetric.com徽章,用户将可以查看该项目已收到社交媒体关注的简短报告,包括推文、学术博客文章及有关Mendeley等服务的社交書签[23]。
信息搜索从搜索引擎开始,这已日益成为一种常态。图书馆员熟悉信息检索的流程,明确索引和关键字的重要性,可以帮助研究人员了解搜索引擎的工作或排名方式,利用发布策略来改善研究的可见性。加州大学洛杉矶分校图书馆提供针对作者的搜素引擎优化策略指导,对研究成果的标题、关键字、摘要和图表等方面提出建议,从而提高成果的可见性[24]。
2.2.2 倡导数字参与
美国大学图书馆积极探索在数字环境中创建、传播和保存学术成果的新途径,提供公开可用在线研究平台工具,引导和鼓励师生突破传统研究成果出版物的交流方式,利用社交媒体等交流渠道向公众分享科学研究、知识和思想,利用社交网络平台分析工具监测研究影响,寻找最有效的推广渠道,以获得更广泛的受众和寻找合适的项目协作者。图书馆协助本校师生评估选择发布平台,创建学术博客、在线课程与新媒体出版等数字空间,如东北大学图书馆开发了CERES展示工具包,帮助师生构建媒体丰富的策划网站来展示研究成果[25],通过促进大学研究成果的多方位展示,达到提升大学及其个人影响力的目的。
2.2.3 协助制定影响力规划
增强影响力的最佳方法是制定适合自己需求的影响力计划。美国大学图书馆推荐适合研究目标的最佳评价形式,规划提升影响力的相关活动,具体包括:与不同的受众进行有意义的对话;探讨如何与潜在的合作研究人员建立联系;通过不同策略来吸引资助机构等利益相关者;提升研究资源共享和出版效率等,从而帮助研究人员设计规划研究生命周期各个阶段捕获、跟踪和保存影响力数据的方法,使科学研究产生更广泛的影响。
2.3 开发利用科研影响数据分析工具
美国大学图书馆提供的影响力报告大多是规范化的定制报告,手动创建这些报告需要大量人力和时间。虽然当前也存在许多提供专有和开源分析的平台,但是这些系统在功能上有部分重叠,并不能满足特定机构的所有需求。定制平台可以根据大学科研评价实际需求提供定期更新的出版物影响指标报告,还可以根据对基础数据新用途需求而增加新的查询和分析形式。明尼苏达大学图书馆[26]开发了用于分析和可视化研究影响的Mainfold平台。Manifold平台为精准满足明尼苏达大学医学院的特定需求而量身定制,建立在标准的LAMP架构上,可通过API自动从Scopus提取教师的出版物数据,通过自动化分析计算影响指标,并动态生成可视化的报告文件。康奈尔大学威尔医学院图书馆[19]利用作者姓名歧义消除的自动化工具ReCiter,可以快速准确地将出版物分配给研究人员档案。该图书馆还和相关部门合作开发了引文影响工具,系统可以根据相同类型、领域和时间发表的论文为基线,计算学术论文被引用次数的百分位排名。
2.4 探索科研影响力综合评价指标模型
澳大利亚研究委员会指出科研影响力是指科学研究对经济、社会、环境和文化做出的明显贡献,它超出了对学术研究的贡献[27]。出版物和引文数据通常被用作研究成果的量度,但它们没有考虑科学研究可能对政策和实践产生的影响。传统的文献计量学评价方法可以被视为仅给出了全部影响的局部描述[28]。全面衡量科学研究的影响力仍然是一项模糊而困难的工作。作为高等教育领域科研评价服务的主要提供者,大学图书馆也开始尝试对科研影响力进行更广泛的研究,探讨科学研究对实践、政策、服务和社会的多层次影响及用来记录和评价这些影响的方式。华盛顿大学贝克尔医学图书馆开发了科研影响力评价模型[29],帮助用户了解为科学评价研究影响力而必须考虑持续收集的基于出版文献引用指标以外的信息证据,为分析生物医学领域的研究影响提供了更稳健和全面的视角。评价模型由量化和记录科研影响力指南、定位科研影响力证据资源、增强科研影响力的策略三部分组成。模型全面揭示了生物医学研究领域的科研影响力评价指标,详细指标如表4所示,为大学图书馆记录和量化相关学科领域影响力工作提供了参考借鉴。
3.1 开展提升大学师生科研影响力素养系列活动
Bayley等认为科研影响力素养的内涵包括确定适当的影响力目标和指标,严格评估和优化影响途径,以及反思在各种情况下量身定制方法所需的技能[30]。大学图书馆开展科研影响力服务的首要任务就是提升大学师生的科研影响力素养水平。科研影响力相关宣传与培训活动是吸引大学师生关注科研影响力的基础,也是普及影响力知识的重要途径。现阶段大学师生对科研评价的认识大多还局限在传统的基于文献计量学方法的评价层面。图书馆不能仅仅作为影响力顾问专家去提供咨询服务,而应通过教育培训重塑师生对科研影响力的认识和理解,激发师生思考提升科研影响力的有效性策略。图书馆利用网站提供丰富的科研影响力相关理论知识,以在线学术身份、影响力评价指标工具和证据收集等为主题开发相关线上课程。线下咨询和研讨活动则将科研影响力途径概念化,探讨如何产生和展示影响,确定基于需求或可以挑战的研究方法,制定符合自身特色的科研影响力评价与提升策略。通过系列教育培训活动,使高校师生能够科学创建和管理在线学术身份,建立对研究评价指标和策略的正确理解,识别并明确不同的评价指标所代表的影响力内涵,进而从更全面的角度分析学术研究产生的影响力。
3.2 促进研究产出的科学管理与利用
研究产出是体现研究成果的任何形式的材料,包括期刊文章、书籍、数据集、创意作品、培训材料、公开演讲、视频、播客或软件[31]。大学图书馆在开发和维护用于科学管理研究产出的流程和工具上已经投入大量精力。目前,图书馆研究产出管理工作集中在机构库建设与科研数据管理两方面,研究产出类型局限于发表期刊论文、出版著作和研究数据,对其他类型的研究产出尚未形成科学管理办法,同时现有的管理平台也无法做到无障碍访问。在当前学术生态环境下,大学图书馆应扩大研究成果的管理范围,同时增强研究产出管理平台与其他机构系统和服务的集成度,促进大学研究产出的合理共享和利用,使研究产出通过知识转移产生更大的科研影响。只有这样才能使大学社区范围内各利益相关者认识到研究产出管理平台作为可靠数据源可以助其展示并最大化研究成果的价值和影响,主动支持配合图书馆研究产出管理平臺的建设工作。
3.3 加强科研影响力评价体系的研究
欧洲大学协会在“向开放科学过渡的科研评估”研究报告中指出,大学已经意识到目前现有的评价指标不够完善,而大学在开发和实施科研评估方法方面很大程度上是自主的[32]。科研影响力的评价是复杂且迅速发展的研究领域,评价目的的不同(包括对其进行评估的利益相关者、预期的影响和证据的类型等)导致了评价指标体系的多样性。教育部在2020年11月公布的《第五轮学科评估工作方案》中指出,学术评价应注重多元评价,采取多维方法[33]。开放互联的学术生态环境为多样化的科研影响力评价提供了支撑。大学图书馆基于文献计量指标的评价策略应逐渐转变为以多维指标评价体系为基础的科研影响力的全面衡量。图书馆应就科研影响力服务与校园内外不同的利益相关者建立开放的交流渠道,相应缩减数据驱动的衡量方法,综合考虑所评价对象的所属学科、成果类型、研究背景与目的,设计收集影响证据和评价影响力的方法,寻找和开发全面、可靠的评价指标和分析工具,并将其应用于日常评价工作实践。图书馆要密切关注科研评价制度改革的最新动态,拓展科研影响力评价服务范围,从帮助服务对象综合考虑评价指标的支持层面,发展为协助大学相关部门制定相关政策,开发和实施科学全面的科研影响力评价方法体系,制定增强研究收益的关键策略,促进科研影响力服务的持续发展。
3.4 创建科研影响力评价服务实践范例
由于不同学科领域科研影响力的发展途径和评价方法有所不同,图书馆可以设置支持影响力证据收集和评价资助等活动,通过创建科研影响力案例示范,指导师生如何将科研影响力理论知识与评价工具用于提升影响力具体实践中。案例研究从特定角度展示不同的利益相关者实施科研评价策略的区别,可以帮助馆员和用户更好的理解基于不同研究领域的科研影响力的展现与评价。图书馆可以邀请学科专家担任指导顾问,选择有代表性的学科咨询案例,量身定做影响力支持服务规划。图书馆在全面了解用户研究内容的基础上,提供影响力评价方法和工具建议,探讨相关研究可能涉及的替代计量(包括政策引用、下载和社交媒体报道)方法,科學制定研究影响路径实施方案,在此基础上从科学研究生命周期的各个阶段实施影响力提升策略。图书馆利用网站推广最佳案例,通过代表性案例内容陈述,展示科研影响力数据从确定、捕获、保存到跟踪阶段图书馆所提供的相关服务措施。科研影响力服务实践范例的推广为大学师生提供了提升影响力策略的交流平台,有助于师生更好地了解科研评价方法和指标体系,并能够评判性地拓展影响力证明途径。
参考文献:
EZEMA I J, UGWU C I.Correlating research impact of library and information science journals using citation counts and altmetrics attention[J]. Information Discovery and Delivery,2019, 47(3):143-153.
San Francisco Declaration on research assessment [EB/OL].[2019-12-05]. https://sfdora.org/read/.
胡科,陈武元,段世飞.英国高校科研评估改革的新动向[J].中国高教研究,2019(8):54-61.
Washington University in St. Louis.An overview of measuring academic productivity and changing definitions of scientific impact[EB/OL].[2020-04-11].https://digitalcommons.wustl.edu/cgi/viewcontent.cgi?article=1048&context=becker_pubs.
中国科技评价改革:如何演变?趋势如何?[EB/OL].[2019-12-18].https://tech.ifeng.com/c/7p9VAlXjIgX.
Wikipedia.Research I university[EB/OL].[2020-03-18].https://en.wikipedia.org/wiki/Research_I_university.
Iowa State University. Promotion & tenure resource guide[EB/OL].[2020-04-08].https://instr.iastate.libguides.com/tenure.
Johns Hopkins University.Scholarly impatct services[EB/OL].[2020-04-08].http://guides.library.jhu.edu/scholarly-impact-services.
University of North Texas.Scholarly impact consultation checklist[EB/OL].[2020-03-09].https://guides.library.unt.edu/ld.php?content_id=54220572.
Yale University.Research impact workshops[EB/OL].[2020-04-22].https://guides.library.yale.edu/impact/workshops.
University of Rochester.Research impact workshops[EB/
OL].[2020-03-04].https://www.library.rochester.edu/services/research-impact-workshops.
University of Pittsburgh.Upcoming workshops[EB/OL].[2020-05-29].https://www.library.pitt.edu/bibliometric-services.
UCSD.Workshops at the library[EB/OL].[2020-05-29].https://library.ucsd.edu/visit/library-workshops/index-old.html.
University of Illinois.Savvy researcher workshops[EB/OL].[2020-03-04].https://calendars.illinois.edu/list/4068.
Virginia Tech University.Tell your story-impact & engagement:upcoming workshops[EB/OL].[2020-04-22].https://guides.lib.vt.edu/TellYourStory/workshops.
Brown University.Impact challenge[EB/OL].[2020-05-09].https://libguides.brown.edu/scholarlyimpact/challenge.
Virginia Tech University.New research impact librariantracks scholarship[EB/OL].[2020-04-10].https://vtnews.
vt.edu/articles/2018/11/univ-lib-researchimpactlibrarian.html.
GUTZMAN K E,BALES M E,BELTER C W,et al.Researchevaluation support services in biomedical libraries[J].Journal of the Medical Library Association,2018, 106(1):1-14.
THOMAS W J,CHEN B,CLEMENT G.ORCID Identifiers:Planned and Potential Uses by Associations,Publishers and Librarians[EB/OL].[2020-04-22].https://www.tandfonline.com/doi/full/10.1080/0361526X.2015.1017713.
University Libraries at Virginia Tech Strategic Plan 2020-2025[EB/OL].[2020-09-10]. https://lib.vt.edu/content/dam/lib_vt_edu/about/strategicplan/UL%20Strategic%20Plan%202020%20v2-2.pdf.
University of Washington.UW Libraries investments in open access[EB/OL].[2020-04-03].https://www.lib.washington.edu/scholpub/open-access/uw-libraries-investments-in-open-access.
Benefits of depositing scholarship into IUScholarWorks[EB/OL].[2020-02-26]. https://scholarworks.iu.edu/about.
Indiana University.Social media metrics for IUScholarWorks content now available [EB/OL].[2019-11-07].https://libraries.indiana.edu/social-media-metrics-iuscholarworks-content-now-available.
UCLA.SEO for authors:a how-to cuide[EB/OL].[2020-04-12].https://guides.library.ucla.edu/seo/author.
李春卉.美國高校图书馆数字学术项目实践研究[J].图书馆学研究,2019(15):84-89.
BRAUN S.Manifold:a custom analytics platform to visualize research impact[EB/OL].[2020-03-04].https://journal.code4lib.org/articles/10948.
Australian Research Council.Research impact principlesand framework[EB/OL].[2020-04-21].https://www.arc.gov.au/policies-strategies/strategy/research-impact-principles-framework.
PENFIELD T, BAKER M J, SCOBLE R,et al.Assessment,evaluations,and definitions of researchimpact:a review[J].Research Evaluation, 2014,23(1):21-32.
Washington University in St. Louis.Becker medical library model for assessment of research impact[EB/OL].[2019-12-02].https://becker.wustl.edu/impact-assessment/model.
BAYLEY J,PHIPPS D.Extending the concept of research impact literacy:levels of literacy, institutional role and ethical considera[EB/OL].[2020-07-20].https://pdfs.semanticscholar.org/4cc3/50c55c5488278f6a3fe10ce88981b74522b6.pdf.
Research Impact:What is research impact?[EB/OL].[2020-07-21].https://libguides.library.usyd.edu.au/c.php?g=717256&p=5270210.
EUA launches report on research assessment in the transition to open science[EB/OL].[2020-07-21].https://sciencebusiness.net/network-updates/eua-launches-report-research-assessment-transition-open-science.
重磅!教育部公布《第五輪学科评估工作方案》和指标体系[EB/OL].[2020-11-03]. https://www.sohu.com/a/429139956_273375.