匹兹堡大学图书馆学者评价服务研究

江语蒙

（武汉大学信息管理学院，武汉 430072）

建立科学完善的学者评价体系已成为国家关注的重点。《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》中明确提出要“完善人才评价和激励机制，健全以创新能力、质量、实效、贡献为导向的科技人才评价体系”[1]，2020年教育部和科技部联合印发的《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》提出“SCI论文不是评价学术水平与创新贡献的直接依据”[2]，这说明单纯依据传统的论文计量指标进行学者影响力评价已无法满足当前实际需求。接连出台的相关国家政策足以证明，建立多层次的高校学者评价体系是当前激发人才创新活力、提升国家整体创新能力的必须之举。

图书馆的科研影响力评价服务是在原有学科服务和参考咨询服务的基础上针对科研评价的计量分析服务，它基于数据库和情报分析方法对个人、机构或学科科研绩效进行评估预测，从而辅助管理者的科研决策和研究者的科研[3]。目前我国高校图书馆的科研评价服务以学科整体水平评价和竞争力分析为主，如北京大学图书馆研制的《学科竞争力分析报告》；学者个人影响力评价服务实践相对较少，且评价指标维度和数据来源比较单一，如清华大学图书馆的“人才学术产出评估”服务，依据的指标包括作者h指数和论文被引量。

笔者认为，学者评价服务是图书馆科研影响力评价服务的一部分，旨在对学者的各类型学术成果在多方面的影响力水平进行评估，达到助力学者科研和机构在学者层面的科学决策的目的。基于其含义，学者评价服务包括文献计量指标指导、基金申请支持和情报分析服务中涉及学者个人部分的服务等具体业务内容。同时由于图书馆机构知识库普遍具有文献计量功能，可帮助学者评测研究影响力[4]，因此机构知识库中对所收录的学者成果进行计量分析的业务也属于学者评价服务的范畴。国内已探索了图书馆开展学者评价服务的不同指标，如在h指数基础上改进的hc指数[5]、基于科学网博文的评价指标[6]和Altmetrics替代计量指标[7]；分析了国内外高校学者库的学者评价服务实例[8-11]，或是介绍和分析学者影响力评估工具Plum X[12]、Altmertic Explorer[13]、ImpactStory[14]等。本文以采用Plum X进行学者影响力评价的匹兹堡大学图书馆（University of Pittsburgh Library System）为案例，分析其学者评价服务的指标及每个指标的数据来源，并总结其学者评价服务的特点，以期为我国高校图书馆的学者评价服务提供借鉴。

1 匹兹堡大学图书馆学者评价服务现状

1.1 服务目标

为了提升学者评价服务的质量，匹兹堡大学图书馆明确提出了其研究影响力服务的使命，即帮助匹兹堡大学研究群体访问、使用和解释包括传统文献计量指标和替代计量指标在内的各类指标，从而帮助各类研究群体了解其研究环境，并在申请拨款、工作晋升等需要证明其研究影响的流程中提供有力的证明[15]。在此宏观的目标下，匹兹堡大学图书馆还列出了进一步细分的9项目标，便于图书馆在实际过程中根据不同需求开展针对性的服务。

1.2 服务人员

匹兹堡大学图书馆在研究、学习与媒体部门下专设了一名文献计量服务馆员（bibliometric services librarian），负责开展与文献计量分析相关的图书馆服务。读者通过邮件就能顺利地与该馆员取得联系并咨询问题，同时还可以通过图书馆系统预约线上或线下的一对一咨询，从而应对各种可能出现的突发情况。此外，匹兹堡大学图书馆的学科联络馆员（liaison librarian）也会适当参与到学者评价服务中，承担一部分与校内师生沟通并收集信息的责任。

1.3 服务场景

匹兹堡大学图书馆的学者评价服务立足于多源数据、面向不同场景开展，在多样化的场景下形成了精准的适用性，目前主要在科研场景、决策场景和就业场景中取得了良好成效。

1.3.1 面向学者科研进步

匹兹堡大学图书馆的学者评价服务在面向科研场景中的最重要应用是帮助学者进行自我评价，并寻找潜在的合作者，更好地规划未来学术生涯方向。特别是对于年轻研究人员来说，传统引文指标和新型替代计量指标结合的评估方式，可以在简历表中提供学术影响力的实时评估结果[16]。匹兹堡大学图书馆的学者评价服务在帮助学者申请基金、项目等方面也起到了一定程度的助推作用。例如，匹兹堡大学机构知识库可显示论文的使用情况（浏览量和下载量），其中有一篇关于“残疾人机械臂的利用”的论文在Twitter上被33个推文讨论或转发，其中Reeve基金会转发了该论文在PLOS One期刊上的链接[10]。这说明该基金会可能对这篇文章及其相关研究方向感兴趣，也表明该成果的作者可以考虑申请该基金会的基金资助或项目支持，实现研究成果影响力的“出圈”。

1.3.2 面向人才管理决策

高校图书馆在向情报服务转变的过程中，对学校人才引进和评估评价工作的决策支持服务是重要切入点之一[17]。对于学校内的人才管理部门来说，教师考核、人才引进与晋升评估都需要基于学者评价服务的结果进行。多样化指标评价有助于管理者对校内学者形成较为全面的印象，从而做出更加科学合理的人事调整。匹兹堡大学图书馆在其网站介绍Altmetrics的部分就为用户如何在职位晋升时恰当地使用多种来源指标提供了指导，如“如果您希望记录您的公共宣传和参与的计划，您可以使用您的工作在社交媒体和Twitter上被提及的频率、您实验室博客的浏览量数据以及您的文章收到的维基百科引用次数。如果您想记录您工作的学术影响，您可以使用您被引用的次数、您的工作在Mendeley上被添加书签的次数”[18]。同样，管理层在进行决策时也可以依靠这份指导分门别类地衡量候选人各方面的影响力，提高决策结果的科学性和合理性。

1.3.3 面向职业发展前景

针对个人发展而言，将学者评价服务的结果写入简历，有助于全面展示求职者的个人影响力水平。为了向读者展示替代计量指标在求职过程中的实际应用方式和效果，匹兹堡大学图书馆在其替代计量指标指南中展示了一名教授在GitHub中上传的简历模版[19]，其中在学术影响方面除了展示该教授的出版物情况外，还将他在其他方面的社会影响力情况集成在同一个界面中，如开发的软件介绍、受到的媒体采访报道以及曾经获得的奖项等。如果该教授需要应聘校内其他岗位或者学术兼职、社会兼职时，只需向应聘单位提供这份简历的链接，招聘者便能在一个页面中了解到该应聘者的全部情况。这样既为招聘者提供了解求职者全方面情况的渠道，同时也能帮助求职者增加其自身竞争力，全面展现自身实力与水平。对于教授、研究生等各类型科研工作者来说，匹兹堡大学图书馆的学者评价服务在帮助他们寻求更好职业发展平台、进一步融入社会上都能发挥重要的作用。

2 匹兹堡大学图书馆学者评价服务的特点

2.1 多源的评价数据来源渠道

数据源是开展多源数据驱动的学者评价服务的基础。匹兹堡大学图书馆的“文献计量与研究影响”（Bibliometrics and Research Impact）[15]服务立足多源数据，为用户提供了衡量学术影响力的相关指标指导，总体上将学术影响力的评价指标分为引用指标和非引用指标（Altmetrics，替代计量指标）两大类。传统引文指标从数据库和学术搜索引擎中获取与学者文章相关的指标数据，由于目前已有较多学者对该类指标进行研究，因而不在此赘述，下文主要针对匹兹堡大学图书馆的特色替代计量指标展开讨论。

匹兹堡大学图书馆主要借助Plum X工具进行替代计量指标的评价，并实现了深度应用。Plum X是由专门衡量科学研究影响的公司Plum Analytics开发的替代计量指标在线工具，能从引用（citation）、使用量（usage）、捕获量（capture）、提及（mentions）、社交媒体（social media）五大类别提供评价指标衡量成果的影响力情况[20]，具体评价指标如表1所示。通过引入Plum X，可以克服现有学者成果影响力评价指标过于单一的局限，集成整合多源数据，以便获得更丰富、更完整的学者学术影响力结果。

表1 Plum X的五大类别及其下属指标

2.1.1 针对不同学科特点

受限于学科特性，人文社会科学专业的很多学术成果评价并没有一个公认的计量方式[21]，为突破这一局限，匹兹堡大学图书馆依据不同学科成果分布情况从对应的数据来源收集学者成果的影响力数据。如评价社会科学领域的学者时，纳入社会科学预印本库SSRN（Social Science Research Network），相较于当前主流预印本网站arXiv、BioRxiv、ChemRxiv等收录范围偏向于自然科学领域而言，SSRN的收录范围更偏向于社会科学领域的学术成果，因此其在Altmetrics指标测度上对于社会科学学者相对友好[22]。同时，由于其创始人的专业背景为金融经济学，因此其中收录了大量金融和经济学领域的预印本。在匹兹堡大学机构知识库中SSRN引用量排名前二十的文章主题均属于金融和经济学领域[23]，这也使其成为评价金融和经济主题领域学术成果的优选来源。

多数情况下人文社科领域的研究成果比较难以通过技术或专利的形式呈现，因此通过政策引用能有效展现成果转化能力和实际效用，丰富研究成果的评价维度。匹兹堡大学图书馆统计政策引用的主要来源渠道是政策文件索引Overton，其收录了来自不同国际组织、政府机关、各国信息公开平台上提供的各类政策文件。政策引用是目前学者研究成果影响力评价过程中比较容易被忽视的维度，但能在很大程度上反映出研究成果的实用价值。匹兹堡大学机构知识库中政策引用数量较高的一篇文章是发表于2006年的《缓解流感大流行的策略》（Strategies for Mitigating an Influenza Pandemic），其最新一次政策引用出现在2021年国际货币基金组织（International Monetary Fund，IMF）的报告《新冠肺炎疫情和货币政策》（Monetary Policy and COVID-19）中[24]，证明该研究成果不仅有很强的政策转化能力，同时还具有跨越较长时间范围的影响力，反映出该项成果不仅具有很高的学术价值和创新意义，且有很高的现实意义和社会价值。

2.1.2 体现不同影响领域

将同一研究成果在不同来源渠道中的影响力数据进行对比能体现出该成果受关注的领域差异。例如，在校内存储库和公共网站中的下载量分别显示了一项研究成果在校内和校外的受关注程度差异，可以进一步推断该成果的影响范围。在匹兹堡大学机构知识库中按学术成果被下载次数进行降序排列，发现排名前十的研究成果只在机构知识库中有较高的下载量，而在其他网站和在线知识库中没有被浏览或下载的记录，这证明匹兹堡大学机构知识库的开放存取程度有待加强，仍需更广泛地宣传机构的学术成果。

多渠道获取的数据还能从侧面反映出成果学术影响之外的社会价值和影响力，甚至能够为政府部门把握社情民意、制定实施政策提供一定的参考依据。例如，匹兹堡大学机构知识库中收录的一篇报告《美国宗教景观调查宗教信仰和实践：多样化和政治相关》（U.S. Religious Landscape Survey Religious Beliefs and Practices：Diverse and Politically Relevant），虽然在引用和捕获量指标方面的数据较少，但它被各类新闻提及高达707次[25]，在匹兹堡大学整个机构知识库中排名第二。这说明该成果对于社会公众来说具有很高的吸引力和阅读价值，一定程度上体现了社会公众对于相关议题的关注。

2.2 多元化的成果类型和评价指标维度

2.2.1 覆盖多种形式的成果类型

匹兹堡大学图书馆借助Plum X工具开展的学者评价服务真正实现了对研究成果多种形式的全面评价。Plum Analytics公司认为“研究人员在其各自的研究领域会有多种形式的输出”，并定义了研究成果的67种不同形式[26]。匹兹堡大学图书馆基于此提供了38种成果类型，并根据不同类型成果的形式特点，有针对性地从多个数据渠道收集学者研究成果以供评价。例如，在专门的数据库中收集学术论文和专利等形式较为正式规范的成果数据，而对于多媒体类型的成果，会更多地在较为知名的多媒体成果分享网站/社区中进行收集整理。

2.2.2 兼顾多方面影响的指标维度

匹兹堡大学图书馆的学者评价服务将评价维度拓展至学术影响之外，致力于实现对学者多方面影响力的综合评价。在学术影响评价维度下，除了衡量学者的论文、专著、研究报告等学术成果在科研领域发挥的影响外，还将学术成果的教学影响考虑在内，《美国少数族裔健康差异概述》（Overview of Minority Health and Health Disparities in the US）这门课的课程大纲拥有匹兹堡大学图书馆机构知识库最高的下载量[27]，这可以从一定程度上反映该课程大纲的创建者在教学上的表现相对突出。除了学术影响外，学者成果在其他领域的影响（如政策影响、社会舆论影响）可以通过前文提到的政策引用、社交媒体关注度等对应指标进行衡量。从多个维度同时出发的评价方式有助于突破单一维度评价的局限性，为展示学者成果影响力全貌提供帮助。

2.3 内外部合作共建的评价服务体系

工具和平台是开展情报分析服务的重要条件保障[28]，匹兹堡大学图书馆的学者评价服务是在外部评价机构搭建平台的基础上，由图书馆馆员主导开展的服务，属于内外部合作共建的评价服务体系。首先从校内角度来说，主要由匹兹堡大学图书馆的联络馆员负责校内学者信息的收集和录入。图书馆馆员与学者联络并进行协调，收集其简历或档案后，将这些信息录入匹兹堡大学机构知识库中，并持续关注和更新相关信息。其次从Plum X的角度来说，该工具会先为每个目标学者建立一个档案，并根据机构内身份统一识别的标识符从匹兹堡大学机构知识库中收集该学者的所有学术成果，再依据DOI号、ISBN号等标准标识符在网络中寻找其他在线成果，并监测多个来源收集到的成果数据，最后以可视化的形式呈现该学者的多方面影响力情况。最终的评价结果既可以在机构知识库中以嵌入式插件的形式呈现，又能在Plum X的学者个人主页中查看更详细的影响力指标数据。匹兹堡大学图书馆与Plum X的合作流程如图1所示。

图1 匹兹堡大学图书馆与Plum X的合作流程

3 匹兹堡大学图书馆学者评价服务的启示

3.1 构建以图书情报机构为主体的合作模式

任何一个评价主体都有其难以克服的局限性，因此只有将多主体的评价相结合才能形成全面、公正和可靠的评价结果[29]。图书馆在开展学者评价服务过程中，应该将校内外多方主体串联起来，打通校内外合作评价的桥梁。从校外主体的角度来看，国外有很多大学图书馆与专业计量评价公司合作，展示学者研究成果影响力情况，如剑桥大学图书馆与Altmetric.com合作，在学者个人主页中展示其研究成果的影响力情况[30]；佛罗里达大学与Impactstory合作，从学者的成就、出版物情况和研究时间线等多个方面展现学者研究的影响力[31]。国内已有部分高校图书馆与校外机构开展了合作，如深圳文献港的学者知识库就利用与清华大学计算机系唐杰教授团队创立的科技情报分析与挖掘平台AMiner的评价体系构建学者主页[32]。

为彰显和巩固作为高校三大支柱之一的图书馆在学者评价中占有的主导地位[33]，图书馆还可以和校内如教务处、人事管理部门等与学者评价过程相关的主体开展合作。除了辅助这些职能部门开展人才评价外，图书馆还可以从相关部门获取学者校内系统中的信息，如从教务处获取学者的授课情况、从人事管理部门获得学者的奖励情况等。在相关部门需要进行校内人才调动或学者本人需要自我评估时，图书馆可以在充分了解用户需求的基础上，主动承担收集相关数据的任务，再借助外部评价工具开展专业的学者影响力评价，最终为目标用户生成清晰可见的评价报告。在此过程中，虽然图书馆与多个机构合作共同进行评价，但流程中涉及的数据收集、工具利用以及撰写报告等关键工作都可由图书馆负责或主导。

3.2 提升评价服务的全面性和实用性

3.2.1 丰富评价对象和评价维度

替代计量指标作为一种新型的评价指标，在用于评价学者学术影响力方面具有社会性、即时性、选择性和评价对象非传统性的优势[33]。鉴于此，我国高校图书馆在进行学者成果影响力评价时，应该在融合传统指标和替代计量指标的基础上覆盖多种评价对象类型，拓宽评价对象的来源渠道，将学者以文字、音频、视频等多种形式呈现的成果汇总，全面展示学者多样化的研究成果及其各自影响力情况。在网络学术交流逐渐发达的趋势下，确定一个学者在网络上的影响力是对学者的一种认可[4]，部分学者会在个人博客、微博等社交平台中以多种形式发布学术观点，图书馆可以访问学者的个人主页并利用网络爬虫工具对网页信息进行统一收集，再通过数据筛选、清洗等处理获取与学者网络影响力相关的字段数据。

要进一步提升学者评价服务的全面性，我国高校图书馆还可以将涉及学者多方面影响力的指标纳入数据收集的范围，注重评价学者学术成果的科学价值、技术价值、经济价值、社会价值、文化价值[34]。例如：在新闻网站上搜集和学者成果相关的新闻报道，彰显学者成果的社会影响力和受关注程度；评价学者在服务决策方面的能力时，可以搜寻其在各级人大、政协及相关政府听证论证会中的提案发言及采纳情况，以及向各级政府部门提交资政报告的情况，展示其在政府政策制定方面的参与情况；重科研轻教学是我国“双一流”高校一直存在的问题[35]，因此在“中国大学MOOC”等在线课程网站中检索学者的慕课视频并获取浏览量、评论量等相关数据，可以反映学者的科研学术成果在教学方面的影响力，把立德树人作为人才评价的核心内容[36]，扭转高校重科研轻教学的倾向。

3.2.2 选择符合实际需要的评价指标

对于同一学者不同类型的研究成果来说，图书馆应依据其特点选择合适的评价指标。如学位论文、会议论文等较为规范的研究成果类型，应使用引用量为主要评价指标，辅之以其他指标，在保证科学性的基础上尽可能全面地评价其影响力；对于音视频、幻灯片等覆盖全媒体类型的研究成果来说，其所属网站中的浏览点击量以及在社交软件中的传播范围和评分等指标就是评价影响力时的重点；不同指标有各自的适用范围，如社交媒体指标在测度不同学科研究成果影响力方面的效果就有所不同，它对于比较新兴前沿的学科来说评价效果更佳[37]。因此，在评价学者成果时要根据成果的类型特点有针对性地选择评价指标，既要囊括各方面的影响力情况，又要尽可能保证指标的数据来源合理可靠。

除了借鉴Plum Analytics、Almetric.com等国外知名替代计量公司使用的评价指标及其数据来源之外，我国高校图书馆还应该依据国内实际情况酌情增减，构建具有中国特色的学者评价标准，促进知识评价标准从全球转向本土[38]。如在评价国内学者研究成果的政策影响时，除了参考国务院公开的政策文件外，还可以将学者参与的国家或地区基金项目、重大招标项目、规划课题等纳入数据收集范围[39]，展现学者学术成果对于解决中国实际问题的贡献情况。在评价学者研究成果的网络传播情况时，可以根据我国网络用户实际使用情况对部分指标的数据来源进行更改，如将YouTube播放量更换为国内热门视频网站哔哩哔哩、优酷等，将成果在Twitter、Facebook上的“转赞评”数替换为在微博、知乎等社交媒体上的受关注程度，或是将专著在Goodreads、Amazon上的评分改为其在豆瓣上的得分情况，诸如此类的替换能够让评价结果更好地反映我国学者的实际影响力。但需要注意的是，虽然用户打分的机制可以清晰地展现成果的社会评价，但是会因为用户主客观情况的较大差异导致评分存在科学性不足、随意性较大等弊端，因此对于该指标需要辩证使用。

3.3 针对不同需求提供定制化服务

学者评价服务应该在多样化的场景中针对不同的需求开展，从而精准契合用户需求。人才评价是贯穿学者学术生涯的一项周期性事务[40]，因此图书馆面向科研过程开展的学者评价服务应该涉及科研生命周期的全流程。在科研初始阶段，学者评价服务可以通过评价学者前期成果的影响力情况帮助其寻找潜在的合作者和合适的基金资助，助力科研项目顺利开展；在学术成果产出后，学者评价服务可重点关注研究成果的后续影响力情况，评价结果既能在一定程度上反馈科研项目的产出效果，也能帮助学者对未来学术生涯有更加清晰的规划。

高校图书馆在开展情报服务时的一个重要切入点就是对学校人才引进和评价工作提供决策支持[17]。在面向人才管理部门提供决策支持时，高校图书馆的重要任务是与决策部门深入沟通并了解其具体需求，从而开展切实的评价服务。例如，针对人才引进的评价需要重点关注其学术影响力较大的领域与岗位要求的适配性，而校内的人才岗位晋升评价则更需要关注学者在校期间学术成果的整体影响力水平。在满足各职能部门对人才评价的基本需求之上，图书馆馆员还应与相关部门负责人沟通并补充所需的其他指标，确保决策依据的完整性和全面性。

学者担任学术兼职和社会兼职不仅能促进学术成果交流传播，还能帮助学者创造更具实际性和应用价值的学术成果[41]。面向就业需求的学者评价服务旨在通过评价提升学者在求职过程中的竞争力，从而提升其获得兼职的可能性。对于有求职和晋升需求的学者群体（包括各种培养方式的硕博研究生）来说，高校图书馆可以开展统一的培训课程，主要目的是指导他们将学者评价的结果有机地融入简历中，在求职过程中最大化展现自身竞争力。例如：应聘程序员岗位的学者可以在简历中展示在代码分享网站中其编写的代码的浏览量和点赞量等数据；人文社会科学领域的学者则可以将新闻报道中出现的研究成果进行展示，充分展现求职者的能力。

4 结语

开展学者评价服务是完善国家科研评价体系的关键一环和激发人才活力、助力科研创新的重要举措，也是我国高校图书馆未来需要重点开拓的业务内容。本研究希望国内高校图书馆通过学习匹兹堡大学图书馆学者评价服务的开展模式、应用场景和数据源选择方式，根据所处的具体环境，面向校内科研用户的切实需要，合理开展多源数据驱动的学者评价服务，充分发挥高校图书馆的科研支持作用。