美国公共图书馆项目成效测量工具研究

邱建恒

（东莞图书馆 广东东莞 523071）

吴建中在“图书馆的变革、转型与超越”研讨会上指出，“图书馆要为提升民众的职业素养服务，为城市就业和减贫做出贡献。图书馆还要为提升民众的学习能力服务，造就一批具有数字和技术素养、面向未来的人才。现代科学技术的蓬勃发展为图书馆施展自己的用武之地提供了无限的可能性，所以图书馆要适应形势的发展，拓展自己的空间。”[1]这是当今图书馆的义务和权利，也是图书馆面临的机遇与挑战。这一系列的服务都是在用户多元化需求的带动下产生的，直接体现了各馆的服务水平和服务质量。显然，传统的一味强调产出量的指标体系早已与现代化的服务项目和服务内容不相适应，图书馆必须通过设计理念转变，建立起以用户为中心的绩效考核体系，借助成效测量工具来证明自身给用户生活带来的影响，体现图书馆的价值。美国公共图书馆协会（The Public Library Association,简称PLA）正在这一图书馆发展浪潮中启动了测量图书馆成效的项目Project Outcome。

1 Project Outcome介绍[2]

Project Outcome是一个免费的工具包，提供简单的问卷调查和易于操作的测量和分析成效过程，帮助公共图书馆了解和分享图书馆活动和服务的影响。此项目还为图书馆提供结果应用所需资源和培训支持，使其自信地倡导图书馆的未来。虽然许多公共图书馆都会收集有关其活动和服务的数据，但通常缺乏用来表明图书馆为其社区带来益处的证据，例如服务于儿童读写能力、数字和技术培训以及劳动力发展的活动成效。Project Outcome的启动，使赞助人出席活动和成功故事的宣讲不再是图书馆展示其有效性的唯一途径。由图书馆领导、研究人员和数据分析师共同参与开发的Project Outcome旨在帮助图书馆更好地利用成效数据为自身服务，使得图书馆通过提供这些数据来表明他们活动与服务的短期或者长期的影响力，从而获得更多的资源来增强图书馆项目的实施。目前，除了调查报告生成和数据分析等工具只适用于美国以及加拿大的公共图书馆和国家图书馆外，Project Outcome的网上资源、案例学习、调查表样式、数据收集和筛选方法等都是免费向所有图书馆开放的。其主页显示，截至2017年10月，共有来自847个公共图书馆的超过1 000名的注册用户，并且收集了102 679项用户调查结果。PLA正致力于扩大本项目未来覆盖面。

1.1 Project Outcome的背景[2]

Project Outcome于2013年由时任美国公共图书馆协会主席，同时也是斯科基公共图书馆馆长的卡洛琳·安东尼（Carolyn Anthony）负责。卡洛琳成立了公共图书馆业绩测试特别小组（Performance Measurement Task Force，简称PMTF），由公共图书馆领导、科研人员、咨询人员和数据分析员等组成，以顺应图书馆服务成效标准化测量的大趋势，以及用收集来的数据去宣传项目培训和实施工具。特别小组确立了新的绩效指标及评估模型设立原则：①强调一切考核工作必须从公共图书馆所服务的社区居民的角度出发；②通过成效类指标的引入，着重考核公共图书馆的服务对居民平时生活、工作、学习的影响和作用，而不是考核各项服务在公共图书馆内部取得何种成果业绩[3]。在收集了2013年公共图书馆数据服务调查结果以及2014年末对27所图书馆进行试点测试后，特别小组确定了Project Outcome里图书馆的7大关键服务领域，即社区参与度、数字化学习、经济发展、教育/终身学习、孩子的早期识字、工作技能和夏季（暑期）阅读，以便图书馆更加容易且直接地了解到用户在知识、行为、技能、应用能力以及意识方面的提升或改变。

2015年6月，在旧金山举行的美国图书馆协会年会上，Project Outcome计划首次被提出。次年6月，PLA在奥兰多举行的年会上正式公布了该项目的调查报告。PLA把Project Outcome列入协会长期发展的服务名单，并争取到比尔及梅琳达·盖茨基金会的资助。依托特别小组的工作开展项目，计划通过提供免费易用的网上资源、调研和数据分析工具，使得公共图书馆能够测量和分享自身重要活动与服务影响力。

1.2 Project Outcome的特点

通过以上对Project Outcome的整体介绍，可总结其特点如下：①免费。一方面，无论是系统根据图书馆提供的数据而自动生成的报告，还是用于分析的工具，又或者是培训的视频、测量的资源和现有的调查样表等，全部都免费提供给注册的图书馆使用。另一方面，现时很多的数据测量系统都是根据图书馆参与调查的样本数量的大小来收费的，而Project Outcome不但完全免费，还鼓励更多的用户使用项目的工具包，以增加调查样本，提高项目年度报告的可信度，扩大项目的覆盖范围和影响力。公共图书馆第一次可以自由并免费获取标准化成效调查和数据分析工具，以实现其在社区内外的变革。②关注点从“量”到“质”的转变。今后图书馆所要提供的数据将不仅仅是入馆人数和借阅次数。传统的结果仅仅只能体现数量，或者说是做了多少；图书馆还需要去衡量事物的质量，也就是做得怎么样[4]。因此，图书馆需要在今后通过调整成效类指标来更好地证明自己在社区中的作用。Project Outcome工具包使图书馆从以往的单纯问卷调查转变为如今的真正利用调查结果及数据来指导图书馆的规划和行动，优化图书馆的资源配置，宣传图书馆的活动，并为用户提供优质高效的服务。③测量和分析成效数据的工具简单，易操作。只需要按系统步骤输入原始数据，工具就会自动生成调查结果数据图表、分析报告、调查问卷等。也可以通过观看使用教程的视频以及“如何筛选有效数据”的课件来了解工具的功能和使用方法。

1.3 Project Outcome2017年年报[5]

在公共图书馆工作的人都知道，图书馆服务为每一个读者提供了新的机会——提高读写能力、增加技术知识或者是提供更多更好的求职信息。工作人员每天都能看到这些成效，但图书馆却缺乏相关的数据支持。

在Project Outcome启动的第二年里，参与的图书馆有320多个，共收集到有效调查问卷67 300多份。结果显示，九成的受访者认同参与了图书馆的活动或使用了图书馆的服务之后，他们学习到了新的知识或技能，他们感觉到更加自信了，也更倾向于做出新的改变。公共图书馆的影响不只是对于个人，更是延伸至整个社区：父母与孩子共同阅读，带给孩子的影响会持续到他日后的读写认知阶段；具备电脑技能或接受继续教育，对于找工作至关重要；提高社会参与度，可以降低失业率。

为使得这些影响持续下去，Project Outcome通过为图书馆提供简单的调查工具以及便于操作的测量过程和结果分析过程，帮助公共图书馆获得有效的证明数据。结果可被用于体现图书馆服务的价值，提升图书馆服务的质量和优化图书馆资源的配置。

Project Outcome这两年收集的资料（如表1所示）明确地表明，图书馆的活动和服务改善了图书馆用户的生活。图书馆近八成的用户表示图书馆的活动和服务对他们的生活产生了一定的积极影响。

数百个图书馆现利用Project Outcome的数据来指导他们的服务策略和图书馆的宣传，PLA正在运用所学到的知识来增加成效测量对各地图书馆和社区的影响。在2017年，Project Outcome着手为有意管理更先进的调查和纵向研究的图书馆发布新的指南，以了解图书馆活动和服务随时间变化的影响。这些指南支持图书馆测量其成效，证明其努力的成果。一方面，Project Outcome将继续开发新的工具和资源，定期进行在线培训，帮助图书馆从规划到实施调查，运用成效测量结果来采取进一步的行动。另一方面，项目也将继续与图书馆合作，以确保成效测量的可持续性。PLA将基于项目这两年的成功，提供更多的有针对性的学习给需要测量他们的影响力和支持他们的活动和服务的图书馆，提供区域培训和一对一的图书馆援助，建立数据共享合作伙伴关系，扩大与国家图书馆工作人员和其他类型图书馆的合作，并将继续完善项目的测量体制。

2 Project Outcome的实施[2]

用邮箱注册为Project Outcome用户后，需选择用户身份：图书馆（公共图书馆、国家图书馆）馆员/不是图书馆馆员。项目系统对两者开放的权限有所不同：对前者是开放全部权限，包括“调查管理”“交互式数据面板”“资源”和“同行讨论”四个板块；而后者是不能使用“调查管理”板块的，也就是不能使用数据分析和报告生成等功能。

馆员注册时，首先要填写自己所在的公共图书馆、个人联系信息等，再从图书馆的7大关键服务领域中选择其中一项进行调查，可以是该主题的活动或者服务，然后可以在主页上下载相关的调查问卷。Project Outcome为图书馆提供3大测量用户成效的工具，分别是：①即时调查。即时调查有6个问题，包括李克特量表（一种心理反应量表）和开放式问题。即时调查是指在活动或服务完成后立即分发调查问卷，旨在帮助图书馆更好地了解活动或服务对用户的直接影响以及对用户行为带来的改变。即时调查是评估活动或服务的直接影响，以及为图书馆宣传和报告提供直观证据的理想选择。②后续调查。后续调查问卷长短不等，遵循“是/否/请说明”格式，在活动或服务结束后的4—8周内使用，旨在帮助图书馆更好地了解用户是否有行为的改变或继续受益于之前参加过的活动或使用过的服务。后续调查是在一段时间后评估活动或服务影响的理想选择，衡量实现战略目标的进展情况，并为图书馆宣传提供有力的证据。两种调查问卷都按7个关键领域分类，特别小组都已确定好每份问卷的调查内容，用户可根据自己图书馆活动或服务的具体情况，最多可添加3个额外的调查问题。③《成效测量指南》。目前，特别小组正在制定《成效测量指南》，该指南将帮助图书馆运用先进的成效测量方法，并向社区展示与图书馆长期合作的影响。对活动或服务的用户进行问卷调查之后，主页的“资源”部分，提供培训视频教程，教馆员筛选有效的数据然后根据步骤进行数据上传，之后就会有数据分析图表和报告生成。如何利用报告为自己的项目或者图书馆进行宣传，网站上也会有实质的建议：如先确定宣传的核心目的，再决定运用哪些定性和定量的数据作为最有力的论据，在这些数据当中有什么最好的或最有趣的发现，这些发现可以以一个令人难忘或引人入胜的故事作为载体而进行陈述和分析。从如何开始到如何进行调查，再到如何进行数据分析，到最后如何利用调查报告采取行动以改善和提高活动和服务的质量、调整规划、进行内部决策、为图书馆宣传等，Project Outcome都有明确的指示和建议。

3 Project Outcome对我国公共图书馆评估的参考意义

3.1 对我国公共图书馆评估指标设计的参考价值

指标设计是图书馆评估的重要环节，管理者必须设计一套能够衡量图书馆服务成效和预期目标实现的指标体系，用于实施评估[7]。

公共图书馆通常以“我们做多少”来衡量服务，重点关注产出量，如提供的活动或服务的数量。与其他类型的绩效测量不同的是，Project Outcome旨在测量从图书馆用户的知识、信心、行为变化或意识的变化中获取图书馆服务的好处（或结果）。例如，输出测量可能会告诉我们有多少图书馆顾客参加简历写作研讨会，成效测量则可以告诉我们，这些用户是否觉得更有信心和有能力寻找新的工作，参加图书馆的活动是否能达到他们的预期的目标。在设计我国公共图书馆评估的指标时，包括优化指标体系框架及分值分配，增删和调整部分指标内容，调整部分指标的取值，细化指标的备注说明，调整定级必备条件[8]等，可以参考Project Outcome的7大关键领域，也可以通过主页提供的案例学习理论联系实际。

3.2 对我国公共图书馆评估结果应用的参考价值

公共图书馆的评估不应只注重“评“，更应加强评估结果对图书馆下一步发展的应用。一方面，通过对Project Outcome官网的研究，可获得测量结果对于图书馆宣传的建议和策略，对于图书馆资源优化配置的经验以及在图书馆规划中的应用。另一方面，通过对Project Outcome中的案例、年度报告等的学习，了解那些活动或服务成效好的图书馆的日常管理模式或新增的改进措施、解决方法等，借鉴学习其进步之处，以提升我国公共图书馆自身的管理水平和服务质量。

4 结语

近年来，随着用户需求多元化发展和对图书馆要求的不断提升，传统的绩效评估模型已经无法适应图书馆新的发展趋势了。当下要实现“以评促建”的目标，公共图书馆评估工作必须以服务为导向，加快推进绩效评估，逐步引入成效评估，加强评估结果的应用[6]。美国公共图书馆协会的Project Outcome是成效测量和传统数据收集的结合，能让图书馆更好地进行内部决策、倡议以及战略规划工作——以此来证明好的数据能让图书馆变得更好[4]。