国外资源发现系统评价策略研究*

朱前东

（暨南大学图书馆 广东广州 510632）

目前国外市场上主流的资源发现系统有OCLC WorldCat Local（以下简称WCL）、Serials Solutions Summon（以下简称 Summon）、EBSCO Discovery Service（以下简称EDS）、Exlibris Primo Central（以下简称 Primo）和 Innovative Interfaces Encore Synergy（以下简称Encore）等。国外图书馆在引进和实施这些资源发现系统过程中采取了多种评价策略和多样化指标对其进行评价。这些评价策略概括起来主要有系统功能评价、系统可用性评价和系统使用绩效评价，每种评价策略又都有其相应的评价内容、指标与特点。笔者将结合国外资源发现系统评价研究和评价实践，详细论述这三种策略的内涵与应用。

1 基于系统功能的评价策略

1.1 系统功能评价内涵

系统功能评价指图书馆针对资源发现系统应当具有或者已经具有的功能进行评价。应当具有的功能实际上是图书馆期望发现系统能够实现的功能，这些功能通常要解决图书馆面临的两个重要问题。一是图书馆现有的OPAC整合功能不足，检索功能较弱，不能充分满足用户信息检索需求；二是图书馆订购的期刊数据库、图书数据库、事实数据库、机构知识库和各类网络开放资源处于分散状态，不能向用户提供类似Google Scholar的统一检索入口。因此图书馆期望发现系统具有的功能包括：强大的资源整合功能、友好易用的检索功能和良好的检索结果显示功能等。这些功能也就成为图书馆评价资源发现系统的重要内容与指标。

1.2 系统功能评价实践

瑞士洛桑联邦理工学院图书馆（Ecole Polytechnique Fédérale de Lausanne Librar） 在评价资源发现系统时，期望资源发现系统能够将图书馆联盟联合目录、本馆的两套OPAC系统、订购的期刊数据库、电子图书、书目和事实数据库整合到同一个系统。图书馆认为理想的资源发现系统应当具备6个功能，按重要性由高到低，分别是：

（1）内容与相关性：发现系统能够使用户检索到图书馆的所有资源，并且能够利用图书馆外的其他相关资源；

（2）检索功能：发现系统应当具有易用和强大的检索能力；

（3）检索结果显示、管理和使用：检索结果显示具有吸引力，方便用户使用，即提供在线资源直接获取、印刷资料借出状态和显示二次检索等；

（4）用户账户：用户可以使用多种个性化选项；

（5）管理功能：简单易用的系统管理；

（6）专业检索：专为图书馆员提供的功能，如专家检索、简单链接、统计数据等。

2011年6～9月瑞士洛桑联邦理工学院图书馆以上述6个期望功能作为评价标准，对EDS、Primo、Summon和WCL四个资源发现系统进行测试和评价。

图书馆在考察现有的各类资源发现系统及其功能基础上，通过分析和比较这些已有功能，可以制定出更全面和科学的资源发现系统功能标准。美国戴维森学院立特图书馆（E.H.Little Library of Davidson College）在进行资源发现系统评价时，除了考虑图书馆员和用户的功能期望外，还对市面上现有的资源发现系统功能进行了调查。根据调查结果，2009年10月，在图书馆管理委员会的组织和领导下，图书馆完成了评价标准的制定（见表1）。

表1 立特图书馆资源发现系统功能评价指标［2］

2 基于系统可用性的评价策略

2．1 系统可用性评价内涵

国外在20世纪90年代提出了主要应用于评价信息系统的有效性、效率、用户接受度和满意程度的可用性概念。可用性评价的最大特点是以用户实际使用系统的感知和满意度来评价信息系统质量。信息系统可用性概念早期是计算机和信息系统领域研究和实践的热点。随着数字图书馆的发展和普及，可用性评价也被广泛应用到如图书馆网站、OPAC、ERMS和数字图书馆等领域。当资源发现系统出现并应用到图书馆后，国外很多图书馆采用可用性评价方式来测度资源发现系统能否满足用户期望和信息资源获取需求，并以此选择资源发现系统或评估已采购的资源发现系统。

2.2 系统可用性评价实践

杜兰大学霍华德-蒂尔顿纪念图书馆（Howard-Tilton Memorial Library of Tulane University）在2009年秋季学期实施了Ex Libris的联邦检索系统Metalib，但图书馆认为应将联邦检索系统升级到资源发现系统，因此2010年成立资源发现系统工作组。由于当时市场上的资源发现系统产品不够成熟，因此直到2011年图书馆才重启资源发现系统的评估。经过长时间的评估，最后图书馆选择了Primo Central。图书馆又成立了一个项目实施小组，该小组有四个分委会，分别是数据管理、推广、培训和用户评估。用户评估分委会的工作就是进行资源发现系统评价，包括可用性评价、用户调查和发现系统引起的资源使用量变化，如流通量、期刊使用、全文下载量和数字馆藏使用等。图书馆的可用性评价参与者由11名本科生、4名研究生和5名教工组成。本科生涵盖了大一到大四各个年级。所有参与者将获得本地咖啡店的5美元礼品卡。参与者需要完成5个任务（见表2），这些任务涉及资源发现系统的各个方面，包括分面检索、全文获取能力和文献请求等。

表2 杜兰大学霍华德-蒂尔顿纪念图书馆可用性测试方案

图书馆员指导参与者使用图书馆网站的资源发现系统完成测试，而不是网站上的OPAC、Metalib和数据库等。Silverback软件将记录参与者的鼠标移动、屏幕浏览、面部表情和评论。测试完成后，图书馆员要对参与者进行测试后问卷调查，要求学生对系统可用性进行评级。

杜兰大学霍华德-蒂尔顿纪念图书馆是针对单一资源发现系统进行可用性测评，而Gallaway和Hines采用了竞争可用性测评 （competitive usability techniques），对多个资源发现系统进行评价，以研究下一代目录或资源发现系统解决用户使用在线目录检索资源问题上的能力差异。评价的系统包括 Aquabrowser、EDS、Encore Discovery、Enterprise、Summon、Primo和 WCL。为保证可用性评价能涵盖当前图书馆目录存在的各种问题，研究者分析咨询馆员保留了大量来自学生、教师和职员的当面或电话咨询记录，然后对最近6个月有关在线目录的使用问题进行收集和归类，从而整理出最常见的用户使用问题（见表3）。同时还调查咨询馆员对图书馆目录优势与缺点的认识。此外，还通过OPAC检索日志、目标用户群体和虚拟参考咨询的聊天日志等途径来发现用户使用问题。在制定完可用性测试方案后，图书馆邀请到馆的读者参与可用性评价，并为参与者提供糖果、图书馆杯子和咖啡作为奖励。图书馆为每位参与者提供安装了抓屏软件（Camtasia或Screenflow）的笔记本电脑（Windows或Macintosh系统）。图书馆员向参与者宣读可用性测试目的和程序，要求读者根据每个问题的难易程度对测试任务进行排序。向参与者说明重点是系统表现，而非用户的研究技能，鼓励参与者描述完成不同任务的过程。

表3 Gallaway和Hines可用性测试任务

3 基于系统使用绩效的评价策略

3.1 系统使用绩效评价内涵

资源发现系统使用绩效指资源发现系统的使用量、使用效益以及产生的影响。资源发现系统使用绩效评价的具体方式视评价目标而定，如针对资源发现系统的使用量与使用效益，可以采用系统访问量、检索量、系统日志分析等方式进行评价。针对资源发现系统产生的影响，可以从系统对馆藏资源使用影响、系统对用户使用图书馆资源满意度影响以及系统对用户信息素养影响等角度进行评价。

3.2 系统使用绩效评价实践

Durante和Wang提出基于用户使用统计的用户忠诚度核心绩效指标体系，并以此评价美国埃默里大学（Emory University）资源发现系统Primo和OPAC使用效果。用户忠诚度核心绩效指标包括用户规模、用户满意度、用户参与度和检索任务完成比例等。用户使用统计数据可以通过Google Analytics、图书馆网站、Primo和OPAC系统日志等途径获取。Way通过数据库使用数据对比研究伟谷州立大学（Grand Valley State Universit）图书馆实施的Summon对图书馆资源使用产生的影响。在Serials Solutions没有提供Summon统计功能的情况下，Way利用数据库商和期刊提供商的使用统计报告、Google Analytics和图书馆链接服务器统计数据来分析Summon对图书馆馆藏使用的影响。Way首先将2009年1～8月与2008年1～8月的使用统计数据进行比较，以提供无资源发现系统背景下的馆藏使用变化情况。再将2009年9～12月与2008年9～12月的使用统计数据进行比较，以评估图书馆引进Summon后的馆藏使用变化。Way利用使用统计数据比较的项目有数据库检索次数同比、链接服务器记录的数据库点击次数同比和链接服务器记录的期刊全文点击次数同比。

4 国外资源发现系统评价策略分析

4.1 系统功能评价策略偏重于定性分析

系统功能评价以定性分析为主，主要是对照资源发现系统功能评价指标，逐一确认各类资源发现系统是否满足指标要求。若某个资源发现系统满足了系统功能指标，还需要进一步明确满足指标的程度。例如，在考察资源发现系统是否满足整合OPAC系统指标时，不仅要确定资源发现系统能否整合OPAC系统，同时还要确认是否整合了OPAC系统的续借、预约、推荐和评论等功能。国外图书馆在进行系统功能评价时，不是均等地对每个指标进行定性分析，而是依据评价目标区分了不同指标的重要性程度。瑞士洛桑联邦理工学院图书馆在进行系统功能评价时将所有指标按重要性进行了排序，其中内容与相关性作为最重要的评价指标排在首位。

4.2 可用性评价策略注重用户使用体验

可用性评价是从用户实际使用系统的感知和满意度来评价信息系统质量。在资源发现系统的可用性评价实践中，图书馆预先设计可用性测试任务，然后组织教师和学生在一定的信息技术环境下实际使用资源发现系统完成测试任务，最后根据测试者的使用感知、评分和测试任务完成情况得出资源发现系统可用性评价结论。由于可用性评价主要考察用户的感知和评价，在设计可用性测试任务之前，国外图书馆经常调查和分析用户对于现有的图书馆各类资源系统的使用反馈，以科学地制定资源发现系统可用性测试方案和任务。杜兰大学霍华德-蒂尔顿纪念图书馆的可用性测评与Gallaway、Hines的竞争可用性测评都是在基于用户对图书馆现有各类资源系统的使用反馈基础上制定资源发现系统可用性测试方案。

4.3 系统使用绩效评价策略以定量分析为主

系统使用绩效评价是以系统的使用量、产生的效果及影响进行评价。系统使用量可以是系统的访问量、检索量和全文点击量等，利用这些统计数据可以准确、客观地对系统使用状况进行定量分析。Durante和Wang的用户忠诚度核心绩效指标体系就是以系统使用量为基础的定量分析框架。不同于Durante和Wang的系统使用量分析，Way在没有Summon系统使用量的情况下，通过Summon实施前与实施后的数据库使用数据对比，揭示Summon实施对图书馆资源使用产生的影响。此外，图书馆将资源发现系统使用量和使用成本结合起来则可以定量分析系统使用的成本效益。在系统使用影响和效果评价方面，图书馆还可以通过问卷调查方式统计和分析读者的满意度和读者信息素养变化等。

4.4 三种评价策略涵盖了资源发现系统的整个生命周期

资源发现系统的整个生命周期包括系统考察与试用、系统实施与维护、系统使用评价、系统升级或更换等。在资源发现系统的考察和试用阶段图书馆经常使用系统功能评价，因为图书馆引进资源发现系统目的或是升级现有的OPAC系统、跨库检索系统，或是整合图书馆各类系统、各种馆藏资源及外部网络资源等。图书馆将这些目标细化并结合图书馆员和用户的功能需求调查即可确定系统功能评价指标。图书馆再根据功能评价指标分析和评价市场上的各类资源发现系统，以找到最适合图书馆和用户功能期望的资源发现系统。当然这一阶段也可以使用系统可用性评价，即图书馆通过试用资源发现系统，并组织学生、教师和职员等目标用户群进行可用性测试与评价。在系统实施和维护阶段，图书馆仍然需要考虑系统功能的修改和完善，但系统功能不是这一阶段的主要评价内容。这一阶段资源发现系统已正式开放给用户使用，图书馆需要明确资源发现系统对用户资源检索和需求的满足程度，而可用性评价切合这一目标。系统使用一段时间后，图书馆利用系统使用绩效评价方式可以了解系统使用量和使用效益。在系统合同到期时，系统使用绩效评价结论能帮助图书馆进行科学决策。若系统使用绩效良好则可以考虑续订或升级系统，相反，则停止使用或者考虑更换其他系统。

5 启示

5.1 明确图书馆是否需要引进资源发现系统

目前资源发现系统已广泛应用于图书馆，但广泛应用并不代表每个图书馆都要应用。图书馆必须明确资源发现系统引进目标和各类资源发现系统满足目标程度。如果图书馆计划升级和替代OPAC系统，则必须要考虑资源发现系统是否和图书馆的集成系统兼容、能否实时显示图书流通信息、是否整合用户常用的OPAC功能等。若是偏重图书馆各类资源整合，则要重点考察资源发现系统的整合能力，尤其是对现有图书馆各类数字资源的整合能力。瑞士洛桑联邦理工学院图书馆在对EDS、Primo、Summon和WCL进行系统功能评价后，因为不满意这些资源发现系统都存在的资源整合问题，不能够取代现有的图书馆各系统，如本馆的各类目录，所以没有引进资源发现系统，而是继续发展和完善下一代目录系统。美国奥本大学（Auburn University）图书馆在对3个资源发现系统评估后，也决定不引进资源发现系统。目前很多国内重点高校图书馆引入了国外资源发现系统，但这些资源发现系统在中文资源整合方面普遍存在问题，这也让这些资源发现系统实施效果大打折扣。如果图书馆明确希望整合中文资源，则可以等这些国外资源发现系统中文资源整合能力成熟后再引进它们。

5.2 资源发现系统评价不是一劳永逸

图书馆一般在引进资源发现系统时非常重视评价工作。其实，资源发现系统引进和实施后的评价工作同样重要。因为在引进资源发现系统时，图书馆通常较多考虑资源发现系统的整合功能和检索能力。虽然能组织用户在试用阶段进行可用性评价，但是可用性评价只限于部分用户的有限评价，不能完全反映系统正式使用后的使用问题。资源发现系统正式实施和使用后，图书馆员和用户在管理或使用资源发现系统时能充分使用系统功能，感知系统各项功能的质量并发现系统存在的问题。所以系统实施后同样要进行系统评价，以完善系统各项功能和向用户提供更好的资源与服务。此外，图书馆还需要根据系统使用量、馆藏使用变化和读者满意度等绩效评价方式来评价资源发现系统，以支持资源发现系统续订、停订或更换的决策。

5.3 评价的根本意义在于向用户提供最优的资源与服务

资源发现系统评价贯穿资源发现系统考察、引进、试用、实施和维护等整个生命周期过程，其每个阶段都有评价目的、策略、内容和指标。无论采用什么评价策略、内容和指标，都应该以向用户提供最优的资源与服务为目标。考察阶段的系统功能评价，图书馆不仅要考虑馆内各系统与资源的整合需求，而且要重点调查用户对资源发现系统的感知与功能期望，并将用户普遍反馈的功能期望作为评价的重要指标。在资源发现系统使用阶段，图书馆要使用可用性测评、系统使用评价及用户满意度评价等方式，及时掌握用户的使用状况和使用反馈。通过与资源发现系统提供商的沟通和协作，图书馆必须尽快解决用户使用中发现和反馈的问题，以不断完善资源发现系统，从而为用户提供最优的资源和服务。

［1］David Aymonin， Alain Borel， Raphaёl Grolimund， etal.Be realistic， demand the impossible： Comparison of 4 discovery tools using real data at the EPFL Library［EB/OL］.［2014-03-16］.http：//infoscience.epfl.ch/record/172947/files/EPFL-discovery-techreport-20111219_1.pdf.

［2］Milberg C I.A tale of two systems： a case study on the implementation of two discovery systems at Davidson College［EB/OL］.［2014-03-16］.http：//dx.doi.org/10.1080/10691316.2012.693339.

［3］Chen Yu-Hui， Germain C A.Yang Huahai.An exploration into the practices of library web usability in ARL academic libraries［J］.Journal of the American Society for Information Science and Technology，2009，60 （5）：953-968.

［4］Van den Haak M J， de Jong M.D.T.， Schellens P J.Employing think-aloud protocols and constructive interaction to test the usability of online library catalogues：a methodological comparison［J］.Interacting with Computers，2004，16（6）：1153-1170.

［5］Fry A， Rich L.Usability testing for e-Resource discovery：how students find and choose e-Resources using library web Sites［J］.The Journal of Academic Librarianship， 2011，37（5）：386-401.

［6］Jeng J.What is usability in the context of the digital library and how can it be measured［J］.Information Technology and Libraries，2005， 24（2）：3-12.

［7］Thomsett-Scott B.Providing a complete menu： using competitive usability in a home page usability study［J］.Technical Services Quarterly，2005，23（2）：33-47.

［8］Thomsett-Scott B.The thrills and chills of employing competitive usability in a study of online public access catalogues［J］.Technical Services Quarterly，2007，25（1）：27-37.

［9］Gallaway T O， Mary F H.Competitive usability and the catalogue：a process for justification and selection of a Next-Generation catalogue or Web-Scale Discovery System［J］.Library Trends， 2012，61（1）：173-185.

［10］Asunka S， Chae H S， Hughes Brian， et al.， Understanding academic information seeking habits through analysis of web server log files：the case of the teachers college library website［J］.Journal of Academic Librarianship， 2009，35（1）：33-45.

［11］Durante K， Wang Z.Creating an actionable assessment framework for discovery services in academic libraries［J］.College&Undergraduate Libraries， 2012，19 （2-4）：215-228.

［12］Way D.The impact of Web-scale Discovery on the use of a library collection［J］.Serials Review，2010，36（4）：214-220.

［13］Ellero N P.An unexpected discovery： one library's experience with Web-Scale Discovery Service （WSDS）evaluation and assessment ［J］.Journal of Library Administration， 2013，53（5-6）：323-343.