数字参考咨询服务质量评估指标体系的构建

许红健

〔摘 要〕本文通过对构建数字参考咨询服务质量评估指标体系原则的略述，详论了数字参考咨询服务质量评估指标体系构建的内容，即从管理指标、环境指标、过程指标、经济指标及用户指标五大方面构建一套三级数字参考咨询服务质量评估指标体系，以对服务质量进行控制。

〔关键词〕数字参考咨询；服务质量；评估；指标体系

〔中图分类号〕G252.6 〔文献标识码〕B 〔文章编号〕1008-0821(2009)02-0114-05

The Structure of Criterion System for Quality

Evaluation of Digital Consultation ServiceXu Hongjian

(Nanjing Library，Nanjing 210018，China)

〔Abstract〕This disquisition introduces the criterion system for quality evaluation of digital consultation service.The structure of this system has five aspects which build up three stages.The five aspects are management，environment，process，economy，and consumer criterion.And it also includes the control of service quality.

〔Key words〕digital consultation service；service quality；evaluation；criterion system

1 构建数字参考咨询服务质量评估指标体系的原则

1.1 主客体相结合、以客体为中心原则

认识论认为，评估事物的价值有3个要素：主体、标准和客体。在数字参考咨询服务体系中，图书情报部门是服务主体，用户是服务客体，评估指标是评估服务的标准。图书情报部门作为服务的主体由3个要素组成，即数字参考咨询服务工作人员、软硬件设备和解答的咨询问题。要素的优劣直接影响评估的结果，理应对主体进行一定程度的自我评估。数字参考咨询服务评估的首要任务是让用户对服务质量进行评估，应以用户为中心，最大程度满足用户的信息需求，因此数字参考咨询服务评估要做到主客体相结合，以客体为中心，在评估指标的选择上应该尽量全面地反映主客体为中心，在评估指标的选择上应该尽量全面地反映主客体的基本情况。

1.2 数据可获得性

评估指标选取时还需要考虑数据的可获得性。也就是说，通过一定的程序和方法，能够获得客观、真实的统计数据。数据的来源可以是手工或电子的日常工作记录，也可以是服务器的日志等统计数字，也可以是来自同行专家或用户的定性评估。

1.3 可操作性

用于评估的各项指标应有明确的内涵与外延，量化指标应有量化和客观的测量标准及测量广泛，同时在科学、公平、准确的前提下，力求评估方法的简单易行，便于掌握和使用。

1.4 对于改善服务的指导性

服务评估的目的是了解服务的现实情况，从中发现现有的优势和存在的问题，找到用户的期望和现实的差距，为改进服务质量、提高用户满意度提供指导。因此评估指标的设置应该考虑到它一方面能否充分体现服务质量的优劣，另一方面对于改善数字参考咨询服务的质量或者改进图书馆其它服务具有意义。

1.5 前瞻性

数字参考咨询评估是一种立足现在、前瞻未来的发展评估，应力求实现3个转变：评估由以用户主动向以咨询人员主动跟踪为主；评估内容由信息产品数量评估转向信息的存储和信息产品的质量的评估；评估重点应由注重参考咨询结果的评估转向注重参考咨询过程的评估。

1.6 定量与定性相结合

影响数字参考咨询服务质量的许多因素是无法用定量指标来描述的，因而要采取定性和定量相结合的方法，来建立数字参考咨询服务质量的评估体系。

2 数字参考咨询服务质量评估指标体系

根据对国内图情机构开展数字参考咨询服务的情况调查和影响数字参考咨询服务质量的因素，以及影响构建数字参考咨询服务质量评估指标体系的原则，再参考国外的质量评估指标体系，可以从管理指标、环境指标、过程指标、经济指标及用户指标五大方面构建一套三级数字参考咨询服务质量评估指标体系，以对服务质量进行控制，如表1所示：

2.1 管理指标

2.1.1 政策指标

包括3个指标：

(1)服务政策。指是否有完善的服务政策。具体指是否对服务间时、服务用户、提问范围、隐私权、公平使用和版权政策等作了详尽说明以及相关政策通过何种方式告知用户。

(2)服务规范。包括是否有明确的质量规范；质量规范的内容如何，是否包含回答问题的及时性、回答应包含的内容、使用的参考资源、疑难问题的解答方法等规范；咨询人员通过何种方式了解质量规范。是否有质量控制机制；是否有专人对咨询问题的回答进行审核，审核的程序怎样；是否要求用户对于咨询过程做出评价和反馈；是否有回答错误的补救机制；是否对质量评估进行总结以改进服务。

(3)管理机制。是否进行产业化管理、引入市场营销理念及建立激励机制。

2.1.2 人员指标

包括3个指标：

(1)整体结构。包括参与数字参考咨询服务的人员组成情况及人员层次。是否有专门的咨询人员、管理审核人员、协调人员、系统支持人员；咨询专家人数和学科专家人数分答占咨询人员总数的比例，咨询人员的年龄结构、文化程度、外语结构、各学科专业结构等是否适应用户的信息需求特征。

(2)资格认定机制。包括对于咨询人员的资格要求怎样；资格认定程序如何；是否要求有一定的学科专业背景、必要的技能和岗前培训经历。

(3)培训与交流机制。包括对咨询人员是否提供岗培训；是否有定期培训的机制；培训的内容如何，是否包括数字参考政策、标准和程序、数字参考系统的使用方法、用户教育与培训技能、网络交流技能等内容；是否有定期交流机制，交流途径是否通畅。

2.2 环境指标

2.2.1 知识库指标

包括2个指标：

(1)规模指标。知识库规模指标应既包括应有一定规模数字库，比如要有常见问题解答库、信息资源库、用户库、咨询档案库、参考馆员库和联机可以查到的以及商业公司制作的各种专业数据库；同时知识库还要包含全面系统的信息内容、信息资源内容和类型应分布合理，内容上应同时具有文本信息、图像图形信息、音频视信息，应不仅仅满足于本职工作与本专业学习，还应提供一些法律、保险、医疗、财经类信息内容，类型上包含专著、论文、研究报告、会议信息等。

(2)质量指标。质量指标主要包括知识库内容信息的权威性、时效性、合法性、客观性、稳定性、特色性、经济性等指标。权威性，指其生产单位的信用、声望及产品的可靠度；时效性，指收录文献信息的年限跨度和数据更新周期；合法性是指信息源的内容是否符合国家法律和政策的有关规定；客观性是指信息源的实用程度，即考察信息源是否符合本单位用户及其需求的特点；稳定性指参考源的保持状况如何，链接资料的正确与更新情况；特色性指每种参考源所具有的特定收录范围和独特功能；经济性是指参考源产品的价格，网络使用资费等是否符合本图书情报单位的经济情况。

2.2.2 技术指标

包括硬件指标和软件指标：

(1)硬件指标。指应具备先进的计算机设备、现代化通讯设备、足够的带宽和互联网端口等。

(2)软件指标。指系统应具有稳定性、安全性、规范性、兼容性、易用性、可扩展性等。主要包括系统是否提供常用问候语选择和自动发送问候语功能；服务界面是否友好；使用的语种和词语是否容易理解；是否考虑残疾人需求和多语种咨询；有无常见问题解答等使用帮助；是否提供提问转发功能；实时数字参考咨询服务是否提供网页推送和同步浏览、应用共享功能以及是否支持多种浏览器；是否提供日志和统计功能；是否提供问题的存档等。

2.3 过程指标

2.3.1 服务基本数据

包括3个指标：

(1)使用量。包括每天的使用量统计和每周的使用量统计。前者指以小时为单位对每天接收用户提问数量的统计，后者指以天为单位对每周接收用户提问数量的统计。利用这些数据可确定1天内和1周内的最高使用量、最低使用量和平均使用量，分析1天内和1周内的使用高峰时间和低谷时间，作为工作人员排班的依据。

(2)服务完成的平均时间。本指标可反映解答问题的及时性。这个指标可通过统计一段时间内解答问题所用时间总和除以解答的问题数量得出。要注意的是问题解答所用时间指的是提出问题到解答完成之间所间隔的时间，包括咨询人员不在线上、处理别的问题等时间在内。通过一段时间的连续统计，可据此分析安排的工作人员数量是否恰当，并可确定回答问题的周期。

(3)所用的知识库情况。指一段时间内解答问题所用知识库的统计。通过一段时间对知识库内容和类型的统计，可以作为资源建设发展中确定各类型知识库资源的预算分配的参考依据。

2.3.2 可获得性

可获得性是指用户对于数字参考咨询服务的易用性的评价，可通过用户调查、用户访问等方式获得相关数据。共包含以下4个指标，这些指标可为今后的服务时间、服务方式等的设计提供参考。

(1)服务对象。指对服务对象是否有无限制，对待服务对象是否有差别。

(2)服务内容。指服务内容包括哪些。是否除了基本服务还包括自己的特色服务。

(3)服务时间。指用户对于每周内服务的天数，以及每天内服务的具体时间是否满意，以及用户对于服务时间的要求。

(4)服务方式。指服务通过何种方式提供，是否通过E-mail、WEB表单、实时聊天等方式提供，参考咨询服务信息是否易于在网址上定位；用户认为服务方式是否方便易用，以及用户对于服务方式的要求；使用此服务对于用户计算机有无特别的软硬件要求；用户对于服务方式的满意程度等。

2.4 经济指标

2.4.1 服务投入

包括3个指标：

(1)服务支出。服务支出主要用于支付从事数字参考咨询服务人员的工资与奖金，购买、租赁所需参考资源，构架需要的系统、网络等软硬件设备，开展宣传和推广活动，进行人员培训等等。了解服务支出总数及各项支出情况，可为管理层进行经费预算和各类资源分配提供依据。

(2)服务支出占参考咨询服务预算的百分比。数字参考咨询服务是图书馆参考咨询服务的重要组成部分。了解它的支出占参考咨询服务的总预算的比例，同样可以为预算和资源分配提供依据。

(3)服务支出占图书馆预算的百分比。本指标反映数字参考咨询服务支出在整个图书馆预算中所占的比重，可反应出它对图书馆其它支出的影响。它可以与数字参考服务的产出进行对比分析，从而为确定数字参考咨询服务预算提供依据。

2.4.2 服务产出

包括5个指标：

(1)接收的问题数量。指一定时间内接收的用户提问的数量。这个指标可以进一步细分为通过各种服务方式接收的问题数量，也可以按照1天、1周等时间周期进行统计分析。接收的问题数量反映了数字参考咨询服务的规模和用户需求量。对于它的统计分析，有助于确定数字参考咨询服务的具体方式、服务时间、推广策略等。

(2)提问的解答数量。指在一定时间内对于用户提问解答的数量。解答包括3种情况：一是给出用户需要的确切答案；二是告知用户解决问题的方法和可利用的资源，帮助用户自行寻求答案；三是指引用户到别处咨询。要注意的是，提问的解答数量并不一定等同于接收的问题数量。因为有些问题通过电子方式提出后，可能通过现场咨询等传统的咨询方式得到解决。实际上提问的解答数量才真正反映出数字参考咨询服务的工作量。

(3)回答的问题类型。从提问的内容上来看，问题的类型可包括：关于图书馆使用问题、涉及某专题或学科领域的具体问题等。从问题的复杂程度来看，问题的类型可包括：有现成答案的问题、短时间可解答的问题、需要借助参考资料长时间查询方可解答的问题等等。还可以从解答所需求的类型，可用于分析用户行为和信息需求，是图书馆参考信息资源建设及安排咨询人员和进行咨询人员业务培训的重要依据。

(4)接收问题百分比。指接收提问数量占参考咨询服务接受提问数量的百分比。这个指标指的是参考咨询服务中接受的提问数量中来自数字方式的提问数量的比例。它反映了用户对于数字参考咨询的相对需求量。在传统的参考咨询方式和数字参考咨询并存的时期，如何寻求传统参考咨询和数字参考咨询的平衡点，如何进行资金和人员的分配是每个开展数字参考咨询服务的图书馆书馆都面临的一个问题。在一定程度上这个指标可作为解答以上问题的参考。当然这个百分比反映的是当前用户的相对需求，而不能反映潜在用户的需求。如果这个百分比太低，在考虑缩减数字参考咨询服务的投入时，图书馆也应该考虑加强数字参考咨询服务的宣传和推广力度，以发掘潜在用户。

(5)服务人次占图书馆服务总人次的百分比。服务人次指用户使用数字参考咨询服务的次数，同一用户多次使用可以累加。本指标反映了数字参考咨询服务的工作量和用户量在整个图书馆中所占的比重，一定程度上反映了数字参考咨询服务在图书馆的重要性和受读者关注程度。

2.4.3 服务效率

包括5个指标：

(1)正确回答百分比。指正确回答问题的数量占解答数量的百分比。确定问题的回答是否正确并非易事，实际操作时可以通过4种方法估算。a.取一段时间内的解答作为样本，所有的咨询人员共同对这些解答进行分析，确定正确回答的百分比；b.事先设计一些问题和问题的答案，在咨询人员不知情的情况下提出问题，计算正确回答的百分比；c.由外单位的专家对一段时间内的解答进行分析，以确定正确回答百分比。d.通过发放调查表或在网上设置调查表的方式调查用户的反馈情况，计算一段时间内正确回答的百分比。也可以如联合参考咨询网所做在软件上设有即时评分系统，可以更快捷准确地得出正确回答的百分比。通过这些方式，我们还可以计算出每个咨询人员的正确率。本指标不仅可以反映数字参考咨询服务的整体质量和各工作人员的水平，通过它还可以分析造成错误解答的原因，如参考资源质量差、工作人员素质较低等，进而作为参考资源订购、人员安排、业务培训等的参考。

(2)等待时间百分比。指用户等待问题处理时间的百分比。本指标反映服务的及时性，可以通过系统日志分析得出。通过对数据的分析，可以了解造成回答不够及时的原因，如咨询人员数量、服务的时间安排问题等，并以此作为调整工作安排的依据。

(3)问题征解百分比。指示转向别处咨询的问题数量占咨询总数的百分比。所有的数字参考咨询服务都受到一定的领域的限制。碰到无法回答的问题时，咨询人员通常会尽量将用户指引到能够提供帮助的其它图书馆等咨询服务机构。而用户之所以提出这种超出服务能力之外的问题，很大程度上是因为不了解本单位数字参考咨询服务的宗旨和有效提问的范围等服务政策造成的。因而指引向别处的问题数量在一定程度上可以反映用户对于数字参考咨询服务政策的了解程度。如果这个百分比太高，则需要考虑加强对于读者进行有效提问范围等服务政策的宣传；另一个方面也需要考虑服务政策、知识库信息源是否与用户的需求相符合。

(4)现实用户百分比。指现实用户的数量占目标用户群的百分比。每个数字参考咨询服务都有自己的目标用户群。有些图书馆，比如公图书馆，要确定其目标用户数量存在一定困难，本指标难以计算。对于大学图书馆等目标用户明确的图书馆来说，了解真正使用数字参考服务的目标用户量则是非常容易的。本指标反映了数字参考咨询服务在目标用户中的覆盖面和推广程度以及对用户的重要程度。同样可作为确定推广策略和资源分配时的参考数据。

(5)经济效益。对于商业性的数字参考咨询机构，本指标是极为重要的，可用年度或一段时间产生的收益与投资费用的百分比作为经济效益指标来为咨询工作的安排及调整作参考。

2.5 用户指标

用户指标在整个体系中占有重要位置，它包括用户需求、用户培训、用户反馈三方面的指标。

2.5.1 用户需求

包括2个指标：

(1)用户个人信息。包括用户的年龄、性别、受教育程度、身份等信息。各图书馆可以根据自身情况对用户进行分类统计，比如高校图书馆的用户可分为本科生、硕士生、博士研究生、教师、职工等。通过与目标用户类型的对比，进而分析各类用户群体使用数字参考咨询服务的状况和以及造成这种状况的原因。

(2)用户的使用方式。指用户计算机所使用的操作系统和浏览器情况，这些可能影响用户向系统提交咨询问题，在向用户推送网页或者解释一些操作步骤时能够有的放矢。同时对于用户使用情况的了解也有助于数字参考咨询服务系统的设计和发展，使之保持与用户操作系统等的兼容性。

2.5.2 用户培训

由于数字参考咨询服务范围较广泛，而用户信息素养参差不齐，必须对用户进行培训，才能有效地开展服务。包括2个指标：

(1)培训用户熟悉本机构馆藏结构、数据库。如果用户了解本机构馆藏结构、数据库，就可以有的放矢地提出问题，从而提高服务效率。

(2)培训用户熟悉常用检索工具和检索途径。掌握常用检索工具和检索途径可使用户准确无误地表述自己的需求，增强用户对于回答问题的理解力，降低一般性问题的数量，减少咨询人员的工作量。

2.5.3 用户反馈

包括3个指标：

(1)用户对于服务的了解程度。指目标用户对于数字参考咨询服务的宗旨、服务时间、服务范围、服务网址、使用方法等的了解程度。要注意的是，这里指的用户不仅包括使用过数字参考咨询服务的用户，还应该包括从来没有用过数字参考咨询服务的用户。这一指标可为制定数字参考咨询服务推广方案提供参考。

(2)用户对于服务的满意程度。包括用户对数字参考咨询服务回答质量的评价和对数字参考咨询服务情况的评价两方面的指标。用户对数字参考咨询回答质量的评价指标包括系统回答的正确性、系统回答的时效性、参考咨询服务的专业性(即用户对回答问题深度的看法)、参考咨询服务的综合性、系统回答的理解性、用户对回答速度的满意程度、用户对未得到答案的问题的看法等；用户对数字参考咨询服务情况的指标包括目前参考咨询服务的状况、参考馆员(咨询专家)的服务水平、用户对参考馆员(咨询专家)的满意度、用户认为系统服务是否遵照标准规定时间回答了问题、用户提问是否都得到参考馆员或咨询专家的响应、用户认为所付费用与所提供的服务是否相称、用户认为系统提供咨询服务所花费的时间是否恰当等。用户对于馆员服务的满意程度指标对于评价工作人员的交流技巧以及从用户角度进行的服务质量评估非常重要。其统计数据可做人员安排和培训的参考依据。

(3)服务对于用户的影响与作用。此指标反映服务对用户是否具有指导性。在用户的学习和研究中，数字参考咨询服务应当说起到重要的指导作用。高质量的数字参考咨询服务不仅为读者提供直接的、事实型的答案，还应当为他们提供更深层次的信息，指导他们掌握专业领域的信息渠道，同时潜移默化地提高他们的信息素养。当然咨询服务的作用往往很难评说，因为它的服务效果常常需要一段时间才能显示出来，而用户的跟踪和反馈也存在一定困难。但是如果能够获得这类信息，特别是对于用户有深远影响和重要作用的信息，将是非常有意义的，它可以反映服务对于用户的重要性，并可作为服务宣传的素材和向上级主管单位争取资金的理由。

参考文献

[1]初景利.图书馆数字参考咨询服务研究[M].北京：北京图书馆出版社，2004.

[2]陈小敏.数字化参考咨询服务质量评价指标体系研究[J].图书馆杂志，2003，(12)：17-19.

[3]张娴.国家科学虚拟图书馆网络联合参考咨询服务质量控制及评价方案研究[J].现代图书情报技术，2005，(11)：30-33.

[4]梁南燕.虚拟参考咨询服务质量与效益评估[J].图书情报工作，2005，(8)：121-123，139.

[5]张春红.虚拟参考咨询服务规范研究及其应用[J].大学图书馆学报，2006，(2)：57-62.

[6]詹德优.信息咨询理论与方法[M].武汉：武汉大学出版社，2004.

[7]罗彩冬，等.现代图书馆参考咨询[M].北京：海洋出版社，2006.

[8]张春红.虚拟参考咨询服务规范研究及其应用[J].大学图书馆学报，2006，(2)：57-62.

[9]吴云标.无人值守参考咨询服务研究[J].中国图书馆学报，2006，(3)：88-92.