数字图书馆绩效评价指标体系构建研究

罗 琳,王卫平

(重庆广播电视大学 图书馆,重庆400052)

一、数字图书馆绩效评价指标研究的相关考察

数字图书馆绩效评价,是指根据目标设计相应的评价指标体系,采用特定的评价标准和评价方法,对数字图书馆的建设和使用效果作出客观、准确的数量化综合评价。

目前关于数字图书馆绩效评价研究的现状简介如下。

(一)国外研究现状

通过对Web ofScience、Elsevier等知名外文数据库的检索,筛选归纳相关论文的观点,具有代表性的关于数字图书馆绩效评价指标的意见主要有:基于信息系统的评价,主要从系统性能、系统功能、系统服务、系统使用效益等方面进行指标的构建[1];基于服务质量评价实践的LibQUAL+TM,主要从服务效果、图书馆环境、信息获取、用户个人控制、信息素质等五个层面反映数字图书馆绩效评价内涵且将其作为一级指标,又用30个问题作为二级指标反映上述五个方面的内容,以实现对数字图书馆服务质量和服务效果的评价[2];基于电子信息服务的eVALUEd项目评价指标,将评价对象作为一个主题划分为用户、存取、管理、资源等四个分主题,又在各分主题下设若干子主题,构建评价的指标框架[3]。

(二)国内研究现状

通过对CNKI期刊数据库、博硕士数据库的检索,筛选归纳相关论文的观点,具有代表性的关于数字图书馆绩效评价指标的意见主要有:从馆藏、技术、服务、管理等四个方面构建评价指标体系[4];从办馆条件、馆藏资源、信息利用率、馆员素质与信息能力、效益综合评价等五个方面构建评价指标体系[5];从内容、网页设计、网络性能、用户反馈等四个方面构建评价指标体系[6]。

根据上述文献调研情况看,虽然研究者从不同角度提出了数字图书馆绩效评价指标,但也存在一些问题,比如指标设计思路不明确,指标体系不够全面,部分指标可操作性差等。为此,笔者将结合数字图书馆的特征,厘清指标体系构建的思路,遵循指标体系构建原则,力图更全面地构建新的指标体系。在这一过程中,采用了专家调查法,对理论指标进行实证遴选,以保证指标体系构建的客观性和科学性。

二、数字图书馆绩效评价指标体系的构建

(一)指标体系构建的思路及原则

1.指标体系构建的思路

在对数字图书馆进行评价时,指标体系的构建无疑是关键。数字图书馆建设与图书馆内部管理、外部环境等因素交叉在一起,共同影响着图书馆发展水平,这无疑加大了对数字图书馆评估的难度。笔者考察了相关学者的评价方法和体系,可以认为,确定数字图书馆所包含的要素是一个突破点。作为评价对象,一般认为数字图书馆包含这样三个要素:资源、技术和用户,或者还应包含项目运营中相关管理问题。

基于上述思路,笔者围绕数字图书馆绩效评价的对象,提取四个关键的维度:数字资源、系统技术、用户感知和运营管理,将其作为四个关键指标即一级指标,之下再分别构建分指标,反映各种维度下数字图书馆项目的效果。

2.指标体系构建的原则

按照科学研究中实证与规范相统一的原则和要求,构建数字图书馆绩效评价指标体系,应有两个总的指导原则,即科学性和实用性。在这两大指导原则下,在构建评价体系的过程中,还应当遵循以下原则[7]:

(1)精炼原则

评价指标并非多多益善,关键在于它在评价过程中所起作用的大小。目的性是出发点,指标体系应涵盖为达到评价目的所需要的基本内容,能反映评价内容的全部信息。指标的精炼可减少评价的时间和成本,使评价活动易于开展。

(2)独立性原则

每个指标要内涵清晰、相对独立。同一层次的各指标间不应互相重叠,不应存在因果关系。指标体系要层次分明,简明扼要。整个评价指标体系必须紧紧围绕综合评价目的层层展开,使最后的评价结论能确切反映评价意图。

(3)代表性原则

每个指标能很好地反映研究对象某方面的特性。指标间应具有明显的差异性,也就是具有可比性。评价指标和评价标准的制定要客观实际,便于比较。

(4)可行性原则

指标应符合客观实际水平,指标体系的设计要尽量突出重点,易于操作,切实可行。

(二)指标体系的内容初选

借鉴国内外学者关于数字图书馆绩效评价指标体系的研究成果,按照上述思路和原则,我们初步设立了包括4个一级指标、21个二级指标的数字图书馆绩效评价指标体系。内容描述如表1。

表1 数字图书馆绩效评价指标

表1的数字图书馆绩效评价体系集合,是笔者根据数字图书馆的特征,并参阅国内外相关研究成果后构建的,具有主观色彩。因此,有必要对理论遴选的评价指标进行隶属度(隶属度=n/N,n为选择此元素的专家人数,N为所有专家人数)分析,通过这一实证筛选,以增强评价指标的科学性。

为了选出关键性指标,笔者选取35位学者作为受调专家,他们分别来自于北京、天津、武汉、重庆等地的高校,由他们进行指标优选调研,作出隶属度的分析。

专家问卷调查设置的选项为“合适”与“不合适”判断选项。问卷分为两个部分,第一部分是基本信息的调查,第二部分是对指标的选择。本次调查问卷总共发放35份,收回35份,回收率为100%,其中有效问卷为28份,有效率为80%。有效问卷的基本资料统计如下:

性别:男(46%),女(54%);

年龄:20岁～30岁(21%),31岁～40岁(43%),41岁～50岁(25%),51岁以上(11%);

学历:本科(25%),硕士(64%),博士(11%);

工作年限:0～5年(21%),6～10年(39%),11～15年(29%),15年以上(11%)。

根据对回收问卷的统计,计算出每个指标的隶属度后,将隶属度低于50%的指标予以剔除;隶属度达到50%的,则认为该指标可以作为评价指标,纳入指标体系中。

(三)指标体系框架的构建

根据专家问卷收集的意见,我们对指标体系作了相应调整,4个一级指标维持不变,主要针对二级指标作出如下调整:

一级指标“数字资源”下的“资源数量”和“资源质量”合并为“资源配置”,专家认为内容是数字资源价值的首要因素,资源的独特性决定了数据库在市场上的竞争力,这就决定了在购买各个种类的数据库时,基本没有太大选择余地,所以单纯重数量和质量都不足取,应该从资源配置角度,衡量购买的资源是否满足学科的需求,所以可以将这两个指标合并进行评价。剔除“资源组织能力”这个二级指标,专家认为资源的成列方式和组织形式完全可以包含在检索界面之中,根据测量指标具有独立性这一原则,将此指标作剔除处理。

在一级指标“系统技术”之下,将“检索速度”指标名称更改为“系统速度”,专家认为用户进入数字图书馆并不只是检索资源,用“检索速度”这一名称过于狭窄,用“系统速度”更全面。剔除“导航完整性”指标,因为这一指标可以在“检索界面”指标下体现出来,不需要单独作为一个测量指标进行评价。

在一级指标“用户感知”之下,剔除“用户体验”指标,专家认为在数字图书馆的建设过程中,无法做到用户时时、事事参与,这一指标不具有广泛性和操作性,并且用户的体验价值可以通过 “用户满意”、“用户互动”和“用户知晓”等指标体现。

在一级指标“运营管理”之下,剔除“项目维持成本”指标,专家认为数字图书馆项目的维持是一个持续过程,其费用没有切实的可测量的依据,缺乏可操作性。

综上分析考虑,我们初步构建出数字图书馆绩效评价指标体系,如图1所示。

图1 数字图书馆绩效评价指标体系

三、讨论

本文在分析和归纳影响数字图书馆绩效评价的诸多因素,借鉴前人研究成果的基础上,初步构建了一个评价指标体系。然而,数字图书馆绩效评价的本质是一个量化分析的过程,各指标对数字图书馆绩效的影响大小,数字图书馆的建设效果等,都需要用数字来反映,因此还有待于对这个测评指标体系进行量化。此外,由于数字图书馆建设具有多样性和复杂性,该评价指标体系也有待于进一步在实证分析中检验。

关于数字图书馆绩效评价,我们认为,还需要从以下几方面进行深入研究:

其一,本项研究只选取了数字图书馆包含的要素进行绩效评价,但这个评价要求并不能完整体现数字图书馆绩效评价的所有效用,还需要在指标体系的全面性上作进一步的研究。

其二,数字图书馆建设是一项长期的工作,以后还应对数字图书馆发展过程中潜在的影响因素进行衡量,以期能够更全面、准确地作出绩效评价,不断提高数字图书馆的建设和应用水平。

[1]张玲.国外数字图书馆评价实践综述[J].图书情报工作,2006,(12).

[2]An evaluation toolkit fore-library development[EB/ OL].http://www.evalued.uce.ac.uk/,2004-07-14.

[3]Stella Thebridge.The eVALUEd toolkit:practical evaluation help for academic libraries[J].PerformanceMeasurementand Metrics,2004,(5).

[4]王海娟.数字图书馆评价指标体系初探[J].图书馆工作与研究,2004,(1).

[5]王鉴辉.数字图书馆评价体系问题研究[J].中国图书馆学报,2004,(4).

[6]马玉荣.关于数字图书馆评价体系的思考[J].图书馆学研究,2004,(2).

[7]杜栋,庞庆华.现代综合评价方法与案例精选[M].北京:清华大学出版社,2005.