高校图书馆成效评估研究述评

万小刚 洪秋兰

(福建师范大学图书馆学系，福建福州 350117)

目前我国关于图书馆评估主要有三种类型，20世纪90年代至今，主要是投入和产出为主的绩效评估；21世纪初，“用户至上”的理念不断盛行，基于用户感知的图书馆服务质量评价兴起；随后，成效评估(outcome assessment)引入国内，国际图书馆评估逐渐转向以用户为中心的成效评估，但国内图书馆成效评估没有受到重视，还是以绩效评估为主。随着信息网络技术的发展，图书馆变化的速度越来越快，迫使图书馆不断转型升级，以用户为中心开展服务和活动越来越受到重视。成效评估不同于其他两种，成效评估是当下最新、最适应未来图书馆发展的评估方法，[1]是以用户为中心来开展评估图书馆服务和活动，促使图书馆产生积极效果的服务，而放弃具有边际价值或没有价值的服务，使图书馆更好地满足用户的需求。最终改变图书馆与用户的关系：把用户在图书馆的生活中转化成图书馆在用户的生活中。

1 高校图书馆成效评估发展过程回顾

1.1 国外高校图书馆成效评估的阶段分析

国外图书馆成效评估发展时间长，图书馆成效评估的研究最早开始于美国，理论与实践研究成果丰富。其发展过程主要分为四个阶段：

(1)1966—1995年，图书馆成效评估的雏形期。在这一段时期内，学者主要研究高校图书馆对学生学业的影响，并没有把高校图书馆的绩效评估与成效评估分开，没有明确的成效评估的概念。1966年，莱恩(G.Lane)就提出建议，评估图书馆对大学生教育结果的影响。[2]尼古拉斯(R.C Nichols)、洛克(D.A Rock)等学者讨论了利用图书馆资源与学生学业成绩之间存在一定的正向关系。[3][4]

(2)1996—2004年，高校图书馆成效评估理论形成时期。在国际图书馆界坚持“用户至上”的服务质量管理的背景下，由原来投入与产出不分、效率与效果不分的图书馆评估，逐渐转向绩效评估和成效评估两个方向发展。1996年，美国大学和图书馆研究协会成立了学术图书馆成效评估组并开展研究，于1998年6月发布了《学术图书馆成效评估报告》白皮书，该白皮书首次厘清了投入、产出和成效的概念，明确了学术图书馆成效评估的定义和原则。[5]此后，英国、法国等国家和高校图书馆相继展开了图书馆成效评估研究。2004年6月，美国把成效评估写入统一制定的《高等教育图书馆标准》(Standards for Libraries in Higher Education)中，这标志着成效评估的理论和方法体系逐渐成熟与完善。[6]

(3)2005—2013年，高校图书馆成效评估研究的成长时期。这一时期，国际图书馆评估会议也开始探讨成效评估了，图书馆评估重心由绩效评估开始向成效评估转变。高校图书馆成效评估的研究具有全面性，除了高校图书馆对学生用户的影响，还包括研究高校图书馆对社会的经济价值、社会影响等。还开展了对成效评估长期研究的项目。L.Duke和A.Asher全面考察了大学生利用高校图书馆的资源和服务的情况和高校图书馆对学生学业产生的影响和价值等多个问题。[7]2011年，英国联合信息系统委员会(Joint Information Systems Committee，JISC)的“活动数据计划”(activity data programme)资助了8所大学实施图书馆影响数据项目(library impact data project，LIDP)，调查了33000名本科生，论证了用户在图书馆的使用数据与其学生成绩有较强的相关性。[8]

(4)2014年至今，高校图书馆成效评估研究发展时期。2014年，第一部成效评估国际标准ISO16439：2014《信息与文献——图书馆影响评估方法与程序》正式出台。该标准明确提出全新的成效评估概念，指出了开展实证分析的方法。虽然没有提出具体的评估指标，但为高校图书馆成效评估的发展指明了方向。[9]

通过对国外高校图书馆成效评估发展过程的梳理，众多学者、机构和标准组织都提出了丰富的成效评估定义理论，具有成熟的理论基础，其中包括ALA[10]、ACRL[11]、IMLS[12]、Rhea[13]、国际标准组织[14]等。综合来看，阐述的成效评估定义主要有两种观点：一是从用户个体的角度理解，成效评估是图书馆读者用户在利用图书馆资源、服务和活动之后所发生的对用户自身的影响，包括对知识、学术成就、能力、行为、成功等的影响；二是从整个图书馆群体理解，成效评估是以读者用户为中心来计划和评估图书馆项目或服务所创造的价值、效益。如高校图书馆对实现整体高校教育目标和科研任务所创造的价值；公共图书馆对促进公共文化事业、消除信息鸿沟、促进经济发展所产生的社会和经济效益。

1.2 国内高校图书馆成效评估发展现状分析

在张红霞把图书馆成效评估概念于2008年正式引入我国之后，[15]国内学者开始了对高校图书馆成效评估的探索性研究，总结起来包括分析借鉴国外优秀成效评估项目，初步提出了大学图书馆成效评估的指标体系；总结国外图书馆成效评估的研究，提出对我国的建议和启示；从成效评估的内容之一——高校图书馆对学生学业的影响出发，总结国外高校图书馆对学生学业影响的研究并提出对我国的建议，探讨高校图书馆对学生学业的影响的问卷调查设计；运用遗传神经网络法和投影寻踪模型理论，建立高校图书馆成效评估模型；对中学图书馆成效评估展开研究；但仅有一篇文献以南开大学本科生为对象，进行实证研究。综上所述，国内学者提出的评估体系和引进的方法都是理论上的研究，缺乏实际应用和实证研究。国内更多的是在介绍国外的优秀案例和总结国外的研究，没有结合我国实际情况开展具体的研究。图书馆成效评估研究的文献较少，更多是初步研究，研究深度尚浅。缺乏对成效评估内容的全面研究和通过立项进行长期的，追踪性的研究。图书馆成效评估研究还没有受到专家学者和相关部门的足够重视。

2 高校图书馆成效评估内容研究

在评估活动中，接受评估的对象称为评估客体。[16]根据成效评估的主要内容，成效评估客体包括学生学业、学术科研、经济价值等。从上述成效评估客体出发，总结分析其研究成果。

2.1 高校图书馆对学生学业的影响

高校图书馆开展对学生学业影响的评估研究，是高校图书馆成效评估的重要内容之一。国内学者的研究受到国外的影响，主要研究图书馆利用与学生学习成果的关系。徐云，莫岚等从美国大学图书馆学会定义的out-come出发，通过问卷调查，分成学习场所组，资源利用组和沟通组三个小组，把图书馆利用和学生的学习成果作为焦点问题。研究发现大学期间学生获得的学习成果和图书馆利用之间存在正相关。还发现学生利用图书馆类型与利用后的收获有关，其中在学习场所组中，利用频率与收获成正相关。而在资源利用组和沟通组中利用频率与收获无相关，图书馆服务的品质与满意度可能对利用后的收获有重要影响。[17]王艳以药学、行政管理2008级毕业生有关他们所借阅图书类型、学习成绩、个人综合素质测定的数据，建立图书馆对学生成才影响路径图，进行模型拟合，虽然研究发现成才路径表现不一致，但图书馆对促进学生成才确实有积极影响。[18]吴英梅分析了国外高校图书馆对学生学业影响成效评估的内容，提出高校图书馆学业成效指标分为学业表现、实践能力、学习经历和科研能力4个维度，把图书馆利用指标分为对物理空间的利用、对网络空间的利用、对纸本馆藏的利用、对电子资源的利用、官员给予的支持、时间利用情况、其他7类，为更深入地进行相关评估研究和实证提供了基础。[19]刘桂宾使用南开大学830份本科生问卷调查数据，用IBM SPSS V20对数据进行偏相关性分析，考察了图书馆利用对学生学习行为和学生学习成果的影响，研究表明，图书馆利用与学生学习行为和学生学习成果呈显著的正相关关系。[20]黄婧通过梳理国外高校图书馆与学生教育成果关系的成效评估理论体系，认为高校图书馆评估理论是不断向高等教育目标学习的过程和以实证研究为支撑的。[21]我国图书馆成效评估发展要做到理论发展和实证研究的统一，实证研究是基础，理论是指导；用兼容并包的态度面对多学科交叉领域的高校图书馆评价。

国外高校图书馆对学生影响的研究主要是从学业成效、图书馆利用和高等教育等方面展开的。许多高等教育领域的学者主张把学生的批判性思维纳入到学生的学习成效评估中，推动了对学生学业成效的研究。早在40年前，就有学者提出图书馆评价应该与学生学业成果联系起来，只是这一时期的研究较为简单，研究的结论主要是利用图书馆资源与学生学业成效的关系的强弱。K.Soria以大学一年级新生为研究对象，研究了学业成效的指标之一学生成绩和保留率，提出图书馆使用与学生成绩和保留率的关系的问题，研究发现两者呈正相关关系。专业馆员作为利用图书馆的方式之一，同样对学生学业成效发挥着重要的作用。[22]M.Emmons和F.Wilkinson运用线性回归分析法，控制社会经济等基本信息，研究发现专业馆员与学生的学习成效存在正向关系，还进一步提出了馆员如何发挥作用等问题。[23]作为第三空间的高校图书馆空间，S.Montgomery调查了学生在利用图书馆空间前后对自身学习的变化，包括学习方式、社交学习需求等，发现：利用空间更新对学生的学习有持续的影响，学习方式行为会发生改变。[24]Joseph R.Matthews为了确定图书馆实体或电子资源、参考咨询服务和图书馆空间的使用对学生学习产生的影响，建议的方法是图书馆用户使用数据与大学生数据相结合，如图书馆的数据与间接的学习测量(如学生坚持品性、毕业率)以及直接的学生学习测量(如大学学习测试、大学学习能力评估以及学术能力和进步测量)相结合，由此产生的大量数据集可用于探索图书馆服务的使用与重要成果(学生成功率、学生保留率、毕业率等)之间的关系，将增强研究结果的可信度和影响。[25]

2.2 高校图书馆对学术科研的影响

高校图书馆对高校学术科研的作用不言而喻，但目前只有较少的文献研究高校图书馆对用户的学术科研的成效评估，没有形成有影响力的研究和具体的评估体系。李新运，孙志静搜集了教育部直属的20所高校在2008-2014年间的图书馆年度经费数据和学科发展的评估指标数据，构建面板数据模型，研究发现图书馆年度经费的投入对科学研究具有长期的推动作用。[26]杨安利等研究了图书馆电子资源对学术研究的影响，电子资源的不稳定性，检索过程的相关性，内容的权威性等都会对学术研究造成不良影响。[27]刘海燕研究了澳大利大学图书馆学术研究支持工作，从5个方面开展学术研究支持工作，其中，澳大利亚大学图书馆开展了研究成果的评估工作，从过程和结果等多个角度评估学术研究所产生的影响力。她指出我国大学应注重对学术研究的评估工作，包括对研究课题的评估和研究成果的评估。[28]新南威尔士大学(UNSW)提出了研究成果评估的5个维度，包括出版发展战略、出版物管理、作者简介的维护、研究影响测量和研究影响展示维度。[29]Mac-Anthony Cobblah通过定性和定量的研究方法，得出加纳大学图书馆开展的有效服务与科研成果之间存在一定的相关性。[30]Liu L G发现美国大学图书馆印刷馆藏对社会科学，物理科学和数学，工程学等学术课程声望有重大贡献。[31]田景梅等、王飒、韩雅鸣，刘雯等学者都做了相关研究。[32][33][34]综上所述，学术科研与图书馆之间呈现显著的正向关系，但更多研究是在论证图书馆与学术科研的关系，缺乏图书馆对学术科研的成效评估的研究。

2.3 高校图书馆对产生经济价值的影响

国外学者系统性的研究了图书馆与社会经济的关系，如Daniel、Morris、Thomas等，研究发现图书馆投入会增加当地政府收入，增加就业，促进社会经济发展。[35][36][37]美国伊利诺依大学厄巴那-香槟分校图书馆通过假设“高校图书馆有利于科研人员申请科研经费”，研究发现给高校图书馆投资一美元，大学能够获取相应的回报，证明了高校图书馆有利于大学创造经济价值。[38]

国内学者对公共图书馆和高校图书馆的经济价值影响进行了研究，但对高校图书馆的经济价值的研究偏少。郑京华运用SPSS软件，分析了1979-2002年公共图书馆支出与GDP的关系，分析表明：公共图书馆发展对我国经济发展存在必然的正向的联系。[39]赵迎红也证明了公共图书馆发展指标与经济增长存在显著的格兰杰因果关系。[40]

3 高校图书馆成效评估体系研究

3.1 宏观指标体系

2004年6月，美国的《高等教育图书馆标准》提供了一整套关于成效评估的原则、指标体系和标准，正式强调了成效评估体系的重要性[41]。高校图书馆服务质量评价模型—LibQUAL+TM模型[42]是由美国研究图书馆协会(ARL)在1999年提出的，从2000年到2004年经历了四次修改，到现在已趋于稳定了。提出了服务感受、图书馆环境、信息控制3个一级指标和22个二级指标。其中服务和图书馆环境指标都有涉及到高校图书馆对学生学习的一些指标，所以，对构建高校图书馆成效评估体系具有一定的借鉴意义。Han Sangwoo引入逻辑模型理论，构建了基于逻辑模型的图书馆成效评估系统(LibOutcomes)，该系统应用图书馆成效评估体系，使图书馆员直接从KOLAS中导入数据并上传。此外，由于该系统是一个基于web的系统，可以增强图书馆开展成效评估的频率和方便性。[43]徐欣在图书馆利用对大学生发展的成效评估研究中，把图书馆利用当做自变量，大学生发展当做因变量，把影响图书馆利用的主体内在因素和外在环境影响作为控制变量，运用直接测量和间接调查评价方法，构建了成效评估指标体系，并对其展开了详细的探讨，就进一步改进成效评估提出了思路。[44]温小明通过分析第一轮高校图书馆评估工作的成绩和问题，结合绩效评估和成效评估两大体系，创造性的提出了新的高校图书馆评估指标体系基本框架，包括基础指标(成效)、状态指标和输入与输出指标(绩效)、过程指标(绩效与成效结合)。[45]但这只是一个框架，为了实际应用，还需制定出评估的细则。向远媛，温国强基于对国内外图书馆成效评估实践和理论成果的分析，构建了对提高用户学习、科研水平的影响，对个人精神层面的影响，用户对图书馆服务产生关注度3个一级指标，10个二级指标的大学图书馆成效评估指标体系，认为我国大学图书馆开展成效评估应以用户为中心，重视服务效果，向管理层、社会证明图书馆的价值。[46]这是目前最完善的指标体系。

3.2 微观指标体系

在微观层面，亦有学者从不同的视角对指标的体系进行了探讨。斐妍从成效的显性和隐形性质出发，在参考了国内外学者对评估体系的研究成果后，提出了自己的观点，仅从用户的角度，构建了对提高使用者学习水平、科研水平的影响，对使用者个体精神层面的影响，使用者对图书馆服务的关注度3个一级指标，10个二级指标的大学图书馆成效评估指标体系。提出成效评估工作关注服务结果，以使用者为中心，还要关注图书馆提升自身的服务质量。[47]美国大学与研究图书馆协会图书馆评估组在1998年发布了《学术图书馆成效评估报告》白皮书，该报告认为图书馆成效评估是要揭示图书馆的使命、目标是否实现，对整体目标的贡献和对用户的影响，服务的质量。从信息素养评估的角度，构建了对揭示研究成果不同来源的参考文献或书目进行评分、对检索过程进行评分、对显示有效检索策略的检索日志进行评级、对某个主题任务的满意度4个维度的指标体系，来说明学生在利用图书馆资源和服务后对信息素养的成效。[48]

4 高校图书馆成效评估方法研究

建立科学全面的成效评估体系和采用合理、可靠有效的评价方法进行评价是相互联系，又互为基础和前提，二者缺一不可。

文献调研发现，图书馆评估方法呈现多样性，主要包括HAPLR评价系统、层次分析法、数据包络分析法(DEA)、蒙特卡罗技术、条件价值评估法等。虽然直接应用于图书馆成效评估的方法较少，但学术界还是有科学评估图书馆成效的理论和方法，如遗传神经网络算法理论、投影寻踪理论、引文分析法等。赵伟，张秀华引进了遗传算法和BP神经网络的混合模型，构建了图书馆成效评估体系，对成效进行了评估仿真实验和实证分析，证明了遗传神经网络算法在图书馆成效评估中的实用性及可行性。[49]楼高文和干瑞娟等根据赵伟建立的图书馆成效评价体系，运用投影寻踪理论，建立了图书馆成效(绩效)评估的投影寻踪分类(PPC)模型，具有客观性好、结构简单、数学意义清晰和后续应用便捷等特点，为图书馆成效(绩效)评估提供了新方法。[50]Jeremy Paley，Julia Cottrill，Katherine Errecart等描述了全球图书馆成效评估常用方法的演变，介绍了性能度量(PMs)和通用影响度量(CIMS)系统理论，旨在提供一套标准的定义和方法共他国使用，使公共图书馆能够将重点从提供的服务转移到帮助个人和社区实现的成果。[51]英联邦大学与图书馆学会(SCONUL)和图书馆与信息研究组(LIRG)在2003年实施的“影响评估计划”，该计划主要研究利用信息素养和电子资源对用户的学习、教学和研究产生的影响，采用行动与研究结合的研究方法，提出了基于”行动研究“方法的图书馆影响评估步骤。[52]

5 下一步研究建议

与国外高校图书馆成效评估研究相比，我国图书馆学界对成效评估的研究还存在诸多不足，主要表现在以下几个方面：①图书馆成效评估基本理论研究欠缺，目前还未形成统一的定义；②对图书馆成效评估的实证研究较少，缺乏代表性，样本数据少；③根据图书馆成效评估的内容，成效评估研究不全面，偏向性明确，不利于全面发展；④我国已相继开展了公共图书馆评估和高校图书馆评估，但从其评估系的具体指标来看，图书馆成效评估还未受到学术界和相关政府部门的重视。笔者针对我国图书馆成效评估研究现状，提出几点建议：

(1)开展成效评估的理论研究。理论指导实践，成熟的理论体系定会促进高校图书馆成效评估的开展。理论发展往往有初期、成长期、发展期三个阶段，目前我国图书馆成效评估理论还处于初期，接下来理论研究将成为重点，为把成效评估应用于图书馆评估服务。

(2)扩大研究样本数据和调查范围，使用定性和定量的多种方法，进行实证研究。我国少有的成效评估实证研究样本都基于对本校或几百人的调查，缺乏跨学校，跨地域研究。还由于成效评估调查是以用户为中心，数据难免受人为因素的影响。要从横向(评估范围)和纵向(评估客体内容)全面展开，以求科学客观的评估结果。

(3)正确区分绩效评估、服务质量评价、成效评估的关系。绩效评估注重考察图书馆的投入与产出，服务质量评价是基于用户的感知，成效评估研究图书馆对用户的影响，三者评价目的和评价客体不同，不存在孰优孰劣，谁代替谁，也没有把三者融为一体的图书馆评估体系。

(4)高校图书馆成效评估应与高等教育目标和使命相结合。高校图书馆作为高等教育不可或缺的一部分，对实现大学教育目标和任务的重要性不言而喻，但还没有学者把高校图书馆和对大学教育的价值纳入成效评估的指标体系中。