图书馆员国际交流项目评价体系的实证研究

胡琳+刘倩+舒予

摘要在运用层次分析等数理方法构建的图书馆员国际交流项目评价体系的基础上，制定详细的定性、定量评分细则，以四川大学和亚利桑那州立大学的图书馆员交流项目为例进行实证研究，对项目进行全面评价和分析，并依据评价结果提出进一步的改进建议。

关键词图书馆 馆员国际交流 项目评价 实证研究

在《大学图书馆学报》2017年第3期发表的《图书馆员国际交流项目评价体系研究》一文（以下简称“前文”）中，笔者运用层次分析等数理方法构建定性和定量相结合的图书馆员国际交流项目评价体系，确定了各层次评价指标的权重。本文拟在前期研究的基础上，运用这一评价体系，制定详细的定性、定量评分细则，以四川大学和亚利桑那州立大学的图书馆员交流项目为研究对象，对其进行较为全面评价和分析。

1评价方法

1.1指标评分细则

本评价体系的指标分为定性评价指标与定量评价指标两项。

1.1.1定性指标评分细则

评语集定义为优（Excellent，简称“E”），良（Good，简称“G”），一般（Fair，简称“F”）三个等级。定性指标的评分说明详见表1。

根据反馈结果，再用百分制将评价等级数量化，评价等级优（E）、良（G）、一般（F）分别对应90、80、70转化为具体数值。

1.1.2定量指标评分方法

属于定量评价的指标主要有部门会议C。。、业务座谈C42、参观访问C43和公开报告C44四个指標。由于各指标之间存在不可公度性，需要将数据进行标准化，使其能被纳入到同一个尺度下进行比较。本文采用标准分（Z-Score）方法进行数据标准化，计算公式如下：

以四川大学（以下简称“SCU”）与亚利桑那州立大学（以下简称“ASU”）的馆员国际交流项目为对象，尝试利用图书馆员国际交流项目评价指标体系对目前已完成的7次交流进行评价，其目的不仅仅是要对这7次交流项目做优劣比较，验证评价体系的适用性，更是希望通过评价发现交流项目在实施过程中存在的问题，为项目决策者在优化各环节运行机制方面提供可靠的依据。基于上述考虑，预设了几个问题试图通过评价予以解答：

（1）图书馆员国际交流项目在执行过程中哪些环节存在问题？造成这些问题的具体原因是什么？影响这些环节成效的主要因素是什么？

（2）馆员交流项目从2010年开始至今已有7年时间，每一次交流效果怎样，项目实施的各个环节有没有发生变化，有哪些变化？

（3）中美双方的交流馆员是如何看待交流项目的，其体会、感受或者关注点有没有差异？

针对问题（1），首先将每个三级指标下7次交流项目的评分的算术平均值作为该指标的综合评价值，即求得各二级指标和一级指标的综合评价值，其中表示三级指标和二级指标的权重系数，笔者在前文已经通过层次分析法计算得到了相应的权重系数，在本文中将直接利用权重系数结合调查问卷的评分反馈计算各级指标的评价值。最后根据各级指标的评价值，对评价结果进行分析。

为分析影响某一指标评分高低的重要因素，引入pearson相关系数，pearson相关系数计算公式为：

2基本数据的获取

2.1定性指标数据的获取

将表1中的定性指标按交流馆员、接收馆和派出馆三个不同评价主体分类制作了三份调查问卷，分别邀请7位交流馆员以及接收馆和派出馆双方的项目管理人员进行填报。在对问卷回收整理之后，分类汇总如下。需要说明的是，每个表格内交流馆员No.1至No.7分别对应了其交流年份的时间顺序，即从2010-2016年。其中第1、3、5、7位是SCU交流馆员，第2、4、6位是ASU交流馆员。

2.1.1交流馆员定性评价数据

2.1.2

接收馆定性评价数据

2.1.3派出馆定性评价数据

2.2定量指标数据的获取

根据交流馆员调查问卷的反馈以及接收馆提供的日程安排表综合确定了部门会议C11、业务座谈C42、参观访问C43和公开报告C44四个定量指标的数据。具体数据信息如表5所示。

3评价结果及分析

3.1图书馆员国际交流项目的整体评价与分析

图书馆员国际交流项目评价体系的指标覆盖了事前、事中和事后的全过程，通过综合7次交流项目的评价，可以从整体的角度发现项目各环节可能存在的问题。交流项目各级指标的综合评分值如表6所示。

3.1.1 对“制度设计”环节的评价与分析

“制度设计”按项目进行的流程分解为“前期准备”“项目执行”和“事后完善”3个二级指标。其中“前期准备”对应的三级指标中“交流馆员选拔程序”评分最低，这个评估结果一方面表明交流馆员选拔方式的规范性有进一步提高的空间，另一方面，结合近几年这一交流项目吸引了越来越多馆员积极申请的现实情况，如何保障每一位申请者公平获得参与机会也变得愈加重要。在“项目执行”对应的三级指标中，“协调制度”评分最低。根据交流馆员的反馈，他们普遍都希望派出馆在交流过程中更加主动地和他们进行联络，提供必要的生活和工作协助，甚至包括与接收馆的沟通和协调，以确保项目的顺利进行。而现实情况是交流馆员出访后，派出馆几乎不再和他们有任何联系，也没有任何后续跟进。这是造成“协调制度”在这一环节中评分最低的重要原因。值得特别注意的是，“事后完善”在3个二级指标中评分最低，而且与其他两项二级指标分数差距较大，说明制度设计的这一环节存在重大疏漏。再仔细分析“事后完善”对应的三级指标，发现其中的“总结报告制度”和“成果转换制度”评分极低，在所有三级指标评分中位列倒数第二和第三。从交流馆员的反馈中也了解到，无论是SCU还是ASU，馆内均未对交流项目结束之后的总结报告和成果转换做出任何制度性安排。SCU曾经要求交流馆员在馆内中层干部会上作口头总结，但由于没有硬性规定以及传达方式和范围的局限，在馆内产生的影响极其有限。而ASU除了自愿性的报告外，也没有任何这方面的规定。交流馆员在项目结束之后，往往都会有很多心得体会以及业务改进或创新建议，但由于缺乏成果转换的制度性安排和鼓励，要么只能根据自身条件自主落实部分想法，要么时间一长，结果不了了之。endprint

“制度设计”与其包含的3个二级指标前期准备C1、项目执行C2和事后完善C3之间的相关系数结果见表7。由表7可知，制度设计与事后完善的相关性较大，说明项目实施之后的改进、总结、转化制度对于交流项目的制度设计极其重要。

3.1.2对“过程推进”环节的评价与分析

“过程推进”环节是所有3个一级指标中评分最高的，各项二级指标和三级指标评分也都比较均衡，说明各方面在交流项目执行环节上的工作比较到位。其中，“具体项目”下各项三级指标的评分是根据交流馆员参与的部门会议、业务座谈等具体次数采用标准分和线性变换的方法转换到以85为平均值的标准化数据的算术平均值。根据Z-score的性质，“具体项目”指标及其包含的4个三级指标的评分值应当为85。事实上，当“具体项目”指标按7次交流活动的评分合成为一个数值的时候，其评分并无实际意义，但是当将7次交流活动的评分分开看待时，“具体项目”这一定量指标的评分则具有两方面的作用：一是一级指标和二级指标可以形成数据序列，便于进行相关性分析；二是可以对每次交流活动进行单独的比较（后文3.2小节）。而“过程评价”是交流馆员对接收馆在工作安排和生活接待方面的评价，从两个三级指标所得都是最高分90分可以看出，接收馆的接待工作都做得非常周到细致，获得了交流馆员的一致认可。“接收馆评价”则是接收馆对交流馆员的专业素质、学习主动性以及交流能力的评价，从评价结果来看，交流馆员的交流能力受到较高的认可，而专业能力评分相对较低。

“过程推进”与其包含的3个二级指标具体项目C4、过程评价C5、接收馆评价C6之间的相关系数结果见表8。由表8可知，“具体项目”指标与“过程推进”指标的相关性最高，说明交流馆员参加具体项目的次数会对整个交流活动在执行过程的效果产生较大的影响。此外，由于交流馆员给出的“过程评价”指标的分值均为相同的数值，导致“过程评价”指标与“过程推进”指标的相关性为零。这样的现象在实际的评价活动中并不少见，在面对缺乏直观感受的指标时，评价者的主观判断往往只能建立在“只可意会”的感受之上，进而勉强给出一个并不能准确表达自身判断的评价分值。换言之，此类整齐划一的评价分值既不可靠，也不利于对评价结果做出优劣的区分，因此引入“具体项目”这样的定量指标，能作为对主观意见和判断的有力补充，得出相对“客观”的评判，提高最终评价结果的区分度。

3.1.3对“交流效果”环节的评价与分析

“交流效果”作为项目的最终价值体现，却在所有3个一级指标中排名垫底，这说明交流项目在热闹风光的外表下确实存在着深层次的问题。“交流馆员的主观评价”在这一环节的二级指标中评分最高，因为评价都是交流馆员在结束访问后不久做出的，凭着新鲜感很容易给出相对较高的“印象分”。“接收馆收获”远高于“派出馆收获”不是一个合理的现象，表明图书馆更擅长于从“外人”身上学习东西，而忽视将“自己人”的交流收获和学习成果加以充分利用。这样的结果与之前“总结报告制度”和“成果转换制度"iN个环节存在漏洞的分析相呼应，也从另一个侧面突显了制度设计在整个交流项目中的重要性，因为制度上的不完善将会给项目效果带来直接的负面影响。“交流馆员的收获”得分也较低，主要原因是大部分交流馆员尚未受交流启发单独或与接收馆馆员合作发表论文或申报课题。这一定程度上反映出交流馆员还不擅于利用项目的便利条件促成学术合作的机会，也不擅于将交流心得转化为学术成果，促进自身科研水平的提升。当然，评分低也跟学术成果的滞后性有关，因为无论是发表论文还是申报课题都有一个沉淀的过程，需要较长的时间才能看到成效。

“交流效果”与其包含的4个三级指标交流馆员的主观评价C2、交流馆员的收获C8、派出馆收获C9和接收馆收获C10。之间的相关系数结果见表9。由表9可知，交流效果受到交流馆员的主观评价影响最大，说明目前的交流项目“主角”仍然是交流馆员，而派出馆和接收馆在交流过程中发挥的作用有限，如何让三方“均衡”地参与到交流活动中来应该是值得思考的一个问题。

3.2图书馆员国际交流项目的时序动态评价与趋势分析

对每一次交流项目进行单独评价，可以得到7次交流項目在“制度设计”“过程推进”以及“交流效果”3个一级指标的评价值，如表10所示。

根据表10中的数据，可以得到交流项目3个一级指标的评分和总体评分从2010-2016年的趋势变化曲线图（图1）。

由图1可知，从各一级指标的评分来看，“交流效果”一直在低分段徘徊，难有起色；“过程推进”在前两年保持一个较高的水平，随后呈现下滑趋势，在近两年又有回升；“制度设计”最近几年有一个稳步上升的势头。从交流项目的总体评分来看，前三年由于“制度设计”和“过程推进”的较好表现，交流项目整体处于一个稳定的发展态势，但在随后几年出现下滑，这是由于3个一级指标的评分从2013年开始均出现较大幅度的下滑，而从2015年开始的近两年，受到3个一级指标特别是“制度设计”指标评分明显上升的影响，交流项目整体又显现出上升的趋势。

3.3中关双方视角下的图书馆员国际交流项目评价与分析

将第1、3、5、7位SCU馆员的评分综合起来可以获得中方作为派出方的评价，反之，将第2、4、6位ASU交流馆员的评分综合起来，可以获得美方作为派出方的评价。通过对两组评价进行比较分析，可以了解中美双方在各个评价指标环节上的差异。中美双方二级指标的评分情况如表11所示。

从表11可知，中美双方评分差距较大（超过3分）的主要有“事后完善”和“接收馆收获”2个指标。其中差距最大的是“事后完善”，说明尽管双方在涉及事后的制度设计环节都存在不足，但美方的问题相对更为突出。当然，在研究过程中笔者也注意到，这种差异与中美双方不同的工作理念有关，在收到的反馈中，ASU的交流馆员对“事后完善”和“交流收获”这两项指标的设计都提出了不同意见。他们强调，虽然他们也会借鉴从SCU学习到的一些有益的经验——诸如图书馆志愿者工作和信息素养教育方式等——用以对ASU的相关业务工作进行改进，但除了这些学术与专业收获之外，他们更看重的是交流本身，他们并不认为交流效果就一定只能通过具体的业务改进举措或者论文、课题才能体现。这也提醒笔者，在未来对评价体系进行完善时，东西方文化上的交流、沟通与理解也应该作为一个重要的考量因素。“接收馆收获”指标中，“中方的评分”实际上是中方派出交流馆员时，美方作为接收馆给出的评分。结果显示接收中方交流人员的美国图书馆要比接收美方交流人员的中国图书馆收获小，说明中方图书馆能够通过与来访的美方馆员交流学习到更多的知识经验，这与中方在“交流馆员的收获”和“派出馆收获”2个指标上高于美方的结论是一致的。同时，一定程度上也说明在图书馆的发展水平上，尤其是服务管理方面，美方有一定的优势，整体而言交流项目对中方产生的影响和作用更大。endprint

4建议

为促进馆员国际交流项目的进一步发展，通过项目评价与分析，总结出了以下改进建议。

（1）要特别重视交流项目的制度设计，尤其是涉及事后完善的“总结报告制度”和“成果转换制度”，它们直接影响着交流效果的优劣。交流项目的终极目标就是学以致用，“总结报告制度”和“成果转换制度”应该作为项目的一个核心环节加以强化。在访问结束之后，派出馆应该明确要求交流馆员的个人总结和项目评估报告必须及时、完整地以书面和讲座的形式在馆内公开，尽可能扩大在馆内各层面的影响，让每一名馆员都能了解到交流项目的细节，都能有机会从项目中获益。派出馆要及时安排专人或工作小组与交流馆员加强沟通，共同研究、协调、落实相关建议，促进派出馆业务水平的实质提升，使交流项目真正实现其价值的最大化。

（2）交流馆员在项目进行过程中要充分利用各种机会展示自己的专业能力，主动与接收馆馆员沟通接触，建立良好的工作和私人关系。在访问结束之后，应继续保持与接收馆及其馆员的联系，加强在日常业务工作和科研工作中的交流，积极寻求学术合作发展的机会，努力将交流收获转化为学术成果，促进自身专业能力的全面提升。

（3）应该尽可能增加交流馆员参加“具体项目”的数量。在专业方面，尤其应增加“业务座谈”和“公开报告”的项目，以便为交流馆员创造更多的“一对一”或“一对多”的接触机会，增大受众面，让更多的接收馆馆员和师生可以借以了解派出馆的工作和管理方式。为了增强文化上的交流，让交流馆员尽可能地了解异国的历史文化和风俗习惯，接收馆可增设更多参观各类图书馆、博物馆、文化中心，参加當地图书馆会议，与当地民众座谈交流等项目。

（4）加强与外方人员的沟通，深入了解对方的工作方式和关注点，在交流项目中增加能够吸引他们的环节，真正达到中外双方在国际交流项目中共同受益的目标。

5结语

随着图书馆国际交流与合作的日益增多，馆员国际交流项目已成为图书馆在新世纪发展中面临的一个新课题，如何把这个项目执行好，让馆员和图书馆都能真正从国际交流活动中受益，进一步促进图书馆业务创新和持续发展，是项目决策者必须认真思考的一个问题。而对交流项目的实际效果和价值进行科学、严谨地评价，将有助于帮助我们真正了解项目可能存在的深层次问题，有助于项目的健康发展。

四川大学图书馆在工作实践中，创新性地运用层次分析等数理方法构建定性和定量相结合的图书馆员国际交流项目评价体系，并在实证研究中体现出了良好的适用性，为项目决策提供了可靠依据。该研究方法科学合理，可操作性强，具有一定的推广价值，希望能为国内其他单位的馆员国际交流项目工作实践提供参考。endprint