基于大数据的图书馆总分馆智慧服务云平台架构研究*

赵志光

(广州市越秀区图书馆，广东 广州 510080)

随着互联网技术的迅速发展，以智慧地球概念为起点的智慧化建设项目越来越多，其中包括智慧图书馆建设。由于部分公共图书馆实行的总馆与分馆相结合的总分馆管理制度，以及部分高校图书馆实行的总校图书馆和分校图书馆相结合的总分馆管理制度，在大数据层面对智慧图书馆提出了更高的要求。图书馆总分馆模式已经成为许多公共图书馆的重要建设模式，如何构建基于大数据的图书馆总分馆智慧服务云平台已成为重要的研究课题。因此，笔者对基于大数据的图书馆总分馆智慧服务云平台架构进行了研究，以期提高图书馆总分馆的服务水平。

1 基于大数据的图书馆总分馆智慧服务云平台的目标设计与技术选择

1.1 基于大数据的图书馆总分馆智慧服务云平台的目标设计

近年来，各地图书馆越来越重视总分馆建设，并在总分馆建设过程中把服务网络延伸到街道(乡镇)、社区(村)，通过实行图书馆集群化管理，实现了通借通还，提升了服务能力，优化了服务体系。图书馆总分馆建设模式具有总馆集中管理和集中控制、分馆统一标准执行、服务标准规划统一、服务质量稳定性好等特点，受到众多类型图书馆的青睐，目前已在全国得到广泛推广。图书馆总分馆建设模式要求图书馆建设智慧服务云平台系统，以确保服务质量和服务效能，满足图书馆总分馆的文献资源建设需求及用户服务需求。

1.2 图书馆总分馆智慧服务云平台的技术选择

虽然很多技术能被用于图书馆总分馆智慧服务云平台建设，但图书馆应选择性价比较高的技术体系[1]。例如，Apache软件基金会开发的分布式系统基础架构软件Hadoop，既是一款可扩展的分布式计算的开源软件，也是一个能够满足我国图书馆总分馆资源建设和实际使用需求的分布式计算平台。图书馆基于大数据，可在Hadoop上开发和运行处理总分馆的海量数据。Hadoop具有高可靠性、可扩展性、高效率性、高容错性和低成本性等特点，Hadoop系统框架最核心的设计是用于大数据存储的HDFS及用于大数据计算的MapReduce，前者为海量的数据提供存储，后者对海量的数据进行计算。图书馆利用Hadoop建设总分馆智慧服务云平台系统，不仅能为海量的数据提供存储，对这些数据进行计算分析，还能降低平台建设成本。

2 基于大数据的图书馆总分馆智慧服务云平台总体架构设计

基于大数据的图书馆总分馆智慧服务云平台系统的总体构架设计，宜采用三层结构，即用户服务层、技术应用层和大数据资源层[2]。其中，用户服务层处于系统的最上层，它的作用在于为图书馆总分馆用户提供人性化的交互服务界面及具备智慧图书馆服务功能的智慧交互服务界面，属于图书馆总分馆的服务窗口；技术应用层处于系统的中间层，起着承接最上层的用户服务层和最下层的大数据资源层的作用，负责大数据接口和各类应用接口；大数据资源层处于系统的最下层，它的作用在于对图书馆总分馆的各类大数据信息进行处理，如大数据的集群化处理、并行化处理、分类化处理等，并能够将处理任务进行集群分配，对各类大数据进行实时读取和分析、及时或定时保存、实时或定时更新。

3 基于大数据的图书馆总分馆智慧服务云平台分布式架构设计

在基于大数据的图书馆总分馆智慧服务云平台分布式架构设计中，Hadoop分布式架构的核心部分包括分布式文件系统(HDFS)、分布式数据库(Hbase)、分布式处理组件(MapReduce)、数据表和存储管理服务系统(Hcatalog)、分布式系统协调的基础服务(Zookeeper)、数据分析平台(Hive)、数据库工具(Pig)等[3]。分布式文件系统具有较强的容错性能，能够对总分馆的各类文件进行分布式采集、记录、存储和管理；分布式数据库具有较好的可伸缩性和高度可用性，能够对总分馆的数据进行分布式管理；分布式处理组件由Map和Reduce两部分组成，能够在基于组件的大规模集群条件下对总分馆的数据进行分布式管理；数据表和存储管理服务系统能够对各类智能服务项目的数据进行表格化管理和存储；分布式系统协调的基础服务用于构建整个系统的分布式应用模块。因此，图书馆基于Hadoop分布式构架，利用相关应用软件，能够快捷、高效、科学地搭建一个基于大数据的图书馆总分馆智慧服务云平台，对总分馆的数据进行处理、分析、监管、存储，为总分馆开展服务提供保障。

4 基于大数据的图书馆总分馆智慧服务云平台的智慧架构设计

基于大数据的图书馆总分馆智慧服务云平台架构的智慧设计，集中体现在图书馆总分馆为用户提供智慧服务的架构设计方面[4]，主要包括智慧服务项目选择与大数据挖掘两个方面。在智慧服务项目选择方面，图书馆可借助智慧服务云平台的大数据分析功能，根据用户的个性化需求，选择合适的智慧服务项目，如：基于开放获取的文献资源传递服务、学科专题定向服务、慕课线上课程服务、图书馆联盟服务及真人图书馆服务等[5]。在大数据挖掘方面，图书馆可充分借助智慧服务云平台的大数据分析功能，对用户的行为数据进行挖掘和分析，创新服务模式，最大限度地满足用户的多元化信息需求。

5 基于大数据的图书馆总分馆智慧服务云平台架构关键技术

5.1 硬件技术

图书馆根据智慧服务云平台的构建规则[6]，需要在其硬件架构中将智慧服务云平台的集群划分为命名节点集群(name node)与数据节点集群(data node)两个部分。前者主要用于存储记录图书馆总分馆数据分片的元数据，并对计算任务进行管理与分发；后者用于存储图书馆总分馆的数据分片，并执行前者分发的计算任务。在图书馆总分馆智慧服务云平台架构中，图书馆可选用小型的百兆或中型的千兆交换机，以确保在稳定够用的前提下最大限度地降低系统硬件的运行成本。

5.2 软件技术

Ambari是一种基于Web的工具，支持Hadoop集群的供应、管理和监控[7]。该软件的作用主要体现在以下几个方面：一是支持智慧服务云平台各种数据集群的资源供应与可视化安装。二是能够以Web的形式对各种数据集群的数据资源进行可视化管理。三是能够对智慧服务云平台的所有文献资源数据集群和用户服务数据集群进行监控。四是能够对智慧服务云平台的各类参数进行最优化调试，如文献资源的实时动态变化数据、流通资源的实时动态变化数据、图书馆联盟的实时或定时文献资源交换数据及网站的实时更新数据等，以确保智慧服务云平台软件架构的负载均衡和性能优化。

5.3 大数据技术

图书馆在架构智慧服务云平台的过程中需要对相关数据进行获取、分类、修改与添加、筛选(分流与合并)、导入、存储，一方面是对图书馆原有的数据进行严格甄别、筛选(分流)、分类、修改、导入、存储，另一方面是对新数据进行获取、分类、添加、筛选(合并)、导入、存储。需要注意的是，图书馆需要按照新的数据标准对原有的数据进行标准化处理，并通过数据识别系统将这些数据导入智慧服务云平台的各类集群中，以避免旧系统的错误数据影响新系统的整体数据质量[8]。

6 应用效能

图书馆总分馆智慧服务云平台的功能设计要从业务实际出发，着重解决本地区总分馆管理与服务中存在的问题。为了解决分馆工作人员流动性大、难以管理等问题，广州市越秀区图书馆在图书馆总分馆智慧服务云平台设置了自助设备统一管理、人流统计、远程视频监控、线上业务交流、个性化信息咨询、大数据分析等功能，实现了对各分馆的统一监控管理、设备管理、人员管理、业务指导、数据分析、信息资源服务等。通过智慧服务云平台，总馆工作人员可远程掌握各分馆的实时开放情况，与分馆工作人员进行实时互动、交流，为读者提供个性化的信息咨询服务。总馆不仅可通过图书馆总分馆智慧服务云平台对各分馆的资源进行整合、统筹管理、合理利用，还可与分馆实现共建共享，节约成本，提高资源利用率。