大数据处理在图书馆信息化管理中的应用

辽宁对外经贸学院 刘奉驳

大数据处理在图书馆信息化管理中的应用

辽宁对外经贸学院 刘奉驳

人们现在越来越依赖网络，而大数据在近几年已经成为大多数人研究与分析的对象，其中大数据的应用也深深的影响着图书馆的管理，大数据技术的发展改变了图书馆的管理的方式，加快了信息化管理的进程。大数据技术对于含有意义的数据进行专业化处理，加强了对图书馆的管理，为读者提供更方便的服务。本文介绍了大数据处理为图书馆管理带来的影响以及如何推进图书馆的信息化进程，改变了传统图书馆的管理方式，为其提供了新的平台。

大数据；图书馆；应用

1.大数据与图书馆

1.1大数据的概念

大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征[1]。

1.2图书馆所具备的大数据特征

（1）大容量

图书馆作为存储图书的场所，其中存在大量的文献图书信息，音频视频资源，电子刊物等，而这之中不光有各种书籍的资源，还包括多媒体资源，并且每年图书馆都需要更新数据库，以及新增各种书籍和购买最新的音频视频资源。还有读者通过图书馆借阅书籍的信息，网上的交流，这些所产生的这些数据，而且图书馆的数据量每天都在快速的增长。在公元前3世纪，希腊时代最著名的图书馆亚历山大图书馆用尽全力获得了大部分的书籍资料，可以说希腊搜集的资料囊括了世界上绝大部分的书籍。但是当大数据时代的到来，每个人都可以通过各种渠道获取到许多的数据资源，而这些相当于当时希腊图书馆中书籍资料的320倍。因此如果再用传统的图书馆管理方式那是不行的，所以这都是图书馆需要大数据的大容量特点的理由。

（2）多样性

在大数据时代，数据格式变得越来越多样，涵盖了文本、音频、图片、视频、模拟信号等不同的类型；数据来源也越来越多样，不仅产生于组织内部运作的各个环节，也来自于组织外部。图书馆中的数据不光有图书信息这样的结构化数据，还有很多来自网上微博、社交网站等产生的非结构化和半结构化的数据。图书馆的数据恰恰是验证了大数据在图书馆的应用中多样性的特点。

（3）快速度

时间就是金钱。而我们最多的就是时间，而最需要的也是时间，越快的读取数据，那么在竞争时就会更有机会。读者对图书馆中图书的更新越来越看重，而这就要求图书馆能够快速的将最新的图书信息更新到图书馆中，并在网上的借阅系统中将信息显示出来，可以使读者在图书馆借阅时尽快的找到自己想要的书籍，满足读者的需求。对于图书馆大量的数据变化，它需要以最快的速度改变信息，因此处理信息的速度尤为重要。

（4）价值密度低

追求高数据质量是一项重要的大数据要求和挑战，即使最优秀的数据清理方法也无法消除某些数据固有的不可预测性，例如在图书馆中监控资源分析过程中，可能只有十几秒甚至几秒有用，因此必须用大数据来处理。

2.大数据处理对图书馆的影响

随着信息化的发展，传统图书馆的缺点已经越来越明显了，它已经不能满足读者的需求，大数据时代带来的价值也深深的影响着图书馆的管理。图书馆的宗旨就是为读者提供优秀的书籍以及更全面的服务，也是图书馆的价值体现。在大数据时代，图书馆通过大数据的管理方式，用先进的技术条件，进行数据挖掘和分析，使图书馆更快速的更新最新的书籍，为读者提供更便捷的服务，加强图书馆的管理。

2.1大数据为图书馆带来的机遇

大数据为图书馆带来的机遇：一是为图书馆创建新型知识服务引擎，它更便捷的为读者服务，使读者更快速的搜索到自己想要的书籍以及更重资料，节省了读者的时间；二是通过大数据建立的图书馆管理系统，可以节省更多的人力物力，并且可以减少发生失误的概率，为读者提供更方便的学习方式。三是为图书馆提供更精准的分析能力，减少可能发生的资源故障，更好的管理图书馆。四是为图书馆带来更完整的数据收集能力，增强图书馆的数据量，为读者提供更多的资源。

2.2大数据为图书馆带来的挑战

在大数据的发展过程中一直存在的问题就是隐私问题，微软张亚勤说：“大数据安全和隐私问题永远无法解决”[2]。对大数据存储、挖掘、 分析也是大势所趋，也不能因为惧怕隐私问题就停滞不前。在信息化的时代，图书馆需要为不同的读者提供不同的服务，而这势必会侵犯到读者的隐私问题，就目前来说还没有太好的解决办法，主要是树立图书馆员的道德风尚，使其更加重视读者的隐私问题。现在由于大数据的快速发展，国家已经制定了相关的法律来保护隐私问题。

图书馆需要存储大量的数据，因此这就对数据的存储有了更高的要求。随着数据量的巨大增长和数据来源的多样化，传统的数据存储结构已经不能满足图书馆的需求，可以考虑最大程度利用存储系统，进行存储虚拟化、分层存储、堆栈管理等[3]。

3.图书馆大数据处理方案

3.1大数据采集

图书馆大数据采集是对图书馆中相关的数据库、自动化系统和外联网数据进行采集，与传统数据采集相比它是对全部类型的资源的采集，能够更多的增加数据库中的数据量，满足大部分读者的需求。大数据采集没有统一的要求，不管是结构化数据，半结构化数据或是非结构化数据；也不管是采集正确的数据，还是不正确的数据；总之是不管什么样的数据，只要是数据统统都要，越多越好。因此图书馆的大数据采集可以用通用分布式大数据工具。系统日志采集可以应用大数据工具如Cloudera的Flume、Hadoop的Chukwa、Facebook的Scribe等，这些工具采用分布式架构，可以满足大量的系统日志的采集和上传；外联网络数据可以通过网络爬虫或网站API等从网站上获取来进行采集，它不仅仅支持音频视频，还支持图片等数据[4]。

3.2大数据存储与组织

现如今大数据发展越来越迅速，而传统的数据仓库其本身存在的缺点已经不能满足图书馆的要求，但是数据仓库也存在可扩展性、容错性、低成本等优点。所以说要像图书馆更好的发展，可以将数据仓库和大数据结合起来，创造一个混合的存储平台。

现如今使用最多的大数据处理平台架构是Hadoop，所以图书馆可以采用传统数据仓库（DW）和 Hadoop大数据处理平台的混合架构，用来保存图书馆中大量的资源，对于不同的要求来选择不同的存储方式。图书馆对传统海量结构化业务数据可以采用现有数据仓库进行存储；对于海量半结构化服务日志数据可以采用NoSQL数据库（NoSQL为典型的半结构化数据存储数据库），对于海量原生非结构化数据可以将其提取元数据存储于数据仓库，数据资源对象存储于Hadoop平台的HDFS分布式文件系统中。这种存储方式符合大数据基本存储架构，同时它对于图书馆的硬件设施有很高的要求。

4.大数据在图书馆中的实践

4.1图书馆的空间优化

例如学校图书馆的门禁系统，通过门禁系统图书馆可以统计进馆人数、读者身份等等。再对这些信息进行整体的划分与推算，这样就能更好的区分图书馆在何时人比较少，在何时是高峰期。载人比较少的时候减少一些工作人员，节省更多的财力物力；在高峰期的时候，提前做好准备，可以更好的调节工作人员，整理图书，做到更好的服务。还可以将门禁系统加入到其他系统中，形成更加智能化的系统，例如清华大学图书馆的RFID智能系统，通过该系统进行的座位预约，就是先在线预约，之后通过图书馆中的终端机刷卡确定身份后入座，利用这个系统我们还可以确认读者是否在闭馆前是否还在图书馆中[5]。

还有就是图书馆的监控系统，通过监控设备来确定图书馆中各个位置的使用率，以及在何时开放哪个地区等；利用设备监控整个图书馆的温度与湿度，防止图书的损坏和读者的舒适度。

4.2图书馆的阅读推广

图书馆通过对网络中得到的数据以及电子文献数据和搜索数据、借阅数据等进行推理分析，通过大数据得到的半结构化数据和非结构化数据进行筛选、分类，进一步的了解最近一段时间比较火热的，话题最多的图书，根据大部分读者的喜好选择文学作品来进行阅读推广。另外现在读者都持有手机，我们可以对读者的身份信息进行同意的管理，在通过第三方平台例如微信、qq、邮箱、微博等进行图书的推广，为读者提供更加便捷的服务，让读者不用到图书馆也能了解最新的图书资讯，甚至可以通过手机、电脑等终端进行下载或者在线阅读。

4.3大数据在图书馆人力资源的应用

人力资源的核心是人力资源管理。图书馆在大数据时代背景下，要想得到更好的发展，那么必须有大量的相关人才，而怎么样培养出相关的人才就是我们需要仔细的研究和探讨的了。现如今图书馆的大部分的工作人员的工作素养、服务水平、对图书馆知识的掌握等方面都还差的很远，需要很大的提高。我们可以利用图书馆中保存的大数据来进行查找，分析有用的书籍和文献，通过其中得到的信息在根据图书馆自身的需求来进行寻找，培养图书馆需要的人才。大数据作为前沿技术具有很高的难度，现如今它得到了广泛的应用，为了跟上时代的步伐，图书馆必须与时俱进，充分利用大数据，为图书馆的管理等方面带来巨大改变。如果想要在图书馆中担任大数据的分析的工作，那么必须有相对应得技术基础的人才可以，但是这方面的人才又相对来说比较缺乏，因此对于图书馆来说培养大数据的人才那么就事关重要了，而这也是图书馆的一大挑战。

5.结语

大数据正在快速发展阶段，图书馆作为社会中公共信息服务体系的一部分，其读者的基础以及各类书籍资源将会越来越多，而这也就要求图书馆需要更新的技术支持。图书馆对大数据的应用，推动了图书馆信息化的进程，改变了传统图书馆的缺点，为图书馆开拓了新的平台，充分的发挥大数据的特点，更好的提高图书馆的服务质量，改善图书馆的阅读环境，提升读者的阅读体验，方便读者，也使大数据在图书馆中得到更好的价值。

[1]The Age of Big Data[EB/OL].[2014-10-16].http:///www,nytimes. com/2012/02/12/Sunday review/big datas impact in the world,Html?pagewanter=all

[2]涂兰敬.专家观点:“大数据”与“海量数据”的区别[J].网络与信息,2011(12):37-38.

[3]张文彦,武瑞原,于洁.大数据时代的图书馆初探[J].图书与情报,2012(6):15-21.

[4]张毅,赵雅洁.论大数据在图书馆管理与服务中的应用[J].图书馆工作与研究,2015(9):4-8.

[5]甘琳.RFID技术在图书馆的创新应用[J].图书馆论坛,2007,27(3): 8-11.