民间艺术资源的云存储技术研究

李小波 田中娟 叶振

摘要： 我国民间艺术资源平台的建设和研究是当前文化艺术领域面临的一项重要而紧迫的课题，存在着诸多挑战。在大数据时代背景下，采用云计算和云存储技术是一个必然的趋势。文中介绍了Hadoop云计算与云存储技术，提出了基于Hadoop的民间艺术资源云存储平台建设方案。构建基于Hadoop的民间艺术资源云存储平台具有可行性和有效性。

关键词：民间艺术；云计算；云存储；Hadoop

中图法分类号：TP311.13 文献标志码：A 文章编号：2095-2163（2016）02-

Research on cloud storage technology of folk art resources

Xiaobo Li 1， Zhongjuan Tian 2， Zhen Ye 1

（1 College of Engineering and Design， Lishui University， Lishui 323000， China；

2 College for Nationalities （Minzu）， Lishui University， Lishui 323000， China）

Abstract： The construction and research of Chinese folk art resources platform is an important and urgent task in the culture and art field， and there are many challenges. In the big data era， the use of cloud computing and cloud storage technology is an inevitable trend. This paper introduces the Hadoop cloud computing and cloud storage technology， puts forward the development scheme of folk art resources cloud storage platform based on Hadoop. The construction of folk art resources cloud storage platform based on Hadoop is feasible and effective.

Key words： folk art； cloud computing； cloud storage； Hadoop

我国民间艺术源远流长，多彩多姿，内涵丰富，深刻地影响和滋养着我们的民族精神与民族性格。在全球经济一体化，我国社会快速发展的当下，随着强势文化的冲击融合，许多优秀的民间艺术和民族文化正在逐渐走向流失消亡。对于民间艺术的保护，以往在思路及方法上都比较单一。如创建一个博物馆，将民间的艺术品进行精彩集中展现，但这种方式对于许多民间艺术的保护却不具现实可行性；而且，在各地大量兴建博物馆，也将带来资金和展示空间不足等诸多问题。随着计算机和网络等现代信息技术的飞速发展，采用新兴的数字化信息技术对民间艺术资源进行传承和保护，不仅是现阶段文化繁荣和发展提出的时代课题要求，而且也为我国珍贵民间艺术的传统接续和创意加入提供了可行思路，同时更为信息技术的应用拓展了广阔的前景实施空间[1-2]。《中华人民共和国非物质文化遗产法》自2011年6月1日开始实施，其中的第十三条就提出了明确的规定：“文化主管部门应当全面了解非物质文化遗产有关情况，建立非物质文化遗产档案及相关数据库。除依法应当保密的外，非物质文化遗产档案及相关数据信息应当公开，便于公众查阅。”[3]

1 民间艺术资源保护面临的挑战

国内宣传、文联、文化等部门意识到民间艺术资源保护的必要性和迫切性，着手积极探索和实践民间艺术资源的保护和传承工作。时至今日，我国民间艺术资源的数字化传承和保护工作尚未全面展开，仍然属于起步阶段，各项工作有待进一步深入，其数据资源平台的建设和研究将是一项长期而艰巨的工作。

各地民间艺术种类繁多，地域特点突出，相关数据资源的保护面临着诸多挑战，分析论述如下：

（1）民间艺术资源数据持续增长。随着民间艺术资源的保护和传承工作的不断深入开展，大量的数据接入互联网，由此带来了数据量的迅猛增长。数据量由之前的MB，GB级别，跃升到现在的TB，甚至是PB级别。

（2）数据资源来自不同的数据源。民间艺术资源种类众多，且获取的数据源各不相同。由于其数据结构不同，既包括结构化的数据，也含有半结构化和非结构化的数据。因而需要利用合适的方法对获取的数据进行标准化处理，将其转化为统一的格式，并采用科学模式实现数据的存储和管理。热后进行数据的处理分析，再利用可视化等技术手段给用户提供效果展示。这就需要一整套的大数据处理流程[4]。

（3）民间艺术资源数据缺乏共享。目前国内相关部门的民间艺术资源库往往是独立设计、并研发完成的，因而其资源是分散且孤立的，相互之间没有进行有机的整合。各资源库之间的信息互不兼容，不仅造成资源库的重复建设，也会由于缺乏共享而导致资源的浪费[5]。

（4）存储成本高。构建民间艺术资源的数据中心需要大量的资金投入，在传统的存储管理模式下，相关部门要购置各自的服务器，配备相应的场所和技术人员，而时下的许多单位并不具备相应的资金和技术能力。而且当前的服务器无法满足更高需求时，就要决策购进新式服务器[5]。

2 Hadoop云计算与云存储技术

云计算是近期网络技术、特别是互联网蓬勃兴起后出现的热门研发领域之一，是当前信息行业发展的最新潮流趋势。云计算通过分布式技术将大量的计算资源通过高速网络进行连接，并通过虚拟化技术构成一个虚拟的计算资源共享池，云系统管理者在后台对该资源共享池施行统一的配置、管理和监控，而当前台的用户需要使用计算资源时，就可以通过互联网随时随地接入，并且是以按需付费的模式交付用户使用。自2006年，云计算概念提出以后，众多厂商陆续趁势推出了各自的云计算架构和系统，推动着云计算从简单的概念迅速迈入成熟的实施阶段。

在此基础上，云存储延伸了云计算的概念，现已成为一种新型的数据存储模式。云计算平台是一种以海量数据为计算核心的分布式系统，如果在该平台之上配置大量的存储设备，使得该平台拥有了海量的数据存储能力，即可将其作为云存储平台来进行设定使用[6]。

Hadoop 是一个直接针对云计算和云存储而提出的开源模型[7]，可以在普通的硬件设备组成的集群上进行部署和运行，是目前实现云计算和云存储的主要平台之一。该平台已经由包括Microsoft， Amazon，IBM和Google等在内的多家知名IT公司所采选和使用。其中，HDFS、MapReduce和HBase是Hadoop平台的三大核心技术。在此，对这3项核心技术给出如下分析与概述。

2.1 HDFS

HDFS（Hadoop distributed file system）是一个采用主从结构体系框架的分布式文件系统[8]。和现有的分布式文件系统不同的是，HDFS更注重容错性和链接廉价硬件设备的兼容性，能完全运行在性能普通的电脑集群上，采用上述设计的目的即是希望基于很小的预算或者现有的机器就能实现大数据量的保存和读取。在HDFS中，一个集群包括一个NameNode和多个DataNode。采用一个NameNode的体系设计将使得整体系统架构更加简洁[9]。

2.2 MapReduce

MapReduce 是Google提出的一种并行编程模型[10]，由于Hadoop的强大功能和简洁架构，当前已经构建面世多种实现，其中，除Google的官方实现外，Hadoop的MapReduce模型是具有最高使用频度的。具体来说，MapReduce的编程可通过map和reduce两个阶段得以推进并完成，其中map函数从底层分布式文件系统接收输入的一组键值对，再通过并行操作，产生一组中间结果的键值对，将其传递给reduce函数。reduce函数并行处理，将中间结果以键值进行合并，最终产生一个规模更小的结果值集合，输出到底层分布式文件系统。MapReduce计算任务由一个JobTracker和多个TaskTracker 协作完成[9]。

2.3 Hbase

Hbase是运行在Hadoop平台上的非结构化数据存储数据库[11]，其中的全部数据均存储在底层HDFS文件系统上，而且支持Hadoop的MapReduce编程模型。Hbase数据行记录包括3个基本类型：行关键字（Row Key）、时间戳（Time Stamp）和列（Column）。在各类型中，行关键字是数据表的主键，数据的每次操作都有与之关联的时间戳，列又可以划分为多个列簇（Column Family）。虽然从概念视图呈现上得知，每个Hbase表由许多行组成；但在物理存储上，Hbase采取基于列存储的模式存储数据记录。而且，Hbase可以动态地增加列，如此则为民间艺术数据库的表格设计提供了很强的灵活性。

本文中，研究构建的Hadoop民间艺术资源云存储平台具有以下特点：

（1）可扩展性。具有存储可扩展和计算可扩展性，可以按需扩展，能够满足民间艺术资源数据持续增长的需求。

（2）通用性。分布式文件系统和Hbase数据库能够处理数据结构完全不同的异构数据，MapReduce 的并行编程模型适合处理异构大数据。

（3）共享性。用户只要联网，即能在任何时间、任何地方到云上方便地存取数据。

（4）低成本。该存储平台可以运行在普通的微机上，不需要昂贵大型系统的条件限制及底层支持。

4 结束语

云计算和云存储作为新兴的网络计算和存储技术，在大数据时代具有广泛的应用及前景。构建基于Hadoop的民间艺术资源云存储平台具有可行性和有效性，能够应对当前民间艺术资源传承和保护工作所面临的挑战。

参考文献：

[1] 彭冬梅， 潘鲁生， 孙守迁. 数字化保护——非物质文化遗产保护的新手段[J]. 中国书画， 2006（1）： 47-51.

[2] 刘海青. 数据库技术在非物质遗产保护中的运用研究——以红河哈尼族彝族民间艺术数据库创建为例[J]. 数字技术与应用， 2010（9）： 155-157.

[3] 谭必勇， 张莹. 中外非物质文化遗产数字化保护研究[J]. 图书与情报， 2011（4）： 8-11.

[4] 刘智慧， 张泉灵. 大数据技术研究综述[J]. 浙江大学学报（工学版）， 2014， 48（6）： 957-972.

[5] 吴明珠， 陈瑛. 基于云存储技术的教育资源构建与共享[J]. 计算机教育， 2014（7）： 40-44.

[6] 张龙立. 云存储技术探讨[J]. 电信科学， 2010（S1）： 71-74.

[7] The Apache Software Foundation. Apache Hadoop Project [EB/OL]. [2016-02-13]. http：//hadoop.apache.org/.

[8] D Borthakur. HDFS Architecture Guide [EB/OL]. [2013-02-14]. http：//hadoop.apache.org/docs/r1.0.4/hdfs_design.html.

[9] 崔杰， 李陶深， 兰红星. 基于Hadoop的海量数据存储平台设计与开发[J]. 计算机研究与发展， 2012， 49（S1）： 12-18.

[10] J Dean， S Ghemawat. MapReduce： simplified data processing on large clusters[J].

Communications of the ACM， 2008， 51（1）： 107-113.

[11] 张智， 龚宇. 分布式存储系统HBase关键技术研究[J]. 现代计算机（专业版）， 2014（32）： 33-37.

[12] 黎宏剑， 刘恒， 黄广文，等. 基于Hadoop 的海量电信数据云计算平台研究. 电信科学， 2012（8）： 80-85.

[13] 林清滢. 基于Hadoop 的云计算模型[J]. 现代计算机（专业版）， 2010（7）： 114-116， 121.