基于Hadoop的视频云存储架构研究

张建

（安徽经济管理干部学院，安徽 合肥 230059）

基于Hadoop的视频云存储架构研究

张建

（安徽经济管理干部学院，安徽 合肥 230059）

在计算机技术及互联网技术不断发展及应用的过程中，电子信息（视频、图片、数据等信息）数量也在不断的增长，如何够有效管理及存储海量电子信息是目前IT行业中的巨大挑战.传统的信息存储方案具有单一、以及不易扩展的劣势，导致数据的存储及管理出现了一系列的问题.要想解决这些问题，可以使用云存储基础，以此处理大量的数据信息.云存储具有可扩展性、实用性、高访问量及成本较低的优点，能够为数据存储提供良好的服务.

Hadoop；视频；云存储；研究

目前，云计算是计算机行业研究最为热门的行业，也是社会企业及研究机构重点研究课题.云计算目前正朝着并行处理、分布式处理及网络计算的方向的发展，能够有效实现计算机科学的行业化.云计算最主要的优点就是它具有丰富的存储空间及计算能力，存储模式的发展不再只是存储到个人计算机或者服务器中，其能够存储到云服务器中，并且还能够在云服务器中完成信息的计算及处理，为社会企业提供了方面，节约了成本.

1 云计算

1.1 云计算的概念

在互联网技术不断发展的过程中，在互联网中的数据也在不断的增加，这就产生了大数据.大数据指的就是不能够通过一般的软件工具集中管理及处理的数据集，这些数据集主要来源于社交网站、物联网信息及企业内部经营三方面，其特点就是具有大量的非结构化数据，并且数据多样化、价值密度较小、具有多种不相关信息，并且要求数据的处理速度实时性较高.

大数据的分析要通过强大的计算方式进行，那么就可以使用云计算.云计算是目前计算机行业中的产业革命，对于云计算的研究日益增加，云计算的出现也为目前计算机及互联网行业带来了全新的机遇和挑战.云计算指的就是能够通过互联网访问IT资源池的方式，此计算方式根据需求使用、按量付费，其资源主要包括网络、存储、服务器、计算、服务及应用等，云计算主要包括网络计算、并行计算、虚拟化、网格计算等.从使用角度可以将云计算分为私有云、公有云及混合云三种.[1]

1.2 云计算的体系结构

在云计算体系结构中，用户的存储及操作等一系列的服务都是通过云中的服务器进行，根据用户不同的需求访问存储系统及计算机，用户系统不需要安装其他软件，数据也能够在云计算机及服务器中进行存储.云计算体系结构见图1.

图1 云计算体系结构

用户界面：主要是使用户和云系统相互交互，用户能够通过用户界面向云发出请求；

管理系统：主要是分配给计算机各种资源，以此使云中的负载保持平衡；

部署工具：用户可以通过部署工具中的服务器节点，配置满足自身需求的运行环境；

服务目录：主要显示用户能够操作和访问的服务目录列表，用户可以通过服务目录选择操作；

监控：能够实时查看计算云系统资源的使用现状，保证资源分配合理；

服务器群：云系统中不同服务器的几何.

2 云存储和Hadoop理论

2.1 云存储

云计算处理大数据的基础就是解决数据的存储问题，目前数据存储已经是社会企业及人们关注的重要问题.传统存储设备具有种种劣势，以满足不了如今大数据的需求，那么云存储技术就油然而生.

简单来说，云存储就是云计算技术的延伸，主要是通过数据存储及管理的云计算平台，结合不同位置及种类的存储物质，从而创建一个大存储介质，为外界提供一个同名的存储结构.图2为云储存的简单结构.

图2 云存储结构

2.2 Hadoop理论

目前，最流行的开源云计算平台就是Hadoop生态系统，它的主要优点就是具有较强的可靠性、容错性及扩展性，其核心技术主要有三种:其一, HDFS；其二，MapReduce；其三,HBase.能够为用户提供透明的云存储系统.[2]

3 基于Hadoop的视频云存储架构

3.1 云存储系统架构设计

视频云存储使用C/S及B/S两者相结合进行设计，能够支持企业内部局域网，还能够支持广域网中的多级部署.根据不同的网络架构，全面实现最佳的管理.使用MVC三层架构体系，层次清晰、便于开发及维护.

显示层：使用户能够清晰的看到系统交互界面，B/S架构一般指的是浏览器显示界面.用户可以通过页面添加文件、删除文件及查找文件，管理员能够通过显示层监控及维护集群的运行状态，并且管理用户.

业务逻辑层：指的是整个系统业务的规则和逻辑，能够通过其进行并行处理并且访问Hadoop数据，处理一系列的基本逻辑，并且配置整个平台的存储系统.

数据存储层：数据存储层是整个系统结构的基础，能够通过Hadoop存储文档并且创建倒排索引，还能够实现原数据的存储.[3]

3.2 云存储功能模块设计

模块化的设计能够使系统的开发和维护更加方便，将ERMS管理系统业务和云存储相结合，可以将系统分为系统管理模块、数据处理模块、普通用户模块及审计监控模块.管理员通过系统管理模块，能够管理用于及存储平台.云存储服务提供商也能够作为ERMS系统管理员，普通用户就是使用云存储中服务的用户.数据处理主要是对文件存储之前进行基本的信息加工，系统监控维护指的主要是故障监控、服务器信息管理及报警管理.[4]（图4为云存储功能模块）

图4 云存储功能模块

3 云存储架构流程

3.1 视频文件的上传

在云存储平台中，有许多逻辑处理流程，视频文件的上传是最为复杂的.首先，外部的数据是通过交互界面浏览器传送到处理模块中进行处理，通过中心处理模块初步处理视频文件，之后将元数据信息提取出来，并且将其放入到数据库中.如果视频文件到达一定值的时候，要将其直接存放到HDFS中，如果没有到达一定值的话，可以将其存放到服务器小文件中.如果文件满了的化，可以将文件进行压缩处理，之后合成大文件存放到HDFS中，之后将文件进行处理建立倒排索引，之后将其存放到数据HBase中.图5为Hadoop云存储文件上传流程.[5]

图5 Hadoop云存储文件上传流程

3.2 视频文件的下载

用户在下载视频文件的过程后之前，首先要判断文件是否为多个或者文件夹，或者是否为空.如果出现以上情况，系统就会出现提示信息.用户选定文件之后，系统就会自动处理用户提交到数据，判断文件的位置是否在HDFS中，如果没有，那么就会自动返回页面，如果在的话，系统就会读取文件内容，将读取数据发送到浏览器中，之后输出，最后返回页面.图6为Hadoop云存储文件下载流程.

3.3 视频文件创建目录

在用户为视频文件创建目录文件的时候，系统首先要判断用户是否具有创建目录的权限，如果没有，那么系统就会提示用户返回页面，如果有，那么系统就会将用户的数据信息传送到服务器中，之后处理并且判断用户数据，判断文件夹是否存在.检测成功之后，系统就会将其记录到数据库中，之后返回到页面中.[6]

图6 Hadoop云存储文件的下载流程

3.4 视频文件重命名

用户在重新命名视频文件名称或者文件夹名称的时候，系统会判断用户是否能够重命名文件，如果不能，那么就会有提示信息，使用户返回页面.如果可以，系统就会显示一个对话框，提示用户是否确定重新命名文件夹，用户将名称进行修改之后进行保存.将相关的数据提交到服务器中，之后将数据进行过滤验证处理，验证成功之后文件名称将会保存，用户提示信息就会提示用户返回页面.

3.5 数据表结构

存储系统数据库中具有七张表，详见图7.

图7 数据表结构

其中用户信息表和元数据表处于整个表的核心部分，用户信息表中字段说明见表1，元数据表字段说明见表2.

表1 用户信息表字段说明

表2 元数据表字段说明

4 结束语

云计算自发展以来，丰富了计算机与互联网的功能及应用吗，云存储及数据管理技术为云计算的核心.本文基于Hadoop创建了简单的视频云存储架构，实现了云系统中视频文件的存储.目前云存储还处于起步状态，在今后对于云存储的研究还会不断深入，云存储也会被广泛应用.

〔1〕刘琨,李爱菊,董龙江.基于Hadoop的云存储的研究及实现[J].微计算机信息,2011,27(7):220-221.

〔2〕成静静.基于Hadoop的分布式云计算/云存储方案的研究与设计[J].数据通信,2012(5):14-18.

〔3〕崔朝国,刘志明,李婧,等.一种基于Hadoop的Scool云存储平台[J].电脑知识与技术,2013(2): 405-408.

〔4〕潘富斌.基于Hadoop的安全云存储系统研究与实现[D].电子科技大学,2013.

〔5〕王凤领.基于Hadoop高校教育资源云存储平台构建研究[J].计算机技术与发展,2016,26(3):176-180.

〔6〕裴云,陈敏,邢益良.基于Hadoop的数据云存储研究与应用 [J].电脑编程技巧与维护,2015(8): 79-80.

TP333

A

1673-260X（2017）04-0025-03

2017-02-12

安徽省教育厅自然科学重点项目（KJ2015A394）