大数据背景下企业分布式存储系统设计与实现

朱彤

（西安中兴新软件有限责任公司，陕西 西安 710000）

0 引言

随着大数据时代和云存储的到来，各个企业公司在日常运营中所产生的数据量和信息量也在日益增加，人们在数据存储问题也随之日益突出，虽然市场上所供应的硬盘存储越来越大，但是在大部分的情况下用户对这些存储空间并没有做到充分的利用，对数据安全性的需求也变得更加突出。大型企业每天所产生的数据量更是数以亿计，企业也对公司内部的存储需求更加完整，不但对数据的存储容量有了更大的要求，而且还需要对数据的读取访问速度更大迅速，还要能随时可以保证数据的安全性，在遇到突发性事故或一些不可预测的情况下，需要数据能够自动备份，不至于造成数据丢失的现象。在这个大数据的世代，每一次数据的丢失都会给公司和企业造成难以估计的损失。所以，这里引出了分布式存储的思想，针对公司总部到分支机构的文件共享和快速访问的问题提出解决方案，为企业搭建一个可靠、容错 、容量巨大的存储系统。

1 企业分布式系统需求分析

1.1 实现基本的文件共享功能

随着现如今企业公司的普及，企业对文件的存取方式也有了更多的需求，为了能够在企业中能够实现高效率办公的需求，企业都会选择要能够使得日常办公文件存储到一个容器上，这个容器每个人都能够访问，已达到资源共享的目的，能够使企业办公提高效率的同时，还能节约企业的投入成本[1-2]。

1.2 实现异地的高效访问

随着企业的发展和其规模的不断扩大，当企业规模达到一定的程度后，就会在不同的城市，不同的地方发展起来一些分公司进行营业，为了能够使得分公司与总公司的数据得到同步，当分公司在较远的地方访问总公司的网络使，难免会存在网络的延迟，这使得数据的传输效率很大程度上受到影响，所以，怎么能够使得分公司在异地能够快速高效的访问总公司的网络就显得尤为重要了。

1.3 实现对存储的高效管理

作为21世纪新时代的发展企业来说，如何能够高效的管理公司日常所产生的大规模数据的问题已经迫在眉睫，在这个智能化的时代里，传统的数据管理模式已经落伍了，企业如何能够摒弃传统的数据管理模式，达到数据的高效管理。

1.4 解决异地数据中心的文件同步问题

现代的数据中心是一个企业信息的命脉，他并不是绝对的安全的，公司的服务器也可能经常会遇到一些突发性的灾害和事故，例如断电，设备故障，自然自然灾害等情况，都会给企业的存储系统带来不可挽救的伤害。所以，怎么能在异地随时随地做到数据中心的文件同步也是一个企业迫不及待的需求。当一个地方的服务器发生意外的情况下，能够在另外的服务器上做到受损数据的恢复[1-2]。

2 企业分布式系统的设计与实现

现有一个企业需要搭建一个存储系统，该企业的总公司（A公司）在北京，分公司（B公司）在西安，企业要求B公司每天都向A公司提交工作报告，并且两个公司的工作报告都存储到一个文件路径下。

我们在实现这样的存储需求时，优先考虑的就是以分布式存储系统的环境来实现，分布式存储可以满足公司的文件存储的基本要求，而且，使用分布式存储能够大量节约企业的设备成本。我们首先在A公司服务器上安装配置Active Directory服务，该服务用于管理企业子公司对服务器文件的访问权限。然后为A公司和B公司同时配置DFS服务，创建DFS复制的文件共享路径，在该路径文件夹下可以实现文件的共享功能。

在完成了上述的操作过程后，该分布式存储系统能使企业的总公司和分公司服务器实现文件的共享功能，当其中某一个公司的服务器发生意外不能正常工作时，我们可以先使用另一个公司的服务器进行临时工作，等服务器恢复正常后可以使用另一台服务器为该服务器进行数据的同步。假设一个用户需要访问该企业在北京公司的数据信息，该用户现在人处于西安的地理位置，那么该次访问用户会优先访问到西安公司的服务器，这样就会最大化减少访问的延迟，做到异地的高效访问。

2.1 进行Windows Server 2008的安装和配置

首先设置了虚拟机的电脑名称和系统类型，根据模拟实验的需求，我们选择了使用window 2008（64-bit）的版本类型进行模拟实验。

接着，开始为新建的虚拟电脑设置运行内存的大小，系统会默认建议设置为2048MB大小的运行内存，但是考虑到设备性能的限制，我们将虚拟电脑的运行内存降低到了1024MB.

开始为window server 2008的操作系统创建硬盘的空间大小，选择分配给虚拟电脑的存储大小为80GB，为创建的虚拟操作系统命名为DC-01。接着为虚拟电脑设置网络连接，选择使用内部网络连接，这样选择是为了能够使两台虚拟设备能够更容易的连接到同一个网段[3]。

接下来就可以选择之前准备好的window server 2008的镜像操作系统作为启动盘来完成我们的系统安装了。本次模拟实验将要使用到两台虚拟设备，所以还需要为另外一台虚拟设备安装操作系统，操作方法与第一个虚拟设备的安装方法一样，为第二台虚拟设备命名为SVR01。

2.2 活动目录服务的安装

在服务器管理器界面找到添加角色的功能，为服务器添加新的域管理人员。在添加角色向导的界面上，选择我们需要为这个服务器上安装的各种服务，在这次的模拟环境实验下，我们需要为这个操作系统安装活动目录域服务和DNS服务。活动目录服务和DNS服务的安装只需要按照安装流程分布进行就可以了。接下来我们需要耐心等待服务安装完成。

2.3 文件分布系统DFS的配置

首先我们需要在sql，vsphere两台服务器上都安装DFS的文件复制服务，SVR01作为被同步的服务器，只需要为其安装DFS的复制功能就行了。

在sql建立命名空间，这里需要设置命名空间的共享文件夹名称，共享文件夹路径等相关操作，为用户设置对文件的读取权限，为这个命名空间选择为基于域的命名空间。开始创建复制组test,选择要创建的复制组的类型为多用途复制组，多用途复制组用于配置两个或更多服务器之间的文件复制用于发布、内用共享和其他方案。

在设置复制组的名称和域时，需要选择两个或者更多将成为复制组成员的服务器，我们在这里选择添加SQL服务器和VSPHERE服务器。考虑到我们的模拟实验应用范围是面向企业，在实际生产环境中，我们选择使用交错拓扑的拓扑方式[4-5]。

接下来，为我们的命名空间建立源复制文件夹，建立需要共享文件的目的文件服务器共享文件夹。

在SQL,VSPHERE服务器上测试我们的实验效果，在主服务器SQL上新建一个文件夹，该数据会被自动同步到VSPHERE服务器上去，这个效果达到了我们的实验目的需求。

3 结语

分布式存储系统不但能够存储大规模的数据量，而且还具有可扩展性的性能有点，具有很高的性价比，在信息工程的领域里得到了很多热爱系统的专业人员的关注。我们从传统的存储系统为出发点，相比较与现在的那些主流的分布式存储系统，得出了传统的存储系统和主流的分布式存储系统的优劣区别。接着，我们对分布式存储系统的各种分类都进行了其特点的分析研究，搭建分布式系统的操作方法有很多种，每一种方式方法都有其特有的优点，具体使用什么样的搭建方式需要根据我们在实际的工作环境下所遇到的具体问题进行分析，根据问题的不同从而选择不同的分布式存储系统。