计算机分布式存储算法设计

文/喻永生

1　引言

为了简化用户端的使用，我们可以通过分布式缓存系统来提供对此分布式存储系统的访问接口以及本地数据缓冲以降低网络压力。建设计算机分布式存储系统应该与国家相关部门的规定、要求相契合。通过与上级应急指挥调度的响应，立足实战应用，使指挥效能提升、指挥手段完善，在辅助指挥环节当中最大限度地发挥系统功能功效。计算机分布式存储系统应该将现阶段所具备的系统资源最大限度的整合，使得网络与通信设备最大限度利用起来，将信息数据予以有效共享，树立实用与经济理念，预防出现重复建设。

2　分布式存储算法分析

分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。分布式存储中心是基于计算机网络数据共享的基础上，利用大数据搭建通信数据中心以实现数据资源的采编、审核、清洗、分析、挖掘的等一系列的功能，为业务系统和信息服务提供深入、全面的数据基础，并提供相应数据接口。数据中心的主要功能有数据交换与共享、数据存储，数据处理三大部分。实现对采集到的各种信息进行分类和存储等功能，能够按照数据来源、数据类别、数据时间等多种维度进行管理，且具备统计分析、监控、报表制作等功能。在数据的存储上要求能够存储和管理结构化数据，也能够存储和管理非结构化数据。能够应对大数据量、多数据类型的情况。

3　计算机分布式存储体系的构建

3.1　数据管理

在大数据环境下，数据规模和复杂度的增加往往非常迅速，对系统的扩展性能要求较高。实现存储系统的高可扩展性首先要解决两个方面的重要问题，包含元数据的分配和数据的透明迁移。因此数据中心配备包括支撑以上功能的硬件基础设施、大型外部设备、数据库管理商用软件、数据处理专业商用软件、数据管理应用软件、数据服务应用软件、数据交换系统，以及相应的专业人员。 数据中心硬件配置一般包括：服务器（业务应用服务器、数据库服务器、交换服务器）；存储系统（SAN光纤交换机、磁盘阵列、NAS文件存贮）；交换机（核心交换机、服务器群子网交换机、部门接入子网交换机）；大型外设；全冗余的硬件设备及链路。 数据中心软件配置包括：网管软件；应用服务器软件；数据库管理系统；GIS软件；数据备份软件；目录服务及元数据发布软件；LDAP服务器；安全管理软件；消息中间件；云虚拟机管理软件等。整个数据中心网络可以建立在云计算平台之上，所有的应用系统服务器均由虚拟化服务器提供，这样的好处在于可以按需配置服务器资源，保障服务器资源的充分利用和灵活调度。

3.2　通信监控

现代计算机分布式存储系统应当可以实现以下功能，探测功能主要指的是系统可以对发生异常信号的地区能够准确快速的进行探测，主要有又可以分为危险行为的探测和目标识别探测，它们所应用的区域是不一样的，危险行为探测主要是进行危险报警，而目标识别主要是用于安检。响应主要是指通信系统对检测到的信号能够有所反应，主要包括报警信号以及系统的自动记录与控制等。通信系统的管理功能主要实现日常操作的智能化管理，能够对于一些程序流程，进行自动化的施行。通信系统的信息存储主要包括探测信息、管理信息以及系统日志的存储三大方面。

3.3　数据存储

数据中心由两台高性能计算机作为数据库载体，配以大容量的磁盘阵列和磁带机，系统通过光纤存储交换机相连，采用双链路备份的方式，保证数据库的可用性与可靠性。系统涉及到整合其他业务系统的数据，其他写数据有结构化数据和非结构化数据，数据库可能有Oracle或者SQLServer等结构化数据库，也有NoSQL类型的数据库，或者分布式数据库，同时考虑到与政务大数据平台相结合，因此，本方案设计系统把采集过来的数据存储在由Hadoop搭建的分布式存储系统上，通过HBase进行结构化数据存储，通过逐步建立分布式数据分析模型，不断的丰富系统提供的服务。

3.4　数据共享

MapReduce是由Google提供的建立在HDFS之上的一个并行计算框架；我们需要通过MapReduce框架设计对共享数据的检索与分析，为各种业务系统提供数据。HBase是一个类似于Google BigTable的分布式NoSQL列数据库；Hive是由Facebook贡献的一个数据仓库工具提供类SQL查询方法，使得上层数据应用程序可以通过关系型数据库访问的方式查询分布式文件系统中的数据；Zookeeper是由Facebook提供的一个分布式锁设施，在整个平台中起到协调各种操作的作用。Pig是一个大数据分析平台，为用户提供多种接口，在系统中主要通过其方便的脚本编程接口为上层数据应用程序提供服务。

4　总结

计算机分布式存储系统在设计过程当中必须确保拥有相应的前瞻性，借助成熟、先进设计理念，在保证性价比高的前提下，选取可靠成熟的技术方法与中高端设备，使开发出来的计算机分布式存储系统科技含量在整个计算机分布式存储系统行业中处于先进位置，处于合理性价比条件处于国内领先地位。