云存储融合技术在安防领域的应用研究

■ 文/ 湖北省公安厅 骆斌

云存储融合技术在安防领域的应用研究

■ 文/ 湖北省公安厅 骆斌

当前信息化机房设备都存在大量的老旧存储设备，包括块存储设备IP-SAN、FC-SAN，文件存储NAS， 这些设备在整个信息化建设过程中，型号不一、厂家不一,而新业务系统又需要更多存储容量。本文提出了一种分布式云存储技术，针对老旧存储设备需统一管理、安防领域对存储不断扩容的需求而设计的融合存储解决方案。该系统本身是一个分布式云存储系统，具有云存储大容量、易扩展、高IO、高并发的特点，同时可以支持IP-SAN、FC-SAN、NAS设备的无缝接入和管理，能够对云存储内节点和接入的设备进行负载均衡、监控告警、冗余容错等，符合解决安防领域存储管理和长期的扩容需求。

云存储 分布式存储 异构存储 融合云存储

1 引言

随着信息化的发展，众多安防领域都在同时使用DAS、SAN和NAS三种存储，随着时间的推移和数据的积累，原有系统的存储空间不断扩容，新增加的业务也在使用各种新建的存储系统，使得整个安防领域的建设存在大量而且型号不一的存储系统。

随着大数据的发展，原有存储系统的容量扩容很快就达到上限，无法再进行单体的扩容；伴随数据量的增长，业务软件也对存储容量及IO性能提出新的要求，面对大数据时代，如何提供一套可持续解决容量和性能的存储产品是安防领域建设的迫切需求。

过去的建设往往使用的是新技术产品直接替换老的产品，导致大量的原有资产浪费和闲置，因此如何将老旧设备兼容起来，进行保质增值服务，同时利用云存储的优势，对数据可靠性、安全性进行提升是本文研究的重点。

2 当前存储类型

常见的安防领域的存储设备，根据其实现方式主要划分为DAS、SAN和NAS三种，分别针对不同的应用环境，提供了不同解决方案。

2.1 直接附加存储（DAS）

DAS（Direct Attach Storage）：是直接连接于主机服务器的一种储存方式，每一台主机服务器有独立的储存设备，每台主机服务器的储存设备无法互通，需要跨主机存取资料时，必须经过相对复杂的设定，若主机服务器分属不同的操作系统，要存取彼此的资料，更是复杂，有些系统甚至不能存取。通常用在单一网络环境下且数据交换量不大，性能要求不高的环境下，可以说是一种应用较为早的技术实现。

2.2 存储局域网（SAN）

SAN（Storage Area Network）：是一种用高速网络联接专业主机服务器的一种块储存方式，此系统会位于主机群的后端，它使用高速I/O 联结方式，有FC-SAN和IP-SAN两种。在安防领域实际使用中，IP-SAN使用较多，多通过RIAD5保障数据冗余，损坏超过一块硬盘，数据就会丢失，后期维护对磁盘型号要求也高。

2.3 网络附加存储（NAS）

NAS（Network Attached Storage）：是一套网络储存设备，通常是直接连在网络上并提供资料存取服务，一套 NAS 储存设备就如同一个提供数据文件服务的系统，特点是性价比高。

2.4 存储网关

为了解决大量IP-SAN维护和使用困难的问题，出现了存储网关技术，客户端通过网关与后端存储连接，网关提供存储的接入、分配、管理和维护功能，简化了大量不同厂家存储共存管理和维护的问题，但是不能降低存储本身故障对业务的影响，无法提升整个系统的稳定性。

3 云存储

随着大数据时代的到来，为了解决日益增长的存储扩容需求，云存储孕育而生。云存储是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。与云计算系统相比，云存储可以认为是配置了大容量存储空间的一个云计算系统。

4 融合云存储系统

针对安防领域存在多种老旧存储设备和日益扩展的存储需求，设计一套既实现云存储特性的大规模存储系统，又能够兼容现有的老旧存储设备的融合云存储系统，彻底的整合存储资源，将整个中心的存储进行统一管理和池化，实现异构环境下存储的统一，通过分布式集群并发的方式，提供高并发和高吞吐量的统一存储系统具有很强的现实意义。整个融合过程要求较高，不能存在数据丢失，系统架构如图2。

融合云存储是以分布式存储技术和标准的DAS、SAN、NAS访问接口协议为基础技术，将集群中的存储资源通过存储虚拟化，加上分布式管理软件而形成的一个存储集群。通过对集群中的存储单元进行存储空间的虚拟化，通过集群软件实现对用户层的存储归一化。这里把这个系统也称为统一网络存储（UNS：Union Network Storeage）。

4.1 UNS总体结构

整个UNS 是用基于IP 的技术构建，兼容现有的SAN/NAS/DAS存储系统，系统可添加和删除这些存储设备，对接入设备可进行使用和故障告警。UNS真正实现了安防领域存储管理和使用的统一，即通过本系统，既可以提供业务系统所需要的块存，也可以提供文件存储，实现了文件I/ O 和块I/O 的统一。管理者可以根据业务系统和整个容量池的情况，进行任意的调配，而不需要去为某一个业务系统增加一个新的存储设备，在后续的所有扩容都将以云的方式进行。

图3是UNS 的软件结构图，其中MPFS 是全局多协

议文件系统，位于UNS 系统中的各个应用服务器上，它支持linux 用户和Windows 用户对UNS 的访问， 块存储访问通过ISCSI标准协议访问。MPFS 通过对云存储系统和老旧存储系统所使用的元数据进行扩展，为用户提供统一、方便、快捷的存储访问接口以及合理的数据存储方案。

4.2 系统设计

UNS 是一个复杂的系统，涉及到许多复杂的技术，本文主要论述其核心技术的设计和实现，即MPFS、MDS 和 iSCSI 模块的设计与实现。 MPFS 可以驻留在多种操作系统平台上（UNIX、Windows、Linux），支持各种协议用户的访问（NFS、CIFS等），作为整个存储的客户端为用户或应用程序提供对存储系统的数据访问服务，只需要安装该模块，即可访问整个存储系统的所有文件和目录。 MDS将多种存储中的元数据信息整合，将文件的元数据统一映射到内存中，每个文件除了具有大小、修改时间等通用属性之外，扩展属性中携带IP信息，以便确定文件的实际数据写入机器为止，用户通过客户端访问存储时，MDS可以识别该文件的属性和目录信息，并能确定文件的数据被写到那个存储设备中，满足多方面的应用需求。iSCSI模块实现了块I/ O在IP 网络上的统一，为用户提供网络化的块存储设备。

4.2.1 多协议文件模块的设计

MPFS 保留了分布式文件系统的灵活性和高性能的优点，克服了其在不同I/O 协议支持方面的缺陷。MPFS 在提供文件存取的方法和文件目录结构的同时，还为每种存储卷提供特定的存储模式。每种存储模式包含某种文件系统的元数据结构、操作接口（文件类型和数据块类型）、功能函数集（格式化，检索等）、优化方法（cache方法和预取等） 和存储空间分配回收方法及数据结构。对于文件卷而言，存储模式包含实现POSIX语义的操作函数和文件目录结构；对于分区卷而言，存储模式必须面向特定分区类型，如NTFS、ext3。所有的存储模式都必须在元数据服务器中的MDS 系统中注册，以便MDS为用户的I/O 请求进行通道选择。

MPFS的结构如图4所示。MPFS数据组织逻辑界面提供数据组织的逻辑视图，在增加元数据信息的前提下，通过查询和检索，按照用户需要提供各种类型文件视图。扩展的文件或卷操作接口、数据组织与分配管理、元数据组织结构和I/O 定向器等主要是保证与传统的文件系统操作语义兼容，实现程序级的数据访问。应用程序无需修改就可以使用UNS 系统中的数据。提供与元数据服务器中的MDS及存储资源的接口和通讯，能充分利用MDS系统所掌握的存储资源，同时提供服务器通道和附网高速通道。

4.2.2 iSCSI模块设计

iSCSI 协议定义的是SCSI 到TCP/IP 的映射，即将主机的SCSI 命令封装成IP 数据包，在IP 网络上传输，到达目的节点后，再恢复成封装前的SCSI 命令，从而实现SCSI 命令在IP 网络上的直接、透明传输。有很多的开源技术可以作为实现选择。

4.2.3 MDS模块设计

自主存储代理MDS（MateData Server）作为存储用户与存储介质的媒介，一端管理海量存储系统中存储设备的种类和可利用的各种资源，自主地对这些存储设备和资源进行有效的统一管理，MDS的另一端面对应用程序（MPFS）发起的各种访问请求。

MDS通过对目前存储系统所使用的元数据进行扩展，为用户提供统一、方便、快捷的存储访问接口以及合理的数据存储方案；根据用户I/O请求所涉及数据的属性，选择客户端与存储设备交互数据的通道，即元数据（目录、卷信息等） 和小数据I/O请求。MDS系统结构如图5 所示。

5 结语

本文总结了近几年云存储领域的主要技术研究成果，深入讨论了网络环境下iSCSI、NAS、SAN以及云存储的异构存储融合，解决了安防领域多种存储系统无法互通的弊病。新型的云存储技术不能只提供新存储的特性，在实际应用中还要考虑已有的投资和环境，融合云存储得以兼顾先前的异构存储系统，在使用中将原有异构存储成为一个整体存储资源池。本文提出的方案最大化利用了原有设备，节省了机房建设成本和社会资源。

[1]王珊,王会举,覃雄派等.架构大数据：挑战、现状与展望[J].计算机学报,2011, 34(10)：1741-1752.

[2]匡胜徽,李勃.云计算体系结构及应用实例分析[J].计算机与数字工程,2010, 38(3)：60-63.

[3]文武,刘敏,谭沅军等.一种安防监控系统云存储服务器的设计[J].微电子学与计算机, 2014(9)：122-125.

[4]邱旭华.浅谈云存储技术在公安领域的应用[J].中国安防,2013(8)：37-43.

[5]任柯.大数据云存储的技术优化的仿真分析[J].计算机仿真,2016,33(5)：385-388.