APP下载

福建省流动地震前兆观测数据统一云端共享存储设计

2015-11-15周蓝捷李普春

地震地磁观测与研究 2015年5期
关键词:前兆存储系统云端

方 韡 周蓝捷 李普春 闫 培

(中国福建361021厦门地震勘测研究中心)

福建省流动地震前兆观测数据统一云端共享存储设计

方 韡 周蓝捷 李普春 闫 培

(中国福建361021厦门地震勘测研究中心)

引用云端存储技术,利用开源的Openfiler平台,架构基于iSCSI技术的福建省流动地震前兆观测数据统一网络共享存储模式。该应用具有良好的可扩展性,部署架构简单、经济节约、安全性好,适合在地震行业网推广应用,尤其适于地震台小型规模环境下搭建与部署。

Openfiler平台;云端存储技术;流动地震前兆数据;iSCSI技术

0 引言

福建省流动地震观测手段包括206个流动重力观测网、109个流动地磁观测网、16个流动GPS台站、22跨断层水准观测网、6 964km长水准观测网和2个跨断层综合观测场地,监测覆盖范围大,运行时间长,积累了大量基础观测数据,在防震减灾3大工作体系中发挥着重要作用。通过多年建设,福建省已形成覆盖全省的大范围地震流动监测台网体系,基本满足福建及周边地区地震监测的需要,对地震科学基础研究起到积极作用。随着地震信息化建设的推进,数字地震在地震行业网的普及,数字地震肩负着地震行业信息化的重任,而且承载着地震监测分析预报、网络办公、资源管理、信息发布等核心业务及应用系统。

数字地震的建设与发展对于基础设施的存储系统要求越来越高。然而,大量流动地震前兆基础观测数据保留着传统的单机数据存储模式,随着信息化建设的推进,大容量数据存储面临越来越高的要求,传统存储方法存在许多弊端,如:磁盘容量扩展性差、业务扩展性差、安全性差、资源利用效率低等,随着地震信息架构的日益复杂,业务的不断扩增,各种应用系统对数据存储也有着不同的应用需要,必须分别构建使用不同传输方式的存储系统,既增加了运维管理负担,也增加了设备购置与维护成本。因此,构建一种可支持多种传输协议,经济节约,同时满足不同需求的统一网络储存系统,成为数字地震建设的迫切需求。

本文介绍一种扩展性强、部署架构简单方便、经济节约、安全性好的存储方法。该方法引用开源Openfiler软件,采用基于iSCSI的数据存储模式,通过Web进行管理,对传统流动地震前兆观测数据存储进行重新规划与部署,实现大容量地震数据的统一保存与扩展。

1 福建省流动地震前兆观测数据存储现状

福建省流动地震前兆数据观测,主要包括流动重力观测、流动地磁观测、流动GPS观测、跨断层水准观测等地震业务数据,采用传统方法,将数据分散保存在各个手段处理的单机设备上。该方式满足一般需求,对于当前数字化的飞速发展,传统方法不利于数据的长期保存,无冗余措施,安全性较差,数据量与日剧增,磁盘容量扩展性不再满足需求,加装磁盘阵列设备使小型规模数据中心面临经济压力,急需一款既能满足业务发展需求,又能满足经济节约的数据存储方法。

2 云端存储系统架构工具

2.1 Openfiler

Openfiler是一款基于rPath Linux的NAS/SAN系统,具有优良的SAN性能,在256 MB以上内存、1 G硬盘并配有网卡的X86计算机上即可安装。软件包与开放源代码应用程序(如 Apache、Samba、LVM2、ext3、Linux NFS 和iSCSI Enterprise Target)连接。Openfiler 将随处可见的技术整合为一个易于使用的解决方案,通过功能强大的Web界面进行配置与管理(舒勇等,2011)。

2.2 Openfiler统一存储系统网络架构模式

在整个架构(图1)中,设备通过以太网相连,两台需要连接存储的服务器分别为两个节点,称为Initiator端(也可只有一个节点或多个节点),存储设备可为专用硬件存储设备,也可由普通服务器充当,只需安装上述模拟软件或Openfiler等精简版Linux充当,称为Target端。

iSCSI架构类似于C/S架构,Target段为存储服务器,Initiator端为客户端,通过iSCSI协议将存储设备上的逻辑卷作为自身存储设备使用图1(周铁成等,2008)。

图1 基于Openfiler的网络共享存储架构Fig.1 Schematic map of network sharing data storage setup based on Openfiler

2.3 Openfiler存储特点

Openfiler 系统架构优点和成本优势主要体现在:①可靠性:Openfiler可以支持软件和硬件的Raid,能监测和预警,并且可以做卷的快照和快速恢复;②高可用性:Openfiler支持主动或被动的高可用性集群、多路径存储(MPIO)、块级别的复制;③性能:及时更新的Linux内核支持最新的CPU、网络和存储硬件,丰富协议支持多种文件级别和块级别的数据存储输出协议,几乎涵盖现有网络存储服务;④可伸缩性:文件系统可扩展性最大可超出60 TB,且可以在线增长;⑤经济高效的存储:可以安装在X86/64架构的工业标准服务器上,否定昂贵的专有存储系统需求,只需10 min即可将系统部署到戴尔、惠普、IBM等标准配置服务器上,服务器即变成一个功能强大的网络存储设备了(Robert,2004)。

3 系统规划与部署

3.1 云端共享存储拓扑结构

厦门地震勘测研究中心信息网络是福建省地震信息服务系统建设项目分项工程之一。信息节点信道建设包括两条专线信道,即本地Internet出口的VPN备份信道和SDH专网信道,信道带宽均为2 M,使厦门地震勘测研究中心相关数据业务通过信息节点接入地震行业网。我们利用原有设备资源对其进行改造。在中心信息节点局域网配置一台基于Openfiler的云端共享存储服务设备。该设备基于iSCSI协议的存储模式,通过软Raid方式配置成Raid5磁盘备份方式,将中心流动地震前兆数据(包括流动重力观测、流动地磁观测、流动GPS观测、跨断层水准观测、海洋地震观测等地震业务数据),在各业务客户端设备上配置iSCSI Initiator端,Target统一网络存储服务端设备,实现数据统一保存、扩容、备份等功能(图2)。

3.2 云端共享存储能力

福建省流动观测每年产出约50 GB的存储数据,数据要求长期保存。笔者利用厦门勘测研究中心闲置服务器,采用Openfiler平台,实现福建省流动地震前兆数据10—20年存储服务能力,系统具备 Raid5 级别安全存储能力,并可快速挂接到不同服务器,实现对外服务(表1)(周晓丽等,2005)。

图2 流动地震前兆数据存储网络拓扑结构Fig.2 Topology of the portable earthquake precursory network

表1 建立云端网络共享存储主要技术指标Table1 The major technique targets for building up cloud network shared storage

3.3 系统架构配置

此次福建省流动地震前兆观测数据云端存储系统搭建,采用联想T168服务器进行架构,设备将配置3块1 T硬盘容量,通过在设备上搭载Openfiler系统,配置Raid5磁盘冗余阵列,设计满足数据统一共享存储与扩展需求,配置过程有以下步骤。

(1)Openfile系统平台安装。在网站http://www.openfiler.com/ community/download/下载合适版本,从光驱引导进入Linux安装界面,回车进入图形化安装界面。

(2)创建Raid骤(图3)。①点击菜单“Volumes”标签,在右侧的“Volumes section”区域选择“Block Devices”,显示当前挂载的硬盘信息;点击磁盘“/dev/sda”,显示当前磁盘详细分区信息;②创建一个新的分区,首先在“Create a partition in /dev/sda”处设置“Partition Type”属性的值为“Physical volume”,在“Ending cylinder”属性处选择默认值,从而设置当前剩余空间为一个分区;③点击“Create”选项,在右侧的“Volumes section”区域选择“Volume Groups”创建一个卷组;④在区域“Create a new volume group”处填写卷组 volume group 的名称为“volume_group_iscsi”,同时勾选上一步创建的物理卷 /dev/ sda4,点击“Add volume group”;⑤在右侧的“Volumes section”区域选择“Add Volume”选项,在创建的卷组“volume_group_iscsi”中新建一个 iSCSI 卷(注意在属性“Filesystem / Volume type”中设置属性值为“iSCSI”);⑥在右侧的“Volumes section”区域选择“Manage Volumes”,可以看到刚刚创建的iSCSI卷信息(Robert ,2004)。

图3 创建Raid相关步骤(a)添加分区;(b)创建软件raid;(c)创建组;(d)创建volume group组;(e)创建卷;(f)允许那台PC连接Fig.3 Schematic map of the key steps to build up Raid

(3)开启“iSCSI target server”系统服务。iSCSI 卷创建完成后,开启“iSCSI target server”系统服务。点击“Services”菜单,在右侧的“Services section”区域选择“Manage Services”,将系统服务列表中的“iSCSI target server”设置为“Enabled”状态,使系统能够对外提供基于 iSCSI 协议的虚拟存储服务。

(4)添加iSCSI Target。点击菜单“Volumes”,在右侧的“Volumes section”区域选择“iSCSI Targets”,在“Target Configuration”子菜单中的“Add new iSCSI Target”区域,选择“Target IQN”,点击“Add”按钮,从而添加一个 iSCSI Target。

通过以上4个步骤,在Openfiler系统上完成基于 iSCSI 虚拟存储的配置。

4 系统测试

经过测试,基于Openfiler架构的福建省流动地震前兆观测数据统一云端共享存储系统运行稳定,存储访问速度较快。对每期流动地震观测数据进行定期数据存储与备份,厦门地震勘测研究中心流动观测应用服务均采用Windows 2008服务版,通过系统自带的ISCSI Initiator客户端软件,将流动观测数据流挂接到iSCSI Target上,步骤比较简单。具体操作过程为: 在Discovery标签中,单击Add,填入Openfiler服务器地址,端口默认,确认;在Targets标签,单击Log On,勾选系统启动时自动恢复连接,确定,Target中的信息由Inactive变为Connected(图4)。这样,就可以应用搭建好的云端存储系统对每期数据进行存储与备份。在此就可扩展性、性能、经济、安全性进行阐述。

4.1 可扩展性

该系统可以有效解决今后磁盘容量不足问题,只需一台普通PC加若干硬盘,即可快速搭建自身统一共享存储介质。

4.2 性能

笔者在现有服务器中搭建Vmware虚拟机系统,虚拟机采用已挂接上的网络共享存储。对网络共享存储读写速度进行测试,主要是测试共享存储数据一次读写操作速度,通过在该Vm虚拟机运行HDTune,测试速度约160 MB/s(图5),与传统单机存储在性能相差不多,可以满足存储性能需求。

图4 客户端网络存储发起示意Fig.4 Schematic map of the launch of storage from client network

图5 Openfiler网络共享存储读写性能测试Fig.5 Network shared memory read and write performance test based on Openfiler

4.3 经济

只需一台PC配备若干硬盘,即可配置成带磁盘阵列功能的共享存储,比磁盘阵列系统节约成本(表2)。笔者认为,云端共享存储适合地震台站运维使用。

表2 当前市场网络存储费用比对Table2 Comparison of the network storage cost at the current market

4.4 安全性

云端共享存储利用系统功能,将磁盘配置成Raid存储模式,对数据备份与性能均有保证,可根据自身需求,将系统配置成不同的Raid模式,比如:将磁盘存储配置成Raid1模式,即使某块硬盘损坏,其他硬盘也可对数据进行备份,数据存储安全性提高。

5 结术语

以福建省流动地震前兆观测数据存储为例,采用基于Openfiler的云端网络存储架构模式,对数据存储周期进行规划。结果表明,该方法可扩展性强,部署架构简单方便,经济节约,安全性较好,可以充分保证福建省野外流动地震观测数据长期有效安全地保存,保障地震监测预报顺利开展,适合地震行业推广使用。

舒勇,张超.利用OpenFiler构建实训机房网络存储平台的应用[J].电脑知识与技术,2011,9:125-128.

周铁成,陈孝榕.基于Openfiler的统一网络存储系统研究[J].微计算机信息,2008,33:150-151.

周晓丽,蒋兆远.网络存储新方向——NAS与SAN的集成[J].信息技术,2005,7:37-39.

Robert[美].网络存储完全手册[M].北京:电子工业出版社,2004,1:98-102.

Design of uniform cloud shared storage technology for portable earthquake precursory data in Fujian Province

Fang Wei,Zhou Lanjie,Li Puchun and Yan Pei
(Xiamen Research Center of Seismic Exploration,Fujian Province 361021,China)

By use of cloud data storage technology and open source software,Openfiler,we build up uniform shared storage network model based on iSCSI technology,and fulfill the solution of the portable earthquake precursory data in Fujian Province.The advantages of this method include:good scalability,simple deployment architecture and convenient,economic saving,good safety.Thus it’s suitable to spread and apply in seismological industry network,especially for the building and deployment in the compact artificial environment of seismic station.

Openfiler platform,cloud shared data storage,portable earthquake precursory data,iSCSI technology

10.3969/j.issn.1003-3246.2015.05.024

方韡(1982—),男,工程师,主要从事地震监测与地震信息网络维护与应用工作。E-mail:258279496@qq.com

福建省地震监测预警与社会服务系统工程分项

本文收到日期:2015-05-23

猜你喜欢

前兆存储系统云端
分布式存储系统在企业档案管理中的应用
云端之城
天河超算存储系统在美创佳绩
哪些现象是地震前兆
行走在云端
云端创意
华为震撼发布新一代OceanStor 18000 V3系列高端存储系统
在云端
一种基于STM32的具有断电保护机制的采集存储系统设计
右肝区不适或疼痛是肝癌表现的前兆吗