南京市国土资源“一张图”与监管平台建设工程数据库备份方案研究
2014-07-05徐苏维
徐苏维,项 辉
(南京市国土资源信息中心,江苏南京 210005)
0 引言
近年来,国土资源部以国土资源“一张图”和综合监管平台建设为抓手,大力推进信息化建设。根据国土资源部《关于加快推进国土资源遥感监测“一张图”和综合监管平台建设与应用的通知》(国土资厅发〔2012〕42号)及市局《关于加快全市国土资源“一张图”及综合监管平台建设和应用工作的通知》(宁国土资〔2013〕409号)等文件精神,全局系统正在进一步加快国土资源“一张图”数据库及综合监管平台建设,提升全系统信息化建设和管理水平,提高用地服务和保障发展能力。
随着“一张图”与综合监管平台建设地快速推进,基础地理数据、土地资源类数据、矿产资源类数据、地质环境类数据等各类型数据汇交大集中,数据的重要性、安全性愈来愈凸显,一旦数据库服务器出现突发问题而停止服务,后果将不堪设想,因此为系统部署、运行和数据管理所必须的软硬件支持环境建设迫在眉睫,制定并实施一套优良的数据备份方案更是当务之急。在全市数据集中统管的大趋势下,数据中心的服务器、存储规模越来越庞大,管理众多设备的维护成本也随之增加,因此,数据中心必须向集群化和集约化发展,资源整合,提高运行效率,优化数据中心资源的利用率。
1 建设方案
1.1 建设目标
根据《南京市国土资源“一张图”数据管理共享平台建设方案》的既定目标,本方案的总体目标是在现状梳理和需求分析的基础上,合理利用现有资源,并充分采用新技术,建立服务器资源池、存储资源池,部署一套成熟、安全、稳定的数据备份机制,保障“一张图”工程与监管平台建设成果的部署和运行,同时满足未来南京市国土资源信息化的需求。
1.2 建设任务
目前,市局主机房服务器等基础设施较为陈旧,已经无法满足“一张图”工程与监管平台建设成果的部署和运行需要。本方案的主要任务是:①全面梳理现实网络结构和设备状况,准确掌握设备性能和利用状况,为硬件资源整合提供依据。②采用虚拟化技术,通过添置和整合硬件资源,实现市局数据中心大部分计算资源、存储资源和网络资源的有效整合、动态配置和科学管理。③通过高可用性设计和安全备份机制(包括异地备份),为信息系统稳定可靠运行提供支撑,为数据和信息安全提供保障。
1.3 建设原则
针对南京市国土资源局国土资源信息化建设起步较早、底子较厚,具有一定的网络和硬件基础的特点,“一张图”工程运行环境建设应遵循以下原则:①创新原则:要充分利用相对成熟的新技术,包活:超高速网络、群集技术、虚拟化技术、云计算等,打造具有先进水平的市级国土资源数据中心。②利旧原则:要运用虚拟化技术,科学整合现有服务器、存储资源和网络设备,充分发挥其作用,以保护投资。③实用原则:要从“一张图”工程与监管平台、电子政务管理系统建设的现实需求出发,确定项目的技术方案,在实用的前提下适度超前,至少要满足今后5~10年信息化的需要。④安全原则:项目建设必须保证系统整体的强健性和较高的信息安全保护能力,安全性能符合国家有关规定。
2 内网需求与现状梳理
2.1 内网需求
2.1.1“一张图”工程与监管平台的部署运行需求
“一张图”核心数据库集成了各类数据集,类型复杂,数据量巨大,同时还需要提供多方面服务,数据访问较为频繁,并发访问量大,数据处理负载大。
“一张图”数据库存储使用FC-SAN架构,使用光纤通道连接到存储服务器上,用于传输大块的数据,保证Oracle数据库块级数据读写速度在400MB/S。
2.1.2 电子政务系统的部署运行需求
市局电子政务系统包括多级一体化政务管理平台,以及在此平台上搭建的各类应用系统。其对运行环境的需要:①数据库需求。需要两台小型机构成数据库集群,一个容量不低于6TB的存储设备(用于存储包括政务平台运行数据、业务系统数据、影像数据索引等数据,并预留未来3~5年的发展空间)。②应用服务需求。采用富士通刀片服务器,通过虚拟化技术划分出多台工作流应用虚拟服务器,构成服务器集群,为用户提供应用程序调用的方法。③文件服务需求。采用富士通刀片服务器,通过虚拟化技术划分出多台虚拟服务器组成集群,存储容量不低于10TB。
2.1.3 内网平台安全需求
随着国土资源信息化建设的不断加强,局系统内网终端计算机数量不断增加,网络中的应用日益复杂化。日常工作对内部网络的依赖性越来越高,保证内部网络的安全、正常运行十分重要。
内网的安全风险主要来自以下几个方面:①病毒木马。计算机病毒是目前对网络及计算机安全最大的威胁,目前局内部虽然已经统一配置安装了瑞星防病毒软件,能够对病毒进行一定效果的防范,但是仍存在终端升级不及时,管理不规则等问题。②移动终端。外来移动存储设备随意接入网络内终端同样可能会造成单位内部的涉密文件被窃取,引入病毒等严重后果,对于具有防火墙、网关等硬件防范的网络,移动存储介质在网络内部造成病毒感染是病毒在内网传播的主要方式。目前我们采用圆周率数据加密软件,后台控制台能封锁USB接口,防止外来移动存储介质随意接入网内终端,进而保护终端的涉密信息。
2.2 现状梳理
2.2.1 服务器
目前4楼主机房内网共有21台服务器,其中2台服务器部署了VMWare虚拟化软件,实现了虚拟化,虚拟化率为10%。下一步是服务器现状梳理,如表1所示,这些物理和虚拟的服务器支撑局电子政务、中心电子政务、权力阳光运行、一张图应用、建设用地跟踪、征地报批、征地补偿安置、地籍、档案等10多套内部应用系统的运行。
2.2.2 存储
下一步是内网现有存储设备3台,详情如表2所示。
2.2.3 网络
从现有系统运行和管理状况分析可以发现,当前局内网的软件环境主要存在以下问题:①整个系统没有采用高可用性设计,存在单点故障隐患。②部分服务器配置过低,不能进行虚拟化,存在服务器资源利用不合理现象。表现为部分服务器负载严重不足,而另一部分服务器不堪重负。③没有完善的数据备份措施,存在数据安全隐患。
3 总体设计
3.1 主要技术概念
3.1.1 RAID5
RAID5是一种奇偶校验的磁盘阵列技术,它的最大特点是容错性——将多个(3-32)硬盘上的可用空间合并成一个逻辑卷。奇偶校验是与信息块相关联的冗余信息,它主要用于服务器的磁盘保护,防止数据丢失。
3.1.2 VMWare(威睿)虚拟机软件
VMWare(Virtual Machine ware)是一个“虚拟 PC”软件公司,它的产品可以在一台机器上同时运行2个或更多Windows、DOS、LINUX 系统。与“多启动”系统相比,VMWare采用了完全不同的概念。多启动系统在一个时刻只能运行一个系统,在系统切换时需要重新启动机器;VMWare是真正“同时”运行,多个操作系统在主系统的平台上,就象标准Windows应用程序那样切换,而且每个操作系统都可以进行虚拟的分区、配置而不影响真实硬盘的数据,甚至可以通过网卡将几台虚拟机用网卡连接为一个局域网,极其方便。
3.1.3 集群技术
集群(Cluster)技术是指一组相互独立的计算机,利用高速通信网络组成一个计算机系统,每个群集节点(即集群中的每台计算机)都是运行其自己进程的一个独立服务器。这些进程可以彼此通信,对网络客户机来说就像是形成了一个单一系统,协同起来向用户提供应用程序、系统资源和数据,并以单一系统的模式加以管理。当一个节点发生故障时,它所运行的应用程序将由其他节点自动接管。
其中,只有两个节点的高可用集群又称为双机热备,下一步是双机热备有两种实现模式,一种是基于共享的存储设备的方式,另一种是没有共享的存储设备的方式,一般称为纯软件方式,如图1和图2所示。
(1)基于共享的存储设备的方式。
基于存储共享的双机热备是双机热备的最标准方案。对于
这种方式,采用两台服务器,使用共享的存储设备磁盘阵列(核心数据库的数据都存放在该磁盘阵列中)。两台服务器可以采用互备、主从、并行等不同的方式。在工作过程中,两台服务器将以一个虚拟的IP地址对外提供服务,依工作方式的不同,将服务请求发送给其中一台服务器承担。同时,服务器通过心跳线(目前往往采用建立私有网络的方式)侦测另一台服务器的工作状况。当一台服务器出现故障时,另一台服务器根据心跳侦测的情况做出判断,并进行切换,接管服务。对于用户而言,这一过程是全自动的,在很短时间内完成,从而对业务不会造成影响。由于使用共享的存储设备,因此两台服务器使用的实际上是一样的数据,由双机或集群软件对其进行管理。
表1 服务器现状梳理
表2 现有内网存储设备一览表
(2)纯软件方式。
纯软件的方式,通过镜像软件,将数据可以实时复制到另一台服务器上,这样同样的数据就在两台服务器上各存在一份,如果一台服务器出现故障,可以及时切换到另一台服务器。
图1 基于共享的存储设备的方式
图2 基于共享的存储设备的方式
3.1.4 存储
(1)按照基础架构分类。
①DAS(Direct Attached Storage)直接挂接存储,存储设备(通常为磁盘或磁带)通过电缆直接与计算机相连;②SAN(Storage Area Network)存储区域网络(包括 FC SAN、IP SAN),是一种交换式存储路径网络,是一种基于光纤网的特殊的后台数据存取网络,是为连接服务器、磁盘阵列、带库等存储设备专门而建立的高性能网络;③NAS(Network Attached Storage)网络挂接存储,一种直连到网络(LAN or WAN)里的特殊用途的存储设备,存储系统本身具备文件系统以及文件系统管理功能,类似文件共享服务器。
(2)按照主机接口传输方式。
①SCSI存储/SAS存储:主机接口是SCSI/SAS,采用SCSI/SAS协议传输;SCSI/SAS系列磁盘阵列主要适用于中小型企业;仅能用于DAS连接方式。②光纤存储(光纤:Fiber Channel,FC):磁盘阵列主机接口是FC(2Gb/s or 4Gb/s),采用FCP协议传输;广泛应用于SAN、NAS连接方式中,包括全光纤、半光纤两类:半光纤——即内部仅使用SATA或者IDE和SCSI硬盘;全光纤——即内部使用FC硬盘。③IP存储(or iSCSI存储):磁盘阵列主机接口是网口(RJ45接口)的存储阵列,数据在阵列与服务器主机间传输时走的是TCP/IP协议。
3.1.5 备份概念
备份有两种类型:物理备份和逻辑备份。
物理备份:①冷备份:在数据库关闭状态拷贝数据库文件到另外位置。②热备份:在数据库运行状态拷贝数据库文件到另外位置。
逻辑备份:使用Export实用程序备份,当数据库出现故障,可以使用Oracle的Import实用程序恢复数据库。
3.2 备份技术
(1)全备份:是对数据的完全备份。
(2)增量备份:是对上次全备份或者增量备份后被修改了的文件做备份。优点是备份数据量小,需要的时间短;缺点是恢复的时候需要多份备份数据,出问题的风险较大。
(3)差量备份:是备份自上次全备份后被修改过的文件。
4 服务器整合、部署与实现
4.1 整合部署
经过上述对目前业务服务器及存储的利用情况,建议整合部署如下。
(1)将2台小型机做双机热备加存储的模式,保障“一张图”数据库以及OA数据库的安全,即将现有IBM750与闲置小型机P670组成集群,或采购一台新的小型机组成集群,通过HBA卡与FC SAN架构的EMC VMAXe存储连接,通过集群软件实现数据库备份。
(2)目前有一台富士通刀片服务器,局内网与中心内网以及新文件服务器都部署在上面,建议再采购一台刀片服务器做集群,通过HBA卡与FC SAN架构的EMC VMAXe存储连接,通过集群软件实现数据库备份,同时可以免去刻盘送银行的工作流程。
(3)地质环境服务或一张图网站(192.168.1.6)移植到剩余的1刀片上去,空出一台4U机架服务器;192.168.1.3上的供后跟踪服务,建议与耕保系统一样移植到1.2上,空出该服务器。
(4)目前2台IBM3650,采用VMWare技术做了5台虚拟机,还有空余资源可以用来做虚拟机的备份,共享EMC VMAXe存储。
(5)目前一张图核心数据库与所有OA政务数据都存储在一台EMC VMAXe,建议采购一台备份存储,两台存储间通过SharePlex、HVR等软件进行镜像备份,实现单存储故障自动转移。
下一步是小型机架构和刀片服务器架构,如图3和图4所示。
4.2 具体实现
根据数据安全性的要求,建议采用“物理备份+逻辑备份相结合的方式。具体实现为:实时热备份,每天自动逻辑备份,同时用oracle实现远程容灾。
对关键性数据库服务器进行远程容灾异地备份(防止主机房突发意外事件如漏水、失火等);本地备份实现:对于重要的核心数据库采用双机热备加存储的模式;重要的政务应用服务器(局电子政务与中心电子政务)采用双机热备加存储的模式;重要的文件服务器采用纯软件的镜像备份方式;对于某些专业类如地质环境等数据库服务器直接采用RAID5。同时对一张图核心数据库的存储必须进行存储镜像备份方式,保障主存储失效时,备份存储可以直接接手,保障数据的准确性,可靠性和实时性。
同时,采用当前逻辑备份想结合的方式,具体实现:每天使用BAT文件调用oracle的exp功能导出OA数据库在本机以及存储器(网牛)上实现自动全备份(定期删除老备份节省空间);南京地籍库使用BAT文件调用FME模板备份核心库表;重要文件通过文件拷贝程序在存储器(网牛)上进行增量备份,间隔半个月全备份一次。
图3 小型机架构
图4 刀片服务器架构
5 结语
上述方案还未成熟,需后续结合新技术新需求不断改进完善,待形成最终成熟的数据备份方案后,全市国土资源数据备份工作即将展开,这将为重要数据安全提供基本保障。相信未来在良好的数据备份、恢复、安全机制下,全市“一张图”工程和综合监管平台建设能够更加稳步、安全推进。
[1]郑州蓝讯网络科技有限公司.主流备份软件与Oracle数据库备份与恢复[EB/OL].IE百度文库,2010-12-01.
[2]李立萍.计算机数据库的备份与恢复技术研究[J].计算机光盘软件与应用,2013(24):164-165.
[3]孙善志.探讨ORACLE数据库的备份与恢复策略[J].科技创新与应用,2013(30):69.