计算机存储技术在GIS数据管理中的应用研究

2011-03-22万里烘

城市勘测 2011年4期

万里烘

(宁波市规划与地理信息中心，浙江宁波 315041)

1 引言

地理信息系统(GIS)作为集计算机科学、地理学、测绘遥感学、环境科学、城市科学、信息科学和管理科学为一体的新兴边缘学科，随着技术的不断完善，在迅速发展中。该系统主要用以采集、存储、管理、分析和描述整个或部分地球表面与空间和地理分布有关的数据，通过一系列空间操作和分析方法，为地球科学、环境科学和工程设计提供对规划、管理和空间决策有用的信息。

目前GIS已经在多个行业普及，主要应用于政府、公共事业、商业和个人服务四个领域。中央和地方政府部门使用GIS制作电子地图产品、提供地理信息服务，并用于辅助决策和政策制定。公共事业部门包括电力、燃气、自来水、通讯等，用GIS进行资产登记、设施维护、运行监测、应急处理等。在现代化城市建设中，GIS更被视为一项重要的基础设施，用于管理城市现状、规划、变迁的各类空间数据，如:地形、地貌、建筑、道路、综合管线等以及描述这些空间特征的属性数据，并作为一种决策手段和工具，在城市规划、管理及资源保护中正发挥着越来越重要的作用。

随着GIS在各行各业的广泛使用，复杂度越来越高，早已从桌面级使用发展为部门级、企业级和公众型系统，更加强调数据的共享和与其他系统的整合，为公众提供更全面综合性、专业化的地理信息服务。在复杂GIS中，各种各样的信息在不断地交换、融合和派生，数据越来越多，急剧膨胀。如何有效管理好这些海量数据，按要求进行快速存储和备份恢复，成为我们应亟待解决的问题。

2 计算机存储技术概述

2.1 RAID技术

RAID全称为独立磁盘冗余阵列是由一个硬盘控制器来控制多个硬盘的相互连接，使多个硬盘的读写同步，减少错误，增加效率和可靠度。简单地说，RAID就是一种把多个独立硬盘按不同的方式组合起来形成一个硬盘组，从而具有比单个硬盘更高的存储性能，并能进行数据备份的技术。数据备份的功能是在用户数据一旦发生损坏后，利用备份信息可以使损坏的数据得以恢复，从而保障用户数据的安全性。在用户看来，组成的磁盘组就像是一个硬盘，用户可以对它进行分区、格式化等。不同的是，磁盘阵列的存储速度要比单个硬盘高，而且可以提供自动数据备份。

RAID Levels就是组成磁盘阵列的不同方式，即RAID级别。经过不断的发展，现已有从RAID 0～RAID 6这7种基本的RAID级别。不同的RAID级别代表着不同的存储性能、数据安全性和存储成本。常用的有RAID1和RAID5。RAID1又称为镜像，能最大限度保护用户数据的可用性和可修复性。当读取数据时，系统先从源盘读取数据，如果读取成功，则系统不管备份盘上的数据;如果读取失败，则系统自动转而读取备份盘上的数据，避免工作任务中断。由于数据的完全备份，备份数据占用了总空间的一半，磁盘空间利用率低，存储成本较高，但安全性高，适用于存放重要数据。

RAID5是一种存储性能、数据安全和存储成本兼顾的方案。这种方式不对存储的数据进行备份，而是把数据和相对应的数据分布存储于不同的磁盘上。当一个磁盘数据发生损坏后，利用剩下的数据和相应的奇偶校验信息去恢复已损坏数据。RAID5可以为系统提供数据安全保障，但保障程度低于RAID1，而空间利用率要高于RAID1。

2.2 NAS和SAN技术

NAS即网络附加存储。在NAS结构中，存储系统不通过I/O总线附属于某一个特定的服务器或客户机，而是直接通过网络接口与网络相连，由用户通过网络来访问。其实质是一个瘦服务的存储设备，类似于一个专用的文件服务器，但省去了键盘、鼠标等外设。用NAS进行存储服务，可以大大降低存储成本。另外，由于NAS控制器采用专有操作系统，并采用RAID方式进行管理，能有效防范病毒，有效保护了数据。用户访问NAS资源时非常方便，同访问一台普通服务器的硬盘资源一样简单。NAS上的数据没有排他性，同一个逻辑区域可以被多个服务器读写和修改。接口协议为TCP/IP，价格较低，适合中小企业中央存储。

SAN是通过专用高速网将一个或多个网络存储设备和服务器连接起来的专用存储系统，主要采取数据块的方式进行数据和信息的存储。目前主要使用于以太网和光纤通道两类环境中，可分为FCSAN和IPSAN两种。SAN上的数据是放在LUN上的，同一个区域需要锁管理控制，不允许同时写。接口协议为FC相关协议集，价格较高，适合关键应用的核心存储系统。

FC SAN通过光纤通道技术实现的SAN互联，可以为存储网络用户提供高速、高可靠性安全传输。光纤通道技术是基于美国国家标准而创建的基于块的网络方式，该技术详细定义了在服务器、存储系统之间建立网络结构所需的连接和信号。由于光纤通道结合了高速度与低延迟的特点，适合在时间敏感或交易处理环境中使用。

IP SAN即在传统IP以太网上架构的SAN存储网络把服务器与存储设备连接起来的存储技术。该技术具有节约成本、可扩展性强的优点。普通服务器只需具备网卡，即可共享和使用大容量的存储空间。IP SAN其实是把iSCSI协议完全封装在IP协议中实现。iSCSI是基于IP协议的，它能容纳所有IP协议网路的部件。通过iSCSI用户可以穿越标准的以太网，在需要的地方创建实际的SAN环境。由于没有光纤通道对传输距离的限制，iSCSI可以实现异地间的数据交换，使远程镜像和灾备成为可能。

2.3 磁带库虚拟和数据迁移技术

磁带库是专业的备份设备，主要由库体、磁带驱动器、磁带槽位、磁带交换口、控制面板、机械手和电子控制单元组成。库体内的大部分空间用于放置磁带，一台或多台驱动器用于读写磁带。带库工作时，机械手在管理软件和电子控制单元的控制下移动，通过安装在机械臂上的条码读取器寻找相应的磁带，然后将其抓取到驱动器内;读写操作完成后，再由机械手将磁带取出，放回磁带槽位。一个带库可以安装多个驱动器，支持并发任务，对于一个大的备份任务，就可以分配到多个驱动器上并行读写，提高备份效率。随着SAN和LAN－Free备份技术的完善，很多带库提供了光纤通道的接口，可以直接连接到SAN上作为共享的存储资源。

虚拟磁带库(VTL)是使用磁盘阵列模仿标准磁带库的一种产品。VTL通过光纤连接到备份服务器，为数据存储备份提供高速、高效和安全的解决方案，极大地缩短了数据备份所需要的时间。并通过冗余和热插拔设计保证系统不停顿及备份工作的联系进行。随着ATA、SATA磁盘阵列的出现，磁盘成本已逐渐接近磁带，磁盘有取代磁带成为备份主流介质的趋势。通过VTL设备，可以提供给操作系统和管理软件模拟成磁带库结构的磁盘设备。具有以下特点:数据读写是对裸设备的读写，不通过文件系统转换，占用系统资源少;按顺序方式读写，速度极快;裸设备上的数据不易更改和损坏。

数据迁移技术也称分层存储管理，是将离线存储与在线存储整合的技术。在磁盘介质替代离线存储介质的同时，磁带介质也借该技术，向在线存储领域发展。一般离线数据是静态无法实时访问，通过该技术将离线数据与在线数据统一调度，从而实现所有数据的实时访问。简单地说，就是将大量不经常访问的数据存放在磁带库中，在磁盘阵列上只保存少量访问频率高的数据。当那些磁带介质上的数据被访问时，系统自动地把这些数据回迁到阵列中。而阵列中很久没有访问的数据将自动迁移到磁带介质中。

3 GIS数据管理中应解决的问题及对策

众所周知，GIS中最基础的也是最重要的部分是地理数据。例如基础地理数据就包含:大地控制成果、数字线划图、数字正射影像图、数字高程模型、SPOT影像和IKONOS影像等矢量和影像数据。这些数据含有大量的图形图像和文字，具有类别多、海量、高密级、生产和使用部门多的特点。特别是近年来，随着三维技术在GIS中的深入应用，各类生产数据呈TB级增长。如何做好数据的统一存储、有效共享和快速容灾恢复已成为数据管理中越来越重要的内容。在具体实施时，应充分利用计算机存储技术的优点，根据GIS数据自身的特点，构建GIS存储备份系统，同时注重系统的安全性和可扩展性。具体说来，主要注意下列问题:

3.1 对海量数据的集中存储

目前存储方式难以满足数据集中存储和管理需要。GIS系统越来越复杂，功能越来越强大，通常采用服务器集群方式，集中读取数据。数据必须被所有的服务器获取，数据储存的容量是爆炸式的增长，传统的存储设备无法进行支持。应配置磁盘阵列产品，进行统一存储。

3.2 对海量数据的有效访问

GIS的矢量数据通常通过ArcSDE直接存放到Oracle数据库中。用户需要频繁操作该部分数据，因此在确定存储方式时，应选用FC SAN光纤存储。充分发挥光纤SAN存储高速度与低延迟的特点，实现对矢量图形数据的高性能访问。

由于航拍和卫星影像数据具有海量的特点，传输带宽要有一定保证，否则并发冲突增多，网络被严重诸塞，系统将不能正常使用。该部分数据一般以文件方式被访问，访问用户较多时，易被用户电脑中病毒的破坏。因此在确定存储方式时，应选用NAS存储，充分利用其支持并发和瘦服务器的优点，提高影像数据访问的安全性。

3.3 对数据的有效备份

数据在不断的更新中，有一定的使用生命周期，对这些数据进行有效的存储备份和归档，是整个城市地理信息系统必不可或缺的一环。传统的存储方式如:增加磁盘数量和容量，使用磁带机进行存储备份日益突显其不足。备份数据慢，对应用网络影响大。大量数据通过应用网络进行备份，这种冲击阻塞对网络传输效率的影响将令人难于接受。而且基于应用程序和数据库级别的备份，随着数据量的增加，准确性大大降低。一旦数据备份时发生中断，由于不支持断点续传，备份需重新启动，效率低下。如果数据在备份中发生修改，很容易引起备份的不一致，恢复时将报错。因此需配置专业的数据库和文件备份软件，制定备份规则，采用LAN Free备份方式，定期向磁盘阵列或磁带库备份数据。

在选定备份介质时，如果GIS数据量过大，可采用三种方式进行优化:

(1)采用磁带库虚拟技术，将数据压缩存放到磁盘阵列中，需调阅数据时，可通过索引快速恢复。

(2)采用磁带库数据迁移技术，合理分配在线和离线空间，保障访问频率高数据的存储效率。

(3)采用磁盘重复删除技术，消除存储系统中重复的数据，使系统中实际存储的数据或者通过网络传送的数据以几何级别递减，大幅削减存储以及传输成本。

3.4 对数据的异地灾备

传统管理模式，不能实现服务器与远程存储设备的连接，无法进行异地灾备。一旦发生遇到自然灾害或人为破坏，没有保留一份完整的数据，后果将是灾难性和不可挽回的。因此数据的容灾，是数据管理重要的组成部分。进行数据异地定期备份，将有效降低数据发生灾难的风险。根据目前网络的连接线状，可以选择IP SAN，结合防火墙VPN加密通道，实现与远程灾备机房的数据交换。

使用先进的计算机存储技术将很好克服上述缺点。以SAN网络架构为基础，可扩展性好，能够提供灵活的计算组织环境，实现存储资源的合理配置和有效利用。同时，能够对SAN网内存储资源实施集中、统一的管理，并方便实现数据的高可用性和容灾性，目前已成为最理想的存储管理和应用模式。

4 建立GIS存储备份系统的技术路线

4.1 存储系统建设

结合GIS数据的特点，采用光纤存储网络(SAN)结合NAS技术来实现海量数据的有效存储备份。

具体实施步骤如下:

(1)安装配置磁盘阵列库，可配置FC磁盘阵列和SATA磁盘阵列。通过配置RAID和热备盘增强容灾能力。并可根据需要配置快照和复制许可，增强数据的安全性。

(2)磁盘阵列将分成LUN提供给服务器使用。通过阵列管理软件，屏蔽掉多余的硬盘，避免误操作。

(3)分配好磁盘空间给NAS控制器，连接到SAN中。设定好NAS服务器IP地址和访问目录，授权用户访问。

(4)配置光纤交换机，通过光纤跳线将磁盘阵列库连接到光纤交换机上，并使用双通路进行冗余。

(5)服务器上安装光纤卡，通过光纤跳线连接到光纤交换机上。非关键服务器也可直接使用IP SAN。

4.2 备份系统建设

备份软件的安装，根据备份内容的不同使用的备份模块有所不同。可分为三种:服务器端、客户端和备份节点端。服务端程序用来控制整个备份过程，当客户端发起备份请求时，备份请求信息先发送到备份服务器，备份服务器根据请求，检测磁带库，准备就绪后，发送处理信息给客户端，客户端通过光纤网直接将数据备份到磁盘阵列中。备份节点端是一类特殊的客户端，可对SQL SERVER和Oracle数据库进行直接备份。根据实际需要，对备份设备进行优化。如:配置数据迁移、重复删除模块。

4.3 灾备系统建设

如果异地容灾机房的阵列与新增阵列为同一系列的设备，可通过租用运营商的裸光缆，连接两地SAN存储。通过阵列自带模块如MirrorView/Synchro模块功能，将规划局存储上的生产数据远程同步到容灾机房的阵列上。该种方式能实现数据的实时同步，最大限度保护数据。但需要租用专用的光纤线路，并要求灾备中心的阵列与本地阵列为同一系列的同构阵列，不易满足。

也可采用数据冷备份复制方式。将本地阵列中生产的数据，备份到本地灾备服务器的磁盘中。并通过电子政务专网或其他IP网络，将灾备服务器连接到异地容灾点的网络中。将该服务器中数据通过软件或脚本定期备份到容灾阵列共享的磁盘空间中。采用该种方式，只能进行数据的异步复制，由于数据是在一般的IP网络中传输，备份和恢复的时间较长。但实现的方式简单，具有较强的可操作性。具体实施步骤如下:

(1)通过电子政务专网或租用专用网络，连通本地机房和灾备中心机房。

(2)在网络连接处，各架设1台防火墙，设定网络访问规则，建立VPN通道，加密传输数据。

(3)将本地阵列中生产的数据，通过脚本定期备份到本地灾备服务器的磁盘中。

(4)在灾备服务器上，部署复制软件，如:Symantic的VRTSREPLICATION EXEC产品，通过设定备份策略后，直接将服务器上的数据定期传输到灾备中心的共享空间中。

(5)灾备中心的服务器部署相应的复制软件，可将其需要备份的数据发送到本地共享空间，实现双向备份。

(6)如果需要恢复数据，先将正向复制作业停止，创建一个反向复制作业并运行即可。

(7)具体拓扑图如图1所示。