基于云计算的DEM生成技术

张卫柱,熊 顺,徐道柱

1.西安测绘研究所，陕西 西安，710054；2.地理信息工程国家重点实验室，陕西 西安，710054



基于云计算的DEM生成技术

张卫柱1,2,熊 顺1,2,徐道柱1,2

1.西安测绘研究所，陕西 西安，710054；2.地理信息工程国家重点实验室，陕西 西安，710054

本文针对海量DEM串行化生成处理效率低、数据准备过程繁杂等技术问题，充分利用云计算技术的虚拟存储、跨平台应用、计算和存储资源高效调度、软件架构和服务可重组共享等特点，提出了基于云计算的DEM生成算法模型，设计了基于云计算的DEM生成处理模型，并对软件进行改化。通过实验分析，基于云计算的DEM生成技术处理效率提高显著。

数字高程模型(DEM)生成；三角网；云计算；并行化处理

1 引 言

随着测绘地理信息技术发展，各种DEM数据资源呈几何量级增长，多样化测绘导航任务对DEM产品规模、质量和时效性提出更高的需求。传统的串行化的DEM生成技术因耗时比较长，工序组织复杂，对作业人员要求很高，DEM生成处理效率和质量问题凸显[1]。云计算技术具有虚拟存储、跨平台应用、计算和存储资源高效调度、软件架构和服务可重组共享、数据安全等特点，已经成为GIS行业发展的新趋势[2]。本文基于云计算技术，对原有单机版DEM生成处理软件进行跨平台改造，构建云计算处理的软件框架，将原来的串行化处理流程进行并行化改进，采用分布式多任务调度技术，实现批量数据并行化处理，并在小型云计算实验环境进行实验，验证了技术框架、技术流程的可行性以及处理效率的提高程度。

2 基于云计算的DEM生成方案设计

2.1 系统架构设计

根据层次化软件体系架构设计原则，系统软件架构采用5层设计模式，自下向上分别为：基础设施层、存储管理层、基础平台层、业务应用层和用户层。其中，基础设施层作为整个系统软件的硬件支撑平台，它是其它层的物理运行介质；存储管理层负责所有管理数据的存储管理，不同类型数据分类独立存储，它是整个系统数据交互和存储管理的支撑平台；基础平台层为业务应用层提供基础软件支撑，包括软件运行的操作系统、共享文件系统、数据库系统等；业务应用层作为系统软件功能实现的核心，负责实现具体的任务分解、任务分发、任务执行监控、数据拼接、构建三角网、三角网内插、DEM生成；用户层是整个软件系统与用户交互的平台，为各类用户提供人机交互的可视化控制窗口。

2.2 软件功能组成

云计算DEM生成软件是基于现有Windows系统DEM生成软件改造而成，软件功能包括：矢量数据拼接、三角网构建、三角网内插和DEM生成等。矢量数据拼接是将给定的图幅数据向邻接图幅外扩一定的距离；构建三角网是利用拼接后的点、线、面数据进行构网[3]；三角网内插是直接利用三角网数据遍历检查三角网周围的采样区域的每个点[4]， 得到该点的高程值； DEM生成算法使用邻接图幅有效数据对无效值填充，去除无效值。软件功能组成如图1所示。

2.3 物理组成设计

基于云计算环境的DEM生成物理组成如图2所示，主要包括：用于任务分发的计算机、用于DEM生成算法实现的计算机集群、用于控制任务调度的两台计算机、共享存储服务器和交换机等网络附属设备。其中用于DEM生成的计算机集群可以自动化处理，用于任务分发的计算机应人工操作。数据存储采用NFS存储网络架构，实现了以共享存储为核心的高性能数据处理。

图2 基于云计算环境的DEM生成算法物理组成图

2.4 业务流程设计

基于云计算的DEM生成处理借鉴新一代Gearman框架的设计思想与理念，在基础任务的设计上提供数据接口，提供与作业过程、任务调度系统以及任务序列维持的接口，同时数据库的设计上强调数据的维护、更新、安全、海量、支持多平台[5]，充分考虑数据的安全性，包括硬件、软件、网络带来的数据的安全性和系统的高可用性，在任务调度处理流程分为任务分解、任务分发、任务执行监控三个部分。

任务分解就是对生产需求的分析和解释，根据有限数量的生产任务生成逻辑上的任务序列，任务控制服务器将任务下发到最优的算法模块，执行单个任务对应的功能并对任务执行过程进行监控。一条单一的DEM生产任务可以拆分成数据拼接、构建三角网、三角网内插和DEM生成四个步骤，其生成处理的业务流程如图3所示。

图3 基于云计算的DEM生成任务调度流程

3 基于云计算的DEM生成技术实现

3.1 设计实现总体流程

基于云计算的DEM生成技术实现采用结构化设计方法，以任务流为中心，自上而下，逐层分解软件工作过程，通过数据流图、数据字典、算法说明等分析途径，将系统功能分解、描述出来；使用标准C++编程语言进行软件跨平台移植改造，使移植改造后的算法适用于Linux操作系统和并行化环境；现有功能模块移植改造完成后，使用Gearman任务调度技术框架实现数据拼接、构建三角网、三角网内插算法的并行化，充分利用集群系统实现DEM生成软件的规模化部署。整个软件设计实现流程如图4所示：

图4 基于云计算的DEM生成设计实现流程图

3.2 软件部署结构

基于云计算环境的DEM生成软件部署架构如图5所示：

图5 基于云计算环境的DEM生成算法部署架构图

3.3 Gearman任务调度实现

基于云计算环境的DEM生成算法采用Gearman任务调度框架实现功能算法的并行计算。Gearman是一个分布式的任务调度框架，它提供了Job Server、Client API和Worker API，可直接运行Gearman服务程序作为Job Server实现对客户端(Client)和执行体(Worker)的管控。Gearman框架的核心技术是Job Server，Job Server是Client和Worker通信的桥梁，Client和Worker的任何通信必须经过Job Server。一个Client端应用可以调用多个Worker，调度信息先注册到Job Server服务端，Job Server根据Worker端的主机资源情况自动实现负载均衡，而Client应用可以选择执行后不等待任务执行的结果立即退出，也可以一直等待到整个任务执行结束并获取任务执行状态后再退出。

图6 调度框架示意图

如图6所示， Gearman的执行过程：客户端(Client)通过客户端API创建一个任务发送到Job Server上，Job Server通过客户端指定的Worker名找到相应的Worker并将任务分到该Worker上。Worker接到任务后根据Worker的规则执行并将返回结果发送给Job Server，而Job Server把结果数据返回给客户端(Client)。可以根据不同的需求定制不同的Worker来处理不同的任务，可以将这些Worker放置到不同的计算节点服务器上，由Job Server根据计算节点和任务情况寻找合适的Worker执行任务，从而达到计算节点减轻压力、负载均衡的目的。结合Gearman Worker API将DEM生成软件各部分功能算法进行拆分，一个或多个Worker组合就可以实现一个完整的处理任务。Gearman Client就是调用多个Worker的逻辑。此软件中使用了如下三种关键技术：基于Gearman框架的双机热备份技术、基于Gearman框架的任务调度技术和NFS共享存储技术[6]。

4 实验与分析

为验证基于云计算的DEM生成算法效率和质量，分别对某一地理区域下的多种比例尺、多批量的地形图数据进行DEM生成实验，通过与现有单机版DEM生成软件进行对比检验，验证实验结果的可靠性、处理性能提高程度，最终获得DEM生成算法效率评估[7]。

4.1 实验环境

4.1.1 软、硬件及网络环境

实验的硬件环境为三台工作站、两台PC机，局域千兆网卡环境，PC机为百兆网卡，连接至千兆交换机，采用TCP/IP方式进行网络通信。除一台PC机(硬件配置见下表pc5)部署单机版DEM生成软件外，其余物理机用于部署基于云计算的DEM生成处理的NFS服务器、日志服务器、服务端和客户端。这三台工作站和两台PC机的具体配置和其所安装的操作系统及所需软件见表1。

表1 工作站及PC机配置

计算机序号处理器型号内核个数内存角色分配操作系统所需软件名称pc1IntelXeon(R)w335086GB计算节点中标麒麟64位gcc、make、gearman、nfs＿commonpc2IntelXeon(R)w335086GB计算节点中标麒麟64位gcc、make、gearman、nfs＿commonpc3i5-345044GBNFS中标麒麟32位nfs-kernel-serverpc4IntelXeon(R)w335024GB日志服务中标麒麟32位mysql＿server、Loganalyzerpc5Intel(R)Core(TM)i3-212044GB单机版软件Windows732位MicrosoftVisualStudio2010

4.1.2 实验数据

本实验使用比例尺为1万的数据4幅、比例尺为2.5万的数据65幅、比例尺为5万的数据558幅、比例尺为10万的数据219幅、比例尺为100万的数据2101幅作为实验数据，在数据量扩大时， 将558幅1∶5万矢量数据复制4倍进行。

分别验证基于云计算的DEM生成软件功能是否正确，以及不同比例尺数据的处理性能、处理结果的正确性，用单机版的DEM生成软件处理相同图幅结果进行对比来验证。

4.2 实验结果及分析

4.2.1 实验结果

表2 不同实验数据量结果统计

图幅数量(幅)用时(秒)单机版基于云计算(Ubuntu64位)基于云计算(中标麒麟64位)输入数据大小(MB)输出数据大小(MB)259118367392137501493146140615276100355824024513315532007270459441263211064001221813101306549922325582497018871939863231231116499823885388017264624616747491258725819258969369223299886764277463452812492

根据表2，单机版DEM生成软件与基于云计算的DEM生成软件处理相同图幅下，时间对比如图7、图8所示。

图7 不同数据量处理时间对比

图8 不同数据量处理时间趋势对比

根据本章节实验过程的统计数据，可以得出：(1)基于云计算的DEM生成处理在Ubuntu和中标麒麟操作系统下处理效率基本一致；(2)单机版DEM生成软件的处理效率平均为35s/幅，且在图幅量增大到一定量时，基本呈线性增长；(3)基于云计算的DEM生成软件的处理效率平均为3s/幅，且在图幅量增大到一定量时，基本呈线性增长；(4)批量DEM生成的速度相较于单机版DEM生成软件提高达10倍左右。

4.2.2 实验结果分析

单机版DEM生成软件在0～558幅图随着图幅量的增加，处理时间也逐步增加，但是并不严格呈现线性递增，主要是因为每幅图数据的数据量大小不一致造成。对于基于云计算的DEM生成处理，数据量之间的差异在并行计算中被削弱，在558～2232幅的DEM生成处理中，数据是成倍的复制重复，且以批数据形式测量，因此，单幅图数据的数据量影响不大。

基于云计算的DEM生成处理在现有硬件条件下，使用两个计算节点，每个计算节点开启16个工作进程，处理558幅图数据耗时33分钟左右，估计成倍增加相同配置的计算节点，处理性能会成倍提高。

通过本次实验，基于云计算的DEM生成软件能够根据现有硬件环境灵活部署，充分利用已有资源，与传统单机版的DEM生成软件相比，批量DEM生成的速度相较于单机版DEM生成软件大大提高。

5 结 论

本文通过对DEM生成软件进行结构化处理，采用跨平台语言进行改造，利用Gearman框架及其调度原理，对DEM生成任务进行模块划分，在此基础上，提出并实现了基于云计算的DEM并行化生成处理技术。经实验对比，基于云计算的DEM生成技术极大地提高了单机、串行的DEM生成处理的性能，验证了云计算环境进行海量基础地理信息数据生产的可行性，为地理信息工程建设和综合服务规模化、批量化、自动化开展提供新的模式和技术途径。

[1]钱俊.GIS空间数据处理与质量控制系统[D]. 上海：同济大学，2007.

[2]于戈，谷峪，鲍玉斌等.云计算环境下的大规模图数据处理技术[J]. 计算机学报，2011(10)：1753-1765.

[3]刘少华，吴东胜等. Delaunay三角网内插多边形算法研究[J].测绘科学技术学报，2007，24(2)：136-138.

[4]陈敬周.数字高程模型的生成与应用[D].山西：太原理工大学，2007.

[5]万剑华，刘娜等.“数字城市”的空间数据库设计方法研究[J].测绘科学，2006，31(6)：107-108.

[6]程果，陈荦等.一种面向复杂地理空间栅格数据处理算法并行化的任务调度方法[J].国防科技大学学报，2012，34(6)：61-65.

[7]张卫柱，孙亮等.基于等高线套合的ASTER DEM精度分析[J].军事测绘导航，2014(3)：37-39.

DEM Generating Technology Based on the Cloud Operating

Zhang WeiZhu1,2,Xiong Shun1,2,Xu DaoZhu1,2

1. Xi’an Research Institute of Surveying and Mapping, Xi’an 710054,China 2.State Key Laboratory of Geo-information Engineering, Xi’an 710054,China

In vien of the problems that low efficiency of massive DEM generating and complex data preparing, the paper proposes an algorithm model of DEM generating and designs a processing model based on the characteristics of cloud operating, such as virtual storage, cross platform, efficient scheduling computing and storage resources, reassemble and share of software architecture and services. Besides, the paper modifies the related software. The experiments results show that the new technology based on the cloud operating can improve the processing efficiency of DEM generating.

DEM generating; triangle network; cloud operating, parallel process

2015-04-29。

张卫柱(1970—)，男，高级工程师，主要从事地理信息工程、DEM生成及精度评估等方面研究。

P283

A