环境遥感云服务平台与高性能平台对比分析

史园莉， 孙中平， 姜俊， 高乾， 孙浩， 闻瑞红

(1.生态环境部卫星环境应用中心，北京 100094； 2.国家环境保护卫星遥感重点实验室，北京 100101)

0 引言

随着通讯技术和计算技术的融合与发展，云计算服务逐渐深入各领域的应用。与传统的单机和网络应用环境相比，云计算通过集中式虚拟化计算、软件及数据等服务，整合闲置计算资源、存储资源和网络资源，资源共享、按需分配，充分发挥硬件设备利用的最大化能力，节约使用成本，提高了资源设备使用效率。国内外企业及科研机构不断挖掘云计算服务的潜在应用，从数据的存储、挖掘、管理和计算等方面提供一站式服务，为社会公共行业和个人提供有偿云计算和存储服务。鉴于数据信息共享公开的局限性，各行业也逐渐整合硬件和数据资源，构建行业私有云平台，如农业云[1]、水利云[2]和教育云[3]等。互联网时代信息技术的主流商业模式改变了以往的以本地资源为用户提供资源的方式，在云计算中用户以“服务”的形式获取计算力和存储力[4]。

环境遥感技术利用多源卫星遥感数据实现地表水、环境空气和宏观生态的大范围、全天候、全天时的遥感动态监测，可为环境管理提供多层次、全方位的环境遥感信息和技术服务，提高国家对生态环境和重大环境污染事故的监控能力。而随着对地观测技术的发展，人类对地球的综合观测能力达到了空前水平，遥感数据呈现出明显的“大数据”特征，从而对大数据分析能力和数据使用方式的要求也大大提高[5-6]。针对环境遥感应用的业务需求，相继已建成遥感数据处理、数据库管理和生态参数定量反演等多个应用系统。随着业务需求的不断增多，虽然各系统可以发挥各自业务功能，但软硬件结构相对独立，业务系统无法有效共享和集成，缺乏统一的数据管理模式，导致数据冗余、缺失或不一致，系统无法支持全局应用、处理和分析等问题。近几年，随着信息化水平的快速发展，云计算已经成为信息化建设的重要方向。国内外遥感数据处理相关企业和高校正在积极研究基于云计算的遥感数据处理技术和服务，如ENVI Services Engine企业级遥感平台、地理空间数据云、资源三号卫星影像云服务平台和SuperMap SGS智慧城市时空信息云平台等[7-10]。

上述相关云服务平台主要用于卫星遥感数据的存储分发服务，基本未涉及到海量遥感数据的加工处理、信息挖掘等关键技术的业务化运行。为了探索云服务平台在环境遥感应用领域的适用性，研究分析云服务平台与传统高性能平台在海量卫星遥感数据处理中的特点，以便在今后的相关系统建设中择优选择系统架构，更好地发挥2个平台各自的优势，提高日常业务应用效率，本文借助虚拟化、云计算等信息化建设的新技术，针对环境遥感云服务需求，研究基于云计算的环境遥感数据处理服务平台架构设计、网络拓扑和服务功能，初步构建环境遥感云服务平台，对比分析云服务平台与高性能平台的处理效率，为卫星遥感数据处理平台的发展提供参考。

1 环境遥感云服务平台设计

环境遥感云服务平台利用云计算、大数据技术，提升资源整合和数据共享，实现软硬件环境的统一监管，加强大数据管理、资源共享、信息挖掘和业务应用的保障能力，从而提高环境监管、宏观决策和公众服务的水平。环境遥感云服务平台设计包括架构设计、网络拓扑和服务功能设计3方面。

1.1 架构设计

环境遥感云服务平台架构设计充分考虑网络、数据、应用和安全等方面的多样化需求，采用多层次、强解耦性的体系架构，既保证有良好的扩展性和灵活性，又保证其规范性和安全性，系统基于分布式技术，统一考虑数据量大、应用开发复杂等各个层面的需求，提供灵活的资源管理和数据服务机制。

按照常规服务层次，环境遥感云服务平台包括云基础设施服务(infrastructure as a service，IaaS)、云平台服务(platform as a service，PaaS)和云软件服务(software as a service，SaaS)3种模式(图1)。

图1 环境遥感云服务平台架构设计

1)IaaS即通过网络提供硬件设备使用的服务模式。将若干异构的计算服务设备、磁盘存储设备和网络传输设备等物理设备，通过虚拟化软件创建成统一共享的计算资源池、存储资源池和网络资源池等基础设施资源池，在一定安全机制的保障下[11]，供不同用户通过网络获得所需数量的服务器、存储等硬件设备服务。

2)PaaS即通过网络提供软件研发平台的服务模式。在平台上搭建分布式处理、并行计算、负载均衡[12]、虚拟计算和机器学习等开发研究软件环境，以及易于使用云资源的中间件[13]等，向用户提供科学研究、计算模型以及二次定制开发平台服务。

3)SaaS即通过网络提供软件服务使用的模式。将成熟完备的环境遥感数据处理软件和管理系统部署到云平台上，直接给用户提供内部办公桌面应用服务，水环境遥感服务、大气环境遥感服务、生态环境遥感服务和土壤环境遥感服务等业务应用，以及将来外部应用等服务。

云管理层用于对云平台上述3种服务模式的统一管理，包括云用户管理、运行监控、资源管理、计费管理、服务管理、容灾管理和安全管理等。

1.2 网络拓扑

环境遥感云服务平台的网络拓扑如图2所示。

图2 环境遥感云服务平台网络拓扑示意图

按照功能区域划分，环境遥感云服务平台由云业务管理池、虚拟计算资源池、虚拟存储资源池和虚拟网络资源池4部分组成。

1)云业务管理池： 面向管理人员与用户的操作入口，部署云平台及配套的管理软件，如智能管理系统、虚拟机控制器和数据库控制器等，主要提供云平台系统管理、任务调度、流程管控、网络通信、硬件状态监控和用户管理等功能。

近年来，我国高层建筑抗震设计实例中也广泛应用基于性能考虑的抗震设计方法，且目前已取得了显著的成绩，这对提高我国高层建筑的抗震设计的可靠性有很大的推动。随着我国建筑行业的不断发展，大量研究工作的不断深入和工程实例的不断应用，基于性能考虑的抗震设计方法也会变得日趋完善，我国高层建筑的抗震能力又会上到一个新的台阶。

2)虚拟计算资源池： 整合已有若干异构或同构物理计算服务器，构建虚拟计算服务资源池，提供计算资源硬件平台，主要负责卫星遥感数据处理任务的分布式并行计算等，为IaaS，PaaS和SaaS需求提供计算资源服务。

3)虚拟存储资源池： 整合已有若干异构或同构物理磁盘存储阵列，构建虚拟存储服务资源池，提供关系型数据库服务所需的资源，负责卫星遥感原始数据、中间产品和生产结果的存储，为IaaS，PaaS和SaaS需求提供存储资源服务。

4)虚拟网络资源池： 整合已有若干异构或同构物理网络传输设备，构建虚拟网络服务资源池，负责数据及其他信息的快速传输等，为IaaS，PaaS和SaaS需求提供网络资源服务。

用户网络是环境遥感云服务平台的外围设备，通过网络向云业务管理池申请访问使用云平台资源，负责按需任务的提交、管理和本地数据下载等； 用户图形工作站负责数据处理、数据的快速查询浏览和海量影像编辑等。

1.3 服务功能

环境遥感云服务平台主要利用主流虚拟化技术搭建用于环境遥感监管监测的分布式私有云平台，融汇遥感卫星数据、环境监测数据和基础地理数据等数据于数据资源池，提供数据云盘服务、地图云服务、空间分析云服务、参数云服务和影像处理云服务，并对各项云服务资源和计算处理过程进行管理，达到共享资源池、弹性扩展、动态伸缩、工作流构建、负载均衡、按需使用、自助服务和快速响应的统一服务支撑。

通过环境遥感云服务平台，用户无需利用传统方式构建遥感应用系统，可随时在云服务平台上建立虚拟遥感应用系统环境，使用遥感数据、软件、计算机和网络环境进行业务应用或提供服务[8]。其服务功能如图3所示。

图3 环境遥感云服务平台服务功能

1)数据云盘服务： 管理云盘中存储的各类型的基础地理信息数据、卫星遥感数据及其他辅助服务数据，同时为用户提供云存储共享空间，保障云盘数据的存储安全。

2)地图云服务： 面向服务架构，监控管理地图云资源与计算环境，向云外的用户提供地图云服务，包括基础地图服务、影像数据服务、三维空间数据服务、Keyhole标记语言(Keyhole markup language，KML)服务和目录服务等。

3)空间分析云服务： 基于云架构模式提供地理信息系统(geographic information system，GIS)空间分析服务功能，包括符合栅格计算服务、空间聚合分析服务、缓冲区分析服务、密度分析服务、专题图制作服务、地图打印服务和空间几何运算服务等。

4)参数云服务： 封装成熟的模型及参数，为用户提供在线的多种生态参量模型云计算服务，包括植被指数模型、叶面积指数模型、净生态系统生产力模型、生物量模型、植被覆盖度模型、地表反照率模型和土壤湿度模型等。

5)影像处理云服务： 为用户提供多源卫星遥感影像在线处理服务，包括正射校正、几何纠正、融合处理、大气校正、辐射定标、云量监测和影像分割等。

2 平台建设

依托浪潮云计算技术，设计搭建了一套服务于环境遥感业务应用及日常办公应用的云平台，为卫星遥感数据应用探索全新的处理模式。环境遥感云服务平台软硬件基础设施具体配置如表1—2所示。云平台总体性能具备总中央处理器(central processing unit，CPU)为2 303.23 GHz，总内存为4 094 GB，总存储量为272 TB。根据实际业务应用需要，目前该云平台已虚拟45台虚拟服务器。

表1 环境遥感云服务平台软件配置

表2 环境遥感云服务平台硬件配置

云平台虚拟化软件是环境遥感云服务平台的核心基础，主要负责完成底层物理资源的虚拟融合、按需分配与高效管理，提高资源交付的敏捷性和灵活性，提升资源的使用效率，为上层业务提供不间断的资源保障与可伸缩的资源供给。云平台管理软件是环境遥感云服务平台的大脑，使计算、存储和网络3大物理资源融合为有机整体，负责物理资源和虚拟资源的统一管理与监控，实现IaaS、基础资源根据业务需求的弹性扩展和动态流转，以及业务的自动感知和服务的自动化交付。

3 实验与分析

目前已建成高性能遥感光学数据自动处理系统，运行于高性能平台上，用于海量遥感数据的高效处理，进行高精度自动化地面控制点采集配准与优化、快速影像融合与无缝匀色镶嵌等图像处理，实现卫星遥感数据产品的标准规范化、自动化数据生产，为环境遥感业务化提供保障。

在环境遥感云服务平台上搭建与高性能平台基本相同的软硬件环境，部署上述高性能遥感光学数据自动处理系统，在2个平台上运行相同的遥感数据处理任务。通过实验对比，综合分析云服务平台的数据处理能力。

3.1 硬件环境对比

表3为云服务平台和高性能平台2种平台的硬件环境对比。由于系统级的虚拟化导致计算节点的性能配置都较低，云服务平台性能还达不到己趋于成熟的高性能计算集群水平[14]，二者主要差异为： ①计算节点与存储之间的网络环境差异，云服务平台为GB网络，高性能平台为10 GB网络； ②计算环境差异，高性能平台在各计算节点上配置有图形处理器(graphics processing unit，GPU)加速卡。

表3 云服务平台和高性能平台的硬件环境对比

3.2 系统性能对比

采用高分一号卫星2 m空间分辨率全色和8 m空间分辨率多光谱数据共69对(138景)进行数据生产实验，分别统计了云服务平台和高性能平台的生产效率，如表4所示。

表4 云服务平台和高性能平台的生产效率对比

3.3 结果分析

表4结果表明，运行相同的遥感并行软件，高性能集群平台数据处理效率是云服务平台的2.5倍左右。主要有3方面原因：

1)计算方面，高性能平台计算性能相对优越。遥感数据处理和定量反演中涉及到的快速傅里叶变换(fast Fourier transform，FFT)等运算需要大量的整型或浮点型的数学计算，计算节点的处理性能直接影响遥感数据的处理速度。由于云服务平台计算节点CPU性能和高性能计算集群GPU性能的差异，其数据处理计算能力远低于高性能集群计算。

2)通信方面，云服务平台网络带宽不及高性能平台。影响遥感数据处理速度重要因素之一是计算节点之间、节点与存储之间的网络传输能力。对于现有的业务化遥感数据处理系统平台，通常为提高数据处理效率，采用进程或者线程级别的并行，如消息传递接口(message passing interface，MPI)和GPU[15]等。云服务平台各计算节点通信采用GB级以太网(Ethernet)，其性能远远达不到高速网络(InfiniBand)连接的高性能集群，同样制约了云服务平台的数据处理效率。

3)存储方面，云服务平台没有专门的并行存储服务[16]。为满足高性能程序的并行输入输出需求，高性能服务器广泛采用光纤存储设备和并行文件系统，如Lustre、通用并行文件系统(general parallel file system，GPFS)和并行虚拟文件系统(parallel virtual file system，PVFS)等。云服务平台提供较底层的虚拟块设备如弹性块存储(elastic block store，EBS)等，高层的数据库存储服务不能直接满足并行读写的需求。其他方面，为了保持高可靠性，云服务平台通常维持多个数据集副本，确保能够对失败的节点重新分布处理。而对于卫星遥感数据，特别是高空间分辨率卫星数据，单个文件的数据量很大(几百MB甚至1 GB以上)，这种单个的海量数据严重制约了数据集副本的维持效率，不利于分布式存储。

4 结论与讨论

由于实验条件有限，云服务平台和高性能平台对比测试在硬件环境配置上存在差异，一定程度上影响了云服务平台的计算效率。但是海量卫星遥感数据处理具有计算密集、输入/输出密集、体量大等特点，这对计算机计算性能、输入/输出传输和数据存储等有较高的需求。目前来看，在常规云环境中开展高性能计算有一定的局限性，传统已成熟的高性能集群计算平台更适合于业务化海量遥感卫星数据的高效处理和参数产品反演。但随着信息技术产业的迅速发展，资源整合、数据共享是信息化建设的主要方向，云服务平台需在服务架构设计、网络传输和存储策略等方面逐步改进完善，不断提高数据处理效率，以满足计算密集型应用的需求，将在今后大数据挖掘、海量卫星遥感数据处理等方面发挥重要作用。