APP下载

面向高分遥感应用的基础云平台

2018-11-07

网络安全和信息化 2018年8期
关键词:空间信息数据服务海量

经过多年的发展,我国的遥感数据应用在数据接收、处理及应用等方面取得了显著成绩,但在应用方面呈现与区域地方的融合程度不足,数据应用范围广度不够,各遥感数据应用程度不足,数据共享能力不足等问题。随着互联网技术的发展,以云服务的方式进行遥感数据服务已经成为领域的发展热点方向之一。

目前云服务方式已成为解决高性能计算、海量数据存储、分布式应用、按需提供服务等问题的主要途径,将遥感数据、信息产品、处理技术与计算资源打包成类似公共设施的可计量的服务,提供给用户通过网络或移动终端随时随地按需使用。

图1 遥感数据服务模式设计图

本文利用云服务具有的按需计算、按需服务、动态扩展的特点,开展高分遥感应用云平台架构、海量空间信息存储管理研究,设计一种适合于遥感数据管理、应用和共享的遥感数据平台,并在HDFS、Xen Server等开源云计算软件的基础上研制基于云服务的卫星应用公共服务平台,为各类用户提供原始数据、计算能力以及业务按需组装调度能力,以降低遥感数据使用成本,提高遥感数据的使用共享率。

数据服务方式

云服务优势为按需付费,保证用户的使用需求的同时节约硬件资源,而常规的遥感数据服务方式多是一次性付费下载,按数据的长久使用考量数据的费用,造成遥感数据应用范围多局限于科研院校及大型企业,数据的使用费用及处理能力约束了中小企业对于遥感数据的使用。云服务的特点使得数据保有权及硬件资源、算法资源一直留在数据分发单位,同时降低数据的使用单价及应用门槛。

本文对多源遥感数据的使用方式如图1所示,通过建设卫星共性技术服务平台,突破面向区域的多星组网分析技术,提供多源遥感数据源服务;突破海量空间是信息数据的存储管理技术,提供数据分发服务和算法注册服务;研究卫星共性服务平台架构,集成GF、HJ、ZY等遥感数据,让用户能够提交自己的算法如空间信息数据间辐射校正、国产空间信息数据校正等进行数据分析,将分析计算结果分发给用户,实现按数据使用量和业务执行次数的计费模式。

卫星共性服务平台架构

卫星遥感数据庞大的数据量,需要借助海量数据存储系统进行归档存储。海量不仅包括大容量的数据存储能力,还包括大规模的数据吞吐能力。随着业务量的增长,数据存储量和存储性能急速增长,还要求整套存储系统具有极高的动态可扩展性能,避免存储扩容对业务系统造成长时间中断。

图2 基础应用云平台架构

针对海量遥感数据条件下难以保证海量数据吞吐量、难以动态无限扩容且造价高问题,以及海量遥感数据条件下高性能快速计算问题,开展卫星共性服务平台架构研究,卫星共性服务平台由服务层、基础平台服务层及基础设施层组成。平台层包括:数据管理分系统、并行处理分系统向多元数据处理示范应用软件提供数据归档、数据检索、数据提取、并行任务调度、任务管理、算法注册等服务;平台服务层提供数据归档、数据检索、数据提取、并行任务调度、任务管理、算法注册等服务;基础设施层以虚拟化的方式对集群主机硬件状态进行监视和控制(包括计算能力分配、动态内存管理、在线迁移等),能够进行服务部署,并对平台上部署的服务进行监控。

最终实现包括多源空间信息数据间辐射校正、国产空间信息数据校正、多源空间数据融合、高分辨率光学影像的无云产品生产等算法的集成,为农业、林业、地质、地理、海洋、水文、气象、测绘等领域提供综合服务能力。基于云服务的原型系统架构方案如图2所示。

海量空间信息存储管理

为解决PB级遥感大数据的管理和应用,本文采用主从模式的分布式文件系统实现海量空间信息数据的存储和管理,把物理上分散存储的众多文件存储设备整合为一个统一的逻辑存储视图,对应用层屏蔽了数据真实的存储位置、存储方式、数据组织等细节,以方便上层访问。在这种主从模式存储方式下,可将整个存储管理系统划分为两类节点,即数据存储管理节点和数据存储节点。数据存储节点作为从属节点,用来存储海量空间信息数据,若干数据存储节点形成一个分布式、可横向平滑扩展的存储集群;存储管理节点,以文件为单位负责对空间信息数据进行全生命周期的有效组织和管理,以此提高文件的管理效率,如图3所示。

原型系统研制及应用展望

为对本文提出的技术思路、数据服务方式进行验证,开发了基于云服务的多源载荷数据处理与应用原型系统,系统界面如图4所示。

当前原型系统已集成了包括多源数据获取与处理算法及多源数据综合应用两大类应用算法,并对各算法所生产出的数据产品进行质量评价,以风暴潮损失监测算法为例,用户可根据自己的需求,选择数据资源,调用风暴潮损失评估算法,即可生成对应的损失评估专题图,并对数据的质量情况予以评价。

图3 海量空间信息数据存储管理系统架构

图4 系统数据分发界面原型

随着我国航天技术的发展,,我国在轨遥感卫星数量越来越多,有效载荷不断丰富,针对日益丰富的业务应用需求,传统的遥感数据应用服务模式已经愈发不能满足要面向国土、农业、海洋、测绘等行业的多样化应用需求,本项目针对当前遥感卫星数据管理难、共享难、分析能力不足等问题, 解决数据组网分析获取、高效存储管理和定量应用支撑等共性处理问题,将从数据获取、存储和应用三个层次支撑行业应用开展,对我国卫星应用业牵引具有重要意义。

猜你喜欢

空间信息数据服务海量
地理空间大数据服务自然资源调查监测的方向分析
一种傅里叶域海量数据高速谱聚类方法
结合多层特征及空间信息蒸馏的医学影像分割
基于数据中台的数据服务建设规范研究
海量快递垃圾正在“围城”——“绿色快递”势在必行
数据服务依赖图模型及自动组合方法研究
如何运用税收大数据服务供给侧结构性改革
一个图形所蕴含的“海量”巧题
基于作战环的空间信息时效网关键节点分析模型
基于时效网络的空间信息网络结构脆弱性分析方法研究