面向业务的省级气象多源空间信息服务
2022-10-11阮惠华张菲菲郑艳萍
阮惠华,张菲菲,郑艳萍,郑 康
(1.广东省气象探测数据中心,广州 510080;2.广东第二师范学院计算机学院,广州 510303;3.中国地质大学(武汉)信息工程学院,武汉 430074)
0 引言
在全球气候变化背景下,极端气候事件的频率和强度增加,气象灾害以及其次生灾害频发,政府部门和民众对于天气预测预报、气象灾害应急响应等气象业务的需求与日俱增。气象业务中,无论是预测预报,防灾减灾,应急响应还是内部管理都具有显著的空间特征,将气象数据与地理信息系统(geographic information system,GIS)结合在一起提供信息服务是一种较为常见的做法,利用GIS绘制、分析、可视化的功能,可以将气象数据以直观的方式进行统计分析,编辑以及展示,可以为气象领域的专家提供分析决策依据。GIS是处理地理数据的输入、输出、管理、查询、分析和辅助决策的计算机系统,它与气象数据的结合获得了气象行业的广泛关注与讨论。气象信息综合处理系统(meteorological information combine analysis and process system,MICAPS)和决策气象服务系 统(meteorological service information system,MESIS)是目前我国气象部门开发的两大基于GIS平台的气象服务系统,前者的交互制作能力不能很好地满足决策服务的需要,后者依靠于商业GIS系统,对于产品的维护和升级存在一定困难。一些气象部门自行开发应用的气象业务系统还存在数据管理分散、数据存储不规范、服务发布效率低下等问题。国内有很多针对不同需求而建立的气象信息服务平台。何华贵等从气象数据的收集、预处理、传输共享、分析处理和可视化方面搭建实时气象信息服务平台。邹杰等研究并设计了基于云计算的市县一体化气象业务平台,在省级气象单位建立私有云业务平台,实现市县级气象业务工作的一体化处理。肖晶晶等以浙江全省地面气象观测网数据为基础,结合精细网格化气象要素产品、农业气象诊断指标、作物分布信息,设计并实现了基于WebGIS的农业气象业务平台。国家气象信息中心构建了国家气象服务平台,以解决气象服务平台的分布式状态。
广东省位于中国东南部沿海地带,地理范围为20°09′~25°31′N,109°45′~117°20′E。受东亚季风和地形共同控制,区域气候差异和变化显著。近年来,区域内不同强度的雷暴、暴雨、干旱等气象灾害频发,对广东省的气象服务系统提出了新的挑战。面对不同的气象业务需求,需要多种形式的数据,例如,雨流量应用会需要用到影像数据和雨流量业务数据,水库水位分析应用会用到DEM数据和水库水位业务数据,直接使用互联网上的地理数据建立的业务系统会存在系统可移植性差,耗时长,根据各个不同的需要独立使用数据而衍生的重复建设的问题,无法做到统筹统建;除此之外,使用不规范地图存在位置偏移,规范地图可能涉密,花费大量的精力用于建设基础地理信息平台等问题都会影响气象业务开展。因此,如何将丰富多样的数据源集成到一起,有效地管理起来,形成面向气象业务的规范统一的空间信息服务,成为亟需解决的问题。
本文将提出一种面向业务的分布式省级气象多源空间信息服务框架平台,旨在解决多源异构数据存储分散、难以集成、存在冗余的缺点,结合多源异构空间数据管理技术和高性能分布式服务技术,使得统一结构的数据变为高性能,高吞吐量的数据服务,并按照该框架设计了广东省气象地理信息服务平台,为多样化的气象业务提供了统一的服务平台。
1 平台总体设计
气象业务应用繁多,涉及的多源异构空间信息存储分散、难以集成,需设计一套可提供统一的空间信息服务的框架作为气象多源地理信息服务平台的支撑。系统框架需要建立统一的标准,实现面向气象业务提供空间数据服务、专题信息服务、空间分析服务、地图可视化服务等在线空间信息服务支撑气象专业应用。
1.1 系统架构
气象多源地理信息服务平台采用开放式架构,保证平台的兼容性,利用常见GIS平台的优势和特长解决具体问题,做到各类优势技术的集中服务,确保平台的先进性和完善性。平台按照面向服务架构(SOA)的基本思想和方法,开发支持一系列互操作接口规范的空间信息服务软件、平台服务运维管理软件及二次开发接口库。
系统总体架构分为四个层次,从上到下依次为:应用层、服务层、数据层以及软硬件支撑层。数据层是空间信息服务平台的数据基础,主要存放的数据有矢量数据、栅格数据和瓦片数据等,在功能上需要完成数据管理、数据提取、数据查询和分析、数据更新功能;服务层是通过地图服务发布平台将地理空间数据发布为地图服务,形成空间信息服务平台的资源服务中心,服务中心对外提供标准OGC服务;在服务层的基础上,实现基于GIS服务的各种业务应用,如数值预报产品应用、雷达组网应用以及其他专题应用。系统总体架构如图1所示。
图1 系统总体架构
1.2 气象平台支撑层
支撑层是平台运行的支撑与保障,包括平台的法规及标准体系和软硬件支撑层两部分。其中,法规及标准体系包括平台运行的组织机构保障体系、运维管理保障体系、政策法规体系以及数据、服务、应用标准规范体系。
软硬件支撑层建设包括硬件设备、系统软件、网络环境及安防等。其中,硬件及网络包括服务器、网络、存储、备份设备等;系统软件包括操作系统、数据库、GIS平台等;安防及灾备包括存储备份设备、安全系统等。
1.3 气象空间数据层
数据层是服务层的基础,为服务层提供数据,包括基础地理空间数据和气象业务专题数据,其中基础地理空间数据包括公益服务平台、NASA、国土数据服务平台、天地图、国家测绘局等提供的DEM、影像数据和矢量数据;气象相关数据指矢量形式的气象业务专题数据。平台制定“非涉密地理信息数据”申请流程,保障了从国土局、测绘局、国土厅等获取到基础地理信息的安全性和可用性。
空间数据库的基础地理数据通过项目提供数据对接、抽取工具,将国土地理信息公共服务平台或其他公益平台的空间数据(DEM、影像、矢量)进行数据对接、抽取、整理、入库。在数据入库环节,根据获取的数据类型分别存储,对于原始的矢量、栅格数据,存到分布式空间数据库中,对于矢量、栅格的切片数据,则用文件目录系统进行存储组织。
业务空间数据,如各类气象站点,作为业务空间数据图层,存入空间数据库中。对于其他来源的空间栅格、矢量数据,也存入空间数据库进行分类型、分图层的组织管理。详细流程如图2所示。
图2 数据库建库流程
1.4 气象专业空间数据服务层
平台服务层是平台建设的核心内容,主要包括功能服务、数据服务以及可视化服务,如图3所示。
图3 气象专业空间数据服务层功能结构
其中,功能服务按模块划分为运维管理服务、二维服务、三维服务。运维管理服务是满足各种空间数据服务和处理服务的运行维护、资源管理、状态监控、日志管理、用户权限管理等功能的多层次全方位的在线服务;二维服务包括地理信息图层、辅助工具图层、产品图层服务等,主要提供二维基础的数据组织管理、编辑与分析功能;三维服务提供基础地理和气象数据的三维组织管理与分析功能。数据服务包含网络地图服务、网络要素服务、网络地图瓦片服务、地名地址服务、目录和元数据服务、网络覆盖服务、空间分析服务等。可视化服务作为调用数据服务的入口,包括地图展示、二维可视化和三维可视化。
2 平台框架涉及的关键问题
系统使用的基础地理信息数据具有多源、异构、数据量大的特点,我们采用多源异构数据管理技术对这些基础地理信息数据进行管理,采用分布式高性能服务技术,将统一结构的数据形成高性能,高吞吐量的数据服务。
2.1 多源异构数据及其管理技术
当前面向气象业务的数据来源众多,种类也丰富多样,根据气象业务需求,按功能分类可以分为基础空间数据和气象业务专题数据,其中基础空间数据可分为DEM数据、影像数据、矢量数据,这些基础空间数据是进行气象业务数据定位、气象产品辅助制作、专题业务应用的基础;气象相关专题数据包括气象业务库、组网库、数值预报产品NetCDF库、专题资料、人口GDP相关数据等,见图4。
图4 气象多源数据按功能分类
DEM数据和影像数据为栅格结构、栅格切片结构,以WMTS的形式提供服务;矢量数据既有点、线、面形式,也有瓦片形式,以WMS、WFS的形式提供服务;气象业务数据的存储形式多样,既有以关系型数据库存储的数据,也有以文件形式存储的表格、资料等数据,无法以统一的形式直接提供数据服务,需要将其空间表达形式转换为点、线、面及栅格等形式。面向气象的多源异构数据的分类以及应用模式分析见表1。
表1 多源异构数据分析
由于气象业务的数据来源广泛,数据多样性、异构性、冗余性等特质,面向气象业务的多源异构数据管理采用ETL技术,严格遵守OGC标准,按照国家相关数据标准规范,将基础地理数据以及气象业务数据等广泛来源的数据,通过数据抽取、转换、清洗等操作过程,最终整合至业务内网目的端数据库系统中。
首先对多源的基础地理数据和气象业务数据按统一标准进行数据处理,包括投影、坐标转换、气象业务数据矢量化等,获取统一坐标系、统一基础底图的矢量、栅格以及瓦片数据,使用多源数据管理系统,来统一存储多源异构的数据。在数据库层,采用文件形式存储瓦片数据,采用空间数据库存储栅格和矢量数据,最终按照统一的OGC标准,形成统一的基础地理服务。多源数据管理技术结构和处理流程图分别如图5、图6所示。空间数据库按数据类别分类,目录结构设计见图7。
图5 多源数据管理技术结构
图6 多源数据管理流程图
图7 空间数据库目录结构
2.2 高性能多源数据分布式服务
气象业务数据多而且结构复杂,往往通过文件形式或关系数据库存储在专属服务器上,此外,气象业务应用是一个多级的应用,用户多,并发数、性能要求高。针对气象数据这样的特点,高性能多源数据分布式服务非常适合用在气象多源地理信息服务上。
基于多源数据分布式服务,各类数据可以根据实际情况在数据服务器上独立发布成数据服务,通过数据目录服务器来记录所有的数据服务节点,并对来自客户端的请求进行动态分配,既解决了大量数据分别存储、按需存储的问题,同时达到服务器负载均衡,分布式大吞吐量、高性能服务的效果。分布式高性能地图服务结构见图8,数据目录层作为索引服务,同时对服务器资源进行有向调度,达成多源数据分布式服务。
图8 分布式高性能地图服务结构
3 广东省气象空间信息服务平台
针对广东省气象局在空间信息服务上的需求,论文设计了一套“广东省气象空间信息服务平台”,并在其基础上开展了多项业务应用。系统统一部署至广东省气象局,委托相应的处室通过数据管理模式从国土资源、天地图、探测中心、数据中心等单位抽取数据,进行气象基础数据、数值预报产品、雷达组网数据等气象数据统一管理,并以二三维GIS平台、气象应用系统为基础,实现多源气象资料综合化管理、数值化产品分析、二三维一体化模拟等专业分析辅助支撑,并以气象门户网站的方式,为全省气象系统内的兄弟单位提供基于WEB的气象基础空间数据、气象设施数据、气象业务数据、气象专题产品等信息共享与服务。系统部署结构如图9所示。
图9 系统部署结构
平台主要服务为功能服务和数据服务两大类。功能服务是平台在气象多源地理信息服务平台框架的基础上,整合了公益服务平台、NASA、国土数据服务平台、天地图、国家测绘局等提供的基础地理数据以及气象局的气象业务数据、雷达组网数据、数值预报(NetCDF)数据及专题等资料数据,建立的5项功能服务:平台门户、二维气象服务、三维气象服务、服务管理和数据管理服务,具体见表2。气象多维空间信息服务平台的数据服务主要包括地图服务、要素服务、空间处理服务、地名地址服务、三维地名服务、路径分析服务、多时相WMTS服务等,服务形式包括OGC WMS、OGC WMTS、OGC WFS、OGC WPS、HTTP,具体见表3。
表2 系统功能服务模块
表3 系统数据服务模块
在现有的多源空间数据基础上,充分利用现有的基础地理信息数据资源和公益平台等建设成果,整合各项数据资源,基于统一的空间信息服务平台,依托气象部门的业务专网,实现了面向全广东省各级气象业务提供统一空间信息服务的多维气象空间信息服务平台,其门户网站见图10。
图10 广东气象多维空间信息服务平台
平台已经在广东省气象局投入使用,整合了来自近10个来源的上百种基础地理数据和气象专题数据,在此基础上,发布了OGC地图服务近200个。基于以上地图服务开展了包括突发预警辅助平台、华南区域卫星遥感系统、防雷监察系统、雷达组网平台等20余个WEB应用系统。
4 结语
本文针对空间数据在气象业务上使用不便的问题,首先对多源异构的空间数据进行分析,根据气象部门对气象专题数据和基础地理数据的使用需求,运用多源异构数据管理技术和高性能多源数据分布式服务技术,设计了气象多源地理信息服务框架平台,并在广东省气象局气象地理信息服务平台项目上投入实际应用,取得了很好的效果。平台优势主要包括:
(1)按照面向服务架构开发支持一系列互操作接口规范的空间信息服务软件、平台服务运维管理软件及二次开发接口库,具有良好兼容性和可扩展性。
(2)制定“非涉密地理信息数据”申请流程,保障了从国土局、测绘局、国土厅等获取到基础地理信息的安全性和可用性。
(3)多源异构数据的管理采用ETL技术,严格遵守OGC标准和国家相关数据标准规范,将基础地理数据以及气象业务数据等广泛来源的数据,通过数据抽取、转换、清洗等操作过程,整合至业务数据库系统。
(4)基于多源数据分布式服务,解决了大量数据分别存储、按需存储的问题,达到服务器负载均衡,分布式大吞吐量、高性能服务的效果,提升数据的共享能力。
(5)专业的制图表达,能及时发现和规避问题地图。
综上所述,本文提出的面向业务的分布式省级气象多源空间信息服务框架平台在广东省级气象业务系统的应用是可行和有效的,可以为其他各省气象部门平台提供一个良好的建设思路。但是由于气象地理信息服务平台项目是一个系统工程,目前系统还需要完善分布式服务分发机制,拓展基础功能及平台使用范围,这些问题需要在后续研究中进一步探索和完善。