基于MICAPS4数据环境的统一服务接口本地应用
2020-09-04王家乐徐亮亮于溥天
王家乐,徐亮亮,于溥天
(内蒙古自治区气象信息中心,内蒙古 呼和浩特010010)
在海量气象数据的快速应用需求、快速数据解析与数据高速访问的业务背景下,MICAPS4(Meteorology Information Comprehensive Analysis Process System Version 4)数据环境应运而生,其采用分布式存储技术定制研发,满足了多样异构数据的存储需求。作为预报核心业务系统的支撑数据环境,目前只能通过MICAPS4客户端查看数据,没有统一的数据服务接口来支撑其他业务系统及科研等扩展应用数据需求;本地越来越多的单位和个人已经习惯了基于MUISC(Meteorological Unified Service Interface Community)统一服务接口的标准实现数据的检索和下载。因此,需以实际业务需求为出发点,基于MUSIC开放平台完成屏蔽底层数据库的数据接口开发,发布面向业务科研人员的统一、标准、丰富的数据统一服务接口,实现MICAPS4数据环境资料的接口调用。
1 MICAPS4客户端应用现状
内蒙古自治区MICAPS4数据环境建设工作起步比较早,在数据接入和数据环境推广工作开展过程中,将MICAPS4客户端在全区推广。客户端是MICAPS4数据环境与业务人员交互的核心工具,也是气象数据集中展示的载体,为用户提供高分辨数据的高效显示,矢量数据的动画显示以及数据高效并行计算功能。但是在应用过程中,仍然存在着一定的问题和不便之处,主要表现在以下几个方面:①作为预报核心业务系统的支撑数据环境,目前只能通过MICAPS4客户端查看数据,而MICAPS4客户端采用的是CS架构,用户需在本地计算机安装客户端才可以使用;②MICAPS4数据环境资料种类繁多,没有一个直观的可视化页面展示资料清单;③MICAPS4客户端不能按照用户需求批量下载资料,不能很好地实现数据归档需求;④目前MICAPS4格式数据仅局限于在MICAPS4客户端内应用,没有统一的数据服务接口来满足其他业务系统及科研等扩展应用数据需求。
2 数据统一服务接口应用
MICAPS4数据环境采用的是Cassandra分布式数据库,其是面向高性能并发读写的KEY-VALUE数据库,具有极高的并发读写性能。通过研究Cassandra分布式数据库存储和调用规则,实现屏蔽底层数据库的数据接口应用;基于MUSIC开放平台,发布面向业务科研人员的数据资料清单和统一访问接口,总体架构如图1所示。
图1总架构
2.1 MUSIC开放平台简介
随着MUSIC应用范畴不断扩大,目前的MUSIC无法满足MICAPS4数据环境的数据资源发布需求,MUSIC开放平台是对MUSIC数据服务接口的升级和完善,主要目标是提高气象数据的服务能力、丰富接口服务功能、增强气象数据及接口服务的科学管理能力。开放平台由国家气象信息中心专家开发,在内蒙古本地完成安装部署。开放平台由前端交互平台、后端支撑中心以及后台数据存储三部分组成。主要用于MICAPS4数据环境的资料清单和接口清单的注册、管理和发布,为气象技术人员提供接口服务发布,实现用户快速获取气象数据的需求。
开放平台由2台虚拟机服务器组成,软硬件环境如表1所示。
表1开放平台服务器硬件配置
2.2 MICAPS4数据环境资料清单
经过前期调研和对MICAPS4客户端研究,将MICAPS4数据环境资料按照数据类型分为地面资料、高空资料、数值模式资料、雷达资料和卫星资料五大类。为了清晰地区分各类资料及便于后续统一服务接口开发工作开展,MICAPS数据环境资料代码的定义规则是:CIMISS资料代码_MICAPS数据环境存储表名,资料清单详情如表2所示。
表2资料清单
2.3 数据统一服务接口发布
数据统一服务接口由通用功能接口和定制检索接口组成。通用功能接口为内部接口,是在服务端实有的函数,不会面向用户调用,主要实现底层Cassandra分布式数据库的检索和格点要素解析等功能;定制检索接口是面向用户的主要接口,无需开发,只需根据业务场景配置(配置其参数与某个通用功能接口的映射关系)。定制接口的描述中,只需定义其功能和检索条件参数,而不需定义其返回形式和对象。用户调用接口时,把接口名称、接口的参数及其参数值、返回形式、数据的装载对象,传递给通用的调用方法即可。实现一个定制接口有多种不同的返回形式,满足不同的开发模式和编程习惯。接口服务架构如图2所示。
图2数据统一服务接口服务架构
2.4 资料与接口配置
资料与接口采用XML文件方式配置,文件的树结构主要由根元素和若干子元素组成。其中资料的根要素包含1个datacode子元素,用来定义不同资料的资料代码。datacode子元素又包含了tableName、timeFormat、hour、dataeles和suffix子元素,用来定义该类资料的属性,本地共发布16小类资料,其中地面资料1类、高空资料1类、卫星资料1类、雷达资料1类和数值模式资料12类;接口的根要素包含1个interfaceid子元素,用来定义不同资料的接口代码。interfaceid子元素又包含了requestType、methodType和apiparams子元素,用来定义该类接口的请求方式,本地共发布21小类资料,其中地面资料接口6个、高空资料接口6个、卫星资料接口2个、雷达资料接口2个和数值模式资料接口5个资料接口。
3 数据统一服务接口展示
开放平台是MICAPS数据环境资料和服务接口统一发布管理的渠道,为业务人员提供信息查询,包含资料的信息、接口的信息、接口的调用示例和在线测试等。资料清单和接口清单展示页面如图3和图4所示。
图3资料清单
图4接口清单
进入用户空间,选择MICAPS数据产品节点,以地面资料为例调取数据,结果包含文件名称、文件格式、文件大小和文件下载地址,如图5所示。
4 小结
MICAPS4数据环境的统一服务接口采用的是B/S架构,一级部署三级应用,实现了系统的集约化,可在任意一台内网计算机方便快捷地实现资料调用;基于开放平台发布了多种标准、丰富、高效的数据访问接口,业务人员可以根据自身需求批量将数据下载到本地归档,并通过标准接口完成与其他业务系统的无缝对接,大大发挥了分布式数据库的效益,满足了业务人员对MICAPS4数据的使用需求。
图5地面资料调用样例