APP下载

一种兼容版气象服务接口系统的实现和应用*

2022-09-17王旭东张卫卫

科技与创新 2022年18期
关键词:数据源调用数据服务

徐 娟,刘 洋,王旭东,张卫卫

(甘肃省气象信息与技术装备保障中心,甘肃 兰州 730020)

全国综合气象信息共享系统(China Integrated Meteorological Information Service System,CIMISS)在国家级和31个省(市、区)的气象数据中心建成并投入业务运行[1],该系统由数据收集与分发系统(CTS)、数据加工处理系统(DPC)、数据存储管理系统(SOD)、数据共享服务系统(GDS)和业务监控系统(MCP)5个业务子系统组成,分别承担数据收集、加工处理、存储管理、共享服务和业务监控任务[2]。气象数据种类丰富,按照气象数据标准解码入库的气象资料共计14 大类300 余种,CIMISS 管理的所有资料,均可通过CIMISS 的气象数据统一服务接口(Meteorological Unified Service Interface Community,MUSIC)提供服务。服务接口实现了前端应用与后端复杂异构数据管理技术的分离,解决了应用系统需要根据后端数据组织方式甚至格式变化而频繁升级改造的问题[3]。

随着气象数据观测频次的不断增高、加工产品的内容和数量不断丰富以及业务系统对数据访问时效的需求提高,基于传统信息技术构建的CIMISS 系统在规模、性能和应用支撑能力方面显得不足[4-5]。

2020—2021年气象大数据云平台“天擎”(简称“天擎”)完成全国规划和部署,目前已进入业务试运行。在“天擎”正式业务运行之前,仍保持CIMISS 全流程正常运行,只是新增气象资料只对接“天擎”系统而不接入CIMISS,那么,为保障原接口用户对既有和新增气象数据的访问服务,部署了兼容版气象数据统一服务接口系统(简称兼容版接口)。

1 系统部署

兼容版接口系统利旧CIMISS 的4 台接口应用服务器搭载包括服务接口服务端、服务接口客户端、Redis缓存服务、web 访问服务、日志管理服务和监控服务等在内的应用服务,由深信服AD 负载均衡设备提供HTTP 服务和TCP 服务,负载均衡采用路由模式进行部署,所有流量都经过负载均衡,可均衡任何下行流量,并尽量小地影响原有网络结构[3]。

系统在功能应用上与MUSIC 基本相同,元数据库部署在“天擎”云数据库中,复用MUSIC 元数据库表和信息,增加与“天擎”数据库相关表信息和字段,并在“天擎”结构化数据库和文件索引库中建立接口资料检索所需视图。兼容版接口和MUSIC 的切换示意图如图1所示。

图1 兼容版接口和MUSIC 的切换示意图

2 系统流程

2.1 接口调用流程

兼容版接口是一个可进行数据源切换和应急回退的气象数据统一服务接口系统。数据源包括原CIMISS系统的基础库(BDB)和气象大数据云平台的服务库(STDB)、历史分析库(HADB)和文件索引库(FIDB)。服务库指数据服务库(Station Database),提供包括地面、高空、海洋、农气、辐射、大气成分等在内的通过解码后按照要素存入的结构化气象数据1个月以内时间段的数据访问,历史分析库(History Analysis Database)提供服务库中结构化数据1个月之前时间范围的结构化气象数据存储和访问服务,文件索引库(File Index Database)存储不需要解析文件内容,只在文件名中提取索引信息存入文件索引库,而把文件实体存入分布式NAS 或者Cassandra 数据库的非结构化气象数据。用户通过多种方式调用接口数据,服务端在对调用的合法性检查确认后,从数据库获取数据,封装成用户所需的格式返回,并在日志表中对请求过程进行记录。

2.2 应急回退

目前“天擎”系统尚处于试运行阶段,程序升级更新较为频繁,当“天擎”的解码入库(DPC)、数据存储(SOD)或MUSIC 兼容版出现系统性故障时,会导致部分接口气象数据服务异常,由于气象服务的高时效性要求,故障不允许持续较长时间,此时CIMISS基础库和MUSIC 系统作为备用方案便可发挥其应急作用。

非兼容版接口系统性故障造成的数据服务异常,只需将接口访问的数据实体切换至CIMISS,对时间规整类、卫星重命名类、数值预报类等3 类资料,除进行数据源切换外,还需要对元数据进行针对性的切换。兼容版接口发生系统性故障时首先停止兼容版接口应用服务,其次将负载均衡配置切回MUSIC,再次启用MUSIC 应用服务,最后通过web 接口调用进行验证。

2.3 接口调用方式

兼容版接口提供了包括客户端调用、Web service、REST 服务和脚本服务等多种气象数据获取方式,既能满足业务开发大数据量数据的稳定传输和高效获取,又能为前台交互应用提供便捷的编程体验,还能为广大气象科研人员提供友好便捷的非编程数据获取服务。兼容版接口支持跨平台多语言的开发,Web service、REST 服务支持所有平台和语言,客户端调用服务和脚本服务支持包括Linux、Windows 等主流操作系统,并且兼容版接口提供包括C#、Java、C/C++、Fortran、Python 等语言的SDK。兼容版接口调用数据的返回格式支持内存对象、序列化字符串、数据文件等,用户选择合适的接口、资料和返回格式并依照接口提供的气象数据标准调用方法,便能获取所需的气象数据。接口调用气象数据的流程大致如图2所示。

图2 气象数据接口调用流程

3 总结

通过负载均衡配置更改和不同账户的应用启停可实现MUSIC 兼容版接口系统的切换,在气象数据服务异常时还可采用应急回退的方式将应用切回MUSIC。兼容版接口可实现用户接口访问数据源新旧系统数据库间的切换,是新旧业务系统并行期间数据访问服务的重要保障。

猜你喜欢

数据源调用数据服务
大数据时代高校图书馆数据服务的困境及优化路径
地理空间大数据服务自然资源调查监测的方向分析
图表中的交互 数据钻取还能这么用
基于Android Broadcast的短信安全监听系统的设计和实现
基于Excel的照片查询系统开发与应用
再谈利用邮件合并功能批量生成准考证
数据有增加 图表自适应
大数据开启图书馆工作新时代
利用RFC技术实现SAP系统接口通信
C++语言中函数参数传递方式剖析