基于MICAPS4的同城用户服务应用

徐娟，刘洋

（甘肃省气象信息与技术装备保障中心，甘肃 兰州 730020）

MICAPS4（Meteorology Information Comprehensive Analysis Process System Version 4）体系采用客户端/服务器的系统架构，MICAPS4服务端系统分为分布式存储系统、分布式前处理系统、站点实况轮询系统、查询服务器系统和监控系统5个子系统[1]，通过对分布式存储系统高可用性、读取性能的测试和实际业务应用表明，分布式MICAPS4系统在海量气象数据和大量用户并发访问的环境下，表现出很高的稳定性和优越的读写性能，系统显著提升了数据解析及数据存储访问效率，提高了MICAPS客户端对实时气象数据的检索效率[2-3]。系统一级部署，三级应用，实现了数据的省级单点更新和市县两级人员对该系统的“零”维护，极大减轻了各级台站的系统运维压力[4]，加之该系统便捷的扩展性，使其在全国气象行业用户业务应用中占有十分重要的地位。

1 系统构建

根据《气象信息系统集约化管理办法》（气发〔2018〕117号）对硬件集约化、数据集约化、流程集约化、平台集约化、监控集约化的总体要求，为便于与行业用户进行隔离管理，在省级虚拟化资源池搭建了一套专为同城用户提供服务的分布式MICAPS4系统。该系统由5台虚拟机构成，3台作为Cassandra数据库集群服务器，2台作为DPC处理服务器。数据库集群服务器安装Red Hat Enterprise Linux 7（64-bit）操作系统，配置16核CPU，64 G内存，挂载1 T硬盘，数据库版本为apache-cassandra-2.2.5，2台DPC处理服务器均安装Red Hat Enterprise Linux 7（64-bit）操作系统，配置16核CPU，128 G内存，挂载1 T硬盘，其中一台兼做数据查询服务器，另一台则同时部署了站点实况轮询系统。并且5台服务器均在指定目录下部署发送DI（Detail Inforamation，详细信息，简称DI）和EI（Event Inforamation，事件信息，简称EI）的BDMonitor探针，在服务异常时便可进行告警，方便系统运维和数据服务人员能够及时进行故障处理。省级同城用户分布式MICAPS4服务系统架构如图1所示。

图1 省级同城用户分布式MICAPS4服务系统架构

全国综合气象信息共享平台（China Integrated Meteorological Information Sharing System，简称CIMISS）的气象通信系统2.0（China Telecommunication System 2.0，简称CTS2.0）承担着甘肃省气象数据收发的主要任务，是实现气象数据上行传输、归档备份、解码入库以及数据共享服务的重要基础和保障；气象数据统一服务接口（Meteorological Unified Service Interface Community，简称MUSIC），基于国省统一的数据环境CIMISS，面向气象业务和科研，提供全国统一、标准、丰富的数据访问服务和应用编程接口，为国、省、地、县各级应用系统提供唯一权威的数据接入服务。2020年，气象大数据云平台“天擎”在甘肃省建设部署，系统采用大数据、云计算、分布式等先进设计技术，包括数据交换及质控、产品加工、数据存储与服务等核心子系统，实现了海量气象数据的快速收集存储、产品在线处理和数据高效访问等服务能力。平台具备数据直传、产品直算和服务直通能力，初步实现了“数算一体”平台化服务，可支撑气象业务应用系统融入，对建立“云+端”气象业务技术体制发挥了重要作用[5]。

随着气象大数据云平台的建设和应用，CIMISS接口服务进行了元数据库的迁移和应用的重新部署，兼容版接口能够实现数据源在CIMISS和气象大数据云平台之间的切换，但是API账户和数据调用方式与CIMISS保持一致，这也为气象数据服务应用从CIMISS向气象大数据云平台的过渡提供了有力保障。此外，Linux Shell脚本在气象数据共享服务中的应用亦十分广泛。同城用户分布式MICAPS4的数据主要以MUSIC接口、CTS2.0系统分发、Bash Shell脚本主动推送3种方式实现。

2 实时气象数据接入

同城用户少有气象预报研究的需求，对气象数据的种类需求较少，关注的气象资料类型明确，针对性的数据推送可有效减轻系统压力并保证数据处理时效。中国地面国家站和区域站实时资料、高空探测数据、地面和高空主客观分析产品、EC细网格、西北地区多普勒雷达标准格式全体扫基数据、FY-4A卫星资料、华东区域模式产品等都是用户关注度较高的气象数据。气象预报业务用户关注气象实况和天气发展变化，另有部分用户选择分布式MICAPS4仅作为教学演示和个例分析。

地面和高空观测的实时气象数据由分布式MICAPS4系统从MUSIC接口读取或通过直连CIMISS基础库（BDB）的方式获取。地面和高空主客观分析产品、多普勒雷达标准格式全体扫基数据、卫星资料等则由CTS2.0向MICAPS4的分布式前处理系统主动分发；华东区域模式产品则是以Linux Shell脚本的方式通过ftp主动模式推送至MICAPS4的分布式前处理系统。兼容版接口的部署使MICAPS4的接口数据调用继承和延用了CIMISS的服务方式。在气象大数据云平台正式业务运行之前，为MICAPS4开设了业务系统接口账户进行与气象大数据云平台的数据源对接测试，测试效果良好，数据服务稳定可靠，目前甘肃已经初步实现了MICAPS4与气象大数据云平台的应用对接。省级同城用户分布式MICAPS4气象数据接入情况如图2所示。

图2 省级同城用户分布式MICAPS4气象数据接入情况

3 Cassandra数据存储

在大数据环境下，关系型数据库在分散、异构、动态、海量的数据存储中面临不易扩展、性能低等难题，而面向异构资源的NoSQL（Not only SQL）数据库能够有效解决这些问题，在实际业务中，结合Spark、Storm大数据处理框架，Cassandra数据库在长时间序列降水量统计、气象预报服务系统构建与设计中已有广泛应用[6-7]。Cassandra数据库由Facebook公司开发，于2008年开源转化为开源项目，是NoSQL数据库系统。由于其良好的可扩放性，Cassandra已经成为了一种流行的分布式结构化数据存储方案。它的分布式设计基于Amazon Dynamo，可以运行在多台机器上，并以一个一致的整体呈现给用户。Cassandra分布式数据库具有可扩展性，能够在不降低性能的情况下继续为更多请求提供服务。在Cassandra中，每个节点是独立的，同时与其他节点互联，集群中的所有节点扮演相同的角色，每个节点都可以接收读取和写入请求，当集群节点故障时可以实现不中断系统来更换故障节点，期间读/写请求可以由网络中的其他节点提供[8]。系统在多个节点上存储副本以确保数据的可用性和容错性[9]。

Cassandra数据表的设计和实现根据实时气象数据多维索引和用户行为分析得出，实时气象数据模型具有多维度、部分有序、部分无序的特点，常用操作包括有序维度按序遍历、无序维度随机访问数据等。MICAPS4的Cassandra数据存储利用维度索引表和数据表实现了数据的上下快速翻页，设计列族实现最新数据的快速模糊查找[10]。

4 离线数据访问

MICAPS用户多年来一直使用文件系统URL进行元数据浏览，该方法可使用户方便直观地查看服务器当前存储了哪些气象数据，分布式MICAPS4也保留了此项功能，但是MICAPS4是通过建立模拟文件系统的仿真环境，才达到使用户能够像同原有（MICAPS3的）Samba文件系统一样进行交互操作的功能[10]。分布式MICAPS4提供Samba数据源访问方式，结合“树形检索”结构，将MICAPS产品按照MICAPS4菜单结合综合图建立目录树，使MICAPS产品与综合图配置的路径相对应，便可实现离线数据通过菜单栏的自动调阅和可视化显示。

5 客户端配置

标题栏。MICAPS4界面的顶部为标题栏，通过客户端配置文件MICAPS.exe.config可实现标题栏显示文字的修改。

数据源。MICAPS4系统引入了“分布式高速缓存”服务器的概念，用多台分布式数据存储解决气象海量数据的高并发高速访问所带来的问题（称为MDFS服务）。MICAPS4默认的数据源配置文件（config/datasources.ini）中使用4个数据源，MDFS服务通过搭建在CIMISS系统之上的数据集群提供在线数据访问。Samba为MICAPS3（Meteorology Information Comprehensive Analysis Process System Version 3）传统数据源，使用“共享文件夹”方式提供数据访问。若用户需要对已离线保存的MICAPS数据产品进行菜单调阅显示，则需要将离线数据源目录、综合图、菜单项一一对应进行配置，MICAPS4提供了独立的程序（MICAPSSystemEditor.exe）用来配置和迁移综合图与菜单项。

菜单。MICAPS4默认的菜单显示超出了同城用户使用的资料范围，无资料显示会给用户带来不良使用体验，按照实际资料接入将菜单进行裁剪和改良，按需减少菜单分级，使用户能够快速找到资料并进行检索访问。该文件格式与MICAPS3相同，用户亦可复用MICAPS3中已配置好的综合图，给用户带来良好的客户端切换体验。分布式MICAPS4兼容MICAPS3格式产品、综合图文件、MICAPS标准格式文件以及可执行文件，用户可将自己关注的站点按照MICAPS站点格式进行配置，采用MICAPS4客户端“打开文件”选项或直接加入菜单调用来叠加显示站号站名等信息。

图片保存。用户在使用气象资料分析工具时，往往希望保存当前客户端图片，MICAPS4提供了“专题图制作模式”，允许用户通过“可见即所得”的方式制作专题图。用户通过修改客户端配置文件set.ini便能实现对所要保存图片边框颜色、宽度、版权所有者信息及文字属性、边框经纬度标注信息、图层描述信息，输出图片的尺寸大小的个性化设置。

6 客户端升级

MICAPS4客户端自2016年6月正式向全国发布，截至2021-06-01，已进行多次版本升级更新，64位版本更新至MICAPS4.7.0，连接外网用户可通过菜单项“检查更新”将客户端自动升级为最新版本，客户端升级不会影响用户已修改的本地配置文件。其他用户下载并安装最新版MICAPS4客户端软件进行安装使用，若要保持配置不变，需要将旧版本配置文件替换至新版本相应目录。MICAPS4.7.0单站雷达模块和雷达终端模块增加了自动判定算法，可实现在不修改配置文件情况下标准格式、原格式雷达基数据的调阅显示。在雷达数据标准化运行之后，实际业务应用出现了MICAPS4客户端无法调阅单站多普勒雷达基数据的情况，通过客户端升级便可解决。

7 分布式MICAPS4的系统监视应用

分布式MICAPS4作为气象数据的展示和分析平台，客户端易于安装，实时气象数据调用快速响应且数据显示直观，由于通过MUSIC接口访问业务生产环境数据库，数据是否正常调阅显示已成为省级气象信息系统全流程健康状况监视和实时气象数据保障的重要参考依据。

8 结语

本文讨论了分布式MICAPS4系统在省级同城用户气象数据共享服务应用中的系统搭建、数据接入、Cassandra分布式数据库集群应用、客户端配置等问题。分布式MICAPS4作为预报核心业务系统的支撑平台，凭借其良好的系统稳定性、可靠的数据写入和读取、丰富的自定义配置功能，为省级同城用户的气象数据服务提供了强有力的技术支撑，并作为气象信息系统监视的辅助工具在系统维护保障中发挥着重要作用。