全国综合气象信息共享系统的设计与实现

熊安元 赵 芳 王 颖 张小缨 高 峰 邓 莉 谭小华 马 强

(国家气象信息中心，北京 100081)



全国综合气象信息共享系统的设计与实现

熊安元*赵 芳 王 颖 张小缨 高 峰 邓 莉 谭小华 马 强

(国家气象信息中心，北京 100081)

为满足对海量气象数据管理和服务的需求，国家气象信息中心设计开发了全国综合气象信息共享系统(CIMISS)。该文描述了系统基本设计思路、功能结构、基础平台体系结构、信息流程，阐述了系统为用户提供的基础数据使用环境。系统由数据收集与分发系统、数据加工处理系统、数据存储管理系统、数据共享服务系统、业务监控系统5个业务子系统组成，承担数据收集、加工处理、存储管理、共享服务和业务监控任务。系统设计和开发采用了一系列现代信息技术，包括基于消息和文件共享的平台内信息交换、气象数据标准化分类、数据处理作业调度和算法的动态扩展、元数据的设计和应用、公共配置信息管理、全流程业务监视和调度控制、面向服务的多维度数据存储策略、全局数据访问视图和统一访问接口设计等。该系统为我国国家级和省级气象业务提供了统一规范的气象数据使用环境。

气象数据； CIMISS； 数据管理； 数据服务

引 言

气象资料是气象业务和科学研究的基础。随着气象探测技术的发展，特别是大气遥感技术的发展和自动观测技术的进步，气象资料的种类和数量与日俱增。目前，国家气象信息中心每天实时收集的来自国内外的各种气象资料和业务产品数量已近TB量级，种类涵盖气象资料分类体系[1]中定义的绝大部分数据类别。国家气象信息中心收集存档的历史气象资料已达PB量级,如何实时快速收集和处理来自国内外的各类资料和业务产品，有效管理海量的历史和实时气象资料，为用户提供方便快捷的数据服务，是气象资料业务的重要内容。

建立海量气象数据的管理和服务系统是气象业务和科学研究的先导性工作，一些发达国家的业务或研究机构均投入巨资研发各种不同的数据存档服务系统，有效支持了业务和科学研究工作。如欧洲中期天气预报中心(ECMWF)1985年开始建设并一直在发展的气象数据存档检索系统(Meteorological Archival and Retrieval System，MARS)管理ECMWF数值天气预报模式的全部观测资料、中间产品和预报分析产品，采用元数据和文件系统的数据管理模型实现对海量数据的管理和服务，是数值预报模式资料和产品存储服务系统的典范。美国国家海洋大气局(NOAA)建立的CLASS(The Comprehensive Large Array-data Stewardship System)系统实现了对美国各类极轨和静止气象卫星观测资料和加工产品的管理和服务(http:∥www.nsof.class.noaa.gov/saa/products/about)。

21世纪初，为解决气象资料的存储管理和共享服务问题，国家气象信息中心设计建立了国家级气象资料存储检索系统[2]，实现了对常用实时资料和部分历史资料的在线存储管理。国家卫星气象中心建成气象卫星资料存档系统[3]和风云气象卫星数据存档与服务系统[4]，实现风云卫星每日3万余个文件(2 TB)新增数据的存档和1 TB以上数据的下载。中国气象局作为世界气象组织规划的全球信息系统中心(WMO’s Global Information System Centers (GISC))之一，于2011年建立了GISC北京中心，提供基于互联网的全球交换资料的在线发现、检索和获取服务[5]。为了满足社会广大用户特别是科学研究人员对气象科学数据的需求,国家气象信息中心建立了基于公共网络的气象科学数据共享服务平台(CDC Online)[6-7]。这些系统针对特定的气象资料或特定的用户而建立，为气象资料的共享服务提供基础平台。

目前，国家级和省级业务单位所使用的气象数据大同小异，但没有统一的用户数据使用环境，各个数据中心或业务机构建立了规模不等、功能各异的数据库及访问系统，导致系统开发和维护成本高、数据不一致等问题，一些适用于全国的业务应用系统也难以在全国推广使用。因此，建立国家级和省级上下一致的数据管理和共享服务平台显得尤为重要。全国综合气象信息共享系统(China Integrated Meteorological Information Sharing System, 简称CIMISS)是国家气象信息中心于2009年启动建设的数据管理和服务平台，集气象数据收集、加工处理、存储管理和共享服务于一体，运行于国家级和31个省级气象数据中心，管理国家级或省级数据中心全部可收集的国内外气象资料和业务产品。系统建设的主要目的是实现规范的气象数据业务流程和各类气象数据的统一、规范、高效管理，为气象业务和相关科研用户快捷便利地获取气象数据提供数据使用环境。

1 CIMISS概述

CIMISS主要承担国内外气象资料的收集、处理、存储和共享任务，通过全球气象通信系统(GTS)、互联网、国内气象通信系统实时收集全球和中国气象观测资料和气象业务产品，对资料格式和质量进行检查并进行解码，实时生成初级资料产品，使用数据库技术对实时和历史数据进行一体化管理，为个人用户和业务系统用户提供数据服务。CIMISS主要包括7个技术系统，分别为数据收集与分发系统、数据加工处理系统、数据存储管理系统、数据共享服务系统、业务监控系统、计算机与存储系统、网络与安全系统。其中，前5个系统为业务应用系统，后两个系统为基础设施平台。所建设的7个技术系统部署在国家级中心和31个省级中心，所有中心通过全国气象业务网联结成一个物理分布、逻辑统一的信息共享平台。

CIMISS的主要目标是建设一套覆盖全国、集数据收集与分发、质量控制与产品生成、存储管理、共享服务于一体的国家和省两级气象资料共享业务平台，为气象部门及相关行业用户提供涵盖综合气象探测资料和气象产品的共享服务。

2 系统结构和功能

2.1 总体设计思想

CIMISS的内容实体是气象资料,需要解决的核心业务问题是数据从接入端到用户端流程的规范性和可控性,主要目的是为用户提供高效快捷的数据服务。因此，系统设计的基本理念是以数据为核心、以业务流程为主线、以需求为导向,深入分析各类气象数据的特点和规格，梳理各类数据的现有流程和问题，理顺流程和功能之间的关系，分析不同用户对数据时效、格式、使用习惯、检索等需求，设计规范的气象数据管理和服务系统。CIMISS在国家和省两级部署，采用统一的技术架构、数据处理流程、数据处理标准、数据存储规格和服务规范，以规范国家和省两级气象资料业务和数据应用环境。

CIMISS的5个业务应用系统之间通过消息的传递、文件的共享以及服务的交互实现业务协作，并统一由业务监控系统进行业务调度及控制、配置管理、全业务过程监控。从逻辑上看，整个CIMISS平台可分为3层：系统边界层、应用逻辑层和数据存储层。其中，系统边界层是CIMISS与外部的接口层，应用逻辑层包含了平台内的主要业务逻辑和相关的监控能力，数据存储层则负责完成海量气象数据的存储管理。

2.2 系统功能结构

CIMISS平台包括数据收集与分发、数据加工处理、数据存储管理、数据共享服务、业务监控五大业务功能。功能结构见图1。

图1 系统总体业务功能结构图Fig.1 Framework of operational functions of CIMISS

数据收集与分发系统(China Telecommunication System, 简称CTS)包括数据收集、数据分发、收集处理、分发处理、数据存档、系统管理、系统监视和系统交互8个分系统，负责收集来自国内气象综合探测系统、GTS、互联网、业务单位、行业部门的各类观测数据和加工产品，进行规范化的预处理；通过局域网络、地面宽带网络和卫星广播系统(CMA-Cast)分发观测资料和产品，实现国家级与省级、省级与省级之间数据的快速无障碍实时交换。

数据加工处理系统(Data Processing Center, 简称DPC)包括调度管理、数据解码、质量控制、产品生成、支撑库管理和业务分监控6个分系统，负责对各类实时和非实时观测资料进行解码、质量控制，生成常用的数据产品；实现各种气象观测资料的综合处理能力，实现地面、高空、辐射、农业气象、天气雷达等数据基本质量控制，生成面向应用需求的数据产品，减少不同用户在数据处理上的重复劳动。

数据存储管理系统(Service-Oriented Database, 简称SOD)包括数据存储管理、入库、处理、访问服务、归档、业务控制管理6个分系统，运用数据库技术对海量数据进行存储管理，构建全面支撑气象业务、科研和服务的国家和省两级数据库，实现实时、历史数据一体化存储管理，规范气象数据归档业务。

数据共享服务系统(Global Data Sharing, 简称GDS)包括数据编目管理、用户服务管理、数据服务和分系统管理4个分系统，面向部门内业务及科研用户、社会公众用户、行业用户，提供包括程序调用、数据共享分发、数据直接获取、数据检索下载等共享服务方式，为气象实时业务应用提供数据访问接口，实现数据库系统与气象核心业务应用系统的有效衔接，逐步实现完全基于数据库的气象数据应用。

业务监控系统(Monitoring and Control Platform,简称MCP)包括实时监视、综合业务控制、综合管理、系统支撑、监控信息管理服务5个分系统，负责对数据收集、分发、处理、存储和共享全过程进行综合监视和统计分析，建立统一的业务监控平台；实现对气象信息业务的全面监视以及作业调度和控制。

CIMISS平台对于数据量大、时效性要求高的地面观测资料(国家站和区域站)、雷达基数据、单站产品以及数值预报产品、卫星资料等，从数据收集到完成处理并入库存储，全流程平均耗时不超过 1 min。平台可支持300个用户并发的Web数据访问，数据访问接口(API)支持50～100用户并发的数据获取，对于常见气象业务应用场景的20用户并发数据获取在1 s内，50用户并发数据获取在2 s内。平台各应用系统均采用集群架构设计实现，具有良好的高可用性和可扩展性。

2.3 基础平台体系结构

CIMISS平台依托全国气象宽带网络系统，连接国家级中心和全国31个省级中心，以实现国家级和各省级之间的互联互通，保障气象信息传输、共享的时效性和可靠性。

CIMISS平台各级中心包括核心业务区、宽带网双向DMZ区(demililarized zone,隔离区)、互联网单向DMZ区、行业单向DMZ区4个网络区域，其中，核心业务区由业务网(LAN)、管理私网、IB网和存域网(SAN)组成。在4个网络区域内，共建立数据收发集群、数据加工处理集群、并行数据库服务器集群、数据存储管理集群、应用支撑与共享服务集群、业务监控平台与FTP集群、行业共享服务器集群、Internet共享服务器集群8个集群系统，分别部署五大业务应用系统和大型商用集群数据库系统(ORACLE)，实现其高可用性和可扩展性，避免单点故障，并通过负载均衡设备实现业务应用的负载均衡。此外，国家级、区域级、省级部门还配备高端阵列、大容量阵列和自动磁带库等多级存储设备，用于气象数据的存储、备份和归档，总体物理结构见图2。

图2 网络体系结构示意图Fig.2 Framework of communication network of CIMISS

CIMISS采用网状结构，国家级中心与31个省级中心之间采用MPLS VPN方式相连，各省级网络系统在各自现有网络系统架构基础上进行合理部署以满足信息共享平台建设的需要。此外，国家级中心还通过卫星广播系统向各省级中心下发国家级指导产品和各省所需的全球和全国观探测资料。

2.4 系统信息流程

CIMISS的核心目标是实现各种气象资料和产品的收集、加工、存储及服务，其业务逻辑具备流程化作业的特点，核心业务单元之间基于预定义的流程进行任务协作和数据交互。根据CIMISS的业务处理逻辑，可将业务处理过程划分为3个阶段：多源气象数据收集与分发阶段、气象数据产品加工与存储阶段、气象数据产品的共享服务阶段。

具体信息流程见图3。数据收集与分发系统通过多种网络链路收集气象数据，在对外部进行分发的同时，也完成对节点内部加工处理系统的数据分发，收发系统需要归档的数据，直接提交给存储管理系统归档；加工处理系统完成对气象数据的解码、质量控制和产品加工后，将生成的气象产品提交给存储管理系统入库，同时，将需要对外分发的气象产品返回给数据收集与分发系统；存储管理系统收到加工处理系统提交的气象产品后，完成入库操作，将数据存储在实时库、基础库中，并对加工系统和共享服务系统提供存储数据的调取服务；共享服务系统响应本地用户、行业用户和社会用户的数据检索请求，从存储管理系统提取气象数据返回给用户，实现气象数据的共享服务；数据收发系统、加工处理系统、存储管理系统和共享服务系统将本系统的统计和监控信息发送至业务监控系统，用于系统与应用的实时监控。

图3 CIMISS信息流程图Fig.3 Data flow of CIMISS

3 CIMISS提供的基础数据环境

3.1 CIMISS管理的气象资料

CIMISS管理的气象资料种类包含地面、高空、海洋、气象辐射、农业和生态、数值预报产品、大气成分、历史气候代用、灾害、雷达、卫星、科学试验和考察、气象服务产品和其他资料，共14大类、498个子类、1500个细目，既包括实时观测数据、各业务单位产品，也包括整编后的历史数据和加工产品。CIMISS对系统内运行和管理的资料建立全局数据目录，并通过元数据描述气象资料在系统内部收集、分发、处理、存储、归档、服务的业务流程。

地面、高空、海洋、气象辐射、农业和生态、大气成分资料，主要是站点类资料。地面、高空、海洋包括全球和国内资料，全球资料开始于1981年，主要来源于GTS，国内资料开始于1951年，主要来源于全国测站的观测资料，并实现了实时和历史资料的一体化存储管理，统一了历史资料和实时资料的数据格式、数据表示方法、精度、单位等，解决了实时资料和历史资料不一致的遗留问题。气象辐射、农气资料、大气成分主要为国内资料。数值分析和预报产品包括国内和国外数值预报系统的分析产品、预报产品和再分析产品等格点类资料，以GRIB1和GRIB2格式为主。国内模式产品包括T213，T639全球模式和GRAPES区域模式产品等，国外模式产品包括欧洲中心、日本、德国、美国等国家的数值天气预报产品。雷达资料包括我国160部以上多普勒天气雷达基数据、单站产品、全国或区域组网产品。卫星资料包括国内外气象卫星1～3级产品，国内包括极轨气象卫星FY-3A/B/C和静止气象卫星FY-2D/E/F产品，国外主要为十多颗卫星(如NOAA，TERRA，AQUA，MTSAT等)的产品。系统的日数据增量超过900 GB。

3.2 基础气象数据库

CIMISS通过构建统一的数据存储管理系统(数据库系统)，实现对各类气象数据的高效、完备、可扩充的一体化管理。按照用途和服务对象，气象数据库分为基础库、实时库、互联网库和行业库，各个库存储管理的数据范围和种类不同。基础库存储管理气象数据的全集，包括全部观测资料和产品、元数据和管理应用信息等，其他3个库均为基础库的子集。实时库是为满足实时气象业务快速访问需求而设立的体量较小的库，主要存储实时业务使用的实时和准实时资料，对以MICAPS应用为代表的实时气象业务系统提供实时服务；互联网库和行业库分别部署在互联网 DMZ区和行业DMZ区，根据具体的服务需求和存储设备容量限制存储短期的气象数据，并通过GDS对行业和公众用户提供数据服务，当用户需要的数据存储在基础库时，通过将所需数据推送到DMZ区直接供用户获取，既满足安全要求，又屏蔽大量公众用户和行业用户对基础库的访问压力，确保基础库对内部用户的服务能力。

气象数据库系统采用ORACLE联合文件系统的架构，实现对海量、高并发访问气象数据的全生命周期的存储管理。对于基础数据库中的雷达、卫星、数值预报产品，采用盘阵在线和磁带库近线的分级存储方式，其他资料均为盘阵在线存储，并实现用户对数据的透明访问。国家级基础数据库存储国内外各类资料和产品的全集，省级基础数据库可根据该省服务需求对资料种类和在线存储期限进行配置。国家级基础库的数据记录数日增量约1682万条，文件数日增量约为682万个，每天新增的数据容量大于900 GB。对于地面、高空、辐射、海洋等常规资料，实时和历史数据一体化永久在线存储。

3.3 数据服务和访问接口

CIMISS管理的气象资料通过GDS面向业务系统和个人、部门内外、行业内外的用户提供服务。提供4种数据服务方式：①订阅服务。实时业务用户可根据需求定制所需数据，即每日何时获取何种数据。系统根据用户要求，对数据进行专门加工处理后，将数据定时分发给用户。②Web检索下载。基于气象数据分级用户分类服务原则，GDS的数据服务网站为用户提供气象数据目录分类导航、定位，各类气象数据和产品的查询、下载和订购服务，支持基于Web GIS的可视化检索。③数据直接获取服务。采用ftp方式，建立气象资料快速下载服务。④业务系统API服务。面向业务系统提供基于脚本形式和可编程数据访问服务接口，支持C，FORTRAN，Java语言和Windows，Linux，UNIX应用平台。

4 关键技术

4.1 基于消息和文件共享的平台内信息交换

CIMISS平台通过业务控制信息的消息通信及基于共享文件目录的气象数据文件交换，实现平台各系统间业务信息的快速传递、业务流程的无缝衔接和业务数据的有效流转(图4)。

CIMISS平台利用消息队列的可靠异步传输机制，采用成熟的消息中间件集群部署，构建高性能、高可用的消息传输中心并对外提供统一标准的公共消息传输服务，降低系统的耦合度及管理复杂性，屏蔽底层异构平台和跨网络域业务交互，实现系统间或系统内不同功能逻辑单元的气象业务和控制指令信息的消息交互，并推动气象数据在系统间的流转，实现应用的互连和互操作。

CIMISS系统间及系统内功能单元之间大量气象数据的交换，则通过共享文件系统进行。共享文件系统保证在资源组内的所有节点可以并行访问整个文件系统，各系统通过约定交互数据文件目录及文件命名规则，制定相应的文件数据访问权限，通过共享文件系统，实现透明访问开放权限的所有存储文件和目录，以创建、复制、移动、硬链接、软链接等多种方式，有效保证业务软件之间气象数据文件的传递与交互。

消息交互方式和文件共享方式在CIMISS平台被综合运用，确保整个平台的高效、有序和稳定运行。对消息交互方式，还设计了基于共享文件方式的降级运行模式，在消息中心失效时，通过消息文件共享交换，继续完成业务的连续运行。

4.2 气象数据标准化体系

信息资源管理基础标准是指那些决定信息系统质量，也是进行信息资源管理的最基本的标准[8]。CIMISS平台建立气象数据标准化体系框架，包括气象数据分类及属性、气象数据处理加工算法、气象信息管理、气象数据服务接口(图5)。其中,气象数据分类及属性标准(包括气象资料分类编码、气象数据业务属性、要素物理量属性、全局气象数据目录等)是气象数据自身固有多维度属性的抽取、各类气象数据在气象信息系统中的身份注册及上下游追踪关系定义；气象数据处理加工算法标准是定义和规范气象数据在各业务环节处理过程中所使用的标准算法，确保全局数据处理的一致性和权威性；气象信息管理标准提出了气象信息资源管理布局和气象数据库规划，定义气象数据库存储结构和存储管理元数据；气象数据服务接口标准定义了全局用户数据访问视图，即最终用户对数据实体的访问接口、气象数据应用元数据及数据访问参数名值对、数据访问接口等。

图4 CIMISS平台基于消息和文件共享的平台内业务交互协作图Fig.4 Interchange and coordination of information between systems based on messages and files share

图5 CIMISS平台气象数据标准化体系框架图Fig.5 Framework of data standardization for CIMISS

通过系统地建立气象数据标准化体系框架，CIMISS平台全面规范了气象数据的全业务域、全业务流程收集、处理、存储和服务过程，实现平台内气象数据处理及过程的规范化。

4.3 数据处理作业调度和算法的动态扩展

CIMISS涉及大量实时观测资料高频次的加工处理，如在国家级中心每6 min 1次的全国近160部天气雷达上传数据的单站产品和全国拼图产品生成，给系统造成了很大压力。为提高系统处理性能，必须进行作业的有效调度和并行处理，作业的并行和作业任务的科学调度管理是提高系统运行效率的关键[9-11]。CIMISS的数据处理作业部署在高性能计算集群(HPC)上，集群采用主从结构构建并行计算环境，选取一个配置较好的节点作为主节点，它接收计算任务，并将计算任务进程划分成各个子任务，子任务进入待处理队列中。主节点负责对各个从节点进行管理和控制，根据当前各节点的配置状况、负载情况对作业进行调度，将计算任务分配给处理能力强的计算节点(图6)。HPC集群内的作业调度和负载均衡控制基于MPI实现，将多个数据处理任务根据负载均衡策略分配到多个计算节点上同时运行；负载均衡策略以基于业务预测的负载预定分配策略为主；对于计算量大的单个任务(如雷达组网产品生成任务)，进行任务内并行处理，即将任务拆分成多个可并行的作业，分配到多台计算节点上同时运行，从而最大限度利用计算资源，保证系统的时效性。

图6 数据处理任务分配与资源调度示意图Fig.6 Sketch map of task allocation and resource dispatch

为满足系统的可扩展性和可配置性需求，将数据处理算法组件化，采用算法组件热插拔技术以及基于脚本的流程配置技术，实现数据处理算法的动态扩展。在业务监控分系统的算法动态管理中，采用基于XML(eXtensible Markup Language)的组件注册及动态加载技术，实现气象资料处理算法的变更和扩展；在调度管理分系统中，使用LUA脚本控制策略、业务参数以及处理流程，可以通过对脚本的修改，实现对处理流程及其策略、算法参数的配置及扩展。

4.4 元数据应用

元数据(metadata)是描述数据的数据。元数据主要应用于描述数据资源和组织数据资源。前者通过对数据属性的描述，使用户理解数据的意义，更好地使用数据；后者通过有效组织数据，使网络化的数据资源易于发现、查找、管理、评价和共享[12]。目前，气象数据管理中多将元数据技术应用于对数据资源的描述[13-15]。

CIMISS平台设计了3类元数据分别用于数据的存储管理和共享服务,包括：①核心元数据(CMD)。CMD用来描述数据本身的、与气象业务相关的、相对静态的信息,每一个面向服务的气象数据集均有一个CMD定义及对应的数据说明文档(DDD)，很多CMD还有对应的数据格式说明文档、数据质量文档等附件。核心元数据由业务监控系统维护，并作为公共配置信息，同步到数据收发系统以外的其他业务系统使用。②管理元数据(MMD)。MMD用来描述与数据管理相关的、相对动态的信息，为每一个存储对象(一个或多个文件、目录、表，或者表的一部分)定义MMD，主要包含存储管理概要及统计信息、索引信息等。概要及统计信息包括数据量大小、数据完整性信息、存储状态(在线或离线)等。索引信息包括单个文件的文件名称、存取路径、时间、空间、文件大小、压缩打包情况等索引信息。管理元数据的变化频率高，由数据存储管理系统产生、维护，并通过MMD访问接口，为数据共享服务系统提供服务。③应用元数据(GMD)。GMD是共享服务系统的核心资源，GMD定义了数据资源属性和服务功能属性。资源属性从核心元数据CMD中抽取，服务功能属性包括数据结构基本信息、数据关联属性、功能说明、数据政策(使用限制)、协议格式信息、访问控制与认证信息等。通过GMD确定数据位置、服务接口、可提供的服务方式以及是否可服务。

4.5 公共配置信息管理

CIMISS平台内多个业务系统共同使用的业务配置信息称为公共配置信息(CCI)，包括资料属性、台站信息、气象要素、气象元数据、系统资源、监控管理策略、行政地理信息在内的7大类，MCP对这些CCI进行统一管理，提供编辑、修改、存储等管理功能，并采用基于消息服务的指令控制机制，当CCI发生变化时，由MCP负责向各业务系统发布变更控制指令，各系统接收到变更指令后同步变更CCI信息，并在此基础上更新相关的私有配置信息。该系统针对CCI的管理机制确保了在CIMISS平台内对于全局配置信息的统一管理，减少维护成本，保证信息的唯一性和准确性。

4.6 全流程业务监视和调度控制

MCP采用两级监控模式(综合监控和分监控)实现对平台内系统资源、业务应用及气象数据处理3个层面业务运行状态的实时监视、业务控制及统计分析。其中，综合监控是对业务系统宏观层面的集中监控、跨系统的业务运行状态监控以及全业务流程级别的策略控制，分监控完成对各个业务系统内部微观层面运行状态监控、接受来自综合监控的控制指令并实现本系统内部配置策略管理。

4.6.1 实时业务监视

实时监视功能采用分布式部署的任务调度器实现CIMISS平台各监视点原始监视信息的采集，经过多线程监视信息处理以及基于故障关联关系的故障分析，生成监视数据(各种性能指标及告警信息)，通过基于长链接的数据实时推送机制实现多种形式的监视数据展示，并通过气象资料血缘关系追踪机制实现对气象数据处理流程的综合监视，为运维管理用户提供多方位的监视手段。

针对MCP需要采集的原始监视信息的特点及监视点特性，设计了多种原始监视信息采集集群，包括任务抢占式采集集群和消息队列抢占式采集集群，确保业务应用原始监视信息和信息技术(IT)资源原始监视信息采集的负载均衡。采用基于缓存的原始监视信息处理机制。由于MCP在后台处理和页面展示过程中，需要频繁使用配置参数等策略信息，如告警信息(EI)的过滤压缩、基本关键性能指标(BKPI)的计算，MCP采用规范化规则定义技术，对过滤、压缩、计算等处理逻辑以格式化规则方式进行描述，MCP启动时，会将处理规则预先加载在内存中，当采集模块获取相关的原始监视信息后，处理模块会从内存中读取规则策略，并进行实时处理，大大减少了数据库输入/输出(I/O)操作，提高了程序执行的性能和稳定性。

通过气象资料血缘关系追踪机制实现对气象数据处理流程的综合监视。MCP通过对CCI资料属性信息的定义，建立气象数据血缘关系模型。CTS,DPC,SOD在实时业务处理过程中为分系统内定义每类资料赋予了实时处理状态特征，向MCP传输详细监视信息(DI)；MCP采用任务调度器进行基于血缘关系的关联统计与计算，形成所需的关键性能指标并实时展示。

4.6.2 业务控制

业务控制功能采用基于消息服务的指令控制机制，综合控制通过消息向业务系统发布业务变更控制指令，实现指令的注册、下达、确认、回滚和反馈。两级监控模式下的业务控制功能由综合监控中的总控与二级监控中的分控协同完成，该功能为两类影响业务运行的业务干预行为提供基于流程的控制与调度框架：跨系统的业务配置信息管理和业务指令控制。跨系统的业务配置信息管理采用工作流技术实现面向全平台的业务变更调度，通过流程编排、流程调度完成控制指令的下达以及公共配置信息、各系统私有配置信息的流程化变更。业务指令控制通过监控系统向各业务系统下达一系列的业务应用控制命令，干预业务运行过程。

业务控制框架一方面通过总控实现业务干预行为(业务配置、指令控制)的流程编排，启动干预控制流程，调度干预行为参与各方(各业务系统分控)依次执行控制行为；另一方面，通过各业务系统分控实现业务干预行为(业务配置、指令控制)的注册，接受总控发出的控制调度，执行实际的控制行为。

4.7 面向服务的多维度数据存储策略

4.7.1 数据整合

我国气象业务中对同种观测资料可能来源于多种实时上传资料，如降水观测资料可来源于地面天气报、地面补充天气报、长Z文件、日降水文件等。考虑到数据的唯一性和服务的便捷性，CIMISS数据库系统按照一定的策略，对同一资料，同一观测站、同一观测时间、同一要素不同来源的观测数据进行实时、定时、准实时和非实时数据等多个时间维度上的整合，形成一套统一的数据序列，屏蔽了编码、传输、处理业务对用户使用数据的影响。同时，对实时资料和历史资料进行统一定义，以统一的数据规格(如精度、特征值、表示方法等)进行处理，实现实时历史资料一体化存储。

4.7.2 结构化数据和非结构化数据的混合存储

CIMISS平台所管理的数据可分为结构化数据和非结构化数据。其中,地面、高空、海洋、辐射等大多数常规观测资料和特种观测资料可以通过关系模型来进行结构化描述，这些数据将被存储在关系数据库集群中，而雷达、卫星和数值天气预报等非结构化数据则适合采用文件目录方式直接存储，并在关系数据库中建立相应的索引和元数据描述信息。

存储在CIMISS平台关系型数据库集群中的结构化数据采用数据分表、数据分区、应用垂直分割、特定索引技术和索引分区、并行查询等，实现数据的有效管理并提供高效的访问。存储在CIMISS平台共享文件系统中的非结构化数据采用静态多级存储方式进行存储管理，国家级非结构化数据采用动态多级存储进行存储管理，通过迁移、回迁实现这些数据在高端、低端和磁带库之间的流动。

4.7.3 多维度多副本存储

为了提高服务时效，SOD对于用户常用资料采用了冗余的存储方式，即多种数据副本，为数据访问者下载时提供多种可能的选择，并提高总体的数据访问效率。数据副本包括全集副本和子集副本两种，副本按照一定的策略处理生成。策略定义了副本生成的规则，如数据的空间范围、台站范围、时间范围、文件组织方式等。

4.8 全局数据访问视图和统一访问接口

为用户提供数据应用开发接口(API)是CIMISS平台的重要功能。CIMISS应用全局数据访问视图技术，从用户使用数据角度定义CIMISS存储的全局数据，将其映射为统一规范的不同的接口类型。全局数据访问视图由标准的气象数据科学分类体系、面向服务的全局数据目录、数据时空要素等多维度科学属性定义、气象数据的元数据描述信息、数据逻辑结构、气象数据元定义等组成。在进行数据访问时，通过访问解析映射处理算法，将全局统一数据访问视图映射为气象数据库中的数据存储对象，并获取数据。

气象数据统一访问接口是面向不同平台和接口协议(Web服务、多种语言API、文件共享)的、由不同的气象数据访问参数和调取模板组合而成的一套数据读取/写入函数接口及脚本调用命令集，业务系统和用户通过输入访问参数并嵌入各数据服务接口或调用数据服务脚本命令，获取国家级数据环境中的气象数据和产品，或向国家级数据环境直接写入数据。数据统一服务接口具有多形式、可扩展、跨平台、网络化的特点。

数据统一访问接口根据数据的不同，包括站点资料、报文资料、模式资料、雷达资料、卫星资料等接口模型(图7)，每一类模型设计不同的接口参数。接口参数分为业务参数和系统参数，接口类型模型将各业务参数和系统参数组合成数据访问接口。

通过建立全局统一数据访问视图和统一访问接口，CIMISS平台实现对外屏蔽数据资源内容的具体逻辑组织形式和物理存储形式，使内部数据结构和存储方式的变化、调整和扩展对外部业务系统完全透明，降低了数据环境系统和外部业务应用系统之间的耦合度，保证数据资源使用的规范性、稳定性、可扩展性和持续性。

CIMISS平台API接口可根据业务需求通过配置快速生成新接口，实现即配置、即发布、即使用，实现了零代码开发，为快速响应业务系统新接口需求提供技术保障。

图7 CIMISS数据访问接口类型Fig.7 The model of application programming interfaces in CIMISS

5 CIMISS应用展望

对于数据管理者和数据服务提供者而言,CIMISS是气象资料的收集、加工处理、存储和服务平台。任何一种新增的气象资料或加工产品，均可划分为CIMISS定义的数据类别中的一类，获得相应数据代码，在系统中注册，可进入CIMISS从收集到服务的流程，纳入MCP的监控，实现该数据的规范管理和服务。当数据处理(如文件格式检查、解码、质量控制、产品生成)算法发生改变时，由于CIMISS采用了算法组件热插拔技术以及基于脚本的流程配置技术，相关的算法组件可以拆卸和重新装载，实现算法更新。

对于数据使用者而言,CIMISS提供了使用气象数据的环境。网上个人用户可通过GDS提供的Web页面检索和下载CIMISS管理的全部数据。CIMISS最重要的应用是为各种业务应用系统提供公共的后台数据支撑，为业务系统提供实时高效的数据访问接口。如目前中央气象台MICAPS系统[16]通过调用国家级气象资料存储检索系统[2]的实时数据库经预处理在本地生成文件供MICAPS检索，CIMISS将为MICAPS提供一种直接访问数据库的数据接口，既免除了生成MICAPS中间文件的过程以提高效率，也使MICAPS不必维护本地数据文件系统。省级MICAPS也将直接采用与国家级完全相同的数据调用方式，可以去除其后端的文件解码、MICAPS文件生成等数据预处理工作。目前，气候信息交互显示与分析平台(CIPAS)[17]使用的是完全独立的数据库系统，支持该系统对数据的需求，省级需要国家级提供实时文件拷贝。CIMISS也可为CIPAS提供所需的历史和实时数据环境，只需CIPAS修改系统输入数据接口，即可从CIMISS中获得所需的各类数据。

目前，国家级业务单位已有若干个基础数据管理和服务系统，包括国家级气象资料存储检索系统(MDSS)、风云气象卫星数据存档与服务系统、WMO全球信息系统中心北京中心(GISC-BJ)、气象科学数据共享服务网(CDC Online)等。CIMISS业务化运行后，将取代MDSS提供基础数据业务管理和服务；风云气象卫星数据存档与服务系统将作为CIMISS的有益补充，提供卫星数据和产品的管理和服务，为用户提供CIMISS未纳入管理范围内的卫星数据(如卫星0级和部分1级产品)服务；GISC-BJ则承担亚洲区域气象观测资料的国际交换和共享，是CIMISS不具备的功能。

由于CIMISS在国家级和省级部署，因此，在国家级和31个省级中心将为业务系统提供一致的数据环境，在国家级或任何一个省级运行的业务系统，只要其输入数据基于CIMISS提供的数据环境，便可在全国推广使用。

6 小 结

1) 全国综合气象信息共享平台(CIMISS)是集气象资料收集、加工处理、存储归档和共享服务等多种功能于一体的大型气象信息系统，平台分为5个应用系统，即数据收发系统(GTS)、加工处理系统(DPC)、存储管理系统(SOD)、共享服务系统(GDS)和业务监控系统(MCP),实现对国家级和省级数据中心收集的全部气象观测资料和产品的全流程管理和共享服务，包括资料收集、解码、质量控制、产品加工、数据库管理、数据备份、归档、Web检索下载、API接口服务等。

2) CIMISS管理的气象资料种类包含地面、高空、海洋、气象辐射、农业和生态、数值预报产品、大气成分、历史气候代用、灾害、雷达、卫星、科学试验和考察、气象服务产品和其他资料，共14大类，实现历史和实时资料的一体化管理。

3) 系统采用以数据为核心、以业务流程为主线、以需求为导向的设计理念，运用元数据、消息和文件共享机制、数据标准化分类、并行作业调度、多维度数据存储、全局数据访问视图和统一访问接口设计等多种先进的设计和实现技术，实现海量和复杂数据的有效管理以及规范、高效、稳定、可扩展的系统设计目标。

CIMISS的业务化将规范国家级和省级气象资料业务，实现全国气象资料业务流程、数据分类和表达、数据存储管理和数据服务接口的统一，为国家级和省级气象业务提供标准的、一致的数据环境，极大地发挥气象数据的应用效益。

[1] 熊安元,王伯民,王颖,等.气象资料分类与编码.中华人民共和国气象行业标准QX/T102—2009.北京:气象出版社,2009.

[2] 沈文海,赵芳,高华云,等.国家级气象资料存储检索系统的建立.应用气象学报,2004,15(6):727-736.

[3] 钱建梅,郑旭东.国家卫星气象中心气象卫星资料存档系统.应用气象学报,2003,14(6):756-762.

[4] 钱建梅,孙安来,徐喆,等.风云气象卫星数据存档与服务系统.应用气象学报,2012,23(3):369-376.

[5] Wang Fudi.WMO Information System:Beijing Global Information System Center.BullAmerMeteorSoc,2013,94:991-994，doi:10.1175/BAMS-D-11-00068.1.

[6] 李集明,熊安元.气象科学数据共享系统研究综述.应用气象学报,2004,15(增刊Ⅰ)：3-11.

[7] 李集明.基于Internet面向社会公益性共享的气象科学数据存储检索策略研究.气象科技,2007,35(4):589-592.

[8] 高复先.信息资源规划——信息化建设基础工程.北京:清华大学出版社,2002.

[9] 贾树泽,杨军,施进明,等.新一代气象卫星资料处理系统并行调度算法研究与应用.气象科技,2010,38(1):96-101.

[10] 曾艳.基于MPI的主从式并行任务分配的研究与实现.计算机应用与软件,2010,27(6):139-141.

[11] 伍湘君,陈德辉,宋君强,等.GRAPES全球格点模式的并行计算负载平衡策略.气象学报,2010,68(5):591-597.

[12] 祝婷,李湘.WMO信息系统中气象元数据的设计与实现.应用气象学报,2012,23(2):238-244．

[13] 魏亮,刘士彬,王杰生.基于元数据目录服务的地理空间数据共享.遥感技术与应用,2005,20(6):616-619．

[14] 王国复,徐枫,吴增祥.气象元数据标准与信息发布技术研究.应用气象学报,2005,16(1):114-121．

[15] 李集明,沈文海,王国复.气象信息共享平台及其关键技术研究.应用气象学报,2006,17(5):621-628.

[16] 李月安,曹莉,高嵩,等.MICAPS 预报业务平台现状与发展.气象,2010,36(7):50-55.

[17] 吴焕萍,张永强,孙家民,等.气候信息交互显示与分析平台(CIPAS)设计与实现.应用气象学报,2013,24(5):631-640．

Design and Implementation of China Integrated Meteorological Information Sharing System (CIMISS)

Xiong Anyuan Zhao Fang Wang Ying Zhang Xiaoying Gao Feng Deng Li Tan Xiaohua Ma Qiang

(NationalMeteorologicalInformationCenter,Beijing100081)

Meteorological data play a fundamental role in processes of meteorological operations and services. In recent 20 years, China has rapidly developed traditional and newly observational systems, which produce a large volume of meteorological data and products. To meet requirements of data management and services, China Integrated Meteorological Information Sharing System (CIMISS) is developed by National Meteorological Information Center of China Meteorological Administration. The design principle, system structure and data flow, and core technologies of this system are introduced and illustrated in detail. CIMISS is composed of five sub-systems, which are China Telecommunication System (CTS), Data Processing Center (DPC), Service-Oriented Database (SOD), Global Data Sharing (GDS), Monitoring and Control Platform (MCP). CIMISS is designed for undertaking a series of operations of meteorological data collecting, processing, storage, retrieval and dissemination. Data cover all real-time and historical meteorological observations and products, including 14 classes that are surface, upper-air, solar radiation, oceanic meteorology, agro-meteorology, radar, satellite, proxy climate, atmospheric chemistry, numeric model analysis and forecast, scientific experiment, meteorological disaster, meteorological service product and the others. Data cover the geographic area from China to global, and the period from 1951 to now. Real-time data come from all kind of meteorological observation networks in China, and the Global Telecommunication System of World Meteorological Organization.

A set of information technologies are introduced and developed to design and implement the system, including inner-system message switching based on message middleware and the parallel file system, classification and representation of meteorological data, the dynamic extension of data processing scheduling and algorithms, the design and application of 3 types of metadata, the management of common configuration information, monitoring and controlling for whole procedures of operational flow, service-oriented data storage strategy, the unified accessing view and application programming interface.

CIMISS will manage all kinds of operational meteorological data used in national and provincial meteorological operations and services, and supply data application environment for operations of national service centers and 31 provincial service centers. Users can access the data by Web page and by application programming interface (API).

meteorological data; CIMISS; data management; data service

10.11898/1001-7313.20150412

国家发展改革委员会项目“新一代天气雷达信息共享平台”

熊安元,赵芳,王颖,等. 全国综合气象信息共享系统的设计与实现. 应用气象学报，2015，26(4)：500-512.

2015-02-02收到， 2015-05-07收到再改稿。

* email: xay@cma.gov.cn