贵州省自有数据接入CIMISS流程介绍
2018-01-23李从英金石声
李从英，王 彪，金石声，郭 茜
(贵州省气象信息中心，贵阳 550002)
全国综合气象信息共享平台(China integrated meteorological information service system,下简称CIMISS)[1]作为中国气象局和省级气象部门统一的数据资源环境，为各业务单位用户提供强有力的数据支撑服务，解决了重复投资，资源浪费，数据标准不统一等问题。现阶段各省气象信息中心大力推进CIMISS系统与各单位业务系统对接工作，以接口应用为突破口，加快对接工作。为了解决贵州省自有数据接入和接口服务问题，建立全省业务数据共享流程，需要完成省级自有资料的解码、入库，并通过对API接口的研究提供省级自有资料的定制开发。
灾害性天气短临预报预警系统(severe weather auto nowforecasting 下简称SWAN)可提供丰富的实况监测和短临预报产品，是当前我国各级气象台站开展短时临近预报业务的主要平台。目前该系统的架构数据仍采用目录共享方式，数据共享存在系统安全及效率低下问题，因此在对CIMISS系统进行技术框架研究前提下，以SWAN产品接入为例，详细介绍了非结构化资料的接入流程，为该项技术的应用提供参考。
1 设计原理
结构化数据和非结构化数据的接入处理流程不同。SWAN产品属于非结构化资料。非结构化数据接入到CIMISS涉及到到数据收集与分发(China telecommunication system，下简称CTS[1-4])、数据加工处理系统(data processing center，下简称DPC[1-4])、数据存储管理系统(service-oriented data storage system 下简称SOD[1-4])，以及气象数据统一服务接口(meteorological unified service interface community ，下简称MUSIC)部分。CTS收集到数据后，根据配置将文件信息通过消息队列推送到DPC，同时将文件推送给CTS与DPC的接口目录；DPC根据配置，对SWAN产品进行重命名；将重命名产品信息通过消息队列推送到SOD，将产品文件推送到DPC与SOD接口目录；SOD接收到消息之后，根据入库和存储策略进行入库；最后通过配置MUSIC[5]，为用户提供可检索到相关数据的接口。
下面以接入变分法定量估测降水产品为例，介绍具体的设计过程。
2 具体设计
2.1 数据收集与分发
SWAN产品存放在专用服务器上，其框架是一个程序调度平台，用来按照条件调度服务器模块，并发送结果通知给对应的客户端。因此SWAN产品接入CIMISS系统，需要通过FTP将数据推送给CTS。CTS系统根据表1中的四级编码和对应的文件名(定量估测降水产品对应的原始文件名为Z_QPF_yyyymmddhhmmss. F030.bin. bz2，重命名后文件名为RADA_BEGY_DOR_L3_SWAN-QPF-F030-yyyyMMddHHmmss. bin. bz2，其中30表示30 min数据。)规则进行传输配置调整和文件名模板配置。
表1 变分法定量估测降水产品不同模块对应的编码
2.2 数据加工处理
DPC收到消息队列之后，需要根据以下四个配置文件对产品重命名，主要包括原始资料处理配置文件rawdatajudge.xml，重命名原始信息配置文件rawfileinfo.xml，重命名产品信息配置文件rawfilerename.xml，产品处理配置文件prodatajudge.xml。其中rawdatajudge.xml中rename为1，其他参数为0；prodatajudge.xml中storage为1，其余为0。根据原始文件名，在重命名原始信息配置文件rawfileinfo.xml中添加如下配置。
rawfileinfo.xml会将原始文件的文件名按分隔符(- _.)划分成不同的字段，赋值给不同的变量名；重命名时会使用其中的某些字段。由于该类资料有60 min数据和30 min数据，因此F030位置用一个变量JG来代替。
根据重命名后的文件名信息，在重命名产品信息配置文件rawfilerename.xml中添加以下重命名规范。
配置好之后，重启DPC系统，使以上配置生效。
2.3 数据存储管理系统
新接入非结构化资料后，SOD系统需要调整支撑SOD应用系统的数据库、创建存储结构和入库策略。其中支撑库调整包括新增资料信息表dmin_data_type_tab，要素属性信息表dmin_column_tab，资料要素对应关系信息dmin_data_element_tab。
2.3.1 支撑库调整 新增资料信息，需在dmin_data_type_tab增加资料信息(表2)；在dmin_data_element_tab表中增加要素对应关系信息(表3)。为了方便显示和查询不同时间属性的资料，在dmin_column_tab要素属性信息表中增加V_PROD_H字段，用来表示产品时间标识符。
表2 dmin_data_type_tab新增资料信息
表3 dmin_data_element_tab表中新增信息
2.3.2 创建存储结构 在存储管理业务系统界面创建存储结构，根据贵州省具体情况确定入基础库位置，资料存储类型选择文件目录类型，管理字段类型选择雷达文件9，表名为RADA_CHN_DOR_L3_SWAN创建目录策略为年月日。并为表添加一个唯一索引和一个一般索引。
2.3.3 建入库策略 根据重命名后的文件名格式,设计入库策略以RADA_BEGY_DOR_L3_SWAN-QPF-F030-yyyyMMddHHmmss. bin. bz2文件为例，入库策略配置如表4。配置完成后，重启调度，使入库策略生效。
2.4 接口配置
2.4.1 更新支撑库的三张元数据表 为了更新资料的四级编码与资料中文名称对应关系，资料四级编码与存储的数据表名的对应关系，数据表名与数据表要素字段的对应关系，需要更新支撑库中对应的三张元数据表(DMIN_DATA_ID_DEFINE、DMIN_DATA_ID_TABLE、DIMN_DATA_TABLE_FIELD)。即将新接入的资料信息加入到这三张表中。
表4 入库策略配置信息
2.4.2 定义资料别名 在MUSIC接口支撑库中，增加新接入的变分法定量估测降水产品资料的定义。使用USR_GDS_API账户登录支撑库，将新增资料信息更新至api_data_define表。根据实际情况填写表中各个字段的信息。
2.4.3 为新增资料配置适用接口 进入接口后台管理网站，点击“气象资料”—“ 气象资料定义”，找到新增的雷达资料，并点击右侧的查询按钮，进入对该资料进行配置界面，在上方有相应的读写接口的配置，勾选合适的接口类别。配置完成后，在接口前台可以获取相应的数据。
3 结语
将SWAN产品接入CIMISS统一的数据环境中，为SWAN产品提供统一管理，同时用户可以通过接口准确定位产品。其他非结构化数据可参照SWAN产品的接入方法接入CIMISS，丰富接口数据，为用户提供更快捷、更全面的服务。
[1] 熊安元，赵芳，王颖，等.全国综合气象信息共享系统的设计与实现[J].应用气象学报，2015，26(4)：500-512.
[2] 国家气象信息中心.全国综合气象信息共享平台总体设计总论卷[Z].2009.
[3] 国家气象信息中心.全国综合气象信息共享平台(CIMISS)总体设计架构[Z].2011.
[4] 国家气象信息中心.全国综合气象信息共享平台内部技术规范：气象数据共享分级及其用户分类[Z].2010.
[5] 史彩霞，李颖智，张许斌.基于CIMISS的广西气象服务信息综合业务系统的设计与实现[J].气象研究与应用,2016，37(4)：82-85.
