基于CIMISS的智能网格文件监控平台应用研究

王立俊，谢寒生，叶 钒，梁宝龙，刘 懿

(1.海南省气象信息中心，海南 海口 570203；2.海南省南海气象防灾减灾重点实验室，海南 海口 570203)

0 引 言

近年来，随着气象信息化、现代化的迅猛发展，气象预报和服务已成为人们出行和工作的关注重点之一。2017年，中国气象局开展了国-省级智能网格气象预报环境的部署工作，实现了全国智能网格气象预报服务“一张网”的业务要求。这张网每3小时发布未来10天的天气预报信息，实现了人们可随时随地阅览指定地区的天气预报服务，在空间上达到5 km×5 km范围[1-2]。目前，本省已完成省级智能网格气象预报环境的部署工作，但省级环境没有相应的监控平台来监控各类网格文件的同步情况，使得值班人员监控效率低下。为了保障气象业务工作中对网格文件的需求，需要建立网格文件监控平台，使值班人员及时发现网格文件的缺失情况，尽早采取有效的解决方法。

针对上述问题，设计和研发了一套基于CIMISS的省级智能网格文件监控平台，实现了网格文件的实时监控[3]。当监测到异常时，根据预警配置，在监控页面弹出预警窗口，且播放警告声音，提醒值班人员尽早处理异常。系统试运行表明，系统实时监控网格文件的同步情况，减轻了值班人员的监控压力，有效保障了网格文件的传输和共享。

1 平台设计

智能网格业务信息流程如图1所示。(1)当国家级智能网格服务器(以下简称为国家级服务器)有新的网格文件产生后，省级智能网格服务器(以下简称为省级服务器)将根据本地的配置，实时同步国家级服务器不同目录中最新的网格文件。(2)将省级订正产品存放到省级服务器的指定目录下，由省级服务器上传到国家级服务器。网格文件的下载或上传操作完成后，省级服务器会将网格文件的相关信息写入到省级CIMISS集群环境中的数据库表中，由CIMISS提供相应的接口来访问这类信息。

目前，省级智能网格环境没有相应的监控平台，数据同步可能会因某些异常故障而停止，无法向其他气象业务系统提供最新的网格资料。因此，为了更好地保障其他气象业务系统对网格资料的需求，研究、开发了一个基于CIMISS的智能网格文件监控平台，用于实时监控、预警网格文件的同步情况。

图1 智能网格业务信息流程

1.1 平台功能分析

根据业务需要及值班人员的需求，平台允许多名使用人员同时在线操作，主要提供以下功能。

(1)网格文件实时监控。平台后台实时监控网格文件的上行/下行状态，若发现异常，向值班人员发出提示预警。

(2)网格文件检索。平台提供自定义时间段和类型的网格文件检索，便于查找特定的网格文件。

(3)网格文件上行/下行数据统计。平台提供自定义时间段和类型的网格文件上行(下行)数据统计。

1.2 平台架构

由于省级智能网格环境没有相应的监控平台，值班人员只能远程登录智能网格服务器，切换到不同网格文件的同步目录下，使用Linux指令查看文件的同步情况，监控操作繁琐且不直观，造成值班人员监控效率低下。所以，参考本省或其他省份已有的监控系统[4-7]，根据本省的差异性，分析、总结本省智能网格文件的监控流程，如图2所示。采用分层和模块化的设计方法，设计整个平台的功能模块。

监控平台主要有4个功能模块，分别是文件监控，文件查询，文件统计和人员管理。

(1)文件监控功能模块主要是后台调用CIMISS接口读取网格文件的相关信息，智能生成网格文件监控列表，实现对网格文件同步情况(文件上行和下行是否成功)进行实时监控。若后台监控到同步异常行为，则在前台的监控页面上弹出提示窗口，并发出告警声音提示值班人员。

(2)文件查询功能模块主要是为使用人员提供详细的文件查询功能，用来确认某些文件是否存在于省级本地共享数据池中。使用人员设置查询时间和文件类型，提交查询请求，后台检索出符合要求的文件记录数，并将结果返回至前台页面，使用人员阅览查询结果，确认所要查找的文件是否存在。

(3)文件统计功能模块主要是为使用人员提供统计网格文件的功能，用于统计某时段的网格文件下载情况。使用人员设置好统计时间段和统计参数，提交统计请求，后台统计出所需时间段内的文件记录数，并将加工后的数据返回至前台页面，前台页面调用HighCharts工具将统计结果绘制成相应的图表。

(4)人员管理功能模块主要是管理人员管理其他用户的基本信息和权限信息。目前平台的用户分为值班用户和管理用户两类角色，不同权限的平台用户的访问级别不同。值班用户是给运控科值班人员使用的，能对网格文件的同步状态进行实时监控，可以查看某时间段的网格文件信息；而管理用户负责保障系统的正常运行，并可以使用平台的所有功能，管理用户可按天、月或年来统计网格文件的相关信息，分析不同时间节点上网格文件的同步情况。

图2 平台监控流程

平台监控流程主要实时监控各类网格文件的同步情况，监控流程如图2所示，若触发预警条件，则预警。主要流程如下：监控页面打开后，后台会自动加载监控配置，智能生成CIMISS接口的调取配置。根据调取配置信息，后台逐一发起数据调取请求，从CIMISS平台获取到相应的数据后，后台对数据进行再加工，智能生成当天最新时次的监控列表，并展示到前台监控页面上。如果后台监测到监控列表中某类或多类格点文件的同步情况存在异常，则会触发预警，后台将预警结果反馈到监控页面，由监控页面将预警结果弹框显示，并发出告警蜂鸣声提醒值班人员处理异常。

结合业务需求和值班人员的需要，根据上文的平台监控流程，设计平台的整体架构和功能模块。平台的应用和数据库服务器通过气象内部专用网络进行通信，两者相互独立，当业务服务器发生故障时，能快速切换到备用服务器上，保障监控业务间断时间在容错范围内。

2 关键技术应用

应用服务器和数据库服务器是相互分离的，定时更新备用服务器上的应用配置和数据库数据。应用服务器采用Apache Tomcat作为Web容器，选用Microsoft SQL Server作为业务数据库。平台应用是基于多层组建式B/S架构[8-9]，采用Java语言，采用SSH框架(Struts2、Spring和Hibernate)实现的。平台具有良好的可维护性和可扩展性。

2.1 CIMISS简述

气象信息共享系统(China integrated meteorologi-cal information service system，CIMISS)部署于国家和各省级气象信息中心，主要负责各种气象资料和产品的收集、加工、存储及服务，是气象业务、服务和管理的核心基础数据支撑平台[10]。

CIMISS由五大功能系统组成，分别是收集与分发模块(CTS)、数据加工处理模块(DPC)、数据存储管理模块(SOD)、综合业务监控模块(MCP)和数据共享服务模块(GDS)。工作流程如下所述：台站将收集的气象观测数据发送至CTS，CTS对上传数据进行多种格式检验，快速质控等操作后，将处理后的数据进行多路分发，一路上行至国家级，一路至DPC；DPC接收到数据后，会对数据进行解码、质控等操作，结构化数据由DPC的数据简约处理流程负责入库，非结构化数据由SOD负责入库。MCP收集CTS、DPC和SOD执行操作产生的运行及告警信息，实现对各类气象数据的监控预警。同时，CIMISS通过接口形式(MUSIC接口)对外提供数据读写功能，该平台是基于CIMISS接口的应用研发。

2.2 SSH框架

SSH框架整合Struts2、Spring和Hibernate的应用特性，是目前主流的轻量级J2EE软件开发架构。使用SSH框架开发，能较好地对系统分层解耦，既有利于明确项目开发中各类人员的分工，提高开发效率，缩短开发周期，也有利于系统后期具有良好的可扩展性和可维护性。Struts2在三者中充当逻辑层的客户端，是所有业务逻辑的表现层[11]；Spring负责控制业务对象转换传递、业务逻辑组织及事务控制等工作，是连接Struts2和Hibernate的中间层[12]；Hibernate采用O/R Mapping技术来实现业务数据的持久化存储，负责与底层数据库进行交互。

其中，Struts2是以Webwork为核心的逻辑控制器，采用拦截器机制来处理用户提交的请求，将Servlet与业务逻辑控制器分离。Spring是一个轻量级的Java Web框架，通过配置文件及事务管理机制，可灵活管理多种数据库，提供多元化的业务逻辑[13-14]。Hibernate采用O/R Mapping技术，通过配置XML文件或Annotation注解为Java对象和数据库表结构建立一种或多种映射关系，操控对象即操作数据库[15-16]。

2.3 HighCharts

HighCharts是一个用纯JavaScript编写的图表库，完全基于HTML5技术，不同于Flash和Java需要插件才可以运行，运行速度快[17]。HighCharts兼容IE6+、Chrome和FireFox等浏览器，能够保证在不同的浏览器上做到展现效果和使用体验一致性，完美支持移动端，提供丰富的图表类型和方便快捷的HTML5交互性图表库，可支持直线图、饼状图、柱状图等多达20种图表，可以集成多种图表在同一Web控件中。在HighCharts中，图表的配置只需要通过操作JSON对象就可以实现，所有的配置都是JSON对象[18]，提供丰富灵活的API，能动态增加、修改、删除数据列、数据点、坐标轴等操作，使用户能精准控制图表的每一个细节。

2.4 数据库存储机制

由于目前CIMISS接口平台提供的网格文件接口较少，在使用文件统计功能模块的过程中，后台会多次调用CIMISS接口获取数据，并对获取数据进行再处理。当单人或多人使用接口统计长时间序列数据时，后台等待CIMISS返回数据的时间较长。

针对该问题，平台使用MSSQL数据库的存储机制，引入缓存表，利用缓存表来存储已提交统计请求产生的统计结果，以便用户再次统计时，能快速地形成统计结果。文件统计工作流程如图3所示。当用户提交统计请求时，后台先查询缓存表中是否包含用户所需的数据，会产生以下3种情况：

(1)不包含情况：后台自动调用CIMISS接口获取数据，加工完成后，反馈统计结果至前台；

(2)部分包含情况：后台先从缓存表中将已有符合统计条件的数据取出(数据集1)，并重新调整统计条件，从当天统计条件中剔除掉已有数据的时间段，形成新的统计条件，根据新的统计条件，调用CIMISS接口获取剩余数据(数据集2)，最后拼接数据集1和2，形成统计结果，反馈至前天；

(3)全包含情况：后台直接从缓存表中获取统计结果，反馈至前台。

图3 网格文件统计流程

2.4.1 平台环境

文中使用Java编程语言来实现文件监控业务平台，平台的系统参数如表1所示。

表1 平台系统参数

2.4.2 业务数据集

由于省级智能网格预报环境是2017年6月于本省部署、运行，所使用数据集为2017年8月至6月的业务数据。

2.4.3 结果分析

基于不同时间段的业务数据集，平台的文件统计模块在是否使用缓存表的响应时间如表2所示。其中t1，t2，t3分别为缓存表中不包含，部分包含，包含统计数据时执行操作的时间开销，部分包含情况文中模拟包含一半统计结果时的情况；日值、月值和年值统计操作的数据范围分别为2018年1月4日至7月4日，2018年1月至6月和2017年至2018年，日值、月值和年值统计操作分别执行10次，t1，t2，t3分别取平均值。

表2 结果对比

结果对比如表2所示。未使用缓存表时，执行统计操作所需的时间开销t1远远大于时间开销t3，这是因为缓存表中如果有用户提交的统计结果，可以直接将结果反馈给用户，而不需要等待调用接口返回的数据。当缓存表仅包含用户所需的部分统计结果时，执行统计操作的时间开销t1也大于时间开销t2，这是因为缓存表中包含部分结果，后台会自动调整统计条件，只需要调用接口去获取未包含的数据，并由后台自动拼接两部分数据，反馈最终结果给用户。因此，在统计模块中引入缓存表，能较大地减少单人或多人使用CIMISS接口统计长时间序列时的等待时间。

3 平台实现

根据上述的平台设计和关键技术的运用，平台实现后，能提供网格文件实时监控、查询、统计分析等功能，简要地介绍下平台的功能。

(1)系统启动后，后台程序会自动实时监测各类格点文件的同步情况，并根据系统自定义的规则，生成最新时次各类格点文件的监控列表，前台接收到新的监控列表后，自动抽取列表中的监控信息，在浏览器上展示出来。

(2)在浏览器中打开监控页面，后台会自动监控资料的同步情况。若后台生成新的监控列表时，监测到异常，后台会根据系统自定义的告警规则，生成相应的预警内容，反馈至前台监控页面。前台监控页面接收到后台反馈的异常信息，弹出相应的报错对话框，并播放警告声音，提示值班人员尽快去处理问题，如图4(a)所示。

(3)当系统使用人员需要查找某个特定格点文件时，可以使用平台的文件检索功能，来检索特定时间段的格点文件信息。系统使用人员提交带有检索条件的请求至后台，后台会根据检索条件，自动调用相应的CIMISS接口获取格点文件信息，并对CIMISS接口返回的文件信息进行加工再处理，对文件的内容分类进行转化，让使用人员能更直观地定位和阅览文件信息。

(4)通过平台的文件统计功能，系统管理员可以统计某个时间段的格点文件同步情况。系统管理员选定所需的时间段(日、月或年)和文件类型，由后台系统根据统计条件来调取CIMISS接口获取文件或缓存表中文件的同步个数，自动整合调用结果，生成HighCharts图标所需的数据格式，最终返回展示在前台页面上，如图4(b)所示。由系统管理员阅览处理结果，分析格点文件的同步情况，判断文件同步行为是否正常。在该模块中使用了数据存储机制，能有效地减少统计等待时间。

(a)文件监控页面

(b)网格文件统计

4 结束语

针对省级智能网格预报气象预报环境没有相应的监控平台，运控人员的值班压力大的问题，对比并借鉴了本省和外省已有的业务监控系统，结合本省智能网格业务的差异性，分析、总结省级智能网格文件监控流程，设计、研发了一个基于CIMISS的智能网格文件监控平台，用于实时监控省级智能网格文件的同步情况。若平台监测到异常，值班人员能及时收到平台发出的告警，快速处理异常，有效地保障了其他气象业务系统对网格文件的需求。平台试运行阶段，各功能模块运行正常。