湖南省气象业务内网平台的设计与实现

钟艳雯 尹新怀 朱亮 冯冼 夏正龙

摘要：为了实现业务系统的集约整合，提供一站式数据在线访问和共享服务，建设了湖南省气象业务内网平台。该平台基于通用的J2EE应用架构;使用统一数据源;采用分布式架构，利用大数据技术提升查询统计速度;通过自定义各种组件实现地图图层叠加。该平台为省市县用户提供统一业务数据、产品与信息服务，为气象预报、测报、管理等业务提供有效补充手段和数据支撑。

关键词：气象业务内网;数据;分布式数据环境

中图分类号：S163

文献标识码：A

文章编号：0439-8114（ 2020） 20-0155-04

DOl：10.1408 8/j .cnki.issn0439-8114.2020.20.035

随着气象事业的发展，多来源、高密度、精细化的气象观测资料及产品对数据处理、应用、共享提出了新的要求，因此中国气象局及各省气象部门先后开展了内部信息资源整合工作，构建内部“业务内网”系统[1-5]。湖南省各类业务系统数量大、小而散现象突出，需要统一的平台进行集约整合;预测、预警、决策等用户需要统一的数据环境提供数据支撑与服务;基层各业务单位需要对各类气象数据与产品集中、便捷的在线访问[6，7]。为了充分发挥地面、高空、雷达、数值预报、卫星云图等气象资料的整体效益，实时、准确地获取观测数据与气象产品，增强对暴雨、冰雹、大风等灾害性天气的监测能力和气象防灾减灾能力，助力公众服务与农业生产，湖南省按照集约化发展思路，建设了气象业务内网平台（以下简称平台）。作为湖南省内统一的业务产品展示、服务和业务管理信息综合共享平台，气象业务内网平台满足了省内业务、管理和服务需求，实现了省一市一县三级用户信息共享和一站式在线访问，同时为预报、测报、管理等业务提供有效补充手段和数据支撑。

1 系统设计与实现

平台的建设目标为基于统一数据环境，构建湖南省气象部门内部统一的业务数据、产品与信息共享门户系统;面向省内用户信息的共享和应用需求，向省一市一县三级用户提供快捷、高效的产品访问与共享支撑;提供省内实时观测、预报预警、气候业务、气象信息业务等气象信息与产品的一站式可视化展示。

1.1 系统架构

采用“云端部署、终端应用”的模式建设，在省级分布式数据环境中建立一套部署在省级，以CIMISS（China Integrated Meteorological Information SharingSystem，即全国综合气象信息共享系统）为主要数据源，为省一市一县用户提供统一业务数据、产品与信息服务[8]。该平台包括信息收集与处理系统、数据存储管理系统、信息共享服务系统等三个子系统，总体结构如图1所示。

该平台基于通用的J2EE应用架构（Velocity+SpringBoot），从逻辑上分为表现层、应用层、数据层（图2）。表现层是基于浏览器的客户端，为用户呈现一个丰富的、具有高交互性的可视化界面，以图文一体化的方式显示空间和属性信息，同时也为用户提供地图交互、信息查询、地图分析的交互接口。应用层接收来自客户端的请求，并根据用户请求类型做出相应响应;通过WebCIS服务器Ⅱ向应空间数据和属性数据请求，对空间数据进行分析和控制，同时利用应用网关、远程服务与业务数据库进行交互，完成业务数据的查询。数据层是平台的底层，负责空间数据的存取机制，维护各种数据之间的关系，并提供数据备份、数据存档、数据安全机制，为整个平台提供数据保障。平台建立了基于配置的产品发布模式，实现了数据获取与前端显示功能的独立分离，屏蔽了大量的后台数据获取复杂逻辑，每个数据获取逻辑只需在配置界面配置数据源、获取频次以及获取方式，在显示端即可通过制定ID方式获取所需数据，并使整个开发更专注于前端展示页面，考虑业务用户需求体验，后端数据源甚至数据结构的变化可以通过一键式配置快速调整，有效应对气象数据多样性特点。

该平台主要包括信息收集与处理系统、数据存储管理系统、信息共享服务系统三个子系统。信息收集与处理子系统依托地面宽带网以及CIMISS系统，快速、完整地收集各類气象资料数据及气象服务产品;根据业务的需求，对相关数据进行解码、格式转换、数据反演等处理加工，生成各类气象监测、服务产品等，并提供数据采集、分发、处理情况的监控以及监控信息的统计分析功能。数据存储管理子系统以文件和结构化数据库相结合的方式，建立高效、安全、稳定的数据存储管理子系统;采用科学合理的管理机制，提供统一、分级的数据检索接口和服务，满足用户对气象数据资料检索访问的各种需求，具有历史实时数据导入、追加、更新、数据的备份和恢复、数据清理维护等功能，并提供数据入库、存储资源使用情况的监控以及监控信息的统计分析功能。信息共享服务子系统采用共享文件目录接口、Web网站等方式，发布和管理各种基础数据、监测、预测和预警服务综合信息，为用户提供针对性的气象数据和产品的目录导航、数据检索、查看、下载以及数据统计分析等共享服务，并提供信息发布、访问情况的监控，以及监控信息的统计分析功能，具体功能结构划分如下图3。

1.2 数据库设计

为了提高访问速度，需要对常用的观测数据、预报产品、运维数据等进行统一管理。考虑数据量达到TB级，通过对比选用了基于Hadoop的HBase大数据平台。按照功能分为站点数据表，自动站观测数据表以及业务数据表共35个。根据数据存储时效，数据表可分为永久数据表和固定时间数据表。永久数据表表示数据存储时效不受限制，可以永久保存。固定时间数据表指为保证数据的可维护性。数据表将从插入时间开始，根据存储时效，将超过存储时效的数据每日定时清理。根据不同数据表存储量大小，为避免单表数据量过大，需要设计单表的分区策略。同时为加快数据查询速度，可以建立对应的索引信息[8，9]。

1.3 安装部署

平台硬件资源使用5台通用X86服务器组成服务器集群，内部数据交换采用两个万兆交换机堆叠，外部数据访问采用两个千兆交换机堆叠。平台操作系统为CentOS Linux，建立基于Hadoop的分布式数据环境并进行相关软件部署。服务器部署情况如表1所示。

1.4 关键技术

1.4.1 基于CIMISS的统一数据环境基于模块化和松耦合的设计思路，平台对CIMISS的接口调用客户端进行了轻量级的封装，并且提供了一个JS库用来在浏览器端直接访问CIMISS获取数据，方便和规范系统各模块对CIMISS接口的调用。同时提供了超时处理，即保证在CIMISS无响应的情况下不会导致该系统请求线程不释放而耗尽线程资源。在需要查询气象数据资料的模块，平台主要通过调用CIMISS接口的方式获取资料。对于目前无法从CIMISS获取的数据资料，平台暂时从其他数据库或网络文件夹上获取，同时留下数据接口，以便下一步进行对接。

1.4.2 分布式服务器集群技术内网平台对周边6省将近2万个自动站的分钟实况数据进行实时展示，对于此类大范围、多要素、高频次的数据，平台采取的策略是：一是在硬件上采用高性能服务器组成服务器集群;二是在软件上采用Hadoop大数据分析技术，利用HBase数据库、Kafka、Tachyon，Spark、Phoenix等组件，提升自动站查询统计速度的问题[10-12]。

1.4.3 WebCIS展示技术平台设计基于JavaScript的WebGIS框架，通过自定义各种组件，实现地图图层叠加。表现层的各种显示通过定制功能组件完成，各个组件互相通信，协同工作;利用ArcCIS APl完成地图渲染、绘制及客户端数据处理。应用层地图服务采用动态地图渲染和地图切片技术相结合的方式来发布，对于底层不经常变化的地图数据和地图背景，利用地图切片技术，以四叉树方式对同一地图在n级不同比例尺下进行切分，按照先比例尺等级再图片所在行对地图进行切片，然后对图片所在列的文件目录方式进行组织并存储在服务端;上层实时变化的气象数据则采用动态渲染。数据层利用WebGIS实现多源数据的叠加显示、空间分析等综合利用，主要实现自动站与雷达图、云图、预报产品、等值线分析产品的叠加显示;自动站的要素平面填图、基于地图的站点要素统计查询及动态显示;雷达图在WebCIS里面的时间序列动画显示等功能。

2 应用效果

该平台于2018年2月在湖南省测试运行，2019年7月正式运行，期间得到了省、市、县三级用户的广泛应用及高度好评。建立了预报服务产品集约共享机制，整合了省、市气象台的各类产品及水文、环保等行业交换数据，实现了一体化查询与展示，在为气象部门内部提供数据服务的同时，为湖南省防汛办、长江流域气象中心等部门提供了数据共享，充分发挥了数据的整体效益。目前平台包含实况监测、预报预警、服务产品以及业务管理4大板块18个栏目，近2 000种产品，并随着气象业务服务需求拓展不断增长，为基层气象部门业务服务提供了丰富的数据与产品支撑。该平台实现了管理规范查阅、传输质量监控统计、预报质量评估结果展示等功能，融合了业务服务与管理，有效促进了气象业务质量提升;湖南省传输及时率达到100%的资料种类由2017年的4类增长到2019年上半年的7类，数据可用性也明显增长。在汛期关键时期，一线业务服务人员可直接采用平台产品快速制作各类决策服务材料，利用高效的分钟级实况数据及时发布监测警报，在气象防灾减灾中发挥了不可或缺的作用。

3 结语

内网平台根据业务特点，聚合数据和服务，存储、计算资源向省级集中，通信资源向外延伸，形成“一级部署、多级应用”的业务布局，实现了“一平台”提供省市县三级应用，“一窗口”支撑气象预报预警服务，“一站式”提供数据加工处理与共享，“一体化”整合信息业务服务与管理。随着气象业务及信息网络技术发展，平台将为省内用户提供更快捷、更高效、更智能的数据支撑与服务。

参考文献：

[1]张志强，张强，胡星，等.国家气象业务内网设计与实现[J].安徽农业科学，2016，44（6）：224-227

[2]李新庆，卫建国，单新兰，等.宁夏气象业务内网的功能与实现[J].干旱气象，2017，35（6）：1077-1083。

[3]王会品，王洪祥，孙悦程，等.基于，ArcGIS的大连气象内网业务平台设计与实现[J].湖北农业科学，2018，57（11）：111-112，117

[4]詹利群，任晓炜，黄志，等广西气象业务内网功能设计与实现[J].气象研究与应用，2019，40（1）：71-76.

[5]朱倩雨，宋雅婷气象业务内网中业务管理模块的应用[J].沙漠与绿洲气象，2016（ Sl）：140-141.

[6] QX/Tl02-2009，气象资料分类与编码[s].

[7]熊安元，赵芳，王颖，等.全国综合气象信息共享系统的设计与实现[J]应用气象学报，2015，26（4）：500-512

[8]钱建梅，孙安来，徐韶，等.风云气象卫星数据存档与服务系统[J].应用气象学报，2012，23（3）：369-376.

[9]張洁，薛胜军云计算环境下气象大数据服务的应用[J].安徽农业科学，2016，44（5），298-301.

[10j LARS G.HBase权威指南[M]北京：人民邮电出版社，2013.

[11]陆嘉恒.Hadoop实战[M].第2版北京：机械工业出版社，2012.

[12]肖卫青，杨润芝，胡开喜，等Hadoop在气象数据密集型处理领域中的应用[J]气象科技，2015（5）：53-58.

作者简介：钟艳雯（1976-），女，广西柳州人，高级工程师，硕士，主要从事气象信息处理方面的研究，（电话）0731-85600000（电子信箱）cs-yw@163.com;通信作者，尹新怀（1968-），男，湖南邵阳人，高级工程师，硕士，主要从事气象信息处理与气象业务系统开发方面的研究.（电话）0731-85534785（电子信箱）yinlb@foxmail.com。