广西对流尺度数值预报数据传输系统的设计与实现

马 军，刘 桨，李 莹

（广西壮族自治区气象信息中心，南宁 530022）

引言

在气象灾害频发的背景下，短时临近天气预报作为国家防灾减灾的迫切需求，同时也是气象领域研究的重点［1］。广西地理环境复杂，给对流天气发生提供了有利的热力、动力条件［2］，使得广西气象灾害具有种类多、活动频繁、危害严重等特点［3］。随着现代气象技术的发展，数值预报产品已成为各级气象台站预报的重要参考［4］。为了提升广西气象预报业务能力，在中国气象局／广东省区域数值天气预报重点实验室的技术支持下，广西壮族自治区气象局基于华南短临预报模式CMA-GD（R1KM）研发了广西对流尺度数值预报模式。该模式根据广西的实际情况，经过地形和地表类型修正、模式物理过程参数优化、多源资料同化改进云背景场等处理，在广州超算中心完成移植运行。然而，由于数值预报产品具有文件数量大、信息量大、格式复杂、传输时效要求高等特点，这类新资料的传输存在效率不高、数据交互性差、缺乏监控补调功能等诸多问题［5］。因此，如何建设一套完善的传输体系以支撑数值预报产品的落地是值得研究和思考的。

目前，全国各省市气象局开展了许多与气象数据传输业务相关的系统开发与平台建设工作。梁宝龙等［6］采用气象数据共享的方式，构建了气象数据的快速推送系统，在海南省气象局的内网中实现了实时推送功能。韩书丽等［7］针对卫星广播系统存在接收数据丢失的情况，建立基于地面宽带网提供补调下载系统，可以有效地提高数据完整性。刘锋等［8］基于C＃ 语言和SQL Server 数据库开发了雷达数据传输监控系统，提高了数据传输质量。张洪泰等［9］针对网络拓扑结构进行改进，优化传输框架，提高民航气象信息传输系统的性能。

以上的研究表明各系统平台功能为特定的气象业务提供有效支撑，并为相关系统的建设提供思路。然而，针对短时临近数值模式预报的业务需求而言，数值预报产品传输系统的设计与服务对网络的安全与稳定、传输质量、系统的稳定性以及完整的监控体系建设等多方面具有更高要求［10-11］。本文通过对广西对流尺度数值预报数据传输系统的总体设计思路、系统架构、主要功能等方面的介绍，为相关气象业务系统开发提供思路与参考，更好地为气象防灾减灾服务。

1 系统建设目标和设计思想

1.1 系统建设目标

广西对流尺度数值预报模式通过引进华南区域气象中心CMA-GD（R1KM）模式进行广西本地化改造，建设分钟级对流尺度数值预报模式，其能够提供水平分辨为1km×1km，时间分辨率为12min，预报时效为6h 的要素预报。建设基于广西对流尺度数值预报的数据传输系统核心目的是保障产品在省际和各业务部门间实现高质量的数据交互，使得高性能的数值预报模式高效、稳定地应用于气象业务工作中。这将为提高短时临近天气预报特别是强对流天气的生消预报预警提供有力的支撑。

1.2 系统设计思想

由于数值预报模式产品依托在广州超算中心，该传输系统的核心功能是为了科学、高效地将预报数据集接回本地并为用户提供服务。因此，首先构建广州超算中心与广西气象数据中心的“点对点”网络专线。其次，搭建服务器并开发传输软件对数据进行传输、监控与统计。最后，结合气象服务需求开展数据服务。系统的设计理念是以业务流程为主线，从传输到监控再到数据服务的思路开展设计与实施。

2 系统架构

2.1 网络环境部署

网络部署是传输系统的基础。专线网络依托各级网络资源，提供专线接入方式，满足集团客户接入地市互联网络、开展各种业务的需求。其具备更高的安全性，更广的覆盖范围，更强的可扩展性，更快的带宽速率等特点,为气象信息传输提供强大的网络支撑［12］。性能优良的传输网络环境有效解决网络协议的丢包、延时等问题。本项目布置传输速率500Mbps 的点对点专线链路，并采用多生成树协议（MSTP，Multiple Spanning-TreeProtocol）方式接入专线，连接计算集群至广西气象信息中心。依靠MSTP技术能有效促进数据传输效率和安全性能的提升［13］。图1 直观地展示了气象部门与超算数据中心宽带网专线互通，实现省际资料交互的作用。

图1 网络专线传输方案示意图

广州超算中心利用专线将各类预报数值产品推送到广西气象部门内网落地，期间设立一道防火墙及时发现并处理网络传输可能存在的恶意入侵和病毒侵害等安全问题，加强了气象外网边界防范［14］，使得数据传输更可靠稳定，进而实现气象通信系统的网络安全。此外，设计实时监控传输带宽的速率、占用率等状态信息功能，对传输进行管控，避免造成网络拥堵，确保网络顺畅、平稳。

2.2 服务器搭建

操作系统是管理和控制计算机硬件与软件资源的计算机程序，其承载着配置、稳定性、管理、安全、应用等功能。数值模式预报产品的传输软件是建立在操作系统上的软件，操作系统特点和功能对软件的适用性尤为重要。当前，气象业务中使用的服务器环境通常包含多种操作系统。所有文件和每个软件都有确定的用途是Linux 系统的基本思想，这符合该数据传输软件的核心需求。除此之外，Linux 操作系统还具备多重优势：源代码的开放，兼容性非常高；宕机机率更低，具有高度稳定性和高效性；更少受到病毒攻击，能及时修补系统的漏洞，使得Linux系统具有很高的安全性。因此，选择基于Linux 系统开发，保证其运行稳定。

安全文件传输协议（SSH File Transfer Protocol，缩写SFTP）可以为传输文件提供一种安全的网络加密方法。SFTP 与FTP 有着几乎一样的语法和功能，是用于网络上进行文件传输的一套加密传送协议。它具有文件的便捷共享功能，并不受限于不同主机文件存储器系统，使其安全可靠且有效地传输数据，这实现了点对点的SFTP 服务器和客户端的通信。因此，本传输系统采用搭建SFTP 服务器的方式，将脚本布置于Linux 下，运用自带插件提供对数据网络共享、目录检索等多模式情景下的数据同步及数据下载。

2.3 分发功能

数据分发功能是指系统在支持传输协议的基础上，按照数据分发策略，通过与数据接收端文件、消息和数据流的规范传输接口，快速高效地将超算中心数据和产品分发至本地或远程。本系统传输功能的方式为基于文件传输，主要针对由广东超算中心各种数值预报方法获得的各种分析和预报产品，包括Grib、GIF 和其他格式的数据。图2 展示广西对流尺度数值预报模式系统的收发功能流程。以对流尺度数值预报产品资料文件收发为例，平台收集到数据文件后对文件进行收集处理，包括文件名唯一性检查、文件名检查、收集合并、文件解压等。通过收集处理的数据经由分发处理模块分发给CTS（CMA domestic Telecommunication System）中国气象局国内气象通信软件系统或别的数据存储目录。该系统的传输软件与CTS 进行数据交互，能统一纳入CTS 调度管理。该系统功能优化了数据的收集功能，并增加本地收集和远程收集的能力和灵活选择模式。生成的处理日志与“天镜”系统对接，为下一步数据监控工作做铺垫。

图2 数值预报数据文件收发主要流程示意图

2.4 监控与补调功能

数据监控是国内气象通信系统的核心模块之一，实时监控数据流传输为气象综合观测、气象预报预测和公共气象服务等系统的通信传输中提供保障服务［15-16］。针对数值预报产品的传输分发监视功能的核心是通过采集分析数据监控类数据实现。监控类数据指的是文件传输过程中产生的包含各种要素信息的收发DI 数据，各个传输、处理环节产生的告警数据，以及针对系统运行状态、支撑系统运转的各类中间产品运行异常时产生的告警数据。收集监控类数据后根据预设的各种分析模型和条件判断标准提取相关的技术指标，形成标准化可通用的监视日志信息规范。从多个维度、多种粒度以可视化的方式直观展现数据监视信息，支持对资料的全流程监视和关键资料的精细化监视。

图3 详细地展示了该系统的数据监控流程。数据监视通过日志分析管理实现。日志管理模块汇集数据收集、数据分发全流程的所有信息。首先，将日志记录文件解析，获取关键日志信息列表。然后，对日志管理模块通过筛查，将系统数据日志存储至配置文件中。最后，日志管理模块通过一定判断逻辑将日志信息加工处理，生成“天镜”标准DI、EI 信息后发送至“天镜”系统。监控系统与“天镜”的实时对接实现了全流程的数值预报文件传输监控。包括通过数据处理进程数、下载连接数等指标，对软件、进程、数据服务器等运行状态进行监控，以及各类故障告警，例如队列的积压、分发失败异常等告警功能。这些功能实现了监控信息的标准化并促进业务系统监控的集约化管理［17］。并且，根据监控信息采用系统自守护技术，平台运行状态能实现灵活设置，分钟、小时、每日、每月等自启动，保证程序稳定运行。

图3 数值预报数据监控流程图

为了补救文件接收异常或者丢失影响资料完整性的情况，数据补调系统发挥关键作用。补调功能实现如图4 所示，通过配置实现定时刷新对收集数据情况的统计（按时次统计／按日到报统计）。并根据统计情况记录缺失告警日志并检索告警日志。根据告警信息，自启动数据补调，保障了数据完整率。数据补调负责从超算中心下载平台下载漏收的数据。该系统支持手动启动补调程序，补下载历史数据。这一模块有利于气象资料收集的完整性，进一步提高气象资料的服务质量［18］。

图4 数值预报数据补调与统计流程图

3 建成效益分析

系统基于气象大数据云平台的框架下进行设计开发，在选择与现有系统兼容性高的开发技术，支持数据越界、内存泄漏、初始化异常等底层问题的规避与捕获，支持异常报告机制和错误跟踪机制。在高性能网络的支撑下，通过防火墙设计保障数据可靠、安全。通过良好的架构设计和接口设计，能够检出接口语法错误并加以屏蔽。软件系统构建具备较高性能，通过自守护功能实现7×24h 业务稳定运行，为广西对流尺度数值预报产品更好的服务全区使用。

当前，已开展广西对流尺度数值预报数据的获取、传输效率及FTP 下载应用等方面的相关分析评估工作。从超算广州中心获取的对流尺度数值预报数据资料频率为5 次·h-1。每个轮次生成256 份GIF数据文件需要40min、生成31 份Grib 数据文件需要36min。每轮数据量GIF 约达90 兆及Grib 约达160兆，全部落地于本地服务器时间分别需要约8min 和5min。专线网络实现实时数据高效交互的需求。系统监控日志能够及时掌握数据传输状态。经过多次运行测试与统计，数据具备很高的完整性，并且缺失数据得到补调，有效保障了数据接收质量。数据服务方面，通过FTP 方式为用户提供专用账户连接服务器，广西各级气象业务部门用户可高效、便捷地获取数值预报模式产品。至此，针对广西对流尺度数值预报模式产品的传输服务已完成部署与在日常气象业务中应用。

4 结论与展望

在大数据时代背景下，基于广西对流尺度数值预报数据的传输系统在设计和建设方面取得一定的突破和进步。该系统对数值预报产品在省际间能够进行高效、稳定收发，具备气象数据全流程监控补调，为不同业务需求提供便捷的数据服务。该传输系统的设计实现使得该产品真正落地于广西，体现了各省级气象部门协同发展，为今后省际气象业务合作打开了新的思路。今后将不断在业务中优化系统，将数据更好地融入“天擎”平台提供数据服务，切实发挥广西对流尺度数值预报模式对气象服务的支撑作用。