大数据下民航气象资料的收集与分发

洪莉雯

民航气象中心 北京 100018

引言

随着航空运输量的增长，全行业的需求也在增长。其中，气象信息化快速发展，亚洲航空气象中心、中俄联合体第4个全球空间天气中心陆续在空管系统中建设完成，为了给航空气象服务做好后台技术支撑，民航飞行安全运行保驾护航，气象信息的传递是运行中重要的一环。

民航气象数据交换包括：民航报文、自动站资料、探测资料、GPS高空探测、闪电定位资料、风廓线雷达资料、话音方式航空器空中报告、实时航迹资料、卫星资料等等[1]。民航气象中心不仅参与国内七个地区中心和航站的气象资料转发工作，还肩负着与国际的气象情报交换工作。资料数据量庞大，并且部分资料刷新时间在1分钟内。

1 实施概况

1.1 开发环境

收集分发系统采用Java语言开发，Java作为一种功能强大的编程语言，在世界范围内深受认可，所以此次设计中采用了Java语言进行编程。Java是最为广泛的网络编程语言之一，它具有简单、稳定、面向对象、与平台无关等特点。

1.2 系统部署情况

目前从各地区空管局气象中心获取气象数据的方式有两种，一种是互联网方式，一种是专线方式，从而汇集到民航气象中心数据库中，民航气象中心进行数据质量控制后，整合、下发，主要在航空服务平台上展示给使用用户，推送至一些航空公司，和在共享系统上共享给各地区气象中心[2]。

根据民航气象中心数据库系统中数据传输方式，气象资料收集传输系统的传输方式，数据入库应用程序的部署特点，在操作系统 centos上部署好目录环境，建立传输资料的落地目录，文件经过质量控制软件进行质控处理，正确的文件入库处理，错误的文件进行错误日志留底保存。

在数据传输的过程中会存在一些常见问题，如漏传、多传、拥塞、等待等，还有关于传输资料的安全性的问题。民航气象中心与各地区中心共享多种气象资料，资料共享方式是FTP传输的方式。在资料收集与下发、共享方面，通过FTP方式进行资料传输是最常用的应用手段。FTP传输方式的优点在于文件传输速度较快，还可以匿名登录，但在传输过程中的安全性较低。主被动模式会受到客户端、服务器端防火墙影响，但是在有安全设备保护的内网中使用是非常简单便捷的，很适合在内网业务中使用。所以选择传输资料的方式还是需要根据当前的大环境，业务的需求，因时制宜的选取相应的传输技术。

2 系统设计

下图是收集分发系统管理网站菜单介绍，可分为节点管理、带宽管理、线路管理、规则管理、规则链管理、质控入库管理、辅助工具、系统管理。

图1 收集分发系统管理网站菜单

2.1 节点管理

节点管理包括管理节点建立连接的收集分发节点和收集分发节点与目标服务器所建立的线路，收集分发节点在部署的时候，会配置好NODE_ID，NODE_ID是一个收集分发节点的唯一标识，NODE_ID在收集分发节点中没有特殊的作用，但是在管理节点中有很重要的作用，管理节点的数据库中的所有关于该收集分发节点的配置都是与NODE_ID绑定的。

2.2 带宽管理

带宽修改中为了保证带宽速度，可以修改此分发规则的保证带宽配置，单位Kbit/s，修改此分发规则的在迅速提升带宽时的恢复比例配置，配置为100%时，即在迅速提升带宽时恢复至该分发规则的需求带宽值，单位为百分比。

2.3 线路管理

FTP线路中包括当前线路节点归属，用于区别线路唯一，FTP服务器用户名，FTP服务器密码，FTP服务器地址，FTP服务器监听端口号，每隔一定时间检测FTP连接，FTP服务器编码格式，FTP服务器其他信息。

2.4 规则管理

在当前规则所属节点中，其中包括一些定义，如规则号是唯一标识，线路类型是规则所选线路类型，线路号是规则所使用的线路，本地路径是收集文件保存路径，获取策略按“收集后删除”，“按时间取新增”方式。定时调度表达式来设置规则执行频率，规则也进行分组管理。远程路径是远程服务器文件存放位置。忽略时长即文件最后修改时间在规定时间之前，则文件不再下载。

2.5 规则链管理

规则链管理是文件开始处理与结束处理的关键步骤，可同时启动与停止质控规则和收集规则；可添加节点，选择文件的收集规则类型，选择文件的收集规则号，与之相对应的是质控规则号，每一个收集规则号对应一个质控规则号，如果有入库规则号则选择相应资料的入库规则号，如果文件需要分发，点击“增加分发规则”，会自动添加分发规则号，点击资料的规则号，可以查看具体的资料配置信息，启动规则链中的规则后，将开始处理文件，进行拆解质控入库。

2.6 质控入库管理

按照气象资料要求，进行文件质控。添加资料规则，查看页面中是否有需要处理的资料规则，如果没有则添加，弹出添加规则框，完成常规资料的规则添加，当有多种资料子类时点选下方的“增加资料种类”继续添加，添加完后点击保存按钮添加完毕。

在资料传输过程中触发其他规则（质控，发送）时发送通知消息，并且可以选择是否开启文件名上的时间过期校验，判断文件有效性。获取时间正则可以获取文件名上时间正则表达式。告警等级用于配置文件名时间过期时的告警等级。设置有效时长让文件名时间小于当前时间减去有效时长文件不再下载。文件名修改策略可以调整文件名大小写。远程路径策略“无正则”，“取最大”，“取最新”。临时后缀用来标记未传输完的文件，还可以启用断点续传，在文件传输一半后，继续上一次传输。文件名正则用来只收集符合正则的文件，取最新（大）目录数量来规定每次获取文件夹的数量等。

2.7 辅助工具

辅助工具中包括正则校验、文件名时间过滤校验、精确文件名文件格式生成。

2.8 系统管理

系统管理中包括角色管理，用来分配权限；用户管理，用来管理系统登录用户；系统操作记录操作日志；系统参数用来修改和配置系统各种数据库记录保留时长[3]。

3 结论

大数据环境下，气象预报需要大量数据推演，收集分发系统不仅有利于今后中心业务数据资料传输方式的选择，能够减少数据传输问题，提高业务效率，更有益于我们更好的保障民航气象中心与各数据运行中心的资料传输与分发，为民航气象提高宏观可靠性做出贡献，为民航气象提供数据需求和帮助，助力航班正常运行。

4 结束语

计算机的问世使数值天气预报变为现实。用超算将各地方的气象观测资料和大量的计算，做出数值天气预报，可以使天气预报能够更加定量化和客观化。它对气象学和其他各理论科学以及技术学科提出了不少新的要求，从而对气象科学的发展起到了推动作用。

气象事业的最终目的就是服务用户,提升服务质量和服务效果是气象事业发展的不断追求,气象服务的不断发展同时也牵引着观测,预报等其他方面的气象基础事业的不断前进，从而形成整个气象行业不断提高的良性循环。如今，越来越多的气象资料引进，全球的气象情报交换使人类的生活更加便捷，大量的数据传递更加需要一个稳定高效的传输系统。