云南FY-4/HRIT 接收站数据在MICAPS4资料流程优化中的应用
2021-07-25杨俊萍符世钢王卫民
杨俊萍,符世钢,王卫民
(云南省气象信息中心,云南 昆明 650034)
引言
2018 年6 月,风云四号科研试验卫星地面应用系统工程数据服务系统HRIT 数据用户应用分系统省级接收站(云南)(以下简称云南FY-4/HRIT 接收站)顺利完成建设,有效改善云南省气象卫星数据接收的完整性、稳定性、可靠性,进一步增强数据时效性,提升极端天气气候事件与重大灾情的应对能力。另外,由于云南地处西南边境地带,与缅甸、老挝、越南等国家接壤,也能够极大扩展气象观测数据覆盖范围,对未来业务的扩展提供了条件,也对国家安全具有一定意义。为了充分利用云南省接收站资料,更有效更快速显示卫星数据,本文结合国家气象中心CMACast (中国气象局卫星广播系统广播)下发的风云四号卫星数据,把云南接收站接收到的数据进行梳理分析,寻求接入MICAPS4 系统的最优方案。
1 CMACAST 资料接入MICAPS4 流程
FY-4/HRIT 建站前使用的是新一代气象数据卫星广播系统 (CMACast,China Meteorological Administration Satellite Broadcast System)[1]。该卫星广播系统是卫星、地面、高空等多种气象资料的高速广播平台,具有覆盖面广、技术领先、功能强大的特点,也是省市县各级台站接收气象资料开展气象业务工作的基础[2]。该卫星广播系统的使用大幅度增加了气象资料广播的种类、数量,提高了时效性和可靠性[3]。如图1 所示,通过资料转发程序把CMACast广播下发的L1 数据和L2 产品,转发至MICAPS4 系统服务端,经MICAPS4 系统服务端处理后在MICAPS4 客户端显示,供全省预报员参考。
图1 FY4A 卫星数据接入云南MICAPS4 框图
2 云南FY-4/HRIT 接收站
云南FY-4/HRIT 接收站具有和国家气象中心接收站规格、格式、算法一致的成像仪、探测仪、闪电仪的L1/L2 数据产品,完全兼容CMACast 广播下发的FY-4A 数据产品[4]。云南FY-4/HRIT 接收站具备接收FY-4 卫星广播的HRIT 数据的能力,具备自动运行能力和数据的存储功能。2018 年9 月进行了卫星数据全流程梳理分析等接入应用系统准备工作。
2.1 接收频次
风云四号气象卫星每小时一次全圆盘DISK 观测,时间为整点到整点过15min,45 分到整点;每3h 进行一次连续3 幅全圆盘观测,每日40 次。无全圆盘观测时进行5min 间隔的中国及周边区域的REGC 卫星观测,每日165 次。其通道数量为14 个,最高空间分辨率达到500m[5],可获取层次丰富的云图;可实时获取高频次、高精度的大气温湿结构信息;还具备对中国及周边区域的闪电连续观测能力,以及对太阳活动和空间环境的监测能力。卫星在静止轨道上保持稳定、高效、连续的天气观测。
2.2 接收数据
从CMACast 广播接收到的数据是国家局卫星中心根据原始HRIT 数据加工处理后生成的,分为L1 数据和L2 产品。而从云南FY-4/HRIT 接收站先接收到原始的Hrit 数据并保存1d 约93GB。随后二次加工生成同CMACast 广播下发等同的L1 数据文件约72GB 和L2 产品约26GB,有云、辐射、降水、积雪、海洋、沙尘、气溶胶、火情、植被等多种数据和产品。
2.3 接收速度
国家气象信息中心在收到国家卫星气象中心传来的FY-4A 加工处理的数据后,需广播的L1 数据平均10min 内完成广播分发,需广播的L2 数据产品平均15min 内完成广播分发。云南省FY-4/HRIT 接收站是由昆明市气象局负责原始数据的接收。通过市气象局与省级数据中心40MB 专网,实时上传风云四号所有卫星资料到省级数据中心。平均3min 内即可完成分发。省级数据中心平均在2min 内即可完成卫星分片数据分发,平均在7min 内即可完成卫星数据加工处理、存储,以最快速度向用户提供数据服务。
2.4 分析梳理
为了提高时效,把云南接收站的原始分片数据利用起来;为了提高可靠性,把CMACast 广播和云南接收站两路数据合理接入,确保FY-4A 资料能在MICAPS4 客户端及时有效显示。
3 MICAPS4 系统升级
MICAPS 系统(Meteorological Information Comprehensive Analysis and Processing System)是中国气象局自主开发的现代化人机交互气象信息处理和天气预报制作系统,现在已经推广为全国预报制作的业务平台[6]。从1997 年的第一版本至今第四版本,MICAPS 已经成为各级气象业务部门的核心系统,在各级预报业务应用中发挥着巨大作用[7]。MICAPS4系统变得更加高效和可靠,能为天气预报、环境监测、灾害预警等提供更有力的支撑。为了使云南MICAPS4 能够更好地处理风云四号气象卫星数据,进行如下升级。
(1)灵活处理多类数据
不同类型的卫星数据MICAPS4 系统均能加工处理,包括面向数组型并适用于网络共享数据模式和编码标准的netCDF 格式、能高效存储和分发科学数据的新型数据HDF 格式[8]。比如:
(1)带有前缀的HDF 文件,例如Z_SATE_C_BAWX_20200921000140_P_FY4A-_AGRI--_N_DISK_1047E_L1 -_FDI -_MULT_NOM_20200920234500_202009 20235959_0500M_V0001.HDF;
(2)不带前缀的NC 文件,例如FY4A-_AGRI--_N_NHEM_1047E_L2-_QPE-_MULT_NOM_202105 27000000_20210527001459_4000M_V0001.NC;
(3)不带前缀的DAT 文件,例如FY4A-_AGRI--_N_DISK_1047E_L1 -_FDI -_MULT_NOM_202009 20234500_20200920235959_0500M_V0001.DAT。
升级后可处理带前缀或不带前缀的产品,还可以处理原始分片数据。
(2)优化原始数据处理流程
经过升级,对卫星HRIT 原始分片数据,接收一个分析加工处理一个,收齐全后全部处理完成,而不像L1 数据是等待HRIT 原始分片数据到齐之后反演加工处理而成,大大节省了二次加工与传输的时间。
(3)避免重复报文处理
升级前存在相同数据的重复处理问题。比如把原始数据和L1 数据同时接入,随着时间的先后,导致同一时次两次陆续处理。升级后对同一时次同类型不同文件名的数据不进行重复处理,减少因重复处理而引起的数据滞后问题。
4 FY-4/HRIT 数据接入流程调优
4.1 流程调优设计
两路FY-4A 数据接入MICAPS4 系统。一路是原有的CMACast 广播下发的数据,另一路是云南FY-4/HRIT 接收站的数据。
云南接收站第一时间内接收到的原始数据,包括了分块、分通道的分片数据,文件数目虽多,但文件小。专网传输至省级数据中心。在省级服务器上进行加工处理生成同CMACast 广播下发格式内容相同的L1 数据和L2 产品;而CMACast 广播下发的L1 数据和L2 产品,虽然时效较晚些,但运行稳定,有维护保障。结合时效性和稳定性,把云南接收站第一时间内接收到的原始数据接入MICAPS4 系统是提优方案的关键点。针对分析中揭示的关键环节进行总结,提出优化调整如图2。
图2 云南FY-4/HRIT 资料接入MICAPS4 优化框图
优化框图2 中可以看到:云南接收站原始分片数据和CMACast 下发的L1 通道数据作为L1 数据接入云南MICAPS4 系统。CMACast 下发的L2 通道产品和云南接收站加工生成的L2 产品作为L2 数据接入云南MICAPS4 系统。L1 数据是主从关系同时接入;而L2 产品是主备关系接入。当云南接收站出现硬件或磁盘阵列日志满等问题时,CMACast 下发的L1 数据一直在运行,除了速度慢些外不存在缺测现象;当遇到CMACast 接收系统有问题时,采用备份方案把本省接收站生成的L2 产品数据接入MICAPS4 系统,手动启用备份转发程序。整个优化中,能在卫星通信故障中断等问题出现的时候不影响预报业务,实现无缝对接,较好地满足了预报人员的业务要求。
4.1.1 L1 数据设计流程
为了快速可靠显示FY-4A 卫星的L1 数据,设计了两路互补接入MICAPS4 系统的方案:一路是接入云南FY-4/HRIT 接收站第一时间接收到的原始分片HRIT 数据,另一路是接入中国气象局广播系统下发L1 通道的HDF 数据。沿袭传统模式,通过CMACast 广播系统,分发至省级共享服务器,然后分发接入MICAPS4 系统。该设计对MICAPS 系统进行升级更新后,解决了MICAPS4 系统能够处理接收站的原始分片数据;同时也对相同时次资料不重复处理。整个流程大大增加了可靠性和稳定性。
4.1.2 L2 数据设计流程
为了互补稳定显示FY-4A 的L2 产品数据,把CMACast 广播系统下发的L2 产品数据接收后分发至MICAPS4 系统,避免了L1 和L2 两种数据同时缺报的现象。国家气象局下发L2 产品不仅稳定而且后期反演新增产品时确保云南不会遗漏。云南接收站接收的数据进行加工处理生成的L2 产品作为备份,应急时手动启用分发程序。通过互补,保证了预报员能调阅完整的FY-4A 卫星资料。
4.2 程序设计
在该系统中,需要软件解决资料传输问题,传输过程中对文件内容不作任何修改。实现本地数据传输到远程服务器,或实现远程数据传输到远程服务器。
4.2.1 分发程序设计
分发程序是采用C/S 架构,利用JAVA 编程语言的多线程并行处理技术,利用ThreadPoolExecutor线程池,使用一个list 保存所有产生的线程。部署在云南接收站省级中心站服务器上,实现本地数据FTP 至MICAPS4 处理服务器系统。
4.2.2 转发程序设计
资料转发程序也是采用C/S 架构,利用Delphi编程语言的多线程处理技术,使用Borland 公司推出的Tthread 对象,封装所有有关线程以及线程优先级的控制,简化多线程问题的处理[9-13]。部署在具有多个CPU 名为MICAPS4 中转站的WINDOWS 系统机器上,借用Indy 组件和TCP 协议与不同服务器连接,实现FTP 取FTP 传数据的多路转发功能。
5 业务运行效果
原始数据的接收、分发、处理、显示的整个流程平均在8min 内完成。可以说FY-4A 星完成全圆盘观测或者中国及周边区域观测后8-10min 之内,用户就可以查看最新时次的L1 数据影像。高时效、可靠是此次优化的主要特点。
自2018 年9 月开始,云南FY-4/HRIT 接收站资料和CMACast 下发的资料以互相备份的形式接入MICAPS4 系统。该方案运行性好,时效性高,可靠稳定。近年来利用备份程序无缝切换过两次,没有影响业务运行,完成了卫星资料的顺畅接收、处理及显示。通过MICAPS4 客户端平台满足了预报人员的业务要求。
6 小结
FY-4/HRIT 接收站数据在MICAPS4 资料流程的优化充分利用了云南省资源,提高了传输时效,加快了出图速度,为预报人员做出参考提供了时间,取得了很好的业务效果。云南FY-4/HRIT 接收站数据的合理使用,为省内各级气象部门提高天气预报预测工作准确率和精细化程度提供了有力的支撑,在天气预报、数值预报、气候预测等气象核心业务中发挥了重要作用。不过在流程优化中,为了能够快速使用本省接收站的数据,分发资料开发不够灵活,仅限于传输卫星数据。今后随着业务的扩大化运行不断调优,争取能够传输MICAPS4 系统中其他类型数据供更多的业务应用。