台站级气象观测数据流监控系统设计
2021-06-23路永平胡伟峰陈志刚陈振龙黄宏智雷卫延
路永平,胡伟峰,陈志刚,陈振龙,黄宏智,雷卫延
(1.惠州市利达气象科技公司,广东惠州 516000;2.河源市气象局,广东河源 517000;3.龙门县气象局,广东龙门 516800;4.博罗县气象局,广东博罗 516100;5.广东省气象探测数据中心,广东广州 510080)
随着气象事业的快发展,现代化的气象装备层出不穷,气象观测数据日益庞大,业务系统逐年增加,同时,各种监控系统也相继涌现,如刘聪等[1]基于通用分组无线业务(GPRS)的远程气象观测数据实时采集传输系统,以小数据流方式,实现野外自动气象站观测数据的实时采集、传输和对观测设备运行的监控;梁海河等[2]从围绕气象装备保障业务关于台站、省级和国家级的3级用户需求,提出了“两级布设,三级应用”的分布结构,基于互联网和WebGIS技术,建立了一套实时气象观测网运行监控和分析系统;银笛[3]设计实现了有利于观测数据采集、传输、分发、管理和监控的统一气象观测数据采集传输监控平台,以克服和解决工作人员工作流程的各种难题;熊雄[4]采用AJAX网页开发等技术,进行了气象网络实时探测综合管理系统的开发与设计,实现了网络实时状态监视、网络故障隐患排查等综合管理功能;黄宏智等[5]介绍了针对DZZ1-2N型新型自动气象站设计的运行状态实时监控系统。但监控系统之间相互独立,种类繁多,顶层设计欠缺,不利于监控信息的有效提取和应用,业务效益得不到充分发挥,系统保障也带来一定的困难,因此,迫切需要建立集约化的监控平台。
气象观测数据集约化监控平台从组成架构上可分为国家级、省级和台站级3级。国家级和省级分别采集国家级和省级业务层面的各类数据监控信息,台站级采集数据流传输最前端的各类数据监控信息。建立集约化监控平台,需要解决以下几个问题:1)顶层设计国家级、省级和台站级集约化监控功能需求、技术标准、实施方案等;2)梳理各类探测数据传输流程和主要监控节点,制定标准化数据采集协议规范,研究有效获取各级数据流监控信息的采集方法;3)制定标准化传输协议规范,实现台站级、省级与国家级集约化监控平台的有效对接。
本研究所设计开发的台站级气象观测数据流监控系统是基于现有业务系统设计,位于数据流传输的最前端,是实现气象观测数据流程化、集约化、综合化监控的前提。系统设计框架可在全国所有台站推广应用,最终实现全国各类气象观测数据流传输的集约化监控[6]。
1 标准化协议设计
只有制定标准化的数据采集、标准化的数据传输等协议规范,在此基础上才有可能建立国家级、省级、台站级气象观测数据流集约化监控平台。
1.1 标准化数据采集协议设计
对广东省15大类气象资料数据传输流程各个传输节点进行分析,主要传输节点依次是台站级数据采集软件→综合气象信息共享平台(CIMISS)→新一代通信系统(CTS),结合实际业务需求,综合分析各类数据的监控指标,去除差异化,利用业务系统软件生成的监控源提取共性的监控信息,设计标准采集规范协议:省级服务器:由各省分配;端口:3050;传输协议:UDP;报文格式:API函数定义。在此基础上生成标准化的台站级数据流监控信息,实现与省级监控系统的有效对接[7-8]。
1.2 标准化数据传输协议设计
标准化数据传输协议是省级和国家级监控平台对接的桥梁,基于CTS提取省级监控信息,利用UDP标准化采集接口获取台站级数据流监控信息,设计标准化数据传输协议,国家级服务器:固定IP;端口:80;传输协议:HTTP协议,使用POST方法;报文格式:API函数定义。在此基础上生成标准化的省级数据流监控信息,采用HTTP协议POST方法,以Restful方式推送到国家级监控系统,实现国家级监控平台的一体化采集、处理、存储、展示等[9]。
报文格式API函数,具体定义如下:
2 监控系统的设计与实现
通过梳理国家级地面自动气象站、新一代天气雷达、区域自动气象站等数据传输节点,绘制数据传输流程图,根据标准化数据采集和传输协议分类设计台站级监控软件,运行环境与其业务中使用的数据采集软件一致,确保监控软件实际部署应用的通用性和兼容性。
2.1 国家级地面自动气象站
1)数据传输流程。
从数据源、采集、传输、质控、存储等主要环节对国家级自动站数据传输流程进行分析,由台站ISOS测报计算机直接把数据文件传输到省级FTP服务器,由新一代通信系统传输到国家级文件服务器,如图1所示。
图1 国家级自动站数据传输流程示意图
2)监控软件设计。
监控软件界面如图2所示。
图2 国家级自动站台站级数据流监控软件运行界面
根据标准化采集协议和国家级自动站数据传输流程,国家级自动站台站级业务软件(ISOS)在本地生成数据和状态文件,通过读取文件获取国家级自动站的站号、观测时间、接收时间、发送时间等台站级监控信息,封装成JSON格式数据,通过UDP协议定时(1分钟)发送给省级集约化监控平台[10-11]。监控软件见图2。
2.2 新一代天气雷达
1)数据传输流程。
天气雷达基数据和产品采用数据流传输方式,既由台站RDA计算机直接通过数据流传输到省级数据流服务器,再传输到国家级流传输服务器。省级流传输服务器将基数据推送到应用部门(如省气象台)落地成文件,数据传输流程见图3。
图3 新一代天气雷达数据传输流程
2)监控软件设计。
根据标准化采集协议和雷达数据传输流程,雷达RPG软件运行于Linux系统,生成雷达基数据文件,采用Inotify机制读取雷达基数据文件获取站号、观测时间、接收时间、发送时间等监控信息;雷达PUP软件运行于Windows系统,生成雷达产品文件,采用消息机制读取雷达各个产品文件获取站号、观测时间、接收时间、发送时间等监控信息,将监控信息封装成JSON格式数据,利用UDP协议把数据包推送到省级监控平台[12],实现雷达基数据和36种产品分钟级的监控。
2.3 区域自动气象站
1)数据传输流程。
区域自动站数据传输到国家局要经过以下几个环节:区域自动站采集器→DTU→GPRS无线网络→数据采集服务器→数据入库服务器→CTS服务器→国家局。
2)监控软件设计。
根据标准化采集协议和区域自动站数据传输流程,对区域自动站台站级数据采集节点的站号、观测时间、生成记录时间、资料类型、关联业务软件、关联节点、接收时间、发送时间等监控信息进行提取,生成符合协议的数据流监控信息,并发送省级监控平台[13]。监控软件见图4。
图4 区域自动站台站级数据流监控软件运行界面
该台站级气象观测数据流监控系统有助于解决气象观测数据监控系统之间相互独立、种类繁多、顶层设计欠缺的问题,有利于监控信息的有效提取和应用,适用范围广,可在全国所有台站应用。系统设计的关键和技术难点是提取主要业务系统节点的数据流监控信息,采集频次设置为1 min,核心是建立标准化数据采集和传输协议,利用标准化数据采集协议将各个台站级的数据流监控信息,不同类型监控信息采用不同的端口发送给省级气象观测集约化监控平台,确保监控信息处理的可靠性,利用标准化传输协议将各个省级的数据流监控信息发送给国家级气象观测集约化监控,最终实现全国各类气象观测数据流传输的集约化监控。