南昌市气象综合观测业务监控管理系统设计开发
2024-05-13许怡欣熊劦
许怡欣?熊劦
摘要:为适应气象现代化和智慧气象高质量发展需要,结合南昌市气象实际需求,以“云服务、大数据、地理信息”等技术为基础,设计分钟级自动监控综合观测业务状态、基层台站网络状态、机房仓储等重点区域的环境状态、供电系统运行状态、气象装备全生命周期监控管理,并配以自动化、多渠道的报警方式、安全可靠的远程控制系统。最终实现综合观测业务全流程无缝隙监控保障,达到“无人值守”综合观测业务工作状态。
关键词:气象业务;综合监控;报警;系统设计
一、前言
气象事业是科技型、基础性、先导性社会公益事业。随着对防范气象灾害重大风险的要求越来越高,广大群众对气象服务保障的需求越来越多,党中央、国务院提出要加快推进气象现代化建设,努力构建科技领先、监测精密、预报精准、服务精细、人民满意的现代气象体系。气象综合观测业务是高质量发展气象事业的基础和前提,通过综合观测业务监控管理系统的建立,一方面可以有效地保障气象数据观测能力的提升,全面覆盖台站监控死角。另一方面可以减少综合气象观测业务流程中不必要的人工处理信息环节,缩减处理时间,减少人力投入,节省行政管理支出费用,提升观测业务的效率,将运作成本大幅降低[1]。
二、系统设计需求
根据南昌市实际情况,针对现有综合观测业务的各项需求进行设计,依托“天元”“天擎”等系统,整合南昌市本级及各县区业务监控手段及基础设施,建立南昌市综合观测业务监控管理系统,实现南昌市气象局及下属所有台站从“人工+系统”监测手段转变为无人值守智能观测。南昌市现有国家气象观测站5个(其中新建区站和安义县站为局站分离)、国家地面天气站13个、区域自动观测站97个,分属南昌市各县区和市本级管辖,需要建立针对各类业务数据统一的监控系统,能够实现兼容不同种类气象自动站的统一监测报警,实现地面观测业务数据上传状态监控、雷达数据上传监控、国家主备站数据对比分析等功能。建立全市气象局综合网络监控保障系统,用于监控全市气象局范围内各网络设备状态、各专线链路状态。加强台站环境监控改造,实现业务区域安防入侵监控、设备室温湿度监控、电源动力系统监控、发电机及UPS电源保障系统等在线远程监控及报警提醒。建立应急备份保障系统,实现对台站观测数据异地备份、KVM数字远程控制、备份PC运行状态监测等。建立监控各气象装备的监控管理系统,实现仓库备件管理、气象装备全生命周期监控、计量周期监控[2]。
三、系统组成
(一) 系统框架
针对设计需求综合观测业务监控管理系统建设五大子系统(见图1),将一个大型地面观测台站日常业务运行的所有需要业务和状态监控数据统一收集,并通过数据可视化平台的方式展示出来。系统后台对各台站的所有数据和状态进行自动分析监控,当发现异常时,通过多种渠道向业务人员发出警报并切换到备份渠道,等待业务人员前往处理。
(二) 各子系统
1.业务数据监控子系统
国家台站监控基于各台站都使用中国气象局开发的ISOS业务软件。使用业务监控探针程序部署在台站ISOS业务机PC上后台运行,实时监控ISOS业务系统的各种状态数据,包含但不限于业务上传日志记录、气象观测数据、设备电压状态等。同时将采集信息上传到集约监控管理平台,进行统一监控管理与统一报警推送。天气站及区域自动站监控基于对接天擎系统接口,采集全市所有区域站观测要素数据,按县级行政区划分,提供市局本级及各县区气象站综合到报率与及时率监控。
2.网络监控子系统
全市所有综合观测业务网络中共有链路21条,其中各县气象局分别部署了移动、电信两条不同运营商的业务专线,市局采用移动、电信双运营商主备链路连接到省局。电信运营商线路通过BGP协议直接到省气象局,移动运营商线路通过ospf协议建立县至市、市至省的树状网络结构。局站分离台站通过生成树协议双线路冗余备份,连接台站至县局的网络架构。针对复杂的网络架构单纯依靠PING命令无法准确判断所有线路的运行情况,因此,采用在市气象局部署专业网管软件,基于SNMP网管协议[3]对全市气象内网的所有涉及综合观测业务的网络设备和专线网络线路进行监控,及时发现异常,立即报警并通知网络管理人员前去维护。
3.环境监控保障子系统
结合各台站的自建台站实景摄像头监控系统对台站周边环境进行实时监控。通过在市局部署采集接口系统,解决各台站监控相互独立需要不同链接地址和账号密码登录查询的问题,将各台站实景摄像头整合,随时采集、查看各摄像头的实时画面。对各台站业务重点区域部署配电监测、精密空调监测、UPS监测、漏水监测、温湿度监测、消防监测等各类监测探头,通过RS232或RS485通信方式接入各区域监控主机,各区域监控主机通过TCP/IP通信方式将监测数据整合传输至环控集约监控管理系统,从而实现各台站、各业务重点区域的环境集约化监控管理。
4.应急备份保障子系统
(1)供电
对接各台站部署的自动发电机(停电自启动发电机),并对其进行油料箱改装(增大),要求支持远程控制功能。在发电机房部署温湿、安防、水冷水箱(如果有)、油料箱探测模块,由市局环控系统主机统一采集状态数据。对各台站业务值班室空调进行改造,使空调支持来电自动开机功能。
(2)远程控制
在各台站部署数字KVM设备,通过网络和HTML5协議实现对各业务电脑的远程控制。同时对接市局已建的数字KVM管理中心,对各台站数字KVM设备进行用户权限管理,限定登录用户权限和允许访问IP地址,降低信息网络安全风险。
(3)网络线路
在无人台站的每套自动站串口服务器上部署4G路由器,基于IPsec VPN隧道协议建立自动站采集板到市局的点对点4G专线作为第三条备份线路(加入网络监控系统中),确保在有线网络故障的情况下,可以通过4G线路用市局机房的备份业务PC链接自动站采集数据并上传,保障业务不中断。
5.装备监控管理系统
通过标准接口对接天元系统,建立独立的装备信息数据库,实时更新全市所有装备信息,并增加人工录入模块用于补充天元系统中未登记信息。
四、系统架构及性能指标
(一)系统架构
整体系统基于B/S架构和成熟的气象专业技术进行构建。对所需监控的各类业务数据如地面观测、雷达等数据进行梳理。通过部署安防监控、环境监控、电力监控等设施实现各类环控数据的采集。通过IPKVM、4G应急线路、备份PC等技术手段建立备份保障系统。建设仓库、备件等数据库并对接天元系统,建立装备监控。系统软件为B/S架构,采用“平台+应用”的建设模式和一体化设计。Web系统遵循J2EE规范,应用均部署在Linux环境,支持主流操作系统终端,具有良好的可扩展性和跨平台能力。平台采用面向服务的架构(SOA),符合Web Service标准的访问接口。系统设计坚持“集中、协同、一体化”的技术路线,系统间的交互采用面向服务(SOA)架构的设计思想、组件式开发模式,保证各功能模块间低耦合、高内聚。
系统总体架构从下到上分为物理层、数据层、服务层、应用层、展现层。
数据层:由基础数据、应用支撑数据、管理与运行信息数据构成。关系性数据主要采用 MySQL进行,非关系性数据采用MongoDB进行。数据层包括数据采集模块、数据处理及传输模块、数据监测模块。
1.数据采集模块
实现各类数据采集工作,包括从天擎数据接口、其他系統平台接口、FTP服务、共享目录采集的气象实况监测、动环监控、网络监控数据等。支持HTTP接入、Web Service接入、FTP接入、SOAP接入等多方式接入,支持数据源目标配置、任务时间及步长频度配置、解析方式配置等,提供日志审计、数据监控、补采补录等功能。
2.数据传输模块
该模块建立稳定、高效、安全、统一的数据传输通道,完成来自数据采集监测模块的数据传输,并进行数据整理、清洗、预处理。
服务层:用户接口或 Web 客户端与数据之间的逻辑层,主要包括分布式基础服务及API服务两部分。
1.分布式基础服务
对分布式基础服务实施监控与管理,对涉及数据采集、传输、处理、存储的分布式服务组件,如分布式消息系统(Kafka)、分布式文件系统(HDFS)、分布式计算框架(Map/Reduce)以及分布式缓存系统(Redi/Memcached)等进行状态监控与日志管理,为错误处理、性能调优提供支撑。
2.API服务
API服务主要包括数据接口服务、GIS服务、Web端服务等。数据接口服务主要用于数据采集与数据上报。GIS服务对Web-GIS API进行二次封装,形成地图交互、地图展现等基础API,提供Web端相关地图功能实时调用。Web端服务主要为作业管理、数据监控、流程监控等功能提供后端API接口,包括BPM引擎API、数据可视化API、ECharts组件API等。此外,平台可通过对外服务API向外单位实现数据产品共享及相关服务调用。
应用层:Web端通过服务层提供的API接口与服务端进行数据及逻辑交互,实现单点登录、统一用户管理、统一认证和统一权限管理市、县各级业务应用。通过数据分析及挖掘应用,实现按不同应用层级、不同主题分析数据可视化,以及数据监控、流程监控、任务监控等功能。
展现层:各类通过数据层加工后的业务数据,最终通过本层进行统一展现,采用大数据分析及展示相关技术,界面美观、交互良好。
(二)系统性能指标
系统响应时间主要包括:自动产品查询时间为秒级,查询时间小于2秒;手动产品查询时间为秒级,一般查询时间小于3秒。为保证系统的正常运行,使系统能够满足项目在响应速度、用户并发数以及资源利用率等方面的要求,并在一些严格的场合下也能保证系统的正常运行,在系统建设时,对系统运行时的性能有一定要求,满足如下响应速度、用户并发数以及资源利用率等方面的性能要求[4]:
1.主程序加载时间<2s。
2.监测信息的滚动条反应时间小于2秒。
3.等值线分析响应时间小于2秒。
4.色斑图分析响应时间小于2秒。
5.B/S系统满足不同级别至少300个用户使用系统,至少100个并发访问数量。
6.当数据录入操作时应无等待时间。
7.日常操作的显示响应时间不大于2秒。
8.复杂图表的显示响应时间不大于5秒。
9.日常查询、统计和分析的响应时间不大于5秒。
10.产品加工制作响应时间不大于3秒。
为保证系统的正常运行,确保系统能达到需要的性能要求,在系统建设时满足如下系统公共功能性能指标:
1.数据读取性能指标
系统在气象专业数据读取中,根据不同的气象数据设置不同的性能指标。
2.数据操作性能指标
系统在对实时监测数据进行读取、更新、删除和导入操作时,反应时间根据对象数据量的不同而不同,在表记录1000000条的条件下对数据操作设置以下性能指标(见表1)。
3.数据监测性能指标
对于气象观测数据等产品的数据监测,需要高效、规范的数据访问接口服务。
根据不同的数据类型设置不同的监测性能指标(见表2)。
4.系统整体性能指标
产品自动生成性能指标:产品所需资料收集完备后,1分钟内完成识别产品自动生成。按指定格式生成产品时间小于等于2秒。
数据并发访问性能指标:分布式数据监测可同时支撑大于45个数据并发访问。
B/S系统满足不同级别至少2000个用户使用系统,至少100个并发访问数量。
5.系统的可用性[5]
系统关键节点采用冗余配置,任何时刻都能保证主备机的互相切换,切换时无扰动,热备用计算机切换时间小于60秒。
五、系统创新点
通过设计和建设南昌市气象综合观测业务监控系统,将各类业务工作和重点区域环境监控融合在一起,突出综合性、集约性原则,针对业务数据的保障工作做出了如下创新:
(一) 使用数字KVM远程监控
通过在各台站ISOS业务电脑部署KVM分机,同时在市局管理中心部署数字KVM管理系统对各台站数字KVM设备通过IP网络操作,一键登录异地台站ISOS业务电脑,观测人员无法赶赴台站时可由市局通过远程协助方式处理紧急情况。
(二)国家站数据异地4G备份路线改造
对场外串口服务器中光电转换器进行改造,增加支持4G网络的DTU单元,基于IPsecVPN隧道协议建立自动站采集板到市局业务电脑的点对点4G传输。当本地传输路线中断时,自动切换到4G路线将报文数据传输到市局管理中心,进行远程备份,保障数据传输,实现台站气象观测数据异地备份。
六、结语
系统设计针对目前综合观测各类业务需求点开展,对于地面观测业务的资料传输由低效率的人工监控转变为7×24小时自动监控,并且监控内容精确到每一分钟数据、burf文件上传情况和网络线路情况。一旦出现传输故障,业务和管理人员无论身在何处都会在几分钟内收到警报提醒,使保障人员能够在最短的时间内高效率介入,恢复业务运行,对业务质量提升意义明显。业务人员可以对异地无人台站的所有实时状态随时了解,及时发现隐患并可迅速排除,可以有效保障业务稳定运行。对各类突发應急状况都做了应急备份方案,一旦发生故障,可以随时切换到备份方案上,给保障人员争取处理时间。
参考文献
[1]闫平.综合气象观测运行监控业务系统应用实践解析[J].农业灾害研究,2023,13(01):130-132.
[2]王硕飞,贾益超,郭小璇.气象资料数据传输监控及短信报警系统设计与实现[J].长江信息通信,2022,35(07):79-80+83.
[3]黄元.基于SNMP的网络监控在电视播出业务中的应用[J].广播与电视技术,2010,37(10):98+100-102.
[4]全国信息技术标准化技术委员会.计算机软件可靠性和可维护性管理:GB/T 14394-2008[S].北京:中国标准出版社,2008.
[5]全国信息技术标准化技术委员会.计算机软件需求规格说明规范:GB/T 9385-2008[S].北京:中国标准出版社,2008.
责任编辑:张津平