APP下载

水文资料在线数据系统信息化体系的设计与开发

2024-01-08季克强李自顺蔡云华陈玉斌

海河水利 2023年12期
关键词:数据系统遥测备份

季克强,李自顺,蔡云华,陈玉斌

(1.云南省水文水资源局,云南 昆明 650106;2.云南省水文水资源局红河分局,云南 蒙自 661100)

随着互联网及信息化技术的不断迭代,现有的水文资料遥测数据汇集和交互系统已不适应当今信息化发展的需要。智慧水利体系对水文业务、水文服务提出了更高的要求,设计开发基于“云”架构的水文资料在线数据系统已势在必行。

1 背景

云南省现有的水文资料遥测数据汇集和交互系统由各水文分局以项目的形式各自开发和建设,省级水文遥测数据由各水文分局通过各自的软件平台交互后上传给省级平台。由于各水文分局水文数据接收、交互软件众多且没有统一标准,不仅给管理带来困难,而且因数据接收服务器分散部署造成了资源浪费。另外,由于设备的交互环节较多,以分局为单元的水文资料数据汇集、交互很难形成统一的技术路径和数据口径,数据溯源时往往因过程复杂而中断,致使数据溯源工作难以进行。因此,重新部署水文在线数据系统,建立全新的信息化体系,实现全省水文数据的融合和统一。

2 系统开发目标

水文资料在线数据系统的信息化体系建设,既要兼顾历史与现状,也要符合未来信息化发展要求,同时还要满足行业信息安全的要求。因此,需要设计开发全省水文在线数据既集中统一又具有差异化、还能体现个性化的在线数据系统。

2.1 实现五个统一

(1)平台统一。通过“云平台”的开发,实现全省水文资料在线数据在统一的平台上运行。通过可视化界面,采取分级授权的方式,在同一平台上完成数据管理、数据维护和数据应用。

(2)标准统一。结合实际,建立云南水文遥测设备数据准入机制。在项目建设中,只有符合标准的产品才可准入。

(3)口径统一。统一RTU 数据编码、报文解析、数据入库、数据交互、数据应用的口径,便于在线数据的管理、应用和存档。

(4)取数统一。统一水文在线数据收发标准,提供查看数据、维护数据、获取数据的统一入口。

(5)数据统一。建立报文接收、报文归集、数据核审、数据存储、数据提取、数据转发为一体的系统应用模块。

2.2 实现差异化

由于云南省水文资料在线数据系统是各分局在不同时期、采用不同标准建设完成的,在线数据从采集至应用各环节的形式和方法存在差异,在平台设计开发时需考虑以下因素。

(1)遥测设备接收差异化。系统开发应通盘考虑各个历史时期建设设备的兼容性,确保目前应用的遥测设备数据能贯通到系统。

(2)应用数据需求差异化。根据管理人员、数据应用人员、数据维护人员、资料整编人员等不同应用需求提供差异化的应用界面和数据系统,在同一平台实现不同的应用需求。

(3)数据获取方式差异化。为用户提供差异化的数据获取方式,系统应具有报表、智能取数和二次分析等功能。

(4)专题分析差异化。在应用过程中,系统可为不同处室、不同分局按需求提供差异化的数据和专题分析应用场景。

2.3 实现个性化

(1)重点指标个性化定制。不同处室和分局可根据需要定制可视化平台中需要展示的重点指标及指标展现形式。

(2)报表个性化维护。基于大数据分析,根据实时监测数据、奇异值数据来源、分局数据源溯源提供重要报表的维护分析。

3 系统总体架构

云南省水文资料在线数据系统基于“云”架构,所有水文测站的遥测数据直接上传至“云服务器”。系统总体架构分为5层,即基础设施层、数据资源层、数据平台层、应用管理层和用户对象层。基础设施层由于需要接收巨量的遥测数据,消耗的硬件资源较多,所以采用“云服务器”的方式;基础设施包括网络资源、安全资源、算力资源、存储资源等,是整个架构的硬件支撑部分。数据资源层、数据平台层、应用管理层须根据云南水文数据接收、交互、应用的需求实际进行定制化开发,通过软件的开发,实现“一张网、一个平台、一个应用界面”的系统应用格局。系统建立基于Web浏览器界面的工作平台,通过不同角色的授权,实现应用功能的可视化操作;同时,水文遥测数据在平台上实现统一接收、交互、共享、应用和管理。云南省水文资料在线数据系统总体架构,如图1所示。

图1 水文资料在线数据系统总体架构

4 系统数据汇集设计

4.1 数据汇集方案

全省各遥测站点设备的RTU 直接将采集的数据信息传输到省局数据中心“云平台”,14 个分局管理人员通过Web 在省局融合平台进行在线数据维护及管理。在线数据包括降水、水位、蒸发等全要素的水文数据。省局数据中心将经过报文解析后的数据,通过系统对奇异值进行过滤后,转给测站进行数据检验,确认数据准确无误后,系统将数据保存至在线数据原始库。

4.2 数据汇集架构

水文遥测在线数据汇集架构是整个系统平台最基础、最重要的部分,为了确保整个架构的统一完整,采取分层式设计,如图2所示。

图2 水文遥测数据汇集架构

各遥测站设备按照水文数据采集的通信规约,通过不同的网络传输方式将数据发送至省局数据中心。中心数据汇集端自下而上按数据接收层、数据处理层、数据转发层、数据存储层、省局融合平台层5 层进行数据汇集处理,各层级之间形成逻辑一致、关系统一、层层推进的数据交互模式,从而解决数据“打架”、过程“拥堵”的问题。

5 服务器支撑体系设计

5.1 服务器功能

服务器是实现水文资料在线数据从采集、接收、交互至应用全过程的全部数据“算力”保障,其部署既要实现服务器分布的逻辑统一,也要保证系统运行的稳定和通畅,因此系统采取多台服务器分工协作的方式进行部署。水文资料在线数据系统服务器功能,详见表1。

5.2 “云服务器”部署

“云服务器”部署从4 个方面进行:①数据接收和处理服务器:根据遥测站点不同通信方式上传的数据,建立GPRS、SMS、物联网等接收服务器。接收服务器收到报文后即时进行解码并传给数据处理服务器,数据处理服务器一方面对前端遥测设备工作信息进行实时解析,同时对解析后的报文进行分析,对冒大数、异常值进行拦截并警示,提示测站管理人员进行审核,经审核确认无误后传输给数据存储服务器。②数据存储及转发服务器:确认后的在线数据将存储在存储服务器中,根据数据应用的需求,转发服务器将数据转接给不同用途的应用管理服务器。③中心管理服务器:根据不同的应用需求,分配权限给使用人员工作,即系统的应用客户端。④外围服务器:包括网管服务器、VPN 服务器、备用服务器等,专门用于提供系统网络保障、系统安全、应急保障等。“云服务器”部署情况,如图3所示。

图3 “云服务器”部署

6 网络体系设计

水文在线数据从采集到应用需要强大的网络来支撑,所以构建一个完整、系统、安全的网络体系是实现水文在线数据成功汇集的基础保障。

6.1 网络部署形式

网络部署采用“扁平化”的形式,分为核心层和接入层,其中核心层是数据处理、存储、应用的关键环节。

组网按照逻辑功能分为互联网出口区、网络服务区、管理区、计算区和存储区5 大区域。互联网出口区主要功能是对接Internet 线路接入;网络服务区提供流量统计、防火墙、负载均衡、VPN 等增值服务;管理区、计算区和存储区是实际业务所在区域。

6.2 网络部署架构

网络部署架构设计分为遥测站数据传入端、水文数据在线管理端、水文数据在线交互端3个部分。遥测站数据传入端是各测站遥测数据从远端的各站点通过不同的传输方式将传感器采集到的数据报文传给“云服务器”接收端,遥测站数据为数端并发,在接收端占用网络资源较大;水文数据在线管理端部署在“云服务器”运营商机房,内部网络实现的是本地网络交互;水文数据在线交互端是省局、分局应用的可视化工作平台,可采用专网、公网的方式与水文数据在线管理端进行联网。网络部署架构,如图4所示。

图4 网络部署架构

6.3 网络安全保障策略

(1)互联网出口安全。使用路由器与Internet网络进行互联,使用BGP(边界网关协议)或者静态路由与外部网络进行互通。可靠性方面通过主备链路方式实现,即采用双线双链路接入,每线连接一个运营商,以保证数据中心外联线路的可靠性。

(2)Anti-DDoS 流量清洗。用于防止来自数据中心外部的DDoS 攻击。Anti-DDoS 使用策略路由回注方式将清洗的流量引入路由器中,路由器上使用策略路由将清洗之后的流量牵引到数据中心内部,以保证数据中心内部的流量安全。

7 数据存储体系设计

7.1 主备式数据存储部署

核心数据库采用主备方式进行部署,即一个主节点和一个备节点,支持数据持久化。主备节点通过数据同步的方式保持一致,备节点对用户不可见,不支持客户端直接读写数据。当主节点发生故障,备节点自动升级为主节点,无需用户操作。

主备节点具备自动切换功能。发生切换的历史记录在TeleMonitor 前台界面可查。告警切换过程的配置主备数据完全一致,未同步数据通过事务响应重新推送,实现快速路由切换、秒级检测、分钟级切换。

7.2 数据备份策略

(1)备份机制。首次备份为全量备份,备份“云服务器”、文件系统已使用空间;后续备份均为增量备份,备份上次备份后变化的数据,缩短备份时长、节约备份空间。删除备份时,仅删除不被其他备份依赖的数据块,不影响使用其他备份进行恢复。无论是全量还是增量备份,都可以快速、方便地将数据恢复至备份所在时刻的状态。

(2)备份策略。建立实时监测库数据、核心数据库数据周期性备份的机制。核心数据采用三备份方式,即本地数据存储、“云”存储主数据、“云”存储灾备数据。

(3)灾备存储。核心数据在本地数据库存储,灾备备份数据通过对象存储在异地进行“云”存储。

8 系统安全体系设计

系统安全体系包括系统主机安全、应用安全、安全管理、网络安全以及数据安全等。

8.1 用户安全管理

应做好以下4 项工作:①用户之间的安全隔离,对用户账号进行管理,记录用户身份证号码或手机号码,实现工作账号与使用人一一对应;②建立“统一认证”系统,强化用户的账号安全管理;③建立基于角色的操作权限管理,按照用户的权限进行授权,实现一人一账号;④建立用户角色权限分离机制,不同用户和角色只能按权限范围访问所授权的系统。

8.2 基础设施安全保障

数据存储通过KMS 保护与管理,保证数据机密性及可靠性;通过容灾备份设施,确保数据安全。

8.3 系统安全架构建立完善

建立完善的系统安全架构,保障数据接收、交互、应用全流程的数据安全。系统安全架构分3 个层级,第一层建立系统外围安全架构,即安全网络架构、安全区域边界;第二层建立系统平台安全体系,包括虚拟安全体系、数据安全体系、API 安全体系,使平台运转全过程均有系统认证安全保障;第三层建立安全组件和安全感知体系,对涉及安全性操作和入侵情况及时感知并提出预警,对超出安全或保密的行为及时封装账号,闪退应用端服务。

8.4 基于“云”体系的安全专区部署

安全专区为用户提供单点登陆、自动授权、即开即用、统一管理、弹性扩容、能力完善的云安全等一体化合规解决方案。

针对“云”用户场景构建安全系统专区,整合云安全管理中心、云防火墙、终端安全EDR、云数据库审计、云日志审计、云堡垒机等各类云安全合规组件,具备云安全防护能力,满足等级保护防护需求。

8.5 线下引流场景设计

建立基于“云”系统安全专区VPC,在安全专区VPC 内开通专线服务,线下机房通过云专线策略路由接入安全专区,由安全专区对机房内业务进行安全防护。

9 结论

(1)针对水文在线数据汇集分散、应用平台杂、数据交互环节多、数据安全存在隐患等问题提供系统性解决方案。

(2)采取全新的“云”架构设计,应用“云服务器”的强大功能,完成系统的升级改造和软件开发,既保留了原有设施,又规避了新建项目的重复投资。

(3)采用“一站式”数据汇集模式,减少了系统运行及管理环节,提升了工作效能。

(4)水文资料在线数据系统信息化体系充分考虑了数据传输、存储、算力、安全等因素,为平台软件系统构建一个完整、安全、一体化的信息化支撑体系。

猜你喜欢

数据系统遥测备份
“备份”25年:邓清明圆梦
创建vSphere 备份任务
自适应模糊PID控制的遥测方舱温度调节方法
基于Spark的高速收费站大数据系统的设计与实现
基于计算机软件开发技术的物联网数据系统
某小型无人机遥测软件设计
非均匀采样数据系统的新型模型描述方法
旧瓶装新酒天宫二号从备份变实验室
浅谈如何提高遥测状态估计合格率
利用VBA处理邻近气象站的相关遥测数据