基于私有云的船舶自动气象站网的设计与实现

陈 宁，邵梦琪，王延东，龚 熙，黄 振，罗鸿宇

（湖北省气象信息与技术保障中心，湖北武汉 430074）

0 引言

目前湖北已经建成3 个船舶自动气象站，主要负责长江航线（重庆—上海）的天气预报预警，并且计划在未来几年内继续增加船舶气象站的数量。一般气象站网的数据传输采用单中心模式，随着气象业务的发展壮大，各种气象自动站的兴起，如这种船舶自动站利用分布式传感器采集不同地理位置的风向、风速、温湿度、气压、能见度等气象数据，随着站点的增大，数据采集频次的增大，数据中心站服务器的运算能力将成为气象数据传输网络中的瓶颈[1-4]。将云计算运用于气象数据的处理，是解决这一瓶颈比较好的方法。云计算是分布式计算的一种，是通过网络“云”将庞大的数据处理程序分解成无数个小程序，然后通过多部服务器组成的系统进行处理和分析这些小程序，得到结果并返回给用户。其核心为大规模的分布式环境下的数据存储和网络服务，通过分布式的规模化集群和服务器虚拟化软件来实现。与公有云相比，私有云能在数据安全和可靠性方面进行有效的控制[5-13]。

1 系统网络架构

本气象站网云平台基于B/S 架构，由多个船舶气象站组成的气象站网，船载自动气象站组成结构如图1 所示，通过DTU无线网络传输气象中心站处理平台。该架构可以分为数据采集层、网络层、应用层。

图1 船舶自动气象站组成结构

1.1 数据采集层

船舶气象站的观测要素包括航速、航向、经纬度、风向、风速、温度、湿度、气压、能见度等。通过各类气象传感器采集观测数据，将观测数据转换为各种电压、电流、电阻等各类电信号，传输至气象站主采集器进行处理和存储。

1.2 网络层

网络层利用无线DTU 通信设备将气象站采集器中处理后的数据传输至云平台。云平台是整个气象站网的核心，完成大量的气象数据的存储、分析处理和发布，并有接口对接应用层。

1.3 应用层

能够基于浏览器或应用程序，给用户提供各种气象产品和数据服务，例如中短期天气预报、各类数据查询浏览等。

2 基于云平台的系统设计

基于物联网卡的无线云平台气象站网通过无线数据传输、气象数据云存储以及气象数据云应用3 个方面进行实现的[14-16]。

2.1 数据传输

气象站采用DTU 通信模块进行数据的无线传输，兼容2G/3G/4G 移动通信。早期利用的是各个移动运营商的GPRS 等2G无线网络，当时气象数据采集和传输频次较低，基本为1 h/次或10 min/次，数据量不大，GPRS 的数据吞吐量完全能够满足气象站的数据传输。随着气象观测要素的增多，数据传输频次的增大，达到了5 min/次或1 min/次，目前使用的是4G 并向下兼容的DTU 模块，保证了传输速度和稳定高效。

采用DTU 无线传输有2 个优点：①可以实现云平台管理的规模化、集中化；②支持SIM 卡管理，提升规模化。

本系统自动气象监测网络如图2 所示：

图2 船舶自动气象站监测网络

2.2 云平台的选择

本系统使用华为云平台Manage One 取代以往气象监测中心的硬件计算和存储方式，Manage One 提供统一的数据中心管理平台，针对分布云数据中心的服务保障和服务编排提供先进的管理方案，能够做到：物理分布、逻辑集中，多数据中心统一管理、异构虚拟平台统一管理、运营和运维统一管理；可基于VDC（Virtual Data Center，虚拟数据中心）模式，为不同的部门、业务提供不同的资源服务，实现资源的建设与使用分离，更加匹配企业和运营商的商业模式。

Manage One 的优势：①提供统一的运维平台，可以统一管理物理服务器、网络设备、存储设备、虚拟资源等多种类型；②提供高效的运维管理手段，提升问题处理效率，缩减问题处理时间；③自动生成报表，并通过灵活的通知机制，在问题发生时可快速通知到维护人员，从而快速响应，解决问题；④提供先进的分析工具，方便预先研判故障。容量管理功能可通过历史容量指标给出容量预测的能力，以便管理员对资源容量做好规划和扩容。

当气象站监测所得数据通过4G 网络传输到云计算中心后，云计算平台需要对这些数字信号进行分析处理和存储，本系统通过RDS（Relational Database Service，云关系型数据库）的存储服务和SQL Server 实现上述功能。Manage One 需要处理的数据有：从感知层获取的数据和供应层使用的数据，两种数据分别应用Manage One 的HBase 和Tables 存储及SQL Server数据库存储。

在气象业务环境中，私有云的设计从逻辑上分为4 个层次：基础硬件层、资源调度层、会话管理层和终端接入层。

（1）基础硬件层。目前气象环境中根据用户需求不同建立了虚拟服务器集群和物理工作站池两种不同的硬件环境，虚拟服务器集群负责为普通用户组提供服务，物理池负责为特殊用户组提供服务。

（2）资源调度层。用于实现基础硬件的云化，通过建立计算机资源池、存储资源池和网络资源池来实现IT 基础资源的统一管理、按需分配。依托ManageOne Service Center 管理软件实现资源利用率的最大化。

（3）会话管理层。负责整个私有云资源调度分配、用户身份鉴别和安全控制功能，其中资源调度分配主要由VCS 连接服务器和部署在各种网络环境下的VSS 安全服务器组来实现，用户身份鉴别和安全控制主要由ActiveDirectory 服务器实现，通过域用户管理策略管理全体用户的账户策略—安全策略—软件策略，提升了对用户行为控制的效率。

（4）终端应用层。负责在各种网络环境下台式电脑、笔记本电脑客户机和使用APPLE iOS 或者Google Android 操作系统的智能终端设备接入气象私有云。

3 船舶气象站系统的实现

3.1 云端气象数据存储

目前船舶气象站每隔5 min 采集1 条气象数据传回数据库服务器，以后的发展趋势是每隔1 min 采集并上传。长此以往，数据库中将会存入大量的气象数据，因此需要解决气象数据的存储和处理问题。

RDS 是一种基于云平台的、稳定可靠、便捷管理的在线关系型数据库，可以支持SQL Server，利用Manage One 华为云数据库RDS for SQL Server 2017 数据库，它可以支持5 个只读副本，无论是读写分离还是负载均衡的支持都能实现。

RDS 无需用户亲自完成数据库安装、部署、维护、扩容和监控等工作，用户只需一些简单的操作，繁琐复杂的过程即可由RDS 高度自动化完成，包括安装数据库软件、为数据库软件升级版本或打补丁、搭建数据库主备实例、只读实例、数据备份和恢复、监控数据库运行指标等。另外，RDS 主备实例可以在主实例发生故障时，由备实例快速自动接管业务读写请求，最大限度减少业务中断时间，而这个过程无需用户介入。

使用RDS，数据库实例的生命周期状态、各实例的角色关系、实例OS 和DB 引擎的各项指标监控信息、数据库日志信息、数据库备份信息、数据库引擎参数信息等，都可以通过Console图形化界面对用户可视，而且用户可以很方便地通过Console或者Open API 进行管理和监控。

使用RDS，用户可以随时根据数据库的读写比和负载压力情况，通过一些简单操作即可完成增加删除只读实例，及时水平扩容以应对业务暴涨情况，或者及时缩容回收资源以应对业务回落情况，避免资源长期闲置浪费。

3.2 数据库设计

数据库设计了站点信息表、气象站观测数据表、用户账号信息表3 个表格，气象站观测数据表见表1。

表1 气象站观测数据表

湖北省的船舶气象自动站数据可以分为两类：结构化数据和半/非结构化数据。云存储平台根据气象资料属性不同提供了结构化存储（Table Storage）和半/非结构化数据存储（HBase Storage）两种存储方式[17-20]。

泛气象数据及各类服务产品数据结构化程度低，数据参数一致性低，数据大小不定。对于此类非结构化数据，如果采用通用的结构化存储方式，必然导致其在数据存取方面出现问题，无法满足业务需求。故采用HBase 非结构化数据库进行存储。

HBase Storage 主要存储气象观测资料中的图像及Flash 文件，对处理后的历史气象数据图表、曲线、实时图像图片及天气预测图片等进行保存，并提供接口供应用层展示，Flash 文件主要有movie.swf 和mycurve.swf 两种格式，分别用来展示动态的气象动画及统计动画。这类数据结构化程度低，数据参数一致性低，数据大小不定，采用HBase非结构化数据库进行存储。

HBase 的数据表由行和列组成。逻辑上，数据存储在表里，而表由行和列组成，每行由一个可排序的主键和任意多的列构成，列又归属于不同列族。HBase 是面向列的稀疏存储，列族是固定不变，在创建表时被定义，相当于表结构，HBase 将同一个列族下的数据存储在同一个目录下，而列族中的列成员不必在表定义时声明，可以在表实时运行中动态定义。

Table Storage 存储则通过ASP.net 实现普通数据的保存。在用户进行数据获取时利用唯一的Session 进行事务跟踪，如用户登录、密码设置、数据查询更新等操作。

气象观测数据利用HBase Storage 和 Table Storage 两种存储方式，通过SQL Server 进行数据的查询、关联、更新及修改。

3.3 基本WEB 的云应用实现

针对存储的气象数据，采用B/S 结构开发了船舶气象站网的数据显示系统（图3）。该系统能够帮助气象监控预报人员更有效直观地获得长江沿线的气象数据，同时对长江沿线气象灾害的预警信息有着更快的反应。也为长江沿线的水文气象服务、气候变化研究提供重要的观测资料。

图3 船舶气象站网数据显示系统

4 结语

对基于私有云的船舶自动气象站网的设计与实现做了全面描述，基于华为的Manage One 云平台技术，完成气象数据共享服务系统建设，实现长江流域大数据处理分析及共享服务。为长江航道灾害天气实况监测预警、开展精细化的预报预警服务提供全方位高覆盖的发布手段；开展长江航运专业气象服务，提升长江航道气象预报专业化水平和服务效益，满足船舶驾驶人员、旅客、政府相关管理部门对气象服务的需要。