基于云的省级水利数据中心关键技术探讨

曹 帅，高祥涛，胡文斌，陈 宁，丁玉鹏

（江苏省水文水资源勘测局，江苏 南京 210029）

0 引言

水利数据是水利基础性、战略性资源。围绕系统治水理念，水利部提出以智慧水利建设为重点，强化水利创新驱动。加快互联网、大数据、人工智能等高新技术与水利工作深度融合，构建流域区域互联互通、信息资源集成共享的国家水利大数据网络[1]。水利数据中心汇集基础性、全局性、专业性的水利数据资源，集存储管理、共享交换、应用服务于一体，形成以基础水信息平台为核心的应用服务窗口，是实现智慧水利的关键基础设施。

云计算具有 5 个基本特征：按需获得的自助服务、广泛的网络接入、资源池化、快捷的弹性伸缩及可计量的服务；4 种部署模式：专有云、行业云、公有云及混合云；3 种服务模式：基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）[2]1。云计算是促进水利信息资源整合、提升水信息服务能力的有效技术手段。由于水利数据及应用具有海量多样、密集计算和安全保密的性质，基于数据中心构建水利专有云或行业云，具有必要性。

江苏省作为水利部信息资源整合共享省级试点，从信息采集、基础设施、数据和应用服务、统一门户等几个方面，开展资源整合技术研究和实践，构建基于云的水利数据中心。

1 总体架构

在国家水利数据中心“三级两域四区”架构中，江苏省级水利数据中心属于第三级节点，为流域和水利部提供数据交换和存储，同时为本省水利用户提供行业信息化支持，包括水信息及与水利密切相关的 GIS、气象、交通、海洋等公共信息采集，存储，共享，服务和应用。

1.1 信息采集与监控

主要由信息采集、工程监控和视频监视 3 个部分组成，分布在全省各个监测、监控站点和管理部门，面广量大，是水利数据中心的主要信息来源，采用遥测、遥感、移动、物联网等新技术建设。公共信息资源可由公有云获取并组织存储。与集中式的云计算不同，采集监控主要涉及的前沿技术应该是边缘、雾计算等分布式概念。

1.2 基础设施层

基础设施层是机房环境和在网络、存储、服务器等软硬件基础上构建的虚拟化资源池，同时结合智能化运维管理软件，实现软件定义数据中心。为保障业务数据和信息系统安全，采用建设同城异地2 个中心，构建大二层网络方式，实现数据灾备和系统高可用（HA）。

1.3 数据层

数据层由数据库、信息资源目录和交换平台组成。数据库主要包括以下数据：1）基础数据。指涉及水利业务和政务应用全局的水利对象基础数据，以及水利对象空间和业务关系等数据。2）专用数据。指仅由某项水利业务和政务产生并使用的数据集合。3）主题数据。指从通过处理和综合分析用于决策的数据集合。4）元数据。用来描述水利数据的内容、质量、状况等。采用资源目录、交换平台、数据服务等方式实现数据共享。

1.4 应用支撑层

针对各类业务应用的实际需要，根据复用、共享的要求，开发服务化的公共应用服务，实现各应用系统之间的互联、互通和互操作，为应用软件开发、运行和整合提供统一的服务支撑平台，除业务领域服务外，还提供中间件及定制开发环境的虚拟机或容器模板。

1.5 应用层

应用层分为水利应用系统和统一门户 2 个部分。水利应用一般包括防汛抗旱排涝减灾、水资源管理、水生态环境保护、农村水利管理、水文业务管理、水政执法、水利工程建设与运行管理和水利电子政务等系统建设。水利信息化建设需构建统一门户系统，包括水利应用和水利综合信息服务门户。综合利用统一用户管理、单点登录、“一张图”等技术建设统一门户，实现 PC 端和移动端访问，使得业务人员和公众能够使用统一的系统界面，就可简单直观、个性化的操作访问各个不同的业务应用和公众服务系统。

基于云计算的江苏省水利数据中心总体架构如图 1 所示。

2 关键技术

2.1 基于大二层网络的虚拟化数据中心技术

数据中心从集中化的小型机，到 X86 水平分层架构，再发展为通过云 OS 整合提供租用，将物理层资源虚拟化，实现动态分配与调度，是云计算架构的关键。虚拟机迁移要求其 MAC/IP 地址不变（源和目的在同一 VLAN），Oracle RAC 等应用需要 MAC 层交换的网络环境，对大规模调用资源的云数据中心，需要构建二层网络甚至是跨 DC、跨地域的大二层网络。江苏省水利数据中心和同城灾备机房间通过裸光纤直连，波分线路复用，实现 SAN互通，在数据中心内部，通过 MAC 寻址，将共享数据源或相近类型的业务系统划入同一 VLAN，以VLAN 为单位控制互通与隔离；实现了大规模二层网络与平滑扩容，满足异址数据中心间的资源动态调配和管理，实现了分布式云；提高了备份和 HA效率，保障业务连续性。

2.2 基于信息资源目录和共享交换平台的数据共享访问技术

水利数据类型多样，数据库、文件、多媒体、大数据（NoSQL）等，对其整合和共享是水利数据云的任务。信息资源目录是分布式数据资源有效集成方式。江苏水利信息资源目录通过对 SL 473—2010《水利信息核心元数据》语义进行扩充，使之支持数据的溯源能力，形成库－表－字段和记录三级元数据体系，用面向对象、分层建模的数据模型[3]，组织水利对象数据项、数据元和元数据[4]，并通过构建语义库、知识图谱实现关联查询和分面搜索。系统开发采用 MVC 架构，数据模型层为水利基础数据库、元数据库和语义库等；控制层包含元数据抽取、目录生成、分面推荐、订单和查询等功能接口，依托元数据、数据分级分类标准指导元数据注册管理和数据共享，采用 Web Service 封装内部功能和外部访问服务，基于 UDDI 服务目录，满足数据共享服务的注册和查询。展示层采用树形结构、条件检索、分类导航等方式，满足用户发布、检索、访问的需求。系统功能结构如图 2 所示。

数据资源目录实现用户自主的信息查询服务，交换平台用于系统之间数据的传输、共享。数据交换平台通常采用消息队列（Message Queueing）技术实现，具有低耦合、可靠投递、广播、流量控制、最终一致等特性，通常用点对点（P2P）、发布/订阅（Pub/Sub）方式，实现信息系统间数据交换。江苏省中心采用开源的 MQ 产品、J2EE 架构、面向服务（SOA）理念，基于水利专网，开发了由用户定制、以服务方式注册运行的全省水利数据交换平台。

在线服务也是数据实时共享的方式，在线服务接口描述了一组在网络上通过标准化基于 XML 消息传递访问的操作，如 OGC 标准（WFS，WFS 和WCS）及其他相关标准，将数据封装为标准的 Web服务接口，实现数据服务的聚合和拆分；或通过设计构建数据功能服务，基于读时模式（Schema-on-Read）从原始数据生成数据成果，形成资源化的数据湖[5]。

图 1 江苏省水利数据中心云总体架构

2.3 基于服务的水利业务支撑平台技术

水利信息资源整合共享的关键难点在于业务整合，以往水利业务系统开发属于单体应用，应用功能同质化严重，低水平重复，业务细节处理不到位，升级改善困难。信息系统和开发公司紧密绑定，难以行成自主产品和知识积累，成为制约水利信息化深入发展的瓶颈。

图 2 水利信息资源目录系统功能结构图

面向服务架构（SOA）是实现业务组件复用的技术体系。以 ESB（企业服务总线）作为集成枢纽，实现企业应用集成（EAI）是 SOA 的第一阶段；在用户主导内容的 Web2.0 时代，设计简洁、缓存支持、轻量级响应的 REST 服务，满足了中小企业和用户以互联网为平台，对服务和资源的使用需求，是 SOA 发展普及的第二阶段；随着云计算的兴起，一种在云端部署服务的技术“微服务”（Microservice）架构快速发展。微服务继承了“HTTP 型 API 进行沟通”的思想，在 Docker 容器中实现任务隔离和轻量部署，采用 API 网关，解决错综复杂的服务依赖，并具备弹性负载均衡和监控、容错能力，使细粒度的应用集成真正实现[6]。

从各类云服务的创建、部署及消费角度描述云计算的实质，意味着云计算天然要求支持面向服务的能力[2]2。水利业务系统可能包含几百个服务组件，前端页面可能依赖几十个微服务的计算。用SOA 技术构建水利 PaaS 层，实现领域功能的分布式开发、多样化实现和持续性迭代，提高系统成熟度和生命周期，并基于云实现弹性计算和集成，值得探讨。

2.4 基于应用集成门户的水利应用云技术

通过统一用户、权限、门户，实现资源、功能和系统的集成管理和访问。

1）统一用户管理。在省平台建设省、市、县三级统一的用户数据库，人员属性存储在协议开放的轻量目录访问协议（LDAP）目录中，结合访问控制列表（ACL）进行复杂访问控制和权限管理，市县可集中访问省中心库，也可采用分布式架构自建节点，采用推、拉方式同步数据或远程访问其他节点数据。

2）统一身份认证。在水利专网、政务内网分别部署 CA 服务器，以 PKI/CA 数字证书鉴权，应用系统采用普通密码和数字证书双认证方式，保障重要业务系统和数据访问安全。

3）统一门户内容。基于Portal，利用 URL，Iframe，Web Service 和 API 集成等界面集成技术[7]，将各类信息资源展现到应用门户中，实现单点登录和一站访问。

2.5 基于端到端安全架构的云安全技术

与传统纵深防御安全需求相比，虚拟化层（Hypervisor）的自身安全、漂移导致的边界缺失，主机间东西向流量未知，租户数据和应用的隔离，使云计算需要更细粒度的防护。端到端的安全指在终端到访问对象间建立系统性的防护体系，包括终端、管道、云平台、管理的安全等。江苏省水利数据中心采用“一个中心、三重防护”实现了端到端的云安全架构。安全管理中心（SOC）采用态势感知技术，应用人工智能检测、网络流量检测和大数据分析，实现安全状态全面监控、收集、分析、告警和可视化，采用三权分立模式实现了管理安全。计算环境层通过主机、数据库和日志审计实现行为监控和追溯；以漏洞扫描和恶意代码监测实现程序可信执行保护；用数据加解密保护用户数据。边界层用 UTM 设备进行病毒过滤、入侵检测，加强数据流管控，采用堡垒机访问内部系统确保终端访问安全。通信网络层通过 PKI 密钥体系、SSL VPN安全加密隧道等技术构建可信网络连接，保障“管道”安全。

3 典型应用

水文实时监测及其长期观测、整编的数据是水利业务的基础，也是勘测、设计、科研及工农业生产，甚至交通、环保等跨行业及社会需要的重要信息。长期以来，行业内外对水文资料的申请、获取和使用仍基于原始的数据库查询方式，效率低下且有安全隐患。江苏水文监测资料共享平台以云租户理念、云服务技术，为行业内外不同类型用户提供站点地图查询、整编资料目录、数据定制推送、实时信息图象（将数据转换为图片格式显示，防止网络爬虫）、常用水文统计和在线数据处理等各种云端服务和应用，实现了丰富的数据云功能。

水利部门职能分散但业务交织，一项任务需要多个部门的信息集成。水利综合门户系统采用语义关联的大数据算法，实现水利信息资源的垂直检索；以内容抽取、服务注册方式，实现新闻信息和业务功能的聚合；以 Session + Token 方式实现单点登录，依据权限选择或者根据角色分配，行成个性化门户内容和一站式办公场景。目前，已完成省级各类数据库资源和元数据信息、近百种功能服务和数十套业务系统的聚合，实现了 SaaS（软件即服务）。

水利“一张图”是水利信息化基础资源，由于GIS 数据的特殊存储和计算方式，使地图访问往往成为数据中心网络、内存和计算性能的瓶颈。江苏省水利地理信息云在建设过程中，将大量地图服务依托云计算资源池发布，一个发布地图服务的站点由可配多台虚拟机支持，当站点访问量达到阈值，可自动增加虚拟机数量进行负载均衡，实现弹性计算 GIS 云[8]。

4 结语

水利信息化是和 IT 技术发展紧密结合，同时立足于水利业务管理和服务需求的工作。数据中心作为信息化基础设施和集成环境，承担着水利业务信息资源环境保障、应用支撑、服务窗口的职能，重要又具有代表性。当前，云计算已经落地实现并在各领域广泛应用，对简化数据中心建设和运维管理，促进信息资源整合共享，保障业务可用性和服务质量（QoS），具有显著的实施效果。江苏省水利数据中心采用虚拟化、自动运维等技术，实现软件定义的数据中心，并在平台层构建了各类数据和功能服务，通过门户集成各部门应用，验证实现了云IaaS，PaaS，SaaS 三层架构，提升了水利信息化基础设施运维保障能力，促进了水利信息资源集成共享和业务系统开发，方便了日常工作和行业管理，为智慧水利夯实了基础。