基于大数据、云平台和微服务的水文综合平台建设

王述强 ，王 丹

（1. 江西省水文局，江西 南昌 333000；2. 浙江贵仁信息科技股份有限公司，浙江 杭州 310000）

0 引言

大数据、云计算是目前较为前沿的信息技术，被广泛用于智慧城市、物联网、金融分析、军事、公检法等各个领域[1]。微服务技术是近几年兴起的先进信息技术，我国目前虽然在一些小范围内应用该技术，但在许多领域尤其是水利信息化中仍处于试验探索阶段。

因此如何将大数据、云平台和微服务结合，解决水利信息化发展中长期以来存在的水文数据重复采集、水文业务重复建设、水利数据资源无法共享等问题，以提高水文服务效率是信息研究和水利领域的重要课题。

为此对大数据、云平台和微服务等前沿技术结合进行分析，搭建江西省水文综合平台，解决缺乏统一数据资源、应用支撑、标准规范、服务平台的背景问题，实现水利信息资源统一管理及标准的目标。

1 建设思路及总体设计

水文综合平台以“统筹规划、统一标准、资源汇集、共享服务、持续发展”和水利信息化方案中“五个统一”为指导思想，以科学性、实用性、稳定性、安全性和兼容性为设计原则，围绕“一个中心，多个应用系统”的核心思想，采用云计算、大数据分析与水文业务工作的结合，加强全山西省水文数据的汇集共享，基于微服务架构逐步优化已开发业务应用中同类、共性的功能模块，通过资源、应用整合及综合展示，实现数据的统一汇集及应用，整合省水文局相关应用系统，达到对系统的单点登录、统一管理、有效结合的目的。构建省水文数据中心统一部署，省、市、基地、重点站四级水文机构应用的云平台服务体系，提供全天候、全覆盖、全方位的技术支撑和数据服务，从而实现智慧水利的目标。

智慧水利具有透彻感知、全面互联、深度挖掘、智能应用及泛在服务等特征，各个层次互相关联，彼此耦合，从业务、应用、数据、水利云、网络、安全等方面及之间的关系形成一个完整体系[2]。

水文综合服务平台总体架构如图 1 所示，从下至上划分为信息采集层、基础环境层、数据层、平台层、应用层。应用层和平台层遵循安全保障体系，如强密码管理，防暴力破解等，数据层、基础环境层和数据采集层遵循运行维护体系，如备份策略，容灾等，整个平台架构符合标准的规范体系。

图1 总体框架图

应用层自上而下采用面向服务架构（SOA），各系统通过服务的方式共享资源。平台层提供 PaaS（平台即服务）功能，各层次间根据业务应用的需要，通过制定不同的接口协议，在服务、构件、信息等层次，实现基于网络的资源共享与协同操作、业务资源共享的目标。数据层作为基础数据支撑对各类数据进行汇集，在数据层逐步推进数据资源的整合。最终形成应用层各平行系统间信息互通，用户体系统一，服务共享。

2 建设内容

2.1 应用支撑平台建设

2.1.1 大数据平台

进入大数据时代，政府的公共事务流程和社会管理方式等均变得更为精简、精准、智慧[3]，治理结构趋于扁平化[4]，因此政府须改革各自为政的数据管理模式，理清数据权属关系，打破地域、职能和部门的桎梏，实现部门之间的合作分工[5]。

江西省大数据平台底层以 Hadoop 大数据生态组件为主，构成企业级大数据存储、查询、分析的统一平台，能够帮助机构快速构建海量数据信息处理系统，通过对海量数据信息实时与非实时的分析挖掘，打破地域、职能和部门的数据壁垒。

2.1.2 云平台

云平台实际的物理资源抽象成虚拟化资源，包括计算、存储和网络虚拟化，形成一个虚拟化资源池。随着数据中心业务的发展，传统数据中心面临着很多新的挑战。江西省水文云平台功能包括：对各个物理数据中心资源进行整合；采用 ManageOne作为数据中心管理软件，对多个数据中心提供统一管理；弹性云平台可以为用户提供基础设施层服务；用户可根据自身需求定制云服务器配置、操作系统，配置所需的运行环境，采用客户端或者命令终端的方式访问虚拟机[6]。通过云平台和数据中心管理软件协同运作，达到多数据中心融合、企业整体 IT 效率提升的目的。

2.1.3 容器云平台

容器云平台底层采用开源 K8s 和 docker 技术，提供弹性高效的容器底座，开放共享的服务目录和丰富的云中间件生态。可在大规模高可靠的云服务和大量高性能互联网应用的驱动下产生新一代软件开发、集成、管理、运维的 PaaS 平台。

2.1.4 微服务架构

采用微服务开源框架 ServiceComb 搭建微服务架构，微服务平台提供的微服务是一个细粒度的SOA，服务的划分基于领域驱动设计，每个微服务只专注自己的职责。每个服务可以进行独立的开发、测试和交付，拥有独立的运维、管控接口的能力，业务系统可以通过对接平台进行统一的管理。微服务应用实现了快速构建，实时监控，高可用保障。

2.2 水文综合数据库和数据共享平台建立

2.2.1 水文综合数据库

江西省水文数据资源库设计方面，应利用已建系统数据库，根据微服务架构规划，将已建的异构的数据库按照国家和水文行业标准实施数据库整合。整合后的数据库一方面要保证已有业务应用系统的正常运行，另一方面也要在微服务架构下充分为新的业务应用提供支撑，为建设各层次的水文微服务应用及数据共享奠定基础。

水文统一数据资源库需要设计包括基础、监测、历史、业务、事务、多媒体等八大数据库在内的统一的水文数据资源库。

依据《江西省水文统一数据资源库数据库设计》，建设江西省水文统一数据资源库，对省局现有基础数据库中的水文数据进行数据抽取、转换，汇入公共基础数据池中，而公共基础数据池则作为综合数据的重要来源实现一数一源的目标。

2.2.2 数据共享平台

江西省在实现数据库统一标准的前提下，通过统一资源库和大数据平台技术有机结合建立了数据共享平台。数据共享平台，作为数据中台，数据的集合中转，统一为各子系统提供可靠、标准的业务数据来源。数据共享平台采用面向对象的动态建模和数据服务，提供 Web 可视化界面和 Restful Service API 服务。使用方提出数据使用申请，由数据资源管理者进行审批，通过则发放数据使用许可服务，最终实现数据治理的系统性、整体性和协同性[7]。

以共享同一数据接口的方式，实现数据的实时更新，充分体现“一数一源”，避免重复开发，统一数据、计算标准。

2.3 水文微服务平台建设

采用微服务框架，基于 RESTful 规范的 Web API 进行数据交互。各应用封装成使用 HTTP/HTTPS 协议的 Web 服务，按照约定的资源地址（URL），调用各业务功能，数据传输的参数和返回值采用 JSON 格式，数据结构须满足约定要求。同时，在应用支持平台中，提供 API 网关，负责服务的发现、注册、管理及负载均衡等功能，各系统须提交 Web API 的调用规范到 API 网关进行统一管理。

API 网关是服务调度的核心，起到定位服务资源和统一发放的功能，所有的服务访问，都通过API 网关进行请求，API 网关收到请求后，按照事先约定的地址和方式，将请求重新定向到各服务节点，保证所有服务统一资源管理的同时也便于各服务的维护。

2.4 水文综合平台建设

在大数据、云计算、微服务技术的基础上，以一张图的设计理念搭建水文综合平台，按照一揽子覆盖水文全业务的思想，从监测、服务、管理多角度全面提升水文管理和服务水平。采用文字、表格、统计图、专题图、视频监控等多种展示方式，将防汛抗旱、水资源管理、水环境水生态保护、档案管理等信息集中在一张图上进行综合展示和分析，实现多水文业务的统一调度管理，综合展示江西水文各项专题和各类实时监测等的信息。

大数据平台对江西海量数据的存储管理能力，提高了数据查询、采集、管理的效率，特别是对历史数据的全量或增量的更新效率提高了 5～10 倍，但对实时数据的计算能力仍有提升的空间；云计算为各业务系统提供统一文档的基础运行环境；微服务提供灵活标准的服务部署能力。各项技术之间相辅相成，形成了标准的统一数据库、数据中台支撑综合水文服务平台，从各个角度对水文信息化体系进行了完善。

3 结语

2020 年底江西省水文综合平台已在 11 个地级市落地，服务于数百个业务系统，基本解决了长期以来存在的水文应用繁多、资源不共享、标准不统一、信息孤岛等问题。目前各业务系统水位站基本数据保持一致，水位、流量、水质和土壤墒情实时数据各系统共享，业务系统生成的成果数据互相共享。进一步证明：标准的数据运行基础环境的搭建是形成统一资源和服务，减少重复建设和信息碎片化的关键，大数据、云平台对基础环境的搭建至关重要，微服务的调用可保障各水文系统数据结果的准确性、一致性。

信息化的建设不是一蹴而就的，比如：在对实时数据的演算中，大数据技术仍未达到理想的状态，雨水情数据因其实时性较高，字段复杂，部分计算效率的突破要与大数据技术中非关系型数据结构更好地结合，才能在微服务调用计算时达到毫秒级输出，这需继续投入针对性的研究和设计。

综上所述，大数据、云平台和微服务有机结合若能在水利信息化中长期发展，确实能为水利诸多方面提供帮助。目前江西省水文综合平台的开发，将为水文业务提供系统的解决方案和实践案例，具有一定的研究价值和行业推广意义。

由于水利信息数据种类、字段内容丰富，算法过程尤其预报类算法复杂，仍需要持续性地投入与研究。云平台解决的是运行环境的问题，若能将实时业务数据更好地与大数据等信息采集技术融合，充分使用微服务提高效率和可控性，将使水利信息化发展更加扎实。