湖北水利数据资源整合共享实践及关键技术研究

杨小琴 ，朱光军 ，陶 锋 ，郑长安

（1. 湖北省水文水资源局，湖北 武汉 430071；2. 鄂北地区水资源配置工程建设与管理局（筹），湖北 武汉 430071；3. 长江水利委员会网络与信息中心，湖北 武汉 430010）

0 引言

国家“十三五”规划提出的“互联网 +”和大数据经济战略发展目标，将加速信息化的快速发展。同时，国民经济和社会的可持续发展，对水利行政管理水平的要求越来越高，对水利业务应用中综合分析、决策支撑能力的需求越来越强，对水利信息化资源整合共享的需求越来越迫切。利用云计算、物联网、移动互联网、大数据、智能化、区块链等新技术，建设湖北水利数据资源整合与共享项目，加快推进湖北水利数据资源共享与交换，是“十三五”时期湖北省水利信息化建设的重点内容之一[1]。2015 年，水利部信息化工作领导小组办公室及水利信息中心印发了《水利信息化资源整合共享顶层设计》[2]，提出实现水利信息“统一技术标准、统一运行环境、统一安全保障、统一数据中心和统一门户”的目标，为湖北水利信息资源整合共享指明了方向。

同年，长江水利委员会（以下简称长委）网络与信息中心、江苏省水利厅启动了流域和省级数据资源整合与共享试点[3]，逐步实现了省内及流域内部之间的数据共享，但尚未完全实现行业内各级（含流域）水行政主管部门之间及与行业外的数据共享。在广泛调研和借鉴试点建设的经验之上，湖北省于 2016 年申报《湖北水利数据资源整合与共享建设项目》，2018 年 6 月完成信息资源规划、资源目录与交换体系、数据资源整合与共享、业务应用支撑平台、综合信息服务门户、热备设施等的建设。建设中遵循数据资源规划，兼顾行业内外有关规程规范，结合国家电子政务信息系统实施“大数据、大平台、大应用”的整合要求，按照“改造已有、整合在建、规范新建”的指导原则，有序推进信息资源和系统协同应用建设，通过关键技术的研究，逐步实现水利行业内上下五级（水利部、流域、省、市、县）贯通，行业外（环保、测绘、国土、气象、武警战区等部门）左右连通的信息共享体系。

1 建设目标

紧紧围绕防汛抗旱防灾、水资源合理配置和高效利用、水资源保护与河湖健康和有利于水利科学发展制度等体系发展的核心需求，在水利部的统一部署和组织指导下，立足于国家水利数据共享平台省级节点的定位，以实现资源共享、规范应用和充分挖掘信息资源价值为目的，遵循相关标准体系，采用先进实用的技术，充分利用“楚天云”资源环境，收集整理各类数据，开发数据共享应用，基本建成一个标准的数据共享平台，提供连接水利部、长委、中南五省及所辖行政区域内的水利数据交换平台[4]；基本形成结构完整、逻辑合理、流程规范、内容丰富的信息资源目录和功能完备的交换共享服务等体系；基本健全水利信息资源相关标准和管理制度，为水利业务应用和行政管理提供信息服务。

2 主要建设内容

湖北水利数据资源整合与共享建设项目主要建设内容包括信息资源规划、资源目录与交换体系、数据资源整合与共享、业务应用支撑平台、综合信息服务系统等部分。

2.1 信息资源规划

信息资源规划从水利业务和事务的管理需要出发，通过选定职能域的需求分析，建立应用系统的信息模型，包括系统功能、数据和体系结构等模型，规划出所需要的数据资源，并明确数据资源获取、传输、存储、交换、共享、应用的方法。

在项目建设前期对湖北省水利厅 20 多个业务处室进行了需求调研，收集了大量数据资源现状信息、水利信息化需求及整合建议，通过对全职能域对象（50 余类）的梳理，形成水利业务应用和事务管理的数据全集，构建脉络清晰的水利业务和数据的流程。从表单收集，到数据项整理，形成稳定的数据源。同时，对现有不合理的数据集合进行解耦，转换成粒度合理、属性语义清晰、关联关系明确的数据集合。

信息资源总体设计分为行业内业务、用户视图与数据流的分析，系统功能、数据的模型设计，C-U 矩阵（资源创建-使用矩阵）、基础标准和数据交换标准体系的设计，以及信息资源元库建设、工程总体规划等环节。同时，建立行业外对水利数据的需求目录、获取数据途径、安全权限等。信息资源规划总体工作流程如图1 所示。

图1 信息资源规划总体工作流程图

2.2 资源目录及交换体系

建立数据标准化体系，包括信息资源管理基础标准（数据元素、信息分类编码、用户视图、概念和逻辑数据库等标准）和目录交换体系（内外数据交换标准），充分利用信息资源规划成果，梳理现有的水利信息资源，形成结构清晰、逻辑合理、流程规范、内容丰富的信息资源目录及功能完善的数据交换体系，最终实现数据资源的共享使用。无论是物理集中整合模式还是逻辑集中整合模式，都需要抽取元数据并建立数据资源目录实现数据共享，元数据以资源目录的形式定义不同数据资源视图，通过元数据与资源目录分类挂接的方式生成多维数据目录，其中水利对象维度的目录树不重不漏，组织机构维度的目录树可重不漏，水利业务维度的目录树可重可漏，以满足不同层次用户的数据资源需求[5]。

为保证与水利部、长委等上级业务部门的数据进行统一交换共享，湖北水利数据资源目录在结构上与水利部、长委的数据保持一致，有行业标准的严格按照行业标准进行统一数据规划，以最大限度地方便数据流动，发挥水利数据资源的更大价值。

湖北水利数据资源目录结构设计如图2 所示。

2.3 数据资源整合与共享

从水行政管理和业务应用对数据资源的需求出发，依据应用范围和关联关系，整合规范现有面向业务视图建模、语义空间不一致的数据资源，形成面向对象建模、统一语义空间的数据资源，便于数据资源共享利用和深层次挖掘，最终实现“统一模型、一数一源、共建共享、授权使用”的信息建设、共享、应用与管理体系。

图2 湖北水利数据资源目录结构设计图

1）整合对象。包括河湖长制、防汛抗旱、水资源、水生态水环境、水土保持、水利工程、农村水利等七大类水利业务应用数据资源，以及行政审批、执法监督、应急管理、电子政务等四大类水利政务管理数据资源。

2）共享思路。包括以下 2 类共享方式：a. 物理集中数据共享方式。物理集中的数据共享承载数据的存储，通过数据交换平台由主体数据库承载数据共享负载。数据需求方利用数据共享系统完成数据资源的发现和共享使用申请，数据源责任单位利用数据管理系统完成数据资源共享使用的申请审批。针对原业务系统，可通过交换平台获取物理集中的部分数据资源；针对新建业务系统，可以调用主体数据库的物理集中数据资源服务。b. 逻辑集中数据共享方式。逻辑集中的数据共享承载目录的存储，主体数据库仅承载数据资源目录的共享负载，不承载具体数据的共享负载，数据资源共享使用的申请、审批处理将利用数据共享和管理系统完成。

2.4 业务支撑平台建设

建设业务应用支撑平台，统一开发数据交换接口、中间件、GIS 接口、信息录入、报表输出、日志管理等基本工具，实现基础功能的有效共享，提高数据安全，降低业务应用系统的开发成本，提高开发效率，提升业务应用支撑平台的利用率。以企业服务总线（ESB）技术作为支撑，以 Web Service服务交互方式更好地整合各业务系统，使得业务系统或应用程序能够更方便地互相通讯和共享数据，降低“烟囱”效应，实现应用系统的协同。

业务应用支撑平台是为各业务应用系统提供应用支撑、数据交换、应用整合、安全管理、应用生成、部署的统一平台和基础。已有系统，经过相应的集成改造，接入本项目建设的业务应用支撑平台；在建系统，进行规范化处理，以利用本项目建设的业务应用支撑平台；新建系统，可直接利用建设的业务应用支撑平台。

2.5 综合信息服务门户建设

建设业务应用和公共服务门户，实现统一用户管理和身份认证，并规范信息汇聚和应用统一入口；开放个性化定制服务，使用户可根据自定义需求便捷生成个性化应用。

1）在业务应用方面。以“统一入口、统一认证、统一导航、统一管理”为目标，升级现有业务应用门户，为内部人员提供数据信息发布的统一平台，作为湖北水利数据共享平台的统一访问入口和管理平台。对湖北省水利厅机关相关应用系统集成思路如下：集成水利厅机关主要系统和网站到业务应用门户，被集成的应用系统用户通过统一的门户登录窗口完成登录操作，并可利用门户汇聚展现窗口直接处理个人相关信息，各应用系统内部的使用方式维持不变，应用系统授权由平台管理员根据用户申请统一完成。同时，利用“爬虫”技术，对被集成系统中的重要信息进行抽取、推送和汇聚展现。

2）在公共服务方面。以服务公众为核心，为公众提供极简型一站式导引，开发通知公告、业务动态、待办事项、领导日程、个人日程、公务公车、数据申请等通用功能模块，并集成全水利厅所有业务系统等公共服务功能模块，公众可通过一个入口快速、简明、直观地获取所需信息。同时，开发移动版门户，重点进行成果信息的定制推送和展示。

3 关键技术研究

3.1 主体数据库的设计

湖北水利数据资源整合与共享建设项目主要任务之一是构建主体数据库，即从湖北省水行政管理对数据资源的需求出发，梳理全省水利数据，并基于国产数据库系统，设计物理集中数据资源整合的目标数据库。

主体数据库设计采用面向对象模型的设计方法，将对象抽象为标识、基本和业务属性、空间数据等实体，梳理并研究对象与业务属性、对象与空间数据、对象与多媒体，以及不同对象之间的相互关系，结合湖北省水利厅具体的水行政管理业务，开展设计工作。

为了便于和水利部、流域机构在水利基础数据上实现上下贯通，湖北水利主体数据库遵循水利部及流域机构在资源整合项目实施过程中提出的对象分类体系、对象类命名、标识符设计、对象统一编码等设计规则和规范，在保证数据结构兼容的前提下，根据湖北省水利行政管理的实际需求，补充和完善主体数据库设计规则和规范。主体数据库设计如图3 所示。

图3 主体数据库设计图

3.2 异构数据源的数据整合

湖北水利数据资源整合与共享的另一个主要建设目标是整合湖北省分散的水利数据资源，实现数据资源的归集和共享。湖北省水利数据分散在众多数据库、电子表格和文档、影像和纸质文件中，数据源形态异构，数据格式标准不统一，数据存在冗余和不一致，整合难度较大。

为化解数据整合的难度，根据集中存储的数据形式和最终数据供给方式的不同，将湖北水利数据资源整合分解为物理和逻辑 2 种集中整合方式。

物理集中整合是将数据资源按面向对象模型转换后，集中存在主体数据库中，根据数据源的更新维护特征，又细分为以下 2 类：

1）归并数据源物理集中整合。主要针对数据来源不唯一，缺乏统一更新维护，有广泛共享应用需求的数据资源，数据整合过程中需要整理数据项与主体库对象的映射关系，并排定相应数据源的优先级，再确定最终的入库数据项。

2）维持数据源物理集中整合。主要针对数据来源唯一，能伴随业务工作进行更新维护的数据资源，整合后的原生产库维持正常运行，主体数据库同步更新数据，物理集中整合过程中借助 ETL 工具kettle 完成数据的迁移和同步。

逻辑集中整合只将数据资源对应的资源目录统一存储在主体数据库中形成共享服务库，数据资源本身仍然存储在原有数据库中或以非数据库的形式存在，由源数据所有者维护更新。

3.3 空间数据的可视化表达

信息表达形式和效果对于快速、准确地理解信息的内涵有重要的影响。信息的表达可以是静态的数字、文字、表格和图片，也可以是动态的图像、影像、三维模型、虚拟场景等。空间数据的可视化表达，对带有空间属性的水利数据，通过动态、交互式的二维图像或三维模型的方式组织和展示数据，方便用户操作和理解数据。

1）二维展示与应用方面。对 2013 年建设的湖北省水利“一张图”系统在数据和功能方面进行了升级[6]，将原有的 28 类湖北省水利空间数据进行了扩展，更新为现有的 50 余类，集中在一张地图上进行展示，并提供地图服务（wmts100，wmts-china，wms130，wfs100 等接口共 208 个），为行业内外单位共享湖北省水利空间数据服务提供了服务保障；对系统功能进行了优化与完善，增加了视角和专题切换、场景应用、时向对比等模块，优化了视野内查询、数据关联查询、标绘等功能，让用户更多维度地使用数据，提升人机交互体验。

2）三维展示方面。利用倾斜摄影技术对长江龙王庙、荆江大堤、汉江杜家台等重点水利工程区域进行全景拍摄，生成三维模型并进行相应处理，构建三维空间数据展示系统，提供全景图浏览、三维模型加载、虚拟三维场景漫游。同时，对三维场景进行 VR 应用，在三维场景中引入实时水雨情数据，模拟水位涨、跌，以及水闸泄洪、分流等场景，通过可穿戴设备让用户体验沉浸式的 VR 场景，应用效果示例如图4 所示。

3.4 数据的快速检索和发现

湖北水利数据资源类型丰富，数据量巨大，但这些数据资源分散在各系统数据库、电子文档、纸质文件中，数据存放的位置一般只有相关的业务人员清楚，给其他人发现和使用数据设置了障碍。对于一些集中存放的数据，从大量的数据中找到需要的数据也不容易，湖北水利数据资源目录系统通过数据资源目录体系和综合搜索系统可实现数据的快速检索和发现。

图4 三维场景 VR 应用效果示例

水利数据资源目录体系，对湖北省水利厅的电子、纸质相关资源进行编目，按照多维度分别建立数据资源目录分类，形成相互补充、联系的有机整体。资源目录像一部字典的索引目录，水利主体数据库及专业库像字典的正文部分，两者融合之后将形成全省水利数据资源字典，使用户能够对信息进行方便、准确地索引和获取。

综合搜索系统贯穿全部的水利数据资源，实现基于关键词的全文检索功能，将检索结果进行排序和关联展现，方便用户快速发现有价值的数据信息。在搜索系统的基础上，建立数据推送系统，根据用户的特征主动推送有价值的数据信息，充分发挥数据资源的价值。归集关联度较高的分散数据信息，筛选后进行集中显示，可进一步减少用户获取信息的时间成本。

3.5 水利大数据的分析和应用

对整合的防汛抗旱、农村安全饮水、实时水雨情、水资源、灌排泵站等数据进行关联分析，建设主体和专题数据库，结合时间序列变化特征，初步建立基于数据专业模型关系的数据仓库，开展深度挖掘与分析应用。围绕水利中心工作，在水资源监测评价、气象预警预报、水旱灾害监测预警、防洪调度决策、水土流失动态监测分析等方面开展相关数据分析工作，从已知的、历史的、海量的水利数据信息中分析挖掘出大量有价值的未知信息，为领导提供决策依据和支持。同时，平台提供用户行为分析，可以对用户访问频次高的系统、数据、功能模块进行分析，日积月累，这些用户行为日志也为大数据应用及分析提供了有效的数据基础支撑，用户行为分析示例如图5 所示。

图5 用户行为分析图示例

4 结语

湖北水利数据资源整合与共享平台建设诣在通过信息在采集、汇聚、融合、分析、挖掘过程中的关键技术研究，使得分散在各单位（部门）、项目中的信息资源，通过物理或逻辑集中，供各类业务系统共享使用，同时通过制度建设实现“一数一源一责”和同步更新，避免信息采集系统的低水平重复建设。项目实现了 53 类业务和事物类信息在行业内外的共享使用，目前，建设成果不仅交换到水利部、长委等，也为湖北省发展和改革委员会、气象局、国土资源厅、环境保护厅等行业外单位提供数据共享服务，成效显著，为各行业数据交换与共享积累了经验，探索了实现途径。

主体数据库的关键技术研究解决了现有系统和数据的可持续利用，规范了新建系统利用主体数据库进行的应用开发，也有效地解决了“一数多源”的问题。异构数据的整合能够实现分布异构数据的互相操作，有效地解决资源整合问题，实现不同数据库与不同系统之间的透明访问及资源的共享。空间数据的可视化表达解决了数据从看得见到看得清、最后看得懂的过程，为非专业管理层提供了决策依据。数据的快速检索和发现可以高效地找到用户感兴趣的数据资源，解决信息服务系统中的关键问题。

下一步，将继续研究水利数据在河湖长制、防汛抗旱、水生态水环境修复等核心业务中发挥的作用，通过实际场景应用，优化水利数据模型，挖掘水利大数据价值，为最终实现数字水利、智慧水利提供数据基础及应用依据。