水利普查数据更新维护对策研究

肖晓春，张巧惠，张 煦，满运涛

（中国水利水电科学研究院，北京 100038）

水利普查数据更新维护对策研究

肖晓春，张巧惠，张 煦，满运涛

（中国水利水电科学研究院，北京 100038）

水利普查数据更新维护是全国水利普查成果长期有效应用的重要支撑和保障。第一次全国水利普查后，数据更新是否及时，质量能否保障，共享能否畅通，以及现有数据能否满足需求等问题将是影响普查成果在水利信息系统应用的重要制约因素。针对这些问题，着眼于构建“统一化、专业化、标准化”的水利数据中心，形成一体化的国家基础水信息平台为总体目标，提出数据更新维护应遵循的多样性、适用性、规范性、协同性、同步性等 5 项原则，重点研究数据更新维护实施的技术手段及路径，并初步探讨相关标准、管理制度及工作流程，以建立数据更新维护过程的长效机制，确保水利数据资源得到充分利用。

水利普查；数据更新维护；技术手段；对策研究

0 引言

第一次全国水利普查，获取了我国迄今最为全面细致、完整系统的涉水基础数据资源和规范权威的普查成果。为将普查数据资源和成果，根据公开程度和适用范围，以全面完整、形象直观、灵活方便的方式，提供给社会公众、科研院所和政府相关部门使用，确保水利普查的巨大意义和应用价值得到充分体现，国务院水利普查机构在 2013 年度开展了“第一次全国水利普查成果查询及服务系统”建设，目标是基于水利普查原始数据进行分析加工和概化提炼，形成全方位反映水利普查内容的成果体系，满足水利系统内外不同层面用户查询、共享和使用水利普查成果的需要[1]。该系统的建成将为建立国家基础水信息平台奠定坚实的基础。

水利普查数据具有一次性特点（普查的标准时点为 2011 年 12 月 31 日，时期资料为 2011 年度），然而，水利普查对象本身是处于动态的变化过程当中的，如果不考虑现势性特点，水利普查数据和相关成果，以及以此为基础建设的信息系统都会在不久的将来失去使用价值，造成普查投入资源的极大浪费。为了确保水利普查数据能长效地服务于水利普查的总体目标，有必要以第一次全国水利普查数据为基准，在“第一次全国水利普查成果查询及服务系统”建设的基础上，研究水利普查数据更新维护的长效措施及机制。

1 普查数据及成果应用面临的主要问题

1.1 数据更新是否及时

保持数据的现势性对信息系统而言至关重要。当前，应高度重视全国水利普查数据后续更新问题，缺乏现势性的数据将对后续信息系统查询、分析服务、决策判断产生误差或误判，使得信息系统在实践应用中无法真正发挥作用，逐渐失去使用价值。因此，为了长期发挥水利普查数据及成果的使用价值，需根据实际情况及时更新，保证数据的常新常用。

1.2 数据质量能否保障

数据质量是信息系统发展过程中普遍遇到的问题，数据质量的优劣决定着系统分析质量及应用的成败，缺乏数据质量保证的信息系统将无法得到用户的信任，并最终导致整个系统不可靠甚至无法使用。普查阶段，水利普查数据的填写、汇总和上报等工作都经过严格的数据处理和审核验收环节[2]，数据质量是有保证的。但后续更新维护过程中的数据质量问题，要求更高，目前亦应重视后续数据质量的保障，以防由于后续数据质量不合格导致整个普查数据及成果的可信度降低。

1.3 数据共享能否畅通

目前水利行业结合各项业务，开发建设了一些专用数据库及相应的信息系统。但这些数据库及信息系统缺乏统一的规划，也没有遵循统一的标准或规范，数据库与具体的业务处理紧密绑定，服务目标单一，“信息孤岛”问题严重，难以满足多业务协同的需求，为水利信息资源的深度挖掘、综合分析、决策支持的发展设置了障碍[3-4]。水利普查数据及成果涉及水利行业 6 大业务领域，是各业务领域信息系统数据基础的重要来源，也是整合各业务系统数据资源的一个契机，因此如何保障数据及更新后的数据在各业务系统之间的共享，是数据更新维护中需要重点考虑的环节。

1.4 现有数据能否满足需求

水利普查数据主要是涉水基本信息，以及在此基础上形成的统计和相关主题成果，仍然难以满足各业务深度开发及跨专业综合分析应用的需要。如果将水利普查数据作为未来发展国家基础水信息平台的基础，需要满足不同层次和深度的用户需求。因此在后续的普查数据更新维护中，以水利普查数据为基点，将在此基础上研究或应用的成果数据充实到数据平台中，才能充分发挥“滚雪球效应”，逐步建立专家决策支持数据库，充实和完善国家基础水信息平台。

2 普查数据及成果更新维护对策建议

2.1 更新维护的总体目标

遵循《全国水利信息化发展“十二五”规划》五统一目标中的“统一数据中心”[5]，以水利普查数据及成果为基础，以完善的数据更新维护机制为保障，构建“统一化、专业化、标准化”为特征的水利数据中心，最终形成一体化的国家基础水信息平台。

2.2 更新维护的总体原则

普查数据及成果的更新维护机制不能仅仅针对普查数据及成果本身，而应该站在水利数据中心的角度，从水利信息系统顶层设计的高度看待普查数据及成果的更新维护问题，因此，在研究对策的过程中应把握以下原则：

1）多样性原则。水利普查数据及成果涉及多个业务领域、多种数据类型，因此数据更新维护应该根据不同的数据特点提供灵活多样的技术手段。

2）适用性原则。水利普查数据及成果涉及的业务领域多，数据量非常大，因此数据更新维护应该结合业务工作流程，制定切实可行的对策，以防范由于不切实际无法实施的情况；也要防范仅为更新普查数据而更新的情况，提倡在实施业务活动的过程中“顺带”更新普查数据。

3）规范性原则。由于数据更新维护涉及多样化的技术手段和更新路径，为了保证更新维护数据的质量，必须通过标准、工作流程及管理制度等对数据更新维护的过程实施规范化管理和控制。

4）协同性原则。水利普查数据及成果需要被信息系统应用才能体现其价值，而信息系统的某些应用成果也可以充实水利普查数据及成果内容，因此，在数据更新维护过程中应考虑二者之间的协调处理。

5）同步性原则。水利普查数据及成果不仅涉及原始数据，还有在原始数据基础上形成的派生数据，以及依据原始和派生数据生成的其他数据，原始数据更新维护后还需考虑派生数据的同步更新问题。

2.3 更新维护的技术手段及路径

从“第一次全国水利普查成果查询及服务系统”的角度来看，普查原始数据存放在关系数据库中，成果数据存放在数据仓库中，系统数据架构如图1 所示。数据仓库是面向主题，支持决策制定过程，提供 OLAP（联机分析处理）查询的分析型数据库，主要支持查询和聚集操作，因此水利普查数据及成果的更新维护过程聚焦在原始数据这个部分，主题数据作为派生数据可通过定期或人工启动 ETL（数据抽取—转换—装载）等过程重新加载。

从数据应用过程来看，分为采集—传输—处理—存储—应用—展现几个阶段，数据总体流向图如图2 所示。图2 中数据采集层是将各种数据通过自动量测或数据上报系统上送，在水利数据中心建设并完善的情况下，上送数据在数据交换层按照统一的数据接口完成数据结构的转换、数据的初步处理，存储到数据平台层的相应数据库中，然后通过SOA 服务总线对各业务系统提供数据服务。然而，目前由于各业务系统独立开发，且没有统一的规范或标准，业务应用与数据库捆绑紧密，同时考虑到各业务系统的投资建设，即便在水利数据中心统一规划和建设的过程中或建成后，各业务系统也不可能同步退出服务，重新规划建设。因此，在目前乃至今后很长的一段时期内，图2 中的数据源层和平台层将共存，目前的自动量测或数据上报系统直接与各业务系统数据库和普查原始数据库关联，通过它们再将数据传送到数据平台层；同时，各业务系统又将取用数据平台层的相关数据，在各业务系统与数据平台层之间将存在大量的数据整合和交互。

图1 水利普查成果及服务系统数据架构

按照数据应用的基本流向，在研究数据更新维护的技术手段时，可从以下几个方面考虑：

1）扩大自动量测系统的覆盖范围。涉水数据中部分实时动态变化的数据，包括水位、流量、流速、雨量、水质、供水水量等应该实现自动采集和传输，按照流域重点区域、水利工程规模、山洪灾害发生频率等因素规划适度的水文/水位站网密度，利用先进的传感技术逐步实现实时动态数据的全自动采集，经由水利专网上传至各业务系统或水利数据中心，实现水利普查中这部分数据的实时动态更新，历史数据存储。

2）丰富数据上报系统的终端应用。涉水数据中大部分属性数据，可通过数据上报系统填写上报，填报终端应考虑 PC 机、手机和平板电脑等的应用，数据通过政务内网、无线网等方式上传，数据上报系统多终端应用的目的是保证数据更新的便捷性和及时性。

图2 数据总体流向图

3）整合多业务系统数据。目前各业务系统数据库都是独自运行的，即便针对同一业务对象，在不同的业务系统中也可能由于命名编码不一致，难以实现同一业务对象不同业务系统数据的整合。水利普查数据为各业务系统数据整合提供了一个良好的基点，已有的业务系统可以在业务数据库与数据平台层基础数据库间建立业务对象的映射关系，新建的业务系统各业务对象及基本属性直接来源于基础数据库，这样可初步保证各业务系统业务对象的一致性。同时，各业务系统有一些业务数据可供其他业务或中心决策所用，这部分数据可通过标准的通信协议和数据接口充实到数据平台层的共享数据库中。应该说，水利普查数据为各业务系统提供基础数据支撑，同时各业务系统又对水利普查数据进行补充和完善，相互之间的关系极为密切，数据更新维护的机制或流程做好了，将会相互补充，充分发挥“滚雪球效应”，反之则出现“一团麻”局面。另外，在普查数据与各业务系统数据整合过程中，可能出现同一数据多个来源且数值不一致的情况，应尽可能从规范、标准入手，排除造成数值不一致的因素，如定义、分类不一致等，对于某些统计数据，应尽可能统一各业务系统的统计口径；同时减少来源渠道，做到一源多用或通用。当然，在多源数值都具备意义的情况下，数据库表的设计应当满足存储数据多源特性的要求。

4）设置唯一的数据发布途径。进入到数据平台层的数据及更新维护有很多途径，包括普查原始数据库、各业务数据库或其他途径，但是，各层级用户、业务系统、信息系统使用数据平台层的数据只能通过服务总线提供，保证数据发布的唯一性，以便于数据管理，有利于控制数据质量和保证数据的一致性或唯一性，满足各业务异构系统对数据的需求和交互。

5）部署分级分业务更新维护模式。不管是水利普查数据及成果，还是未来的水利数据中心，都将满足不同层级、业务用户的需求，不同层级用户对数据内容的广度有所要求，不同业务用户对数据内容的深度有所要求。从分级来看，可分为国家、流域、省，不同级别的数据中心涵盖范围不同，省级数据中心仅包括本省详细数据和相关省份共享数据，流域数据中心包括本流域详细数据和相关流域共享数据，国家数据中心包括各流域和省份重要相关数据（是否包括全国所有详情数据，有待结合数据量、通道、性能、管理等因素进一步研究）。因此，数据的更新维护可考虑在本级数据中心的范围内实施。而不同业务深度开发数据由不同的业务主管部门负责管理及更新维护，形成一个纵横交错的网格状数据管理及更新维护模式。

6）采用数据预处理技术。为了保证数据平台层的数据质量，应该在各类数据入库前严控入库数据的质量，除了各种人工的审核流程外，针对不同的数据类型和特点研究各种数据预处理技术，提高数据质量的自动化检测水平及数据入库效率。

7）开辟“水利数据 bbs”。不管是水利普查数据及成果，还是后续的补充数据，虽然都经过审核或预处理环节，但仍然不能保证所有的数据百分百正确，在数据的使用过程中，或多或少会出现这样那样的问题。那么，应该考虑在水利数据及成果的使用者和管理者之间搭建一座沟通的桥梁，建立用户反馈机制，提供反馈数据使用情况、评价信息及质量问题的统一平台，这样也便于及时收集并掌握数据存在的问题，集中进行处理并更新完善，以保证数据的权威性。

8）利用关联业务校核。水利各项业务都是针对所有水利对象（包括普查对象）的，因此，各业务之间存在某些相关的联系，深入研究各业务流程关联关系，也能为某方面数据的更新维护提供帮助。例如，规划计划业务已经下达了新建某个水库的计划（水库编号******），建设开工时间****年**月**日，该日期后水利工程管理业务并未查询到该编号水库情况，说明数据尚未更新，可由系统自动向该水利工程管理单位或负责人派送数据更新要求。

9）研究先进的数据更新维护技术。在水利普查数据更新维护过程中需要考虑的一些技术问题，并没有涉及具体采用的技术方法。水利普查数据量大、类型繁多、应用对象广泛、关联关系复杂，还有空间数据和保密要求，在数据更新维护技术方案的制定过程中，不可能采用某一种技术方法包罗万象，需要选用已有或超前的数据更新维护技术，或者其他一些领域的相关技术，深入研究其在水利普查数据更新维护过程中的适用性和可行性。

2.4 相关标准的研究制定

“标准先行”的理念在各行业发展中都已深入人心，标准化是信息系统建设的重要基础，是实现数据资源共享和各业务系统协同工作的重要保障。水利行业已经颁布了《水利信息化标准指南（一）》，内容涵盖了分类编码、信息采集、信息传输与交换、信息存储、信息处理等 10 个方面[6]，但是在水利信息系统的建设发展过程中，由于标准的适用性及重视程度不同等主客观原因，标准的执行或多或少存在不足，以至于目前各业务系统特别是在信息资源整合、数据交换和共享方面存在难点。水利普查数据及成果作为服务于多业务领域的公共数据资源，设计、更新维护必须遵循相关的水利信息化基础标准，在数据库/表结构、设备，以及数据命名、接口、存储、交换及服务方面应确定一整套相关标准，水利信息化基础标准不满足需要或不切合实际的，应有针对性地进行修改、补充和完善，最终通过数据资源层的标准化实现水信息平台的高度开放性。

2.5 相关管理制度及工作流程的研究制定

水利普查数据是经过清查、普查、填表、汇总、上报、审核、入库等程序，在统一的管理制度和工作流程的指导下，耗费大量人力获取的。即便今后水利普查数据库与其他业务系统相关联，部分数据来源可以自动更新，但是这部分数据所占比例极其有限，大部分还需通过人工处理完成，因此，有必要出台一系列管理制度及工作流程，以保证数据更新的及时性及入库数据的质量，需要考虑的问题有以下几点：

1）水利普查数据量庞大，涉及专业及业务领域众多，不宜将更新维护工作集中在水利数据中心（普查数据库维护机构）完成。适于采用分散更新、分级审批、集中入库的方式，由各项目/工程/业务负责人提交变更申请，省/流域/国家数据中心或相关业务司局审批，流域/国家数据中心统一入库，可以据此制定一套报送制度和网络化的电子工作流程。

2）水利普查数据具有一定的保密要求，专业性也比较强，可以考虑将基础和共享数据库集中管理，专业和业务数据库分散托管的方式，谁管理谁审批入库。

3）建立数据资源共享、维护责任共同的数据管理模式，各级数据更新提交人员负责数据的及时更新，审批人员负责控制上报及入库数据质量，提交—审批—入库的关键环节都应有日志记录，并且能方便地提供回溯追踪，将谁提交谁负责、谁审批谁负责、谁入库谁负责的责任制度落实到每个关键环节。

3 结语

数据更新维护技术手段、标准、管理制度及工作流程，是解决当前水利普查数据及成果应用可能面临主要问题的初步探讨，力求为后续水利普查数据在水利信息系统的有效应用提供有价值的技术和管理参考，这些措施和方法对水利其他数据的更新维护具有普适意义。由于任何一类技术手段或管理方式都难以独立支撑数据的更新维护过程，今后更应关注多种措施的密切结合和协调配合，以建立数据更新维护过程的长效机制，确保水利数据资源得到充分利用，进一步为水利数据中心乃至国家基础水信息平台的建设奠定良好的数据基础和保障环境。

[1] 国务院第一次全国水利普查领导小组办公室.第一次全国水利普查成果查询及服务系统项目申报书[R].北京：水利部，2012: 1.

[2] 国务院第一次全国水利普查领导小组办公室.第一次全国水利普查实施方案[R].北京：水利部，2010: 7-13.

[3] 蔡阳.现代信息技术与水利信息化[J].水利水电技术，2009 (8): 133-138.

[4] 刘恒伟，柳林.水利信息孤岛再认识[J].海河水利，2012 (5): 59-61.

[5] 水利部信息化工作领导小组办公室.全国水利信息化发展“十二五”规划（水规计[2012]190 号） [R].北京：水利部，2012: 84.

[6] 水利部信息化工作领导小组办公室.水利信息化标准指南（一）[S].北京：中国水利水电出版社，2003: 5.

Study on Countermeasures of Updating and Maintaining Water Census Data

XIAO Xiaochun, ZHANG Qiaohui, ZHANG Xi, MAN Yuntao
(China Institute of Water Resources and Hydropower Research, Beijing 100038, China)

Update and maintenance of the Water Census Data powerfully support and guarantee the long-term effective use of the outputs of the National Water Census.After the first National Water Census, many factors would be significantly related to the application of the data in the Water Information System, including the updating frequency, quality and sharing conditions of the data, as well as the application satisfaction of the existing data.To solve these problems, focusing on the overall goals of building Water Data Center of "unified, Specialized and standardized" and forming the integrated National Basic Water Information Platform, the paper raises the five principles of updating and maintaining data as diversity, applicability, standardization, interoperability and synchronization.Meanwhile, the paper studies on the technical measures and paths of updating and maintaining data, and preliminarily explores the relevant standards, management mechanisms and workflows, so as to establish the long-term mechanism of updating and maintaining data, and take full advantage of water data sources.

water census; update and maintenance of data; technical measures; countermeasures research

TV211

A

1674-9405(2014)04-0022-06

2014-06-11

肖晓春（1976－），女（土家族），贵州铜仁人，高级工程师，主要研究方向为水利信息化。