数据交换技术在黄河水利信息化建设中的应用

杨斌　冯建

摘 要：在黄河水利信息化建设过程中，根据已建立的数据交换技术架构，为满足各类数据获取需求，要合理采用多种数据交换技术。首先从数据库底层、Web应用开发、数据交换软件等方面介绍数据交换技术，并对比每种技术的优缺点，简述黄河水利信息化建设现状，着重分析数据交换技术在水资源监控能力建设项目中的作用，最后展望数据交换技术的发展前景。

关键词：数据交换;水利信息化建设;黄河

中图分类号：TP311.13 文献标识码：A 文章编号：1003-5168（2021）26-0071-03

Application of Data Exchange Technology in the Yellow River

Water Conservancy Information Construction

YANG Bin FENG Jian

（Yellow River Conservancy Commission Information Center，Zhengzhou Henan 450008）

Abstract： In the Yellow River water conservancy informatization construction process， according to the established data exchange technology architecture， in order to meet various data acquisition needs， a variety of data exchange technologies should be reasonably adopted. First， the data exchange technology is introduced from the bottom of the database， Web application development， data exchange software， etc.， and the advantages and disadvantages of each technology are compared， then， the status quo of the Yellow River water conservancy informatization construction is briefly described， and the role of data exchange technology in the water resources monitoring capacity construction project is mainly analyzed， finally， the development prospects of data exchange technology are prospected.

Keywords： data exchange;water conservancy information construction;Yellow River

信息化系统是业务功能和数据的有机結合。在信息化系统建设过程中，数据交换技术在丰富数据方面发挥着重要作用。

1 数据交换技术类型

目前，信息化系统建设中涉及的数据交换技术主要有4类。

1.1 基于底层数据库的数据交换技术

无论是甲骨文公司的Oracle还是微软公司的SQL Server数据库，都有类似存储过程或者触发器的应用功能[1]，该功能是通过PL/SQL语法获取需要数据交换的表对象，并进行相关表的字段匹配，然后用SQL语言编程封装成数据库程序包，根据触发条件或者定时条件进行数据的交换。

这种数据交换技术在业务流程较简单的信息化系统中应用较多，优点是相对经济，能满足一般的数据交换业务需求;缺点是对数据库系统的资源消耗较大，只适合规模不大的数据交换业务，并且数据交换双方的数据库系统需要保持一致，否则异构数据库之间很容易出现兼容性问题。

1.2 基于Web应用开发的数据交换技术

基于Web应用开发的数据交换技术主要运用具有跨平台特性的Java语言，通过配置JDBC驱动访问数据库，在Java程序中完成数据的匹配、抽取、转换及传输等工作，再配置定时触发条件实现数据的交换功能[2]。

这种数据交换技术一般适用于业务规模较大的信息化系统。优点是可以设计出相对复杂的数据交换技术架构，能够对需要交换的数据进行字符及语义转换，并通过使用标准PL/SQL语句在异构数据库之间完成数据交换;缺点是数据交换的业务需求相对复杂，不同数据库之间需要做大量的匹配，实现难度较高，需要大量的开发人员。

1.3 基于开源数据交换软件的数据交换技术

基于开源的数据交换软件，目前主要是类似Kettle的ETL工具[3]，它是基于Java的免费开源软件，可以在Windows、Linux及Unix上运行，面向当前主流的各类数据库，并且具备数据转换、定时作业等功能。它具备友好的图形开发界面，可通过简单的图形化操作完成数据交换功能配置。当配置生效后，软件会在后台自动转译成相关代码并定时执行，从而实现数据的交换功能[4]。

这种数据交换技术适用于中小规模且对编程依赖性较弱的信息化系统。它的优点非常明显，以图形设计界面进行数据交换配置，可节省大量的开发工作量，而且编程能力较弱的技术人员也能很快上手;缺点是有些特定的数据交换功能无法实现。

1.4 基于商业ETL软件的数据交换技术

这类软件在实现原理上和开源免费的数据交换软件类似，也是将所需交换的数据从数据源进行抽取、转换并加载到目标端，适合对数据交换的时效性和稳定性要求都比较高的信息化系统。优点是这类软件是商业化的数据交换软件，背后的技术支撑能力强，软件稳定性高，所支持的数据库种类比较全面，并且可以根据客户的特殊需求进行定制开发;缺点是有特殊需求的应用系统需要投入较多的人力资源，所需费用也较高。

2 黄河水利信息化建设的发展

2001年，黄河水利委员会（简称黄委会）提出了《“数字黄河”工程规划》，它是中国水利部批复的第一个流域水利信息化规划。“数字黄河”是借助数据采集、数据传输及数据交换等手段，将黄河流域及其相关地区的各种要素进行汇集，构建一体化的数字集成平台和虚拟环境。以功能强大的系统软件和数字模型对黄河治理、开发和管理的各种方案进行模拟、分析和研究，并在可视化的条件下提供决策支持。经过5年的建设，到2006年，基本建成以防汛减灾、水量调度、水资源保护、水土保持、工程建设与管理、电子政务六大系统为主的“数字黄河”框架。基础设施也初具规模，基本建成国家水文数据库和黄河基本河情、实时水雨情、黄河下游工情险情、黄河水土保持、水量调度、防洪工程等数据库。

在“数字黄河”的整体框架下，黄委会建成全国水利行业最大的防汛通信专网，黄河下游防汛SDH数字微波通信干线总长达681 km，支线总长达940 km。组成的四级通信网络，将黄委会与省局、市局、县局直至堤防、涵闸贯穿起来，实现语音、数据、图像等综合业务信息传输的全覆盖。依托防汛通信专网，黄委会建设全国水利行业最大的计算机广域网，形成由黄河水利委员会网络管理中心、各委直属单位、市局和县局组成的四级广域网络。黄河防汛通信专网和计算机广域网的建立为数据的采集、传输、交换、汇集提供高速稳定的信息通道。

2004年6月，黄委会建设全国水利行业第一个“数据中心”——黄河数据中心，经过近些年不断的技术更新和架构升级，现在已形成以云计算为基础设施架构的黄河云数据中心。同时，该数据中心也是水利部的北方灾备中心。黄河数据中心的建设为数据的安全存储提供基本保障。

随着“数字黄河”工程建设的不断深入，按照“大平台、大数据、大系统”的总体要求，2019年，黄委会建立以应用为核心的信息资源整合共享框架，得到水利部和业界专家的高度评价。黄委信息资源整合共享框架如图1所示。

信息资源整合共享框架搭建以应用为牵引、统一的地理信息公共服务平台，聚集和展示海量信息，为管理提供多视角、一站式的地理信息服务;实现基础地理、遥感、水利工程、水资源、水文气象和流域经济等10余大类重要数据资源的统一集中存储管理;紧紧围绕治黄业务，建设上下联动、左右联通的综合信息门户系统，实现防汛抗旱、水资源管理、水量调度、工程建设与管理、水土保持和政务系统的单点登录及多类信息的聚合展现。信息资源整合共享框架通过数据交换技术，对各类治黄业务数据源进行抽取整合，形成较丰富的治黄数据资源体系。

3 数据交换技术在水资源项目中的应用

在黄河水利信息化的建设过程中，国家水资源监控能力建设项目所采用的数据交换技术非常典型。国家水资源监控能力建设项目对全国的取用水及取用水在线监测点实现监测总用水量50%的建设目标;对国家重要饮用水地表水水源地水质实现在线监测全覆盖;对重要省际河流省界断面实现水量在线监测。通过两期项目建设，水资源监控能力显著加强，提高了数据的真实性、完备性和有效性;水资源管理信息化水平大幅提升，提高了业务的统一性、规范性和时效性;水资源管理支撑有效增强，提高了水资源决策的綜合性、科学性和合理性[5]。

在国家水资源监控能力建设项目实施过程中，黄委会采用的数据交换技术主要有基于底层数据库的数据交换技术、基于Web应用开发的数据交换技术及基于商业ETL数据交换软件的数据交换技术。

对于同一类型数据库范围内的数据交换，通过采用基于底层数据库的数据交换技术，将各业务系统的数据表直接进行匹配，将数据交换算法通过数据库的存储过程实现并进行封装，再配置定时执行作业，从而实现数据的交换功能。由于不存在异构数据库的兼容性问题，采用这种数据交换技术不仅匹配度很高，执行效率也很高。

对于跨单位跨地域的数据交换，主要是通过基于Web应用开发的数据交换技术来实现。在模块化Web应用基础上，通过分析不同管理层级单位的需求进行定制性开发，满足不同管理层级单位之间的数据交换业务需求。比如，黄委到水利部之间、黄委到流域省区单位之间，这种纵向管理层级间和横向业务协同间的数据交换需求多样，数据库类型较多，而且对关键字段匹配的要求较高。这种基于Web应用开发的数据交换技术很好地解决了跨单位跨地域之间进行数据交换的复杂问题。

对于内部单位间的数据交换，主要是基于商业ETL数据交换软件，按照明确的数据交换需求，设计出符合业务流程的数据交换模型，并使用图形化的界面进行配置，从而完成数据交换功能。商业ETL软件可解决内部单位的开发能力参差不齐且数据交换任务要求紧急的问题。

黄河水资源数据交换流程框架如图2所示。

4 结语

数据正在成为现代社会提高核心竞争力的关键因素，各行各业的决策正在从“业务驱动”向“数据驱动”转变。随着“智慧水利”规划的提出，云计算、大数据、物联网、人工智能、虚拟现实等新技术在治黄领域逐步应用，对数据交换技术提出了新的要求。超大规模分布式存储、弹性计算、边缘计算及大数据等技术创新都将促进数据交换技术更快地升级迭代，未来要时刻关注数据交换技术的新发展及新动态，为实现更高的水利信息化建设目标而努力。

参考文献：

[1]何明.Oracle PL/SQL从入门到精通[M].北京：中国水利水电出版社，2017：346-381.

[2]马晓轩.Web服务与数据交换关键技术研究[M].北京：中国环境出版社，2017：54-69.

[3]王雪迎.Kettle构建Hadoop ETL系统实践[M].北京：清华大学出版社，2021：10-30.

[4]戴剑伟.跨领域信息交换方法与技术[M].北京：电子工业出版社，2020：112-127.

[5]黄河水利委员会.国家水资源监控能力建设项目黄河流域技术方案（2016—2018年）[R].郑州：黄河水利委员会，2016.

1010501186387