利用云计算技术构建水文大数据平台应用前景探讨

2016-02-05雷成茂杨国德

山西水利 2016年11期

关键词：测报测站水文

雷成茂，郭银，杨国德，张静

（1.黄河水利委员会水文局，河南郑州 450004；2.黄河水利委员会中游水文水资源局，山西晋中 030600）

利用云计算技术构建水文大数据平台应用前景探讨

雷成茂1，郭银2，杨国德2，张静2

（1.黄河水利委员会水文局，河南郑州 450004；2.黄河水利委员会中游水文水资源局，山西晋中 030600）

黄河水文测报整工作是保证黄河安澜的一项重要工作，为有效利用互联网技术改变传统的工作模式，使黄河水文测报整工作中的数据传输、存储、处理计算和共享更方便、更快捷、更安全，提出利用云计算技术构建水文大数据平台的设想。

互联网；云计算；水文测报整；数据共享；数据安全

云计算是互联网技术中的一大支柱技术，而且已经基本成熟，电脑、智能手机上的众多与互联网相关的软件都离不开云计算。云计算为建立强大高效的大数据存储、数据处理计算与分析、数据共享的集成环境提供了强有力的技术与物理基础。

采用云计算技术建立大数据平台，黄河水文测报工作中数据的采集、传输、计算处理分析、存储、安全、共享等，就会变得非常方便、快捷、经济、安全。

1 需求分析

1.1 水文工作常规模式

黄河水文业务工作包含水文测验、水情报汛、水文资料整编，即通常指的黄河水文测、报、整。

1.1.1 水文测验工作常规模式

水文测验是黄河水文测报整工作中最基础的工作，目的是取得原始的水文数据，经过初步计算分析，为水情信息提供数据依据，为水文资料整编提供基础资料。

近年来，随着我国科技的飞速发展，水文测验方式也在不断改善，降水观测采用了遥测自记固态雨量计，水位观测采用了超声波水位计、电子水尺、雷达水位计等，基本实现了数据自动采集、存储、传输，但还未实现数据自动分析、计算、共享，而水温、蒸发、流量、含沙量测量大部分还是通过人工观测记载的方式来完成，虽然部分数据的分析处理通过各单位自行研发的软件来进行，但最后的数据成果的提交仍需通过纸介质来完成。

1.1.2 水情报汛工作

水情报汛承担着为黄河防汛决策提供科学数据的重责，实时性强。通常采用电台、电话抄报方式发送、接收水情报文，耗时长，且容易出错。近年来全面建成了以北斗卫星、亚洲五号卫星、计算机网络和移动通信相结合的水情报汛网络，实现了全流域雨水情实时传输，但还未达到大数据自动分析计算、共享。

1.1.3 水文资料整编工作

水文资料整编是对原始的水文资料按科学方法和统一格式，进行分析、统计、存储，最后汇编、刊印的总称。

过去水文资料整编工作都是通过纯手工的方式，需要人员多、历时长，又容易出错。随着计算机的普及，北方片水文资料整编软件的使用，极大地降低了水文资料整编工作强度，提高了水文资料整编精度，但最终资料结果仍需采用纸介质来存储，未实现全流域资料自动电子存储、共享。

1.2 云计算优势

1.2.1 云计算概念

云计算是一种利用互联网实现随时随地、按需、便捷地访问共享资源池（如计算设施、存储设备、应用程序等）的计算模式。计算机资源化服务是云计算重要的表现形式，它为用户屏蔽了数据中心管理、大规模数据处理、应用程序部署等问题。通过云计算，用户可以根据其业务负载快速申请或释放资源，并以按需支付的方式对所使用的资源付费，在提高服务质量的同时降低运维成本。

1.2.2 云计算特点

云计算采用计算机集群构成数据中心，并以服务的形式交付给用户使用，使得用户可以像使用水电一样按需购买资源。首先，云计算能根据工作负载大小动态分配资源，而部署于云计算平台上的应用根据需要使用资源的变化，并能根据变化做出响应；其次，相对于强调异构资源共享的网格计算，云计算更强调大规模的资源池的分享，通过分享提高资源复用率，并利用规模经济降低成本，总体可概括为弹性服务、资源池化、按需服务、服务可计费、泛在接入等特点。

2 黄河水文测报整大数据平台构建设想

2.1 框架结构

黄河水文测报整大数据平台由云计算服务器和软件构成。其中，云计算服务器中集成了各种水文原始数据及经过分析加工、处理的中间数据以及数据上传软件和资源分享软件。

云服务器中有大型sqlserver数据库，数据库根据数据分类建立相应的数据表，其格式类似目前使用的北方片水文资料整编软件，其中原始数据可以由各个水文测站直接通过相关软件上传到云服务器中，中间数据是经过分析加工、处理由相关部门通过相关软件传输到云服务器中，这些构成了云服务器中的水文资料数据集成系统。

与此同时，开发用户访问相关软件，用户可以根据自己所需调用相关软件，相关软件调用数据库中的相关数据经过分析、计算、加工后通过用户终端呈现在用户面前。

为了提高服务的灵活性，云服务器的数据库中存储的数据都是原始数据和半成品数据，没有成品数据，成品数据是用户在终端调用相应软件和数据后，由软件将数据实时加工成成品数据呈现在用户面前。

2.2 数据安全

云计算数据平台的数据安全称为云安全。黄河水文测报整大数据平台的云安全策略有以下几点：建立严格的权限管理系统和权限监测系统；内部使用的软件屏蔽搜索引擎；加强病毒、木马的监测与清除；数据备份，根据需要多台服务器交互备份数据；提供数据服务的软件加强权限审查与监测，对失效用户及时清除信息。

3 黄河水文测报整大数据平台应用

黄河水文的测、报、整这三个项目在实现云计算大数据平台服务中要区别设计。

3.1 水文测验实时数据的传输与共享

随着时代的发展，目前各水文站都配备了台式电脑、笔记本电脑，95%以上的水文测站都可以上网，具备了将水文原始观测数据实时传输到云计算服务器数据库中的基本条件。

为此，可以开发一组水文测验实时数据传输软件，通过移动灵活的平板电脑、智能手机，利用有线、无线网络，实时将野外测验原始数据传输到云计算服务器中。这样测站可以实时调用本站的数据进行分析处理。另外，其他单位可以通过互联网经过一定权限直接共享这些数据，从而进行数据分析、加工、处理等。

3.2 水情信息服务社会的传输与共享

采用云计算技术传输、存储水情信息，会更直接快捷。一是将水文测站提供的水情报文实时存储在云计算服务器中，包括水文测站本身、水情报文使用单位可以通过云计算服务器直接共享水情信息数据，实时性更强。并可以根据用户使用的权限及使用数据量直接计费或免费，管理更方便。二是在云计算服务器中布置相应软件，水文测站调用相应软件，由软件根据相关数据自动生成相应报文，然后传输到云计算服务器中，避免了目前人工拟定报文、然后输入到相关设备中传输的环节，大大降低错报率。同时，测站可以随时调用自己发送的报文进行校验，发现问题立即纠正。三是各测站可以随时共享流域内各站点原始或经过分析的降雨、流量、含沙量等资料，从而为本站测验做好充分准备。

3.3 水文资料整编成果共享

水文资料整编目前有很多环节，首先是水文测站在站整编，然后勘测局集中整编、技术部门组织审查、水文局汇编，如果采用云计算技术可以一步到位。

由于云计算服务器中已经有水文测站直接上传的原始数据，相关软件将把原始数据加工成可以直接生成成果的半成品，然后用户可以根据需要调用相应软件，由软件直接生成成果资料呈现在用户面前。

大数据平台建立后，设计严格的权限系统和计费系统，将打破目前使用资料单位直接上门，手工抄录资料，计算费用的模式。

采用大数据平台管理模式后，用户网上申请，然后系统审查后授予相应权限，用户直接根据授权付费然后调用相应资料，即云计算服务。