基于Hadoop多节点式无人水文监测船系统

贾天龙，夏涵恺，徐赫遥

(哈尔滨工程大学 船舶工程学院，黑龙江 哈尔滨 150001)

基于Hadoop多节点式无人水文监测船系统

贾天龙，夏涵恺，徐赫遥

(哈尔滨工程大学 船舶工程学院，黑龙江 哈尔滨 150001)

水文监测技术是水利水文信息化的重要基础，它不仅为水利工程安全运行提供保障，还在防灾减灾、水资源科学调度中发挥着极其重要的作用。在解决水污染的问题中，水质监测系统的数量和覆盖率是非常重要的，现有的水质监测系统需要建立多个固定的监测点,这样就使成本过高。因此,提出了利用移动监测点来进行移动监测的概念,并实现了这一概念的雏形——基于Hadoop平台的多节点式无人水文监测船系统。这是实现水文远程监测的一个非常理想的解决方案,对水文监测的发展有着非常重要的意义。

无人；水文监测；Hadoop平台；多节点

水文监测技术是水文信息化的重要基础。它保证了水利工程的安全运行，在防灾减灾、水资源科学调度中发挥着极其重要的作用。因此，水文监测是一个蓬勃发展，有无限发展前景的技术。水文监测的主要任务是完成对河流、湖泊、水库和地下水的监测，监测内容包括水位、流速、流量、降雨、冰、闸的位置等水文参数。

传统的水文监测是基于人工方法的测量，存在精度低、工程量大、限制较多的局限，而现今随着现代电子技术、传感器技术、通信技术和计算机技术的飞速发展，水文自动监测技术得到了迅速发展。现今的水利监测通过现代通信，在全行业广泛应用计算机网络等先进的信息技术，充分开发应用水利信息资源，为防洪抗旱减灾，水资源保护、开发、利用、配置等综合管理，水环境治理和保护等决策服务，为水利工程安全运行提供了保障。

在现今技术发展的背景下，经过研究分析国内外对此领域技术的研究现状，提出了一种基于Hadoop平台的多节点式无人水文监测船系统[1-2]。本系统主要是针对中小型河流水文信息的监测与分析而设计的。系统提出以远程水文监测模块为核心,以无线传感模块节点为基础,构建中小河流监测区域的监测网络。同时，基于BDS/GPS技术，实现对监测区域的远程实时监控。通过对远程数据的分析和处理，实现了远程水文信息的分析和预警。根据分析和预警结果，提出了相应的应用方案或指导策略[3]。

1 系统介绍

1.1 基于Hadoop平台结构化处理数据

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的力量进行高速运算和存储。Hadoop实现了一个分布式文件系统，分布式文件系统具有高容错性的特点，可以部署在低成本的硬件上，并能提供高吞吐量的应用数据，适合于大数据集的应用。

Hadoop框架设计的核心是:HDFS和MapReduce[4]。HDFS为海量数据提供了存储，然后MapReduce为海量数据提供计算。

Hadoop的捕获效率高，有着很强的发现和分析能力，能够从类型复杂的异常数据中挖掘事件突出价值[5]，发现监控时出现的异常情况，并在第一时间，安排水文监测人员到相应的地点处理问题。

1.2 基于BDS(北斗)/GPS双模无人定位系统

船体装有BDS/ GPS双模定位模块，使船能进行精确的地理定位，自动导航，根据预设的导航路径，规划执行水文监测任务。开发板采用VK2217M3M5模块，集成MT3333芯片。外形尺寸22.4 mm×17.0 mm×2.4 mm，不仅方便搭载在船体上执行任务，而且还可以接收包括北斗和GPS两种频率的信号。可用波特率区间为[1200,112 500]bps，灵敏度分为跟踪模式与捕捉模式两种指标，跟踪模式为-165 dBm，捕捉模式为-148 dBm。启动模式存在冷启动、温启动、热启动三种状态，更新频率区间为[1,10]Hz。电源指标为3.3VDC±5%，搜索模式下耗电量33 mA，追踪模式下耗电量30 mA。供给船体的电源可以很方便地经分压稳压滤波后为定位模块提供动力。

1.3 基于多节点式的测量

多节点意味着，该系统可以在不同深度和不同距离的水域测量水文和水质数据，并做到实时无线回传。

通过监测船上的传感器配置，监测船在水中动态导航的传感器设置，达到在同一时间检测到不同位置的水文情况，并获得多组数据。位置为唯一区别变量，以此实行多层次、多节点的数据传输和记录。同时，可以通过同一时间多组数据的相似区间排除毛刺数据，分析水深等因素对水文的影响。这是一种更直观的方式，也有利于对水文数据的研究。

2 功 能

2.1 船体部分

船体搭载了温湿度传感器、多节点温度传感器、无线摄像头、水泵采样模块、双模定位模块，以及无线通信模块。可用于执行采集空气温湿度，不同水深水层温度、地理定位、采样目标水域水体样本等任务。使用的无线摄像头可以导航路径，规划系统的监测，可灵活避障。在突发事件或事故的情况下，可以及时进行人工干预，极大地提高了船舶在执行监测任务时的灵活性。使用的无线通信模块可以从目标区域采集数据后，实时将数据发送到接收端。

制作的实物模型如图1、图2所示。

图1 实物模型图

图2 实物模型图

2.2 下位机接收终端

下位机中MCU控制无线通信模块对船体所发送的数据寻址，并确认出首地址和结束地址，对数据包内的数据进行解读，MCU在确认数据无损状态下将数据显示至终端液晶屏幕上。同时，无线摄像头将捕捉的画面回传到接收显示屏，进行实时显示，使水文监测人员可以对船的路径进行实时规划，必要时人为干预。

2.3 上位机PC端

上位机中程序采用C++语言编写，并通过串口接收十六进制的数据，每组20个数据，将一组数据存入缓冲区中。由于数据量大，传输速度快，每组数据的开始和结束都要设置校验码，验证每组数据是否准确，如果不准确则放弃数据并校准数集，监测是否有数据传入；如果是正确的，原始的输入数据被写入文档1，将原始采集到的十六位二进制转换成十进制，将整数和小数整合，然后将处理后的数据写入文档2。随着时间的推移，采集的数据记录也开始大量积累，因此，本系统采用了Hadoop这一数据处理平台。

3 实现原理

无线通信模块用于水文监测系统和接收终端之间的通信。通信模块采用Nordic公司的nRF24L01芯片。无线通信模块具有许多优点，其具有2.4 GHz ISM频段，全球开放免费授权使用，在2 Mbps速率最高，高效GFSK调制，抗干扰能力强。低功耗模式1.9～3.6 V工作，待机模式状态为22 uA；掉电模式下为900 nA。该模块可以提供一个地址，只有收到本机地址时才会输出数据(提供中断指示)。模块的大小是29.010 56 mm×15.010 48 mm，模块核心为NRF24L01芯片。

根据本系统的实现原理，设计了如下的实验。

在一个装有一半容积冷水(22.3 ℃)的长3.2 m，宽2.2 m，高2.4 m的玻璃水缸(如图3)中间倒入一桶100 ℃的热水，让船从水池的一端开向另一端，途中实时接收水温数据，将实验室实测数据储存到电脑中，并用Matlab软件绘制温度随时间的变化曲线(如图4)。

图4 Matlab数据处理图

一桶热水倒进玻璃水缸中，对原有水的温度影响并不是很大。因此将图像的刻度值范围缩小，便可以清晰地观察到水温的变化情况：0～10 s之间，船在冷水区航行，实测温度在20.9～21.0 ℃之间细微变化；10～70 s之间，船进入热水区，并减速航行，实测温度在21.0～21.1 ℃之间细微变化，可见系统可以很好地实现对水温的监测。

通过对实验现象的观察和数据的分析，可以验证出本系统的三个功能和优势。

(1)基于Hadoop平台，实现大数据的处理，并进行一定阶段内数据的预测，将结果调度分配给用户[6]。

(2)基于BDS/GPS双模定位系统，实现自导航监测，精准定位，极大节省了监测过程中消耗的人力、物力。

(3)采用无线回传模块及摄像头，实现监测数据的实时回传。

4 市场分析和经济效益预测

运用BDS/GPS双模卫星定位系统，定位精度高，误差小。相对于水工测量中，利用全站仪来确定水面上一点，再施工放样要更加精确，避免了人为读数的误差。水文监测实现无人操控，具有很大的应用前景。本系统具有如下几个方面的市场优势及经济效益。

(1)监测指标记录更加准确，应用价值高。

(2)监测器测量更加灵活多变，突破因水域特殊对人工采集水样的限制。

(3)水利部门可在一艘母船上，同时携带若干个监测器，实现对同一河流，不同位置，多种水质监测指标的测量，减少人力、物力。

(4)船体小巧灵便，适用于多种复杂水域，续航能力强，使用周期长，具有良好的经济效益。

(5)制作成本低廉，适合中小型河流湖泊使用。通过市场分析，由于其低廉的价格是鱼塘主等普遍接受的，因此预计鱼塘主的购买量会占据主导地位。本系统可被用于测量鱼塘水池不同深度的水温以及空气温度，便于比较分析不同水层随气温的变化特征，为鱼的养殖做好水温调控及科学养殖管理提供科学依据。

[1] Shvachko K, Kuang H, Radia S, et al. The hadoop distributed file system[C]// Mass Storage Systems and Technologies (MSST), 2010 IEEE 26th Symposium on. IEEE, 2010:1-10.

[2] Shi Z Y，Gai J P，Wang D H，et al.A new kind of high speed wireless RF transceiver-nRF24L01 and its application[J].International Electronic Elements，2007(8)：42-44.

[3] Dittrich J，Quiané-Ruiz J A，Jindal A，et al.Hadoop++:making a yellow elephant run like a cheetah (without it even noticing)[J].Proceedings of the Vldb Endowment，2010，3(12)：518-529.

[4] Taylor R C.An overview of the Hadoop/MapReduce/HBase framework and its current applications in bioinformatics[J].Bmc Bioinformatics，2010，11(6):3395-3407.

[5] 栾亚建，黄翀民，龚高晟,等.Hadoop平台的性能优化研究[J].计算机工程，2010，36(14):262-263.DOI:doi:10.3969/j.issn.1000-3428.2010.14.095.

[6] Ibrahim S，Jin H，Lu L，et al.Evaluating MapReduce on Virtual Machines:The Hadoop Case[M].Cloud Computing，Berlin Heidelberg:Springer-Verlag，2009.

Multinodal unmanned hydrological surveillance ship system based on Hadoop platform

JIA Tianlong，XIA Hankai，XU Heyao

(CollegeofShipbuildingEngineering,HarbinEngineeringUniversity,Harbin150001,China)

Hydrological monitoring technology is an important basis for the information of water conservancy and hydrology. It provides guarantee for the safe operation of water conservancy projects, plays an extremely important role in disaster prevention and mitigation, water resources scientific scheduling. In the problem of water pollution, water quality monitoring system is very important in quantity and coverage. Two one of the reasons causing water pollution is that the existing water quality monitoring system needs to set up a number of fixed monitoring points, thereby causing high cost. Therefore, the concept of mobile monitoring is put forward to realize the concept of mobile monitoring system. To realize the hydrological remote monitoring is a very ideal solution, has very important significance to the development of hydrological monitoring.

ummanned;hydrological monitoring;Hadoop platform;multiple nodes

哈尔滨工程大学2015年大学生科研立项(重大型)资助计划

贾天龙(1994-)，男，本科生，港口航道与海岸工程专业。E-mail:2533433765@qq.com

P335

A

2096-0506(2015)06-0029-04