基于Hadoop云平台的联合收割机远程监控系统研究

李中显，蔡宗慧

(1.河南信息工程学校，郑州 450008；2.秦皇岛职业技术学院，河北 秦皇岛 066100)

基于Hadoop云平台的联合收割机远程监控系统研究

李中显1，蔡宗慧2

(1.河南信息工程学校，郑州 450008；2.秦皇岛职业技术学院，河北 秦皇岛 066100)

建立了云计算的海量数据处理数学模型和算法，并将Hadoop分布式计算方法引入到了数据库处理系统中，实现了数据库数据的自动分区和主从节点的设置，以及数据的分布式计算功能，得到了数据的处理速度、容量和传输速率等系统性能参数；结合农业生产中联合收割机应用越来越广泛，加之农田小路比较狭窄，给农田交通运输带来了的巨大压力等问题，提出了一套能够提供定位、监控、导航、车况采集等综合服务的联合收割机远程监控系统。通过对系统的测试，证明云存储平台在联合收割机监控系统中具有良好的表现，并具有很好的扩展性，为现代化的农业收割机监控系统提供了优越的条件。

联合收割机；远程监控；Hadoop；云平台

0 引言

随着计算机互联网通信计算的不断发展，通信系统需要处理非常庞大的数据，对于海量数据的处理一般服务器会耗费大量的计算机资源，且很多传统的计算平台根本无法完成对海量数据库的处理。另外，随着农业经济的快速增长，农业机械化进程越来越快，农业生产中联合收割机应用越来越广泛，加之农田小路比较狭窄，给农田交通运输带来了的巨大压力。如何实现联合收割机的高效运营，缓解交通压力受到广大关注。本文采用云计算和云存储技术，结合Hadoop的分布式计算功能，设计开发了一套能够提供定位、监控、导航、车况采集等综合服务的联合收割机远程监控系统。该系统结合主、从节点的自动分配实现了高数据容量和传输速度数据的处理，为现代化的农业收割机监控系统提供了优越的条件。

1 数据库海量数据处理与挖掘方法概述

互联网的个性化演进过程中引发了数据的海量化，面对如此海量化的数据，传统的单台超级服务器也逐渐显得力不从心，海量数据的处理逐渐成为一个棘手的问题。Apache 基金会所研发的开源 Hadoop 云平台的开源特性为海量数据的处理方法带来了无限可能，本文利用Hadoop数据处理平台，结合分布式数据处理算法，建立了海量数据库处理的联合收割机远程监控系统数据处理平台，如图1所示。

图1 Hadoop海量数据处理流程Fig.1 The processing process of Hadoop massive data

Hadoop云平台对海量数据的数据处理过程主要包括分布式算法设计和主从节点的分配，利用这两项技术可以成功地实现对海量数据库数据的高速处理。

2 数据挖掘处理数学模型和算法设计

海量图像处理属于大型图像数据处理，对处理其要求比较高，对存储空间的要求也非常苛刻，如果采用一般的存储空间，难以满足图像处理的容量需求。本文采用Hadoop分布式处理算法，将数据空间进行分区，实现海量数据的高速处理。首先将数据库数据分割为[wi,wi+1]，则建立二维数据库Hadoop的数据处理函数为

(1)

假设内存的分配值为

(2)

则式(1)、式(2)可以写成为

e(m,n)=αx

(3)

(4)

对于每个存储节点有

(5)

假设广义坐标R为

(6)

则可以得到节点的分布式计算公式为

(7)

为了实现云计算和分布式计算，利用MatLab设置了主节点和从节点的分布式计算程序，具体如下：

functiondy=vdp100000(t,y)

dy=zeros(2,1);

dy(1)=y(2);

dy(2)=1000*(1-y(1)^2)*y(2)-y(1);

t0=0，tf=8000

t0=0，tf=8000

functiondy=rigid(t,y)

dy=zeros(3,1);

dy(1)=y(2)*y(3);

dy(2)=-y(1)*y(3);

dy(3)=-0．51*y(1)*y(2);

t0=0，tf=12

[T,Y]=ode45('rigid',[0 12],[0 1 1]);

plot(T,Y(:,1),'-',T,Y(:,2),'*',T,Y(:,3),'+')

……

3 联合收割机远程监控系统整体设计

3.1 联合收割机远程监控系统整体框架说明

联合收割机远程监控系统主要包括监控后台管理平台、通讯系统及车载终端，其框架如图2所示。联合收割机远程监控后台管理平台用来提供收割机信息管理、车辆所属机构和日常维护信息管理等；另外，该平台还可以通过通信系统接收Hadoop云平台的车辆位置和状态数据信息，能够提供监管、定位和历史路线查询等服务。

通信系统是联合收割机远程监控后台管理平台的信息中转站，一方面可接收收割机上车载终端的定位和状态信息，也可以将数据缓存在Hadoop云平台数据，最后同步到监控后台管理平台；另一方面，其将控制指令、通知及更新的广告等信息发送到终端。

图2 联合收割机远程监控系统框架图Fig.2 The framework of remote monitoring system of combine harvester

车载终端安放联合收割机上，主要用来实时采集收割机位置和状态信息，并通信系统上传至云平台和后台管理平台，同时接收后台管理平台的控制信息，将接收到的通知、广告进行显示，为驾驶员提供人性化服务。

3.2 联合收割机远程监控系统整体结构

3.2.1 系统物理结构

联合收割机远程监控系统物理架构包括应用终端、管理终端、无线通信、通信管理平台和应用服务器5部分，其物理结构如图3所示。

图3 联合收割机远程监控系统物理结构Fig.3 The physical structure of combine harvester remote monitoring system

应用终端一般是指安装在联合收割机上的车载终端；无线通讯主要采用运营商基站的通信信号；通讯管理平台则用来管理数据信息的传输。应用服务器包括平台和数据库两部分，主要用来存储联合收割机视频数据和车载终端传输回来的数据，管理者可以在管理终端对联合收割机作业量、作业区域及行走轨迹进行监管。

3.2.2 系统逻辑结构

联合收割机远程监控系统逻辑结构从上到下依次可以分为终端层、应用层、服务层、资源层和基础层，如图4所示。

图4 联合收割机远程监控系统逻辑结构Fig.4 The logical structure of the remote monitoring

systemofcombineharvester

终端层指用户访问系统时的使用平台；应用层主要包括基础档案管理、组织机构管理、权限管理、系统管理和车辆监管等核心功能，直接为用户提供服务；服务层主要为客户提供系统的基础服务功能；资源层主要包括应用服务器中的管理数据；基础层包括操作系统、网络及数据库软件等内容，主要功能是保证系统的正常运行。

3.3 联合收割机远程监控平台功能模块设计

根据联合收割机远程监控平台的设计目标与原则，系统监控平台设计主要包括基础信息管理、组织机构管理、系统权限管理、推送通知信息、车辆控制、车辆定位跟踪、车辆历史轨迹、图像查看和报警功能等模块，如图5所示。

图5 联合收割机远程监控系统功能模块图Fig.5 The function module diagram of combined harvesterremote monitoring system

4 联合收割机远程监控系统集群环境搭建及测试

4.1Hadoop集群环境的搭建与配置

为了让Hadoop云平台具有保存更多数据信息的能力，集群环境使用5台服务器搭建集群。Hadoop云海量数据处理平台主要架构框架如图6所示。

图6 海量数据处理Hadoop云平台框架图Fig.6 The massive data processing of Hadoop cloud platform framework

Hadoop开源云计算平台主要是由3项技术构成，包括分布式平行计算框架MapReduce、分布式的数据库系统Hbase和分布式的文档系统HDFS。Hadoop主节点的设计如图7所示。

图7 Hadoop 主节点设计示意图Fig.7 The schematic diagram of Hadoop master node design

主/从节点的设计是Hadoop实现分布式计算和数据存储的主要计算模式，每个数据库集群中同时拥有1个主节点和多个从节点。其中，主节点运行的守护程序主要包括NameNode、SecondaryNameNode和JobTracker。

在Hadoop海量数据云处理系统中具有很多的从节点，可以实现数据的分布式处理功能，在从节点上运行的守护进程是DataNode和TaskTracker，如图8所示。

4.2 联合收割机远程监控系统的测试与分析

为了验证联合收割机远程监控系统核心功能的性能状况，对联合收割机监控的实时数据写入到数据库的性能、多辆联合收割机进行实时监控时获取其数据的响应时间及查询联合收割机的历史轨迹信息的响应速度进行测试。考虑联合收割机监控系统的实际运行状况，本文采取的测试策略为：实时监控联合收割机的位置及状态信息，数据访问模型是既有写入又有读取，并且一般写入量比读取量大，读取的特点是频率快，但每次读取的数据比较小，1台收割机1条记录。测试方法为：通过多线程循环模拟同时搜集600台车的数据(写库)和同时获取多台农业收割机最新位置信息(读库)，读取的农业收割机数目分别为200和600。以5min为1周期，写入和读取按照30s进行1次，统计收集600台收割机信息的时间和读取指定收割机信息的时间，测试结果如表1所示。

图8 Hadoop 从节点设计示意图Fig.8 The schematic diagram of Hadoop from node design表1 联合收割机远程监控系统的测试结果Table 1 The test results of remote monitoring system of combine harvester

s

由表1可以看出：在收集农业收割机信息的同时，读取农业收割机信息的平均耗时为190.9s，总体来说响应时间很快。当系统既有读又有写时，收集农业收割机信息的耗时并没有明显变化，写入性能一直表现良好，符合设计要求。这说明，该系统具有很好的扩展性，为现代农业收割机监控系统提供了优越的条件。

5 结论

本文将云计算功能引入到了海量数据库处理系统中，通过Hadoop的分布式计算功能，结合主从节点的自动分配方法，实现了数据的高速处理。结合农业生产中联合收割机应用越来越广泛，给农田交通运输带来了的巨大压力等问题，以联合收割机监控系统为研究对象，提出了一套能够提供定位、监控、导航、车况采集等综合服务的基于Hadoop云存储平台的联合收割机远程监控系统。测试结果表明：Hadoop云存储平台在联合收割机监控系统中具有良好的表现，并具有很好的扩展性，为现代化的农业收割机监控系统提供了优越的条件。

[1] 陈进,吴培,徐凯,等.联合收割机远程监测故障数据库设计[J].信息技术,2016(5):46-49.

[2] 张学亮,陈金勇,陈勇.基于Hadoop云计算平台的海量文本处理研究[J].无线电通信技术,2014(1):54- 57.

[3] 李新成,李民赞,王锡九,等.谷物联合收割机远程测产系统开发及降噪试验[J].农业工程学报,2014(2):1-8.

[4] 陈进,季园园,李耀明.基于PLC和触摸屏的联合收割机监控系统设计[J].仪表技术与传感器,2014(7): 78-81.

[5] 岳雨俭.基于Hadoop的分布式网络爬虫技术的设计与实现[J].电脑知识与技术,2015(8):36-38.

[6] 刘碧贞,黄华,祝诗平,等.基于北斗/GPS的谷物收割机作业综合管理系统[J].农业工程学报,2015(10):204-210.

[7] 王静,张倩,朱晓言,等.基于CAN总线的联合收割机脱粒滚筒测控系统研究[J].农机化研究,2012,34(1):71-75.

[8] 王琦.谷物联合收割机测产系统智能监视器研究[D].北京：中国农业大学,2005.

[9] 陈勇.基于Hadoop平台的通信数据分布式查询算法的设计与实现[D].北京：北京交通大学,2009.

[10] 赵建波.联合收割机负荷反馈智能控制系统的研究[D].镇江：江苏大学,2009.

[11] 董进泉.基于灰色预测模糊控制的联合收割机负荷反馈装置的研制[D].镇江：江苏大学,2010.

[12] 陈兴振.基于Hadoop的数据作业管理平台设计与实现[D].北京：中国科学院大学,2015.

[13] 王留锋.基于ARM的联合收割机信息处理系统设计开发[D].哈尔滨：哈尔滨工业大学,2013.

[14] 刘艳俊.云计算环境下GML空间数据查询与空间分析研究[D].南昌：江西理工大学,2012.

[15] 郭志恒.云计算环境下GML空间数据存储索引机制研究[D].南昌：江西理工大学,2012.

[16] 杨建丹.基于云平台的分布式索引与检索系统的设计与实现[D].沈阳：东北大学,2011.

[17] 陈进,顾文龙,李耀明.联合收获机智能控制试验台设计与试验[J].农业机械学报,2011(S1):78-81.

[18] 高飞.联合收割机主要工作部件监测装置研究[D].杭州：浙江大学,2012.

[19] 张良将.基于Hadoop云平台的海量数字图像数据挖掘的研究[D]. 上海：上海交通大学,2013.

[20] 王慧平.基于WebGIS的农机远程监管服务系统的设计与实现[D].北京：首都师范大学,2014.

[21] 赵燕.基于云计算的运输车辆远程实时监测与管理系统的设计[D].太原：太原理工大学,2014.

Research on Remote Monitoring and Control System of Combine

Harvester Based on Hadoop Cloud Platform

Li Zhongxian1, Cai Zonghui2

(1.Henan Information Engineering School, Zhengzhou 450008, China; 2.Qinhuangdao Institute of Technology, Qinhuangdao 066100, China)

It established a mathematical model of data processing and algorithm of cloud computing, and Hadoop. And the distributed computing method was introduced into the database processing system, which realized the automatic data partition database and master-slave node set, realizes the data distributed computing function. Then, it obtained processing speed, data transmission rate and capacity the system performance parameters. Secondly, it is more and more widely used combining harvester in agricultural production. In addition, the farmland path is narrow, which brings the huge pressure to the farmland transportation and so on. It put forward a set of positioning and monitoring, navigation, vehicle acquisition and other integrated services combine remote monitoring system.Finally, through the test of the system, the cloud storage platform has good performance in the combine monitoring system, and it has a good scalability, modernization The vehicle monitoring system provides superior conditions for agricultural harvester.

combine harvester; remote monitoring; Hadoop; cloud platform

2016-08-12

河南省教育厅重点项目(ZJA15134)

李中显(1968-)，男，河南上蔡人，高级讲师，硕士。

蔡宗慧(1985-)，女，河北秦皇岛人，讲师，硕士，(E-mail)hanyuzihen@126.com。

S225.3；S274.2

A

1003-188X(2017)12-0185-05