大数据在危废运输车辆GPS监控中的应用

2020-11-26符志军

无线互联科技 2020年10期

符志军

（江西工程学院，江西新余 338029）

建设危险废物动态管理体系，对危险废物进行处理与跟踪，保证危废管理部门能够实时地了解危险废物的动态信息，并且利用智能化的数据管理方式提高对危险废物的监控水平，能够在一定程度上提高危废管理的质量和效率。为了实现对危废运输车辆的监控，可以利用全球定位系统（Global Positioning System，GPS）定位装置，掌握危废运输车辆的动态情况，对转移过程进行实时监测。因此，如何设计GPS危废运输车辆监控系统是危险废物运输管理部门需要解决的主要问题。现阶段，学者对于大数据背景下危废运输车辆GPS监控系统的研究较少，导致数据库的存储压力较大，查询效率不高，不利于危废车辆的管理。文章利用HBase进行数据的存储和处理工作，从而满足了性能需求[1-2]。

1 关键技术概述

1.1 HDFS分布式文件系统

Hadoop分布式文件系统（Hadoop Distributed File System，HDFS）实现对危废运输车辆GPS监控产生的大量数据进行分布式存储和管理，从而保证在数据迅速增长的同时也能够进行科学、有效的管理及存储工作。HDFS能够将大量的文件进行模块化的存储，同时进行并行读取，利用HDFS对数据进行管理具有以下特点：

（1）实现高数量级数据的分布式存储。（2）文件支持一次读、多次写的模式。（3）HDFS能够实现大规模流式读取以及随机读取。（4）利用分布式读取的方式达到较高的输入、输出吞吐量。

1.2 HBase技术

HBase是一个数据库，建立在Hadoop的HDFS之上，能够实现对数据的快速查询与访问。HBase以表的形式进行数据的存储，其中，列被分成许多个列族，而HBase表当中的所有列都是列族的组成部分。此外，HBase通过稀疏存储结构来保存数据信息，为了保证读写性能，可以把类型相似的列放置到一个列族当中，缩小存储的路径。将HBase应用到危废运输车辆GPS监控系统中，极大地提高了吞吐量，实现了动态扩展功能，提高系统的响应速度[3]。

1.3 MapReduce分布式编程框架

MapReduce分布式编程框架由谷歌公司首次提出，以此编程框架为基础，HDFS以及HBase可以完成编程框架主动控制、数据公开透明的数据资源并行调度以及数据的同步存储。其中，利用MapReduce分布式编程框架能够处理高数量级的大量数据。除此之外，MapReduce能够实现对后续的数据进行分析，GPS监控系统能够对交通情况进行研究，同时保证HBase作为InputFormat。

2 系统的总体结构

危废运输车辆GPS监控系统主要由3个部分组成：车载终端、GPS网关以及车辆监控服务平台。

（1）车载终端，是一种配置在危废运输车辆上的终端装置，主要是把危废运输车辆的位置信息及其状态传送给服务器，借助运营商基站实现和网关之间的通信。

（2）网关，起到了中转信息的作用，主要服务于车载终端以及车辆监控服务平台中间，完成对数据定位信息以及状态信息的接收工作。相应的信息在GPS网关缓存以后，同时传输至数据库服务器当中[4-5]。

（3）车辆监控服务平台，主要完成后台管理工作，按照在GPS网关获取的危废运输车辆位置及其状态信息内容，向管理人员提供相应的危废运输车辆定位、信息监测、历史跟踪等服务，而且车辆监控服务平台是在平台服务器的基础上运行的。

在大数据环境下，危废运输车辆GPS监控系统主要实现车辆的监控、历史轨迹实时查询、定位跟踪、状态信息动态监测等功能，此外，系统还能存储以及管理大量的数据信息，扩展性能较高，吞吐率得到了大幅度的提高。

3 系统结构设计

3.1 车辆监控GPS数据特点

在危废运输车辆管理过程中，监控数据主要有以下的特点：首先，要对经纬度、里程数等车辆信息进行实时收集，采集的频率较高且数据较为庞大；其次，当危废运输车辆较多的时候，写入量迅速增加，因此对系统的吞吐量有较高的要求，而且要求系统的相应速度快，实时性能以及扩展性能良好；最后，系统对数据主要执行插入以及查询工作，不涉及删除、更新等。

3.2 系统性能解决方案

随着危废运输车辆的不断增加，数据库的信息存储空间需求越来越大，会给危废物品管理人员带来极大的困难。因此，需要系统能够实现大量数据的存储功能以及动态信息实时监测管理功能，而将大数据技术应用到危废运输车辆GPS监控中，可以解决存储空间不足、存储速度慢、处理效率低等问题。

首先，优化设计数据库。由于车载终端设备收集的数据较多，因此在危废运输车辆GPS监控系统设计的过程中要减少冗余。通过大数据技术把一个较大的数据库结构分成许多个小的数据库，保证数据库之间访问的科学、有效性。其次，共享内存技术。在内存当中设置一个能够共享的区域，将经常用到的数据类型、参数等读入到共享区域当中，这样在对数据进行访问、查询的时候就能直接利用共享内存区域的数据实现，极大地提高了管理效率。最后，多进程并行处理模式。将一个小程序分为多个程序，从而进行并行处理，能够极大地提高处理效率[6]。

3.3 HBase表结构设计

首先，创建一张表，定义表的名称为GPSTABLE，表格当中要包括危废运输车辆的全部信息，为了方便查询及管理，可以使用车牌号加上时间的命名方式作为行键（rowkey），便于对HBase中的数据进行快速定位。rowkey的原则必须在设计上保证其唯一性，将经常读取的数据存储到一块，将最近可能会被访问的数据放到一块。

设备号方便管理人员进行数据的查询工作，车牌号可以为普通的用户提供查询信息。定义危废运输车辆信息的一个列族，包括以下信息：危废运输车辆的品牌（brand）、车辆的型号（model）、颜色（color）、速度（speed）、可行驶的最大距离（miles）等。

3.4 实验环境及结果分析

此次试验环境为一个6节点的Hadoop集群上，其中，DataNode的节点个数为5，NameNode的节点数为1，HMaster的节点数为1，RegionServer的节点数为5，Zookeeper的节点数为3。主要对危废运输车辆GPS监控数据的导入和查询性能进行研究和分析，假定总记录数为10亿条，当单行记录不小于1 kb的时候完成数据的导入和数据的查询工作。

实验结果表明，将HBase应用到危废运输车辆GPS监控系统的设计当中，不仅能够实现对大量数据进行实时、随机的查询，而且其存储和查询效率得到了极大的提高，较好地满足了各方面的需求。