大数据技术背景下环境质量监测系统研究

2018-09-10薛玉娟

现代盐化工 2018年6期

薛玉娟

摘要：随着大数据技术的深入应用，环保监测方面也逐渐开始使用大数据技术，针对大气污染的现状，结合科学技术发展现状，本文以大数据技术为研究背景，通过现代化的科技手段，对环境质量进行监测，为建立一种成本较低、系统配置灵活、可靠性更高的环境质量监测系统提供借鉴。

关键词：大数据技术;环境质量监测;设计思想

随着计算机科学技术的迅速发展，大数据技术将会成为21世纪最大的力量之源。目前，大数据已成为我国的基础性战略资源，正在朝着全球生产、流通、分配及消费和各个环节全面渗透。

1 大数据技术概述

1.1 大数据的概念

早在20世纪90年代，“大数据”的概念便出现了，只是人们并没有给予太多的关注，再加上当时网络信息技术还没有大面积普及，所以大数据在当时并没有特别重大的意义。直到2011年有一家叫麦肯锡的美国咨询公司发布了一篇关于“大数据”的报告，“大数据”才被人们熟知。至此，人们开始对“大数据”进行研究，意识到“大数据”的重要性，才意识到“大数据”的价值和意义。

关于“大数据”的定义众说纷云，有的科研机构给大数据下的定义是：大数据就是一个庞大的信息库，这个信息库增长速度非常快，信息的内容也是多元化的，对些庞大的信息进行研究分析可以获取非常重要的资讯，从而有助于公司或企业作出更有利的决策指导。而麦肯锡咨询公司则认为：大数据就是在一定时间内使用过去的信息处理工具无法完成的数据的集合。不管是给“大数据”作出何种定义，对人们来说，其表现的功能是一样的，都可以用3个层次来给予描述，如图1所示。

1.2 大数据的应用范围

大数据本身只是一大堆的数据，只有对这些巨大的数据进行挖掘和分析，才能让大数据体现它的巨大功效。大数据可以毫不夸张地比喻成网络的新石油，数字世界的新币种。一此大型网络公司已经将大数据应用得非常成熟，比如亚马逊公司，通过对大数据的深度挖掘和分析，可以非常有针对性地客户推荐客户需要的书籍，当然这些其实通过收集客户搜索的关键词历史记录和客户购买产品的历史记录来实现的。其实，我们国内的淘宝、京东在大数据应用方面做得也是比较成熟的，特别是淘宝网，当我们打开淘宝网的时候就会弹出给我们推荐一些我们可能需要的产品，这些推荐的产品正是通过收集我们在淘宝网上的搜索关键词以及曾经的购物历史记录，来选择的推荐产品，这就是典型的大数据应用，当然我们的个人信息及隐私也因此而暴露给商家，如果商家不能给我们做好安全保密工作，将会给我的生活带来非常巨大的麻烦。当然，这些只是大数据在电商企业当中的应用，除此以外，大数据在各行各业都得到了广泛的应用。

2 基于大数据技术的环境质量监测系统

一个完整的环境质量监测系统，需要提前对其功能模块进行设计和研究。基于大數据技术的环境质量监测系统的业务拓扑结构如图2所示。

由图2我们可以看出，这个基于大数据技术的环境质量监测系统主要分为3个业务拓扑模块，一个是环境质量监测系统，主要是由软件组成;一个是通信系统，主要完成数据之间的相互沟通和交流，主要是由通信硬件组成，另一个是硬件采集系统，主要完成各项数据的收集工作，主要是由相关的监测站提供的监测硬件组成。

2.1 基于大数据技术的环境质量监测系统的需求分析

为了实现环境质量监测系统的功能，环境质量监测系统需要具备以下几个模块，如图3所示。

基于大数据技术的环境质量监测系统功能模块需求，我们可以分析出在数据通信方面的需求分析，比如数据的通信流程及通信过程中的安全问题以及数据访问的安全问题等都是需要提前进行需求分析的。另外数据的存储也需要进行详细的需求分析，比如随着时间的推移，存储的数据会越来越多。如何保存这些数据是我们必须要考虑的问题，另外，在保存过程中还得注意数据的安全性及是否存在其他无法估计到的问题。所以，数据的存储一定要具备很高的稳定性和可靠性，否则一定会影响到整个环境监测系统的稳定性。数据的分析需求也是非常重要的，我们正是依靠数据的分析结果来判断环境是否受到了污染。

2.2 基于大数据技术的环境质量监测系统的架构设计

环境监测系统的架构设计如图4所示，由两部分组成，一部分是应用子系统，另一部分是数据中心子系统，各自实现自己要完成的任务。

一套完整的系统必须至少包括两个方面：一个是应用方面，一个是数据方面。本研究提到的基于大数据技术的环境监测系统正是由这两个部分组成的，其中应用方面即应用子系统，主要是由数据应用层来完成的。而另一方面数据方面则是由数据中心子系统来完成的。其中在数据中心子系统中，又包括多个层次组成，位于最上层的是数据访问层，这一层主要涉及用户的访问安全问题，比如用户的登录名和密码设置的问题。第二层是混合存储层，这一层主要用于对大量数据的存储，在这一层主要涉及数据存储的安全问题，比如数据储存介质的安全问题。第三层是数据预处理层，在这一层主要是针对采集到的原始数据进行预处理，从而将一些无用的数据直接排除掉。第四层是源数据文件的储存层，在这一层存放着最原始的源数据，需要考虑到有足够的存储空间。最下面一层是数据通信层，在这一层主要是通信介质在工作，要保证数据通信的安全性和完整性。

3 结语

一种基于大数据技术的环境监测系统的设计思想呼之欲出，本研究对环境监测系统的设计思想进行了简单的分析，还需要大量的时间和精力来对这个环境监测系统设计的问题进行深入的研究，争取开发出来一套适合目前形势的环境监测软件，为环境保护提供较有力的数据分析和指导作用。

[参考文献]

[1]吕晓君，董峥，吴铁，等.基于环保大数据的污染防治可行技术数据库建设路径研究[J].环境影响评价，2018（1）：15-18，22.

[2]殷珊.基于微分方程的环保大数据分类技术研究[J].环境科学与管理，2018（6）：122-125.

[3]朱习文.环境保护大数据应用技术分析与研究[J].科学技术创新，2018（23）：75-76.

[4]何鹂颍，张起闻.基于大数据技术的电子产品节能环保性信息应用[J].检验检疫学刊，2017（4）：47-50.

[5]朱丽.大数据技术在环保数据共享平台建设中的应用[J].信息系统工程，2015（5）：95-96.

[6]王成红，陈伟能，张军，等.大数据技术与应用中的挑战性科学问题[J].中国科学基金，2014（2）：92-98.

[7]张锋军.大数据技术研究综述[J].通信技术，2014（11）：1240-1248.

[8]程学旗，靳小龙，杨婧，等.大数据技术进展与发展趋势[J].科技导报，2016（14）：49-59.

[9]李安增.基于大数据技术的环境质量监测系统的设计与实现[D].沈阳：中国科学院研究生院（沈阳计算技术研究所），2015.