环境监测中数据流处理技术的应用分析

黄善邦

【摘要】环境监测是对影响环境的各种因素进行分析研究的措施，是一种利用和保护环境资源的有力举措。在环境监测中使用数据流处理技术可以有效提升环境监测的科学性和技术性，本文通过对数据流技术进行分析，探讨一下其在环境监测中的应用。

【关键词】环境保护；监测技术；数据算法

引言

在环境监测中往往使用多种技术手段，这些技术手段都是为环境监测做贡献的，环境监测的目的是通过对影响环境变化的不利因素进行监测和分析，再采取积极性措施去保护环境，保护我们生存的环境不因破坏性因素而导致损坏和发生巨大变化。

1、环境保护的积极意义

环境保护是一项专门服务于自然环境和生存环境的职业，环境监测是通过对环境中对环境造成污染和破坏的值进行测定和计算，得出环境污染和破坏的程度。造成环境污染和破坏的因素有很多，其中大部分来源自人类活动。环境监测的监测内容主要有各种生活物质的排放、工业活动造成的废气废水排放。根据环境监测得出的数据，来测定环境变化的实时性以及造成环境变化的原因。再根据造成环境变化的原因，进而分析出环境污染治理的措施和方案，为环境的保护提供科学的数据资料。随着我们生活环境的不断变化，在变化趋势上呈现出破坏与保护并存的局面，环境的破坏导致我们生活环境的恶化，这种恶化已造成我们的生活出现了困扰，环境监测通过监测技术手段为环境保护的开展打下了基础。

2、环境监测的主要内容

环境监测在分类上分为环境质量监测和环境污染监测。其中环境质量监测是对生态环境的一种监测措施，污染源监测是对人类生活环境的监测。在环境监测上主要运用到的技术手段有物理理论、化学理论、光学理论、生物理论等。在早期的环境监测手段中，化学手段是最常用的技术措施，这是因为污染物往往与化学物质易发生反应。随着导致环境污染因素的复杂化，不仅仅化学物质导致环境污染，噪声、空气、光波等污染因素的加入，使环境监测的监测范围进一步的扩大，监测难度的增加，都大大促进了环境监测技术措施的发展。这期间随着计算机技术、信息化技术、生物学的发展，环境监测的技术手段在发展上呈现出自动化、智能化的趋势。在我国环境监测的主要内容有：自然因素、污染因素、人类活动因素。环境监测通过监测环境的变化、收集变化的数据、分析环境变化的因素、研究保护环境的措施，可以有效的为环境的保护提供技术支撑。

3、数据流处理技术的原理

3.1 数据流技术基本特点

数据流处理技术是通过数据流技术，建立一个数据模型，再通过这个模型进行数据的分析、比对，进而得出详细的研究结果。在环境监测中的数据流可以使无序的，也可以是无界的，基本上数据流呈现出流动性和不固定性。在数据流中，各项数据可以是各种状态，但是它一定要符合某一个数据项的基本组合。在环境监测中的数据项都是抽象的实例，都是有存在依据的。所谓数据流就是一个随着时间的发展而发展变化的数据元祖，且这个元祖由时间顺序而有先后顺序。数据流具有以下几个特征：1.无限性.在数据流中无论数据怎么增加都是没有上限的，且随着数据的增加，管理员往往采用数据压缩的方式储存数据。2.动态性.数据流中的数据随着时间和环境的变化呈现出动态性的特征，具有非固定性和不可知性。3.瞬间性.数据流中的数据往往发生于一瞬之间，虽然导致这一瞬间的因素有多种，除非进行了数据记录。

3.2 分布式数据流技术

在数据流的架构上有集中式和分布式之分。集中式数据流处理方式是在计算机系统软硬件的支持下进行的，对计算机的硬件和软件要求要高，在处理大数据时往往变得很慢，不利于环境监测工作的开展。在环境监测中使用分布式数据流技术是有着优势的。首先环境监测的范围广，涉及到的技术手段众多，若采用集中式架构，往往在处理时出现延时性，不利于数据流瞬时性特征的收集和保存。采用分布式数据流系统，既可以在架构时，为环境监测系统的铺设节省一些设备，又可以大大优化环境监测的工作效率。分布式数据架构方式具有操作简单、系统过载保护上具有更好的优势。

3.3 数据流处理方式的算法

在数据流处理方式中需要使用J&ACOUNT和J&AMAX算法。其中J&ACOUNT算法是J-A算法的一种，在计算方式上采用增量的方式，使用COUNT方式进行数据的查询和选择，具有直接性和间接性，在计算方式上较传统计算方式具有先进性优势，传统的计算方式较为繁琐，且查询方式复杂。在滑动窗口中有着重复性操作，大大增加了数据流处理系统的计算压力和储存压力。

使用J&ACOUNT计算方式，在滑动窗口式可以使用COUNT直接定义到关键部分，直接运算并得出结果，大大提高了系统的工作效率。其中在编辑运算程序中能够对密度网格进行调整，编写应用程序算法为：

Procedure D-Stream

t；

Initialize an empty hash table grid_list；

While data stream is active do

Read record x=（x1，x2，x3.....xd）；

If（g not in grid_list）insert g to grid_list；

Update the characteristic vector of g；

If t=gap then

Call initial_clustering（grid_list）；

End if

在數据流每一个计算流程中，J&ACOUNT计算方式便会将数据放置对应多维空间中的离散密度网格，然后更新密度网格中的特征向量。离线部分在每间隔gap时间参数段内，自动调整时间动态参数，使其最后计算结果满足周期调整簇。

4、结语

环境监测是环境保护中所必要的一个环节，环境监测为环境保护提供了必要的数据资料和分析结果，为环境保护的开展提供了保护方向。在环境监测上，使用数据流分析技术，可以使环境监测的结果更为准确和科学，使环境监测工作真正的在环境保护中发挥出应有的必要性作用。