水质在线监测中的大数据应用探讨

马白絮

摘 要： 现如今，我国社会经济水平和科学技术水平显著提升，环保技术发展也呈现一片繁荣。国内的水质监测工作中，一方面是需要大量实时而准确的水质监测数据为基础支撑，同时另一方面也对这些海量的水质监测数据的统计和分析技术提出了高要求。这些海量的水质数据既是长期的环保监测工作积累的成果，更是推动水质监测工作开展、提高环保行业主管部门管理水平和科研成果的重要数据资源。本文简单阐述目前国内水质监测技术中大数据的一些特点，分析大数据在水质在线监测中的一些应用，为相关环保从业者提供参考借鉴。

关键词： 大数据;水质在线监测;应用

【中图分类号】X832     【文献标识码】A     【DOI】10.12215/j.issn.1674-3733.2020.33.030

引言：随着水工业行业的发展以及水环境监测要求的提高，大数据、自动化、精准度、实时监控，成为了水质监测的新问题。在分析大数据、云计算、在线分析三者关系的基础上，给出具有通用性的大数据水质监测总体架构，并从水质大数据的集成管理技术、数据分析技术、数据处理技术、数据展现技术4个方面深入探讨符合水质在线分析发展需求的大数据关键技术的选择。本文就计算机技术如何提升、建设水质监测数据平台等方面进行了研究。

1 对于大数据和水质在线监测之间联系性的探究

所谓水质在线监测系统一般是以相关的分析设备为主，结合传感器技术大数据技术和云计算技术来全方面的监督和测试目标水域水质情况，确保水质监测数据的准确性，从而促使水质监测工作朝着更好的趋势迈进。对于云计算技术来讲，自身有着较为独特的特征以及优势，除了包含复杂的分布式储存结构之外，还可以高效率完成数据计算工作，可以为水质监测环节的开展提供良好的储存服务。而大数据技术，除了具备较强的价值，还能够满足各项业务以及各个环节提出的高要求，从中看出，大数据技术云计算以及水质在线监测之间有着密切的联系性，三者缺一不可。

2 大数据应用的价值体现

水质在线监测系统实时产生的数据是一种无形的资产，而国内的水质监测数据普遍存在管理能力弱、跨部门跨行业数据共享性不顺畅、有价值的数据开放度低等现象。如能重复利用数据、挖掘数据变化的规律、通过数据分析改进系统功能，数据的价值才真正得以实现。一种数据有多种用途，对数据资源的价值利用能实现技术创新。改进水质在线监测的整体方案、研究更多前沿技术，才能真正获得大数据时代水质在线监测系统的突破性进展。

3 大数据技术在水质在线监测中的应用

3.1 系统总体架构设计

传统的管理信息系统主要由感知层、网络层以及应用层等三层架构设计，基于大数据的污水监管系统，新增了数据处理层。利用该层实现对水质在线检测所采集到的大量数据进行管理，实现对数据的分析、统计和存储。

3.2 水质监测数据在平台中的实现与分析

3.3 数据的存储

因为水质在线监测环节中包含的数据类型非常多，并且伴随着时间的不断发展，数据量逐渐拓展和增多，随之呈现出了快速增长的趋势。所以要想高效率的储存以及监管各项复杂性数据。眼见sadoopsdfs大数据储存文件系统进行工作是很有必要的，此项系统的优势极高本系统的数据库主要利用Hadoop平台搭建而成，为了满足实时处理和高数据容量的要求，因此，采用了HBase体系架构实现对庞大数据的存储。其主要组成体现在以下几个方面：（1）实时数据采集引擎：首先本化工厂所有污水检测点所采集的水质相关数据会存储在所属污水处理厂的关系数据库当中，在进行系统部署之后，利用Sqoop可以将如上的历史数据导入到HDFS当中。这样，就可以利用Fum额的实时数据采集引擎实现对实时污水数据的存储。（2）基于HadoopHDFS的大数据存储文件系统：由于实时水质数据的数量较为庞大，且随着时间的推移，数据量呈现指数式的增长。因为，为了更好的实现对庞大数据的管理和存储，系统采用了基于HadoopHDFS的大数据存储文件系统。（3）基于HBase的数据存储引擎：在数据存储过程中，利用HBase技术，可以有效的增加数据存储的空间，并可以为相关管理人员提供便捷的数据读写和查询功能。

结语：从以上论述来看，大数据分析技术产生的优势是极高的，将其应用于水质在线监测环节中，除了可以提升水质监测数据的精准程度和完善性之外，还能够借助该项技术的优势加快水质在线监测工作开展的效率，在促使水质监测领域稳定运行的背景下改善环境，降低水污染，以此达到构建生态社会的目的。

参考文献

[1] 王琪.水质监测中常见技术问题及对策分析[J].化工设计通讯，2017，43（3）：198-199.

[2] 孙丽华，李佳佳.浅析水质监测数据的应用及发展[J].净水技术，2018（S1）：31～33.

[3] 张锡辉，郑振华，欧阳二明，等.水源水质在线监测预警系统的建设[J].中国给水排水，2005，21（11）：14-17.