大数据技术在环境监测中的应用

周渊海　张卓

摘 要：大数据技术的关键技术包括数据存储、数据计算、数据集成、深入挖掘及可视化等，可为环境监测提供技术辅助，实现综合预警与科学决策。基于此，文章对大数据技术在环境监测中的应用进行深入分析，探究大数据技术的应用内容与流程，结合环境监测案例，总结大数据技术应用要点，保障其优势有效发挥。

关键词：大数据技术;环境监测;生态环境

在新时期背景下，环境监测工作越来越复杂，不仅要考虑环境参数，还需分析环境与人、与经济的关系，实施多元协同治理。传统环境监测数据处理存在数据不全面、指标不准确、历史数据遗失等问题，难以为环境决策提供帮助。大数据技术的出现妥善解决了上述问题，因此需在环境监测中合理应用大数据技术。

1 大数据技术在环境监测中的应用方式

1.1 支持环境监测数据的采集

在环境监测数据采集中，大数据技术的应用可实现数据的分类采集，根据环境监测数据的内容或生命周期进行全面采集，为后续数据集成与分析提供便利。

1.1.1 内容分类

在环境监测工作中，大数据来源有两类，分别是监测部门产生的数据与外部人群活动产生的数据，前者包括生态环境数据与污染源排放数据，数据的周期约四十年，主要为结构化数据;后者包括人与环境相关的数据，数据时间跨度不等，主要为非结构化数据。基于上述来源，大数据可根据如下分类，实现环境监测数据的有效采集。第一，生态环境监测数据，包括生态环境监测的各项数据，如大气数据、土壤数据、噪声数据及水质参数等，监测范围包括生态环境监测点、水源保护区及自然生态保护区等，为覆盖全国的环境质量监测网监测数据，可体现各地区及我国整体生态环境状况。第二，污染源排放数据，包括各个污染源所在点位的监测数据，如废气数据、废水数据及固废数据等，涉及污染源监测、污染治理设施运行及监察执法等工作。第三，人与环境相关数据，包括基础气象数据、生活垃圾数据、地理国情数据等，来自于各地区统计年鉴或网络媒体公布数据。

1.1.2 生命周期分类

按照生命周期，可将环境监测数据划分为冷数据、温数据和热数据三类。冷数据是指采集的未处理数据或历史归档数据，通常以污染源排放数据或生态环境监测数据为主，可用大容量硬盘存储;温数据是指通过分析形成报表的环境监测数据，支持历史查询，如环境质量日报、月报与统计年鉴信息等;热数据是指当期使用数据，包括深入挖掘后入库的数据或部分原始數据，如实时发布的在线监测数据，需配置高速硬盘，方可保障数据的有效应用[1]。

1.2 支持环境监测数据的集成

在分类收集环境监测数据的基础上，大数据技术可实现环境监测数据的全面集成，将异常数据全部剔除，提高环境监测数据质量。细化来说，环境监测数据的集成包括抽取、分发、清洗、转换与装载等步骤，并将处理后的数据存储于数据库中，便于后续分析。在上述环境监测数据集成中，大数据技术的应用要点如下：第一，数据转换，数据转换是指对采集到的不同类型与格式的数据进行统一转换，使其符合数据深入挖掘要求。通常来说，环境监测数据间的差异体现在编码方面，监测人员可通过数据转换方式，使其格式编码保持一致。第二，数据补采，数据补采是指补充采集数据，使环境监测数据更为全面。在环境监测数据出现中断或数据不完整现象时，即可进行补采，具体补采原则由数据类型决定。第三，数据清洗，在采集的环境监测数据中，存在不符合实际情况或不规则的数据，称之为“脏数据”，需进行数据清洗，即将其从数据库中剔除，避免“脏数据”影响后续处理结果。在“脏数据”清洗中，技术人员需根据环境监测与分析需求，制定合理且详细的清洗规则，确保所有“脏数据”被清洗，避免正常数据被误清洗。常用的清洗规则有取值范围、拼写检查等。第四，采集监控，在数据采集与集成的过程中，需进行采集监控，对大数据平台分布的采集、转换及加载等任务进行监督管理，如监测加载任务状态、启停各项任务等，保障大数据平台的规范有序进行，实现环境监测数据的智能化处理[2]。

1.3 支持环境监测数据的分析

在环境监测工作中，大数据技术可实现监测数据的深入挖掘与分析，技术人员可根据环境监测需求，在大数据平台设定计算处理程序，根据集成的数据内容，进行批量处理，处理流程为数据建模→数据计算→数据分析，分析技术包括关联分析、预测分析、聚类分析、概念描述及偏差检测等，为监测人员提供全面的数据参考，协助环境决策。例如，在大气、土壤及水体环境质量连续监测工作中，技术人员在大数据平台设置预测模型，可根据集成的数据内容，对未来环境数据进行预测，用作环境容量核定、产业结构布局及资源开发利用的决策参考资料，使城市开发满足保护生态环境的要求;在企业污染物监控中，技术人员可将大数据平台设置生产排污工况监控功能，全面采集企业生产、排放、销售等过程，为环境执法提供帮助。

2 大数据技术在环境监测中的应用案例

为明确大数据技术在环境监测中的应用要点，本文将以某流域水环境监测工作为例，深入探究大数据技术在数据采集、数据集成与数据分析方面的应用，为环境监测人员合理利用大数据技术提供成功经验参考。

2.1 应用内容

根据大数据技术的应用方式，环境监测部门与软件企业合作，共同构建水环境监测网络与大数据平台，包括数据采集、数据集成与数据分析三个模块。

在数据采集模块中，整合自动监测站与人工监测数据，采集流域的湖体、河道、地表水、饮用水及重点污染源等相关数据，实现流域水环境的全面监测。依托于大数据技术，构建水环境监测数据库，数据内容包括自动监测与人工监测两类，实现数据共享。在数据集成模块中，技术人员根据水环境监测数据应用需求，在大数据平台中设置数据转换、数据补采、数据清洗、数据装载与采集监控等功能，对采集的水环境监测数据进行初步处理，确保其符合数据深入挖掘要求，保障数据分析的有效性。在数据分析模块中，技术人员根据水环境监测数据分析服务需求，设置数据挖掘功能、模型功能与报表中心功能，切实发挥大数据技术优势，为水环境管理决策提供帮助。

其中，数据挖掘功能是指根据水环境相关的质量数据、水文数据与气象数据，构建数学模型，评估数据变化规律，总结水质变化原因，为当地政府部门制定政策提供参考;模型功能是指构建水环境模型服务平台，配置多个环境专业模型，为流域日常管理提供支持;报表中心功能是指对数据进行可视化处理，更为直观地呈现数据变化规律，为水环境管理决策提供帮助，主要包括以下内容：①水质报表，包括湖水、地表水、饮用水等，可统计最新水质达标状况、水质级别及历年水质对比等;②河流报表，统计河流监测数据、综合污染指数及空间变化数据等;③水源地报表，统计水源地监测数据与空间变化数据等，便于分析水源地质量;④湖库质量，包括湖库检测数据、空间变化数据等;⑤水环境预警，对当前水质进行模拟评估，分析水质未来趋势，进行预警与提示，引导环境监测部门做好预防。

2.2 应用成效

上述水环境监测网络与大数据平台应用后，可全面采集流域的湖体数据、河道数据、饮用水数据及重点污染源监测点的监测数据，实时掌握流域的水质、水量状况，分析其污染状况，实现水环境的精细化、规范化管理，为水环境污染综合治理决策提供帮助。同时，在大数据技术应用后，解决了该流域水环境监管的信息“孤岛”问题，提高流域水环境管理水平。可见，大数据技术在环境监测中优势显著，可推广普及。

3 结论

综上所述，在环境监测中，大数据技术可实现监测数据的分类采集、全面集成与深入分析，确保监测数据真实可靠。为保障大数据技术优势的发挥，环境监测部门需构建大数据平台，结合环境监测工作要求，设置数据采集功能、数据集成原则与深入分析技术，提高环境监测水平，创设良好生态环境。

参考文献：

[1]张丽平.大数据在环境执法与监测中的运用探讨[J].绿色环保建材，2020（06）：78+81.

[2]黄润楠.探析大数据解析技术在大气环境监测中的应用[J].农家参谋，2020（10）：195.

作者简介：

周渊海（1985- ），男，江苏省张家港市人，汉族，大学本科，工程师。

张卓（1986- ），女，江苏省张家港市人，汉族，大学本科，工程师。