大数据技术在环境保护中的应用及影响因素分析

2022-03-17赵巧丽徐越群谷红梅

石家庄铁路职业技术学院学报 2022年2期

赵巧丽徐越群谷红梅

（河北省地矿局第六地质大队1）河北石家庄 050086 石家庄铁路职业技术学院2）河北石家庄 050041 河北传媒学院3）河北石家庄 051430）

飞速发展的互联网、物联网和云计算技术，使得当今社会进入一个信息和数字时代，数据充斥整个世界。大数据为中国环境保护事业的发展带来了新的机遇，根据收集的大量环境数据，对某地区的环境问题进行合理的分析，从而改变环境危机，了解环境污染的源头，为环境污染提前预警，将能有效推进环境保护工作，早日建设美丽中国的目标。

1 大数据技术在环境保护方面的应用

1.1 水污染方面的应用

利用大数据技术，针对不同地区的水质开展监测，从而得到相关数据，并且参考正常的水体数据，将污染水体数据与之进行合理的比对，并且对污染物的含量、组分建立模型进行数据分析，能够方便的开展污染水体的调查分析。在数据分析的基础上，对水体各项指标实时监控，将能有效的解决水质问题，达到更合理的控制效果。利用大数据可对地下水进行监测，丰富地下水监测功能，可以设置指标对异常数据进行有效监测，在发现异常数据时，快速报警，生成的信息报告可以为管理者提供可靠的信息，提高数据利用率。在地表水质分析方面，大数据技术可从数理统计的角度分析历史水质监测数据的趋势，例如计算两个特定时间点之间某一断面的水质监测因子，以及监测数据的月平均值或年平均值的变化。这涉及到海量历史数据的计算，需要大数据处理的相关技术来保证数据分析过程的良好性能，并在很短的时间内将分析结果及时反馈给用户，从而保证地表水体的安全。

1.2 大气污染方面的应用

在大气污染方面，也可以应用大数据技术，在具体分析方面，主要是将环境大数据的内容与大气污染的相关指标和存在的问题进行不同程度的关联度分析，能够对空气质量有清晰的了解和认知，这样才能在监测过程中发挥良好的作用。传统的大气数据监测平台功能相对单一，主要包括实时监测、历史数据查询、统计排名等，很少有对海量空气质量数据进行深入挖掘的过程，数据中包含的价值尚未完全释放，导致数据浪费。由于传统的操作模式在应用中存在一些问题,所以有必要开展技术创新,通过共享数据,加强环境数据使用效率，对数据进行合理的存储和修复，减少这方面的安全问题和污染问题，从而能起到更好的数据整改作用。

1.3 生态修复方面的应用

应用大数据技术，对森林、沙漠、草原等不同地域、不同时段产生的数据进行收集和分析，建立生态系统的数据库，并依此制定生态系统的相关恢复方案，通过数据模拟恢复发展，在最大程度上降低生态恢复的风险，将人为因素造成的自然破坏减少到最低，建立人与自然的和谐关系。利用3S、无人机等先进的技术手段，对遭受破坏的地区进行实地、实时监测，采用大数据技术对获取到的相关数据进行运算分析，确定影响生态系统自我修复的主要原因，再将修复方案输入大数据分析系统，模拟修复后当地生态系统，在线分析修复方案，为修复方案提供决策依据，从而建立以改善生态环境为核心的治理体系，促进生态修复产业发展。

2 大数据技术在环境保护中影响因素分析

2.1 数据采集方面的影响

数据采集作为数据管理的重要前提部分，对数据分析和数据预测起到至关重要的作用，它的准确与否将将直接影响到数据分析结果的价值取向。所以采用科学的数据获取方法和可靠的数据来源是又数据分析和预测的前提基础。按照数据类型的不同，主要以两大方式进行采集：（1）硬件采集，主要借助传感器硬件装置，通过设置温湿度传感器模块、气体传感器模块等硬件与相应的系统进行对接通信，将传感器设备获取到的监测数据传输至系统进行使用。这种方式更多情况下适用于物联网环境下的智能物流、智能家居等小规模场景。（2）软件采集，主要通过数据导入、数据录入、网络爬虫的方式进行数据获取。数据导入，是指通过工具将批量的结构化数据导入存储系统内使用。这种方式常适用于人员管理以及商品管理等数据一致的情况。数据录入，是指将数据采用录入页面的方式逐条存储起来。这种方式仅对小批量的数据场景适合，但对以万条为单位的大数据量时，效率较低。网络爬虫，是指通过自动化程序对网络中的所有数据进行采集的过程。这种方式具有数据量大、来源广泛等特点。实时数据采集方法能有效保证大数据的及时性和质量性，保证大数据分析预测结果的及时性和价值体现。网络数据主要由网络爬虫采集，需要爬虫软件进行时间设置，以保证采集数据的及时性和质量。因此，数据采集方式是影响大数据时效性和质量的重要因素之一。

2.2 数据预处理方面的影响

现实环境中的数据会受到多种因素的影响，如噪声、数据丢失以及数据不一致等，就会使低质量的数据对数据挖掘的结果造成影响。如对大气环境进行分析和预测，数据采集的元数据来自两个部分：空气质量污染物数据集和气象因子数据集。这些数据特征分散，不符合数据分析和数据挖掘要求的规范和标准。实际采集到的数据具有如下特征：（1）含噪声；（2）不完整；（3）有重复；（4）不一致。因此直接采用低质量的元数据进行数据分析和预测，则会使结果出现异常，影响分析和预测，得出的分析结论也不具有价值。因此在环境保护领域采用大数据分析时，要保证数据具有完整性、无噪声、冗余值少等特点。

2.3 数据存储方面的影响

数据存储在大数据应用中属于非常重要的环节，分布式存储和访问是其核心技术，具有便捷、高效、容错性好的优点。块是分布式文件系统用于数据读和写的基本单元，根据文件的大小可划分为不同的块进行存储，与普通文件不同，如果一个文件小于一个数据块的大小，它将不会占用整个数据块的存储空间。此外还有HDFS存储方式，可以在普通机器组成的集群上运行，并且支持流数据读取和处理超大规模文件。在设计中，该模式采用了多种机制，以确保在硬件出错的环境下数据的完整性。但HDFS不适合处理低延迟的数据访问，也无法高效储存大量的小文件，而且不支持并发的写入和任意的修改。在云计算大背景下发展起来的云数据库，在增强存储能力方面效果显著，它能消除人员、硬件、软件的重复配置，也虚化了很多后端功能，具有高扩展性、高可用性等特点。但是这种存储方式需特别注意数据的安全性，网络安全问题是该存储方式不可忽视的环节。由于不同的数据存储方式有不同的特点和适用条件，选择合适的存储方式对提高大数据的质量维度（如及时性、安全性、可用性和准确性）具有重要影响。

2.4 数据分析方面的影响

数据分析是研究大量数据内在规律，通过分析、对比、归纳统计等方式，提取并总结数据中包含的相关信息，并依据数据信息的分析结果，为用户和相关部门进行决判提供有力的数据支撑。大数据分析技术按照层进的方式主要涵盖三个方面：分布式统计分析、未知数据分布式挖掘和深度学习技术。这三方面技术分别应用在不同阶段，分布式统计分析是对已知数据的统计分析，一般应用在数据处理阶段，而数据分布式挖掘和深度学习则应用在大数据分析阶段。作为大数据处理及应用的关键环节的数据分析，在大数据集合的可用性、价值性和分析预测结果的准确性方面发挥了至关重要的作用。因此在大数据分析方面，合适的分析技术应根据大数据的具体应用情境和决策需求进行选择，这样才能有效提供分析结果的准确性，实现环境保护的价值。