大数据在环境监测领域的应用

邢彦 吉喆阳 王兆燊，2

（1.郑州三友软件科技有限公司 河南省郑州市 450000 2.北方工业大学 北京市 100043）

随着环境监测规模的不断扩大，无论是数据量还是数据类型都急剧增加，如何进行高效的采集与处理，成为环境监测领域面临的重大难题。大数据处理技术是近年发展起来的面向海量数据分析的新技术，大数据具有数据量大、种类多样、处理困难、价值密度低等特点，通过大数据技术可以从中高效地分析出数据中隐藏的规律，提取出有价值的信息，从而为决策提供支持。在环境监测领域，由于需要对排放量、污染因子种类、扩展趋势等信息进行分析，涉及到大量的数据计算，由于环境监测要求具有时效性，因此采用传统的方法已经越来越难以满足环境监测技术发展的需求。大数据技术的应用，为这一问题的解决提供了很好的条件。

1 环境监测大数据处理面临的挑战

1.1 数据集成难度大

大数据处理的首要工作是进行数据采集，但一般来说，数据采集的质量有高有低，达不到环境监测数据有效性标准的数据是不可用的，然而这种情况在实际工作中却是经常会发生的。目前，由于前端采集设备的性能不够稳定、传输网络不可靠等原因，会出现数据缺失的问题；由于点位选取不合理、有效点位数量不足等原因，也可能造成数据精度不够等现象；另外，对不同的环境因子进行监测涉及不同的传感器，其传输协议和数据结构也各不相同，这些问题都会大大增加数据的集成难度，对后续的大数据分析造成不同程度的影响。

1.2 数据应用效率低

近年国家将环境保护工作放到了一个更高的位置，大大推动了环境监测工作的发展，但到目前为止，我国在环境监测数据分析上仍然比较基础，在数据的深层次挖掘水平上还比较欠缺。前端采集回来的大量数据，经常只是作为实时环境状况的参考，或者将某时段内的数据进行简单平均用于环境评价，这种应用现状实际上远远没有发挥出数据的最大价值。实际上，大数据平台可以结合GIS等技术实现监测点位的关联分析，从而探索污染物的扩散机制，成为环境质量预测的重要参考。这些工作都有待进一步改进。

1.3 系统维护成本高

大数据分析必须依赖于相应的信息化系统，因此环境监测领域要想利用大数据技术，必须配备建设大数据分析平台。由于环境监测系统规模较大、涉及技术也较复杂，前期需要投入较多的资金，并且在后期还会涉及大量的运维工作。随着系统使用时间的增加，数据量也会增加，这使系统维护成本大大提高。另外，大数据作为一项快速发展的技术，相应的算法或组件也需要持续更新。这些因素都严重限制了大数据技术的推广应用。

2 大数据在环境监测中的应用优势

2.1 集成多元异构数据

在环境监测工作中，通常需要按照区域地理环境特征、污染物分布特征、监测点进行参数测量，形成一个大型监测网络，有时候甚至需要对几个项目的数据进行集成化采集，接入到一个平台进行统一分析处理。在这样的背景下，环境监测数据就具备了明显的多源性和异构性，形成环境监测大数据。采用大数据处理技术可以在系统集成的基础上实现更高层次的数据集成，使多源数据更大范围地进行共享，使海量监测数据可以高效地进行采集、存储、分析和决策。从环境监测技术的发展趋势来看，通过大数据对多元异构数据进行集成具有重要的现实意义。

2.2 提升环境管理水平

环境监测是环境保护工作重要一环，监测的目的就是为了找出污染物的传播规律，以便有效应对各种环境风险，从而提升环境管理水平。海量监测数据如果得不到有效的利用，环境监测也就失去了意义，环境管理也就无从谈起了。采用大数据技术提高数据的采集、分析和共享效率，充分应用各类数据信息，通过大数据处理技术进行环境建模，最大程度地发挥数据潜在的价值，提高预测和分析的准确性，将海量数据转化为科学的环境管理决策，从而最大程度地提高环境管理水平。

2.3 提升公众服务能力

环境保护说到底就是为了维护大众环境权益、保护公众健康，促进自然与人类的和谐发展。大数据技术的应用可以将互联网、云平台等技术结合起来，将各种环境数据实时传播出去，提高环境保护的透明度，接受大众和媒体监督。公众可以通过智能手机、电视、及其它智能移动终端实时获取环境数据，及时了解当前的环境状况，提高公众的参与程度，使环保工作渗透到人们的生活中，真正做到环境监测的公开化，切实保障公众的环境权益。显然，只有及时准确地公开环境状况，提高公众的参与感，才能实现真正意义上的公众服务，从而持续促进环境保护主管部门的公众服务能力。

3 提升环境监测大数据应用能力的建议

3.1 完善大数据基础设施

大数据技术的应用需要大量的基础设施作为物理支撑，由于大数据技术应用具有其特殊性，因此在基础设施建设方面除了普通的网络设备之外，还需要考虑高性能运算设备及软件平台的建设投资。尤其是对于环境监测工作而言，没有完善的设备设施根本无法支撑数据采集、存储和分析等一系列复杂的工作。为了星期环境监测应用水平，应充分利用当前的先进网络技术和软件技术，构建一套完善的环境监测网络以及高效的数据管理系统。在此基础上，对数据质量进行严格的质量把关，对多源数据进行有效整合，通过完善的基础设施平台作支撑，建立区域性数据信息处理中心，加强资源共享，提高设施和数据的有效利用率，实现大规模的数据协同处理中心。

3.2 加强人才队伍的建设

环境监测大数据应用能力提升，除了硬件设施的完善之我上，归根结底还是人才队伍的建设问题。人才队伍作为大数据发展的软实力部分，对于提升环境数据应用水平有着核心的作用。随着环境监测规模的扩大，数量日益增加，数据处理工作更加复杂，这对大数据技术人才也提出了更大的挑战。是否具有足够的专业技术水平，直接决定了大数据应用能力的高低。在环境监测领域的大数据应用上，人才队伍的建设不仅要考虑学历层次的平衡、还要考虑专业领域的全面。一方面，大数据技术本身具有很强的技术性，对数据分析能力、算法设计能力等有很高的要求，因此必须拥有理论水平高的高学历人才，另一方面，数据处理是通过信息化平台进行的，因此还要求拥有系统集成和信息化建设方面特长的技术型人才。

3.3 提高大数据应用能力

从当前的环境监测实践来看，在数据收集完成后，许多监测部门通常只满足于按照相关的环境标准给出几个常规的环境评价指标。实际上，考虑到环境监测技术本身仍处于快速的发展之中，许多污染物的传播规律和影响特性仍有待深入的研究，即使是环境标准提出了较明确的监测要求，但并不意味着这是一成不变的。监测人员应充分利用大数据技术对监测数据进行更深层次的挖掘。

以大气监测的点位布置为例，尽管在《环境影响评价技术导则 大气环境 》（HJ 2.2-2018）中有关于点位选取方法的具体描述，但对于不同的应用场合而言，这些方法落到实处仍然需要发挥人的主观能动性。但人的判断主要依靠经验，而采用大数据分析技术，则是通常数据说话，具有客观性。尤其是对于大范围的网络化环境监测场合中，通过人工分析根本无法做到合理的布点，而采用大数据分析平台可以将同一区域内多年形成的历史大数据，以及同类污染物长期积累的数据进行深度挖掘，采用类聚、关联、神经网络、机器学习等先进的算法进行分析，结合地理参数、气象参数等信息，挖掘出其中的核心规律，可以指导在实际工作中更科学地布置监测点位。如图1(a)所示为通过大数据平台自动选取的某区域监测点位分布，图1(b)所示为大数据平台分析的同一区域某污染物浓度分布情况。

3.4 增强大数据管理思维

大数据技术从诞生到目前，仍未得到方规模的普及，这除了技术上原因之外，还受到了人们传统思维的影响。面对数据处理问题，大部分人首先想到的仍然是传统的一些简单统计方法，而没有将大数据管理思维渗透到环境监测的每一个环节中。实际上，随着环境监测技术的发展，传统技术无法满足要求是一种趋势，采用大数据技术对环境监测工作进行管理也是大势所趋。除了在技术上采用大数据技术之外，其实在管理领域大数据技术也有广阔的应用空间，例如通过大数据技术为政策的制定提供决策，构建起一套包括技术和管理在内的大数据应用框架，不断提高环境监测数据应用能力和环境管理决策水平。

4 结语

随着我国全面进入社会转型期，国家提出的“五位一体”发展战略得到逐步的落实并取得了良好的成效，使我国面貌焕然一新。在经济全球化和科技高度发达的21世纪，国家对环境保护工作将更加重视，建设美丽中国的需求更加迫切，环境保护已成为影响人类发展的全球性问题。通过大数据技术的应用，提高环境监测的质量和效率，对于我国提升环境治理能力建设、保障人民身体健康、提高生活质量具有重要的现实意义。

图1：大数据平台实现大气监测点位自动选取(a)及污染物浓度分布渲染(b)