基于大数据平台的PM2.5监测预警系统研究

曹 骝，吴修文

（南京云创存储科技有限公司 南京210014）

1 社会背景

近两年，在工业污染、汽车尾气等因素的影响下，城市的环境污染日益严重，空气中的细颗粒物（PM2.5）浓度越来越高，全国很多城市都受到雾霾的困扰，雾霾现象严重，给百姓的日常生活造成了极大的困扰，引发业界和专家们的强烈关注。

目前，国内的环境监测中心站点数量相对较少且呈分散分布，很难提供全方位的环境监测数据。环境监测数据能够在宏观上反映整个城市PM2.5的情况，却不能从微观上反映某个局部区域或是特定区域PM2.5的浓度，因此，需要增加环境监测站点的建设数量，提供更多的实时环境监测数据。

基于大数据平台的PM2.5 监测预警系统能够作为现有环境监测站点的有力补充，可以准确、及时、全面地反映环境质量现状及发展趋势，为环境管理、污染源控制、环境规划等提供科学依据。PM2.5 监测预警系统突破了传统的监测方法，运用创新的设计理念，使环保与云计算技术有机结合，架构大数据处理平台，采用大数据挖掘与分析方法，结合城市地形、天气情况、人口密度、交通路况以及工业产值等元素，为系统地研究改善大气环境质量起到了重大的创新支撑作用。

2 PM2.5 监测预警系统

2.1 系统架构

云创存储的PM2.5 云监测平台通过超大规模部署PM2.5 监测节点对环境进行实时监测，通过云计算（数据立方）分析处理大规模的PM2.5 监测的数据，利用PM2.5 监测和预警系统可以做到及时的污染预警，并且通过邮件、APP 等数据推送方式进行空气污染自动报警，能够帮助人们做好污染防护工作，最大程度地降低空气污染。通过对海量历史数据进行智能分析，能够演化到PM2.5的污染过程，并且追溯污染源头，进而治理PM2.5 污染源头，有效抑制污染源，保护空气环境。PM2.5 监测预警系统总体架构如图1 所示。

PM2.5 监测预警系统由前端的PM2.5 云监测仪和后端的大数据处理平台组成，它突破了传统的监测方法，运用创新的设计理念，使环保与大数据技术有机结合，架构海量数据处理平台。

2.2 可大规模部署的PM2.5 云监测仪

PM2.5 云监测仪由设备箱、传感器、主控板、电源和无线通信平台组成。传感器将采集到的电信号通过线材传输给主控板，主控板进行信号解析、算法分析和数据量化后，将数据通过无线通信方式（GPRS）传输到云平台。PM2.5 云监测仪可以大规模部署，每个仪器均可以将采集到的数据传输到云平台进行处理。PM2.5 云监测仪的安装部署方式方便，可以部署在户外的立杆或者墙壁上，这种部署方式和传统的部署方式完全不同，符合超大规模部署的条件，并且PM2.5 云监测仪完全基于云平台，可以同时接入成千上万的PM2.5 云监测仪。PM2.5 云监测节点实物如图2 所示。

2.3 PM2.5 大数据处理平台

通过大规模部署PM2.5 云监测仪，针对PM2.5监测建立基于大数据处理的PM2.5 云监测平台。PM2.5 云监测仪检测到PM2.5的相关信息，通过GPRS 进行无线数据传输，传输到云平台，成千上万的实时数据在数据接收服务器上进行数据接收、解析和预处理，将数据存入数据立方中进行云处理和云存储。

数据立方大数据处理系统是一种处理海量数据的高效分布式软硬件集合的云处理平台，该平台可以从TB 级乃至PB 级的数据中挖掘出有用的信息，并对这些海量信息进行快捷、高效的处理。平台支持100 Gbit/s 以上量级的数据流实时索引，秒级响应客户请求，秒级完成数据处理、查询和分析工作。平台可以对入口数据进行实时索引，对数据进行分析、清理、分割，并将其存储在云存储系统上，不仅在入库和检索时具有非常高的性能优势，还可以支持数据深度挖掘和商业智能分析等业务。

数据立方大数据处理系统的技术优势主要包括以下6个方面。

（1）汇总历史监控数据

该系统能够对千亿级的海量历史数据进行汇总处理。

（2）原始数据实时入库、生成索引

该系统能够对原始监控数据流进行实时处理并生成索引。

（3）原始监控数据上报

该系统能够对千亿级的海量上报监控数据进行上报处理。

（4）数据秒级查询能力

高效索引算法，智能化调度任务系统，满足秒级查询速度。

（5）数据存储、计算

该系统能够存储千亿级别的数据，完成各种复杂的业务应用计算。

（6）实时业务响应

具有高效、实时的数据通道，对于监控、告警等实时业务，提供秒级响应时间。

数据立方云计算一体机管理系统和PM2.5 预警平台静态分别如图3 和图4 所示。

2.4 应用大数据技术的必要性

由于分散在城市周围大量的PM2.5 监控点（100～10 000个） 需要实时地并发上传大量PM2.5数据，同时需要存储和处理海量的PM2.5 历史数据，采用传统的方案显然难以满足存储数据和分析处理数据的需求。

PM2.5 云监测平台会产生海量的数据。假如一个城市部署了5 000个监测点，每个点每5 s 上报一次数据，一天会产生8.64 亿条记录，一年就会产生3 153.6 亿条记录，10年就会产生3 万亿条记录。从趋势分析角度看，长期保存历史数据是必要的。传统的数据库无法支撑如此多的数据量，必须使用云计算数据库。

（1）存储层

存储层使用云创存储公司的cStor 云存储系统。cStor 具有众多优势，如超低功耗、极高的性价比、通用、高可靠、免维护等，可广泛应用于有大量数据存储需求的场合。存储量大，每个标准机架的最高容量是国际先进水平的3 倍，可达1 024 TB 以上；功耗很低，cStor 每个节点只需几瓦功率，与业界典型值200 W 相差甚远；成本较低，硬件与运营成本只有同类产品的几分之一。目前，cStor 云存储系统已成功应用于智慧交通、视频监控、动漫制作和数字地球等多个领域。

（2）处理层

处理层使用Intel 云创数据立方云计算一体机以及数据立方云计算分布式数据库，即可解决海量数据的高速入库、关联查询和快速索引等问题，使万亿条记录级的数据查询能够实现秒级处理。

总体而言，PM2.5 监测预警系统利用数据立方大数据处理系统对海量监测数据进行挖掘和分析，可以为执法者提供法律依据，从而为改善大气污染提供技术支持。

3 成功案例

作为“1831”物联网建设工程的试点区，江苏省环保厅选取昆山市千灯镇化工园区，在重点污染区域大规模部署环境质量监测传感器，通过查询海量历史数据并加以智能分析，追溯工业区的污染源头所在位置，并监测污染的过程，同时，视频摄像头能够摄录污染视频，数据与录像相结合，更方便环保部门进行环境管理和整顿，实现“执法有据”。通过结合大数据处理平台和PM2.5监测预警平台，对大规模的PM2.5 监测数据进行分析处理，能够实时地进行预警，降低污染对环境的危害。

（1）需求分析

在昆山市千灯镇化工园试点区化工企业的储罐区、生产区等区域布设PM2.5 质量监测传感器，监控点视频与省厅的联网，实现视频监控联网集成，保证所有的信息采集点能够将现有的视频信息和监测数据传输到省厅监控中心。

（2）建设目标

根据江苏省生态环境监控系统建设的总体要求，开展基于云计算技术的PM2.5 监测预警平台建设工作，编制监测数据、视频集成技术规范，建设中需要选择化工企业的储罐区、生产区设置多个监控传感器，联网集成并提供各类视频信息和监测数据的调用接口，通过后台开展风险源视频监控数据采集、存储、分析、评价等试点工作，建设生态环境监控系统空气环境质量监测预警平台。

（3）建设思路

PM2.5 监测预警系统通过PM2.5 检测设备和前端特征因子采集设备进行相关信息的采集，然后通过GPRS 进行无线数据传输，在有公网IP 服务器上接收数据并对数据做初步处理，再将数据存入数据立方，在数据立方中进行存储和计算。通过视频摄像终端设备拍摄排放污染的全过程，可以检测到每个点的污染情况，经过Web 服务器和视频服务器进行最后的数据处理和公布。用户在Web 页面和移动终端可以实时查看并了解所有监测点的监控视频和PM2.5的实时数据、历史数据，即所谓的“有图有真相”，生动形象地展示了空气污染情况及相关数据，为环保部门管理工作和工业区的环境整顿工作做好技术支持。软件是该系统的灵魂，控制着前端数据的采集、中间数据的传输、管理平台的数据处理、预警系统的运行及预警处理预案的启动。

（4）建设成果

PM2.5 监测预警系统在江苏省环保局固定风险源监测项目上成功应用，并拟作为PM2.5 监测领域的示范工程。该平台已经在南京环保局进行验证，误差率小于5%，现已计划在南京市进行全面的推广应用。

2013年9月，PM2.5 云监测平台在秦皇岛市环境保护检测站、海港区环保局、北戴河区新华社疗养院、山海关区环境保护局监测站、北方玻璃工业园、石门镇、抚宁县石门寨镇人民政府7个监控点完成部署。

2014年5月，河北省环保厅已经完成了前期的测试，并制定了大规模部署的计划，目前已完成300 套的网络化布设，实现了当地PM2.5 数据实时监测与预警的效果，得到当地环保部门的一致好评。

截至目前，南京云创存储科技有限公司已先后与南京、昆山、镇江、石家庄、秦皇岛等城市环保部门建立了良好的关系，其他城市的业务也在持续进展中。相信在不久的将来，PM2.5 监测预警系统定能在全国遍地开花。

4 数据精确度实验

2013年10月1日～10月21日，PM2.5 监测 设备在草场门进行的实验监测数据与某市环境监测中心站（以下简称“市站”）的PM2.5 例行监测数据（β 射线+DHS，型号BM1020）进行对比分析。监测预警平台与市站PM2.5 监测数据相关性检验结果和监测预警平台与市站监测PM2.5 小时浓度变化趋势分别如图5 和图6 所示。

5 结束语

作为南京云创存储科技有限公司典型的环保应用产品，PM2.5 质量监测预警系统在江苏省昆山市千灯镇工业园区的成功试点建设，为江苏省环保厅“1831”物联网建设工程提供了技术支撑，充分体现了大数据技术与环保的高度结合。

这套基于大数据平台的PM2.5 监测预警系统设置了几百个仪器，包括特征因子检测器、视频监控摄像头、PM2.5 传感器等，并通过海量科学数据的分析对比，在宏观和微观上反映了工业园区每个点以及工业园区的整体PM2.5 情况，为园区的环境保护提供科学有效的信息化支持，取得了以下经济效益和社会效益。

①根据环境质量标准，评价环境质量；

②及时查找破坏环境的行为，第一时间通知执法人员，第一时间处理；

③根据污染分布情况，追踪寻找污染源，为实现监督管理、控制污染提供依据；

④构建云计算海量数据处理平台，存储本区域海量数据，积累监测资料，为研究环境容量、实施目标管理、总量控制、预测预报环境质量提供数据；

⑤为保护环境、保护人类健康、合理使用自然资源、制订环境标准、法规、规划等服务。