环境空气自动监测数据审核中异常数据处理办法探讨
2023-04-22周晶晶
周晶晶
(廊坊市生态环境局,河北 廊坊 065000)
引言
空气监测技术的发展速度很快,目前已经生成了一套完整的空气自动监测体系,对于保障空气质量具有重要的意义。然而,由于设备故障、操作和维护不当、恶劣天气条件等原因,在线数据可能会偏离正常测量范围。仅靠人工数据审核越来越难以应对实际运行状况,因此迫切需要解决自动监控数据审核的巨大工作量。而在自动监测仪器的使用过程当中,也出现了众多问题,尤其是数据异常的情况较为普遍。
1 环境空气自动监测数据审核概述
空气质量自动监测系统必须长期保持自动监测工作状态,如果测量仪器可靠性不足,监测数据就会不稳定,难以保证数据的真实性、完整性和可靠性。通常结合变电站检修记录,根据异常现象的实际情况进行合理合法的整体调整和处理。随着空气自动监测要求和标准的不断提高,相应的监测数据审核工作也需要加强,这样才能快速发现异常数据并进行有效处理,保证数据的可靠性,确保空气自动监测的质量。造成监测数据异常的原因有很多,如光电倍增管的工作温度越高,化学发光法测得的二氧化氮含量越高,偏差越大。用差分吸收分光光度法检测的二氧化硫和二氧化氮含量,会因光学信号饱和或软件故障而减小,而用β射线法检测细颗粒物的偏差会因纸带磨损而固定。环境空气湿度过高时,二氧化硫和二氧化氮的偏差会增大,这是因为气水分离器不能完全分离湿气,滤膜会吸附湿气,这对振动天平法检测PM有不利影响。如果采样头脏污或采样管路堵塞,传感风扇可能会出现故障,阀体或电磁阀可能无法正常工作,从而导致数值异常。
2 环境空气质量自动监测系统的数据审核体系构建
2.1 数据审核基本要素
数据审核制度有三个基本要素:审核人员、审核项目和审核时间。审核期间要24小时自动监测,建议在接下来的72小时内进行概率测量。同时,审核员应每天审核自动监测站的数据,每天报告一次,确保监测系统能够准确、及时地采集环境空气质量数据,并将数据传输到数据审核系统中。这可以通过安装传感器设备、建立数据传输通道等方式实现。
2.2 审核方法
审核员必须确保空气质量自动测量的有效性。确保审核人员具备必要的专业知识和技能,能够正确理解和判断监测数据。可以通过培训和资质认证等方式提高审核人员的能力和水平。对采集到的原始数据进行预处理,包括数据清洗、去噪、异常值检测和修正等。这可以通过使用滤波算法、统计方法和机器学习算法等技术来实现。
对数据进行校验,确保数据的完整性和准确性。常见的校验方法包括数据格式校验、范围校验、逻辑关系校验等。校验可以通过编写校验规则和算法来实现。可以使用统计分析和数据比对等方法对不同监测点或不同时间段的数据进行一致性检查,确保数据之间的关系和趋势符合预期。可以使用数据质量指标和评估模型对监测数据的质量进行评估,包括准确性、精确性、可靠性等方面的评估。
通过数据可视化技术,将审核后的数据以直观、易懂的方式展示给相关人员和公众。可以使用图表、地图等形式展示数据,并定期生成监测报告。建立数据共享机制,将审核后的数据向相关部门、研究机构和公众开放。可以通过建立数据开放平台、发布数据公告等方式实现数据的共享和公开。
2.3 AIRNOW-Ⅰ平台数据自动审核功能
该系统用于空气质量监测数据的日常报告和预测,以及制定特定城市的空气质量判定规则。通过设置城市空气质量判定规则,可实现空气质量监测数据的日常报告和预报,以及监测数据的自动处理。同时,还可以对监测数据进行合理的组织、存储和管理。可以使用数据库或云存储等技术,确保数据的完整性和可访问性。
2.4 数据审核体系架构
数据采集与传输。该部分包括监测设备和传感器网络,用于实时采集环境空气质量数据。采集到的数据通过数据传输通道传输到数据审核系统中。可以使用传感器、数据采集器、通信设备等来实现数据采集和传输。
数据存储与管理。该部分负责对监测数据进行存储和管理。可以使用数据库或云存储等技术,确保数据的完整性、安全性和可访问性。数据存储和管理系统应具备高性能、高可靠性和可扩展性。
数据质量控制。该部分负责对采集到的数据进行质量控制,包括数据校验、异常值检测、数据清洗等。可以使用数据质量控制算法和规则来排除数据中的错误和异常值。
数据审核流程。该部分定义了数据审核的流程和步骤。包括数据审核的责任分工、审核标准和审核程序等。审核流程应涵盖数据的完整性、准确性、一致性等方面的审核。
审核人员培训与资质认证。该部分负责审核人员的培训和资质认证。确保审核人员具备必要的专业知识和技能,能够正确理解和判断监测数据。
数据可视化与报告生成。该部分将审核后的数据以可视化的方式展示,并生成定期的监测报告。可以使用图表、地图等形式展示数据,帮助用户更直观地理解和分析数据。
数据共享与公开。该部分负责建立数据共享机制,将审核后的数据向相关部门、研究机构和公众开放。可以通过建立数据开放平台,发布数据公告等方式实现数据的共享和公开。
定期审查与改进。该部分定期对数据审核体系进行审查和评估,发现问题并及时改进。可以通过内部审查、第三方评估等方式提高数据审核体系的效能和可靠性。
2.5 数据审核流程
一种是审计人员在自动监测过程中发现数据缺失,另一种是审计人员在审计期结束后仍发现数据异常。一旦发现数据存在异常的情况,审核员应该保持数据不动,优先通知整个小组的负责人,交由审核小组负责人全程处理。负责人需要在了解情况之后排除故障,确定故障的原因,然后确定是否需要对数据进行人工处理。在制定详尽的数据处理方案后,上报给上级领导进行审批。在重新处理当天的数据时,必须主动、安全地重新收集和手动删除不符合要求的数据。审计员处理的数据由主管再次检查,并在一天的数据检查结束后按要求生成日报表。
3 环境空气自动监测数据审核中异常数据的分析判断
3.1 对不同类型异常数据进行重点审核
3.1.1 连续恒定值数据
连续恒定值一般不会出现在室外空气自动监测数据中,但如果连续恒定值出现的频率较高或数值变化范围较小,则应将这些数据作为审核的重点。如果长时间出现连续恒定值,则应首先检查仪器系统。如果发现仪器系统有故障,则数据可能异常和无效。如果仪器系统正常,且子站周围的空气质量浓度随时间变化不大且持续恒定,则可认为现象正常,数据有效。
3.1.2 浓度值持续偏低
在环境污染严重的状况下,应识别浓度较低系数的出现。一般状况下,气体质量全自动监测数据不会产生持续的零值或零值变化。当出现持续的低浓度值时,首先要检查仪器设备系统是否出现常见故障。如果仪器设备系统出现常见故障或零校正问题,应将低浓度值作为故障数据连续处理。如果发现仪器设备系统运作优良,零校正仪器并没有问题,能够认为监测站点周围的气体质量相对较好,污染物浓度值通常较低,特别是在大气质量较好的地区和降水后。
3.1.3 异常值
异常值是指与其他监测数据的显著差异,通常是数据异常的重要特征。如果空气自动监测数据中包含异常值,则应对数据进行审查。分析和识别异常值时主要考虑仪器系统故障、仪器零点校准和天气波动。如果确定仪器系统是造成异常值的原因,则应将异常值作为无效数据处理;如果确定天气波动是造成异常值的原因,则应将异常值确定为有效数据。
3.2 仪器系统故障导致的异常数据分析判断
仪器系统故障是造成数据异常的一个重要原因,一氧化碳、PM2.5和其他测量中的常见异常可归因于仪器系统故障。所以,在检查数据异常的原因时,可以优先从仪器本身检查,判断仪器是否出现了故障。一氧化碳分析仪通过非色散红外吸收来检测一氧化碳,但测量的准确性直接受到红外光源强度的影响。如果一氧化碳的红外光源损坏,一氧化碳的读数自然会受到影响,主要表现为数值异常偏高或偏负。此外,如果一氧化碳分析仪的泵轴被堵塞,实时读数将迅速降至近乎于零。因此,在调查一氧化碳监测数据异常时,重点应放在一氧化碳分析仪的故障上,因设备故障导致的任何数据异常都应作为无效数据予以排除。用于PM2.5监测的PM2.5在线分析仪采用微天平测量法,其准确性对流速非常敏感[1]。如果PM2.5在线分析仪的流速出现异常,不仅PM2.5测量值会发生变化,相应的PM10测量值也会发生变化。
3.3 站点周围短时污染源导致的异常数据分析判断
假如短期内污染源周围的监测站出现异常,监测数据也会出现异常。尤其是加工厂等污染源在短期内排出大量污染物,对周围气体质量影响较大,但一段时间后生态调节恢复正常,导致短期内监测数据出现异常。以二氧化硫监测数据为例,假如监测站点附近污染源在短时间内排出大量污染物,二氧化硫监测数据值将迅速上升,接近污染源的监测数据将迅速起伏。清除仪器设备系统故障后,可以对数据出现异常的区域开展实地考察,找到相应的原因。
3.4 运维不当导致的异常数据分析判断
如果操作和维护人员忘记关掉安全通道或未及时开启安全通道,系统本身将无法通过审批,并会出现大量异常数据。假如监管数据中有许多毫无意义的数据,则需要考虑是否是由不合理的操作和维护引起的,并结合操作和维护记录对数据进行分析,以检查操作和维护工作人员的操作是否合规[2]。最终,通过与操作和维护保养代表进行电话沟通,确定数据异常原因,同时,还需要维护人员加强自身工作素养,多一点细心和耐心,减少工作失误。如发生工作失误要客观及时记录在册,以免后续工作中再出现同样的问题。
4 环境空气自动监测数据审核中异常数据的处理
自动测量数据有效性审核过程主要包括三个方面:(1)通过AIRNOW系统的DMS软件设置自动审核规则,这可以大大提高自动监测数据的审核效率;(2)两阶段人工审核。区县局负责对数据进行初步审核,找出异常情况及其原因。(3)审核人员要根据审核数据的经验,对异常数据进行识别、判断和综合分析,不仅要积累测量原理和常见故障的知识,还要熟悉监测站点周围的情况,了解自动监测数据的整体有效性,以及时作出准确的判断。
异常数据处理应注重准确发现数据异常的原因,并根据实际数据处理情况采取具体的处理方法[3]。发现异常数据后,从同步系统异常、仪表系统异常、电力系统异常、辅助系统异常等方面明确异常特征,并对相关指标进行对比、分析和判断。如仪表系统出现异常,则要清除故障数据,维护、校正和更换新仪器。当开关电源等辅助系统错误导致数据出现异常时,检查出现的异常数据,清除故障数据,修复常见故障。同一错误引起的病变数据可作为有效数据开展验证。
要提高数据审核员的技术能力,以识别仪器故障,对仪器运行条件下的常见故障进行整理和分类,并审核监测数据的有效性[4]。要建立完善的奖惩制度,激发数据审核员的工作积极性,提高工作的准确度。同时,要获取各种采集和测量仪器的数据传输协议,并将数据上传到现场,以准确评估审计员的工作量,提高审计效率。远程更改不同监测仪器参数时,要统一远程校准时间。
5 结语
综上所述,在空气自动监测中,数据异常是不可避免的,需要加强相应的数据审核和处理工作,尽量减少异常数据对检测结果可靠性和可信度的影响。为确保审核效果,应全面推行三阶段审核模式,建立相应的审核分析制度,对监测数据进行统计分析以及有效、准确的处理,对异常数据进行检查和修正。只有确保数据的有效性和准确性,空气自动监测才能对改善空气质量起到有效的指导和保障作用。