基于多源数据整合的河湖水质智能应用研究

沈建刚 ，颜 超

（1.上海市大数据中心，上海 200050；2.上海开澜软件有限公司，上海 200050）

0 引言

上海市河网密布，共有河湖 4.7 万余条，由于种种原因，相当部分的中小河道水质恶化，环境脏乱差，因此解决上海市复杂水问题，维护河湖健康生命至关重要。

上海市委、市政府强调，实行河（湖）长制，是推进生态文明建设的重要制度安排，是全面加强水环境治理、打赢碧水保卫战的关键所在。河（湖）长制本质是责任制，河长、湖长肩负着护水治水的特殊责任：要尽心尽力，履职尽责，在“巡、盯、管、督”上下更大功夫；要定期巡，经常巡，巡到位，不仅要发现水里的问题，还要紧盯岸上的问题；要综合利用现代技术手段，依托上海市城市运行“一网统管”平台，提高准确发现问题的能力。

为推进河长制治理体系和能力现代化，提升河长履职尽责能力，压实河长治水管水责任，实现河湖水环境质量只升不降，需要通过信息化手段，开创性地开展河湖水质智能化应用研究，建立处置机制，优化业务流程，整合气象、水位、雨量、流量、水质等多源数据，结合水质指标，开展智能化数据分析，呈现界河水质变化趋势，动态分析水质变化，及时发布水质波动报警预警，更高效地提醒河长对水质变化做出应对决策，最终反馈整治进展和结果。

1 研究思路

围绕河湖各类水质监测及断面空间等数据，借助大数据分析工具[1]，建立数据仓库，参照简约原则对数据进行汇集和规约，采用区域、同比和趋势等分析对区域水质的同期和趋势变化进行研究，对趋势下降和波动超出阈值范围的数据进行预警和报警，提醒相关责任单位及河长、湖长，进行整改和处置的过程化管理，跟踪反馈结果和整治后变化情况，及时消除警报形成闭环管理[2]。河湖水质智能应用技术线路图如图1 所示。

图1 河湖水质智能应用技术线路图

2 数据整合

上海市河长制实施以来，河湖水质监测工作作为水环境治理成效结果的重要体现，全市加大了水质监测力度，在原国家和市级地表水考核断面的基础上，增加了全市镇管及镇管以上河湖的水质监测，并针对苏州河四期综合整治和建成区等专题开展周期性水质监测。由于各类水质监测活动的周期和监测目的不同，水质监测的指标项和频次也有所侧重，为达到河湖水质智能应用的要求需要将多源数据整合，建立河湖水质智能应用的数据仓库[3]91[4]。

本次应用研究的数据架构按照三层架构设计，数据整合逻辑结构图如图2 所示。

图2 数据整合逻辑结构图

三层架构具体分析如下：

1）基础数据库。基础数据库汇聚和管理来自水利、供水、排水和其他行业管理单位的基础数据，形成集成各行业的基础数据库，包括上海市跨省界、区界断面水质监测数据，市、区、镇管等各行业水质监测断面数据，气象、水位、雨量、流量、水质等实时数据，以及堤防、水闸、泵站等设施数据。

2）核心数据库。核心数据库按照数据标准开展各行业基础数据的规范、分类、归并和加工，形成统一计算单位数据的集中存储，分为监测监控类、基础设施类、政务服务类、元数据类和其他等五大类数据库，并形成安全可靠的数据更新维护机制[3]92。

3）数据仓库。数据仓库对核心数据库中的数据进行采集、清洗、分析和挖掘，建立起专门的业务数据仓库，统一接口对外服务，为业务部门提供辅助决策和业务应用。

水质数据在进入数据仓库前需进行数据预处理，预处理过程主要分为以下 4 个部分：

a.数据清理。在数据清理时，对缺少时间和地理属性的数据进行删减。

b.数据集成。在数据集成时，为达到模式匹配的目的，抽取了各类监测指标中具有代表性的溶解氧、高锰酸盐指数、氨氮、总磷、总氮 5 项指标，并清理数据冗余和冲突。

c.数据转换。在数据转换过程中，参照 GB 3838—2002《地表水环境质量标准》[5]基本项目标准限值表，统一对各专题水质断面具有代表性的溶解氧、高锰酸盐指数、氨氮、总磷、总氮 5 项指标进行评价，将河湖水质断面划分为Ⅰ，Ⅱ，Ⅲ，Ⅳ，Ⅴ及劣 Ⅴ 类（超 Ⅴ 类标准）6 个等级。

d.数据规约。在数据规约时，使用拓扑数据模型，通过将水质断面空间位置（点）、行政区划边界（线）和河湖空间对象（面）表示为拓扑原始数据（结点、面）的基础图表，形成空间关系，遍历拓扑图中元素的网络，通过数据的聚合方法整合各要素之间的信息属性，进而得到水质断面评价结果影响的河湖及管理区域内的责任单位与河湖长信息。拓扑元素和关系示意图如图3 所示。

图3 拓扑元素和关系示意图

3 业务流程

通过对多源数据[3]90的汇集整合，采用多维度的综合分析与研究，将形成的水质波动变化结果应用于水环境整治工作中，形成完整的业务闭环流程，流程主要包括以下 5 个环节：

1）河湖水质数据监测。汇集各类专题下河湖水质断面监测指标数据，进行区域、河湖、采样时间、管理等级、指标等的梳理和分类。

2）变化趋势分析。在河（湖）长制水质监测体系中，水质按照 GB 3838—2002《地表水环境质量标准》评价，参评指标包括水温、pH、溶解氧、氨氮、总磷、高锰酸盐指数等 6 项，采用年均值进行考核，历年监测结果显示水质类别限制指标为氨氮和总磷。以 Ⅴ 类水标准下限或氨氮、总磷浓度的变化幅度为主要判定依据评定水质结果，并通过同比和环比等变化分析产生水质趋势变化的结果。

3）波动报警预警。水质预警分为三色（红、黄、蓝）预警，红色预警对应劣 Ⅴ 类水质，黄色预警对应临近劣 Ⅴ 水质，蓝色预警对应水质变差河湖断面。

依照水质判定结果，对应预警情况如下：结果为劣 Ⅴ 类水质类别的断面，会发出红色预警；结果为 Ⅴ 类水质类别，同时参评指标接近 Ⅴ 类标准下限 10% 的断面，会发出黄色预警；监测结果在 Ⅴ 类及以上，同时氨氮或总磷浓度升高 20% 及以上的断面，会发出蓝色预警。

分析水质判定结果时，对达到三色预警范围的河湖进行消息推送提醒，内容发送至辖区内总河长、副总河长、河长制办公室（以下简称河长办）工作人员及河道相关河长。通过持续关注预警范围内河湖水质的变化，对连续水质恶化区域内的河长进行问责处理。

4）整改与处置。三色预警范围内的河湖相关河长或河长办工作人员应完成以下监督处置：通过工作平台对预警做出响应，核实和确认相关预警；通过工作平台，根据实际情况上报处置措施，并在措施执行过程中反馈相关情况；通过工作平台，持续根据每测次水质监测的结果，评价水质是否改善；对水质波动预警信息进行持续跟踪，设定未处置、已反馈、整治中、已完成等水质恶化改进状态，通过水质治理监督功能，确保恶化水质得到持续关注和改善。

5）结果跟踪反馈。根据水质整改处置情况跟踪分析，如水质显著改善并提升至预警水质以上，则解除相关预警，告知相应部门和人员。

河湖水质预警智能应用业务闭环流程如图4所示。

图4 河湖水质预警智能应用业务流程图

4 业务应用

多源数据整合的河湖水质智能应用研究结果主要应用于以下系统中：

1）上海市河长办工作平台。整合过程中形成的河湖评价结果，结合河湖空间信息，形成上海市河湖月度水质类别示意图，通过最邻近算法，将不同等级的河湖受水质影响的范围通过颜色区分，辅助水环境整治结果的展现。依据上海市水环境整治当前工作方向，在多源数据整合基础上，使用聚合算法形成优 Ⅲ 类和劣 Ⅴ 类水质等级的断面，再通过月度周期中的变化情况形成分析结果图，体现全市优于 Ⅲ 类和劣 Ⅴ 类历史变化趋势。

2）上海市城市运行“一网统管”水务专题。在上海市城市运行“一网统管”水务专题的水质智能应用场景中，根据氨氮、总磷、高锰酸盐指数等参数预先设定的变化阈值，在进行水质分析时，对超出指标预设阈值的河湖进行消息推送提醒，内容通过上海河长 App 和短信发送至辖区内总河长、副总河长、河长办工作人员及河道相关河长。将水质持续状态变化分为改善、无变化、恶化 3 种状态，对水质持续恶化且未采取相关措施区域内的河长进行问责处理[6]。

对水质波动预警信息进行持续跟踪，设定已读、已接受和预警反馈 3 种状态，其中：已读指已读取预警通知或消息，已接受指接受预警通知，预警反馈指反馈超标整治计划及结束时间。设计和开发水质治理监督功能，可确保恶化水质得到持续关注和改善，后续可通过相关行业部门的综合水质情况，给予水质变化原因分析和改善建议，推动全市水环境质量改善提升工作。

5 结语

通过河湖水质智能化应用研究，整合跨部门数据资源，全面了解市、区、镇管区域内部河湖水质变化趋势[7]。通过实际流程和数据的应用，有效实现了河湖水质事件全程智能高效的应用处置，建立了各断面水质评价和指标值的变化预警，及时提醒河湖水质变化情况，监督河湖水质整治，极大提高了河湖水质治理效率，从而有效防控河湖水质污染，推进跨界河湖协同治理，对各级河湖部门皆有借鉴和推广意义。该研究还需要不断累积历史数据、应用经验，不断完善业务处置流程和运行机制。