基于WebGIS的环保信息化系统设计与实现
2022-03-16徐延军
徐延军
(中远海运科技股份有限公司,上海 200135)
0 引 言
随着经济社会的快速发展,生态文明建设和环境保护进入了新的发展阶段,党的十九大报告中提出的“树立和践行绿水青山就是金山银山”的理念与“坚持节约资源和保护环境的基本国策”一起,成为了新时代中国特色社会主义生态文明建设的思想和基本方略。近年来,我国在环境保护领域取得了突出的成绩,环保工作越来越受社会各界的重视。在此背景下,环保工作要求越来越高,传统的环保管理手段已不能适应和满足新时代环保管理的要求,需进一步将其与信息技术(Information Technology,IT)深度结合,推动环保工作转型升级,使环境保护从增强意识向务实落地应用的方向发展,增强环保能力建设,提升环境保护的信息化水平。
1 环保信息化存在的问题
环境信息化是利用现代信息技术对各类环境信息进行全方位整合,通过信息共享和交流推动环境保护业务不断向前发展的重要技术手段。近年来,随着信息化建设的不断推进,环保信息化工作和环保数据管理系统建设取得了显著成绩。例如:河南省建设的智慧环保大数据平台汇总整合了空气质量微观监测站、空气质量考核站、地表水质监测站、重点企业和施工工地的在线监控数据,能实现对环境的实时研判;济南市建设的智慧环保综合监管平台整合了全市的环境信息资源,构建了闭环精细化监管体系,为城市级智慧环保类平台建设提供了综合解决方案;江西省建设的环保大数据平台实现了环境质量、重点污染源、生态环境状态监测全覆盖和各类监测数据系统互联互通,以及环境监测与行政监管协同联动。由于环境保护业务具有综合性特点,综合考虑环保信息化建设情况,为进一步提升环保信息化水平,还需解决以下问题:
1) 环保数据共享性不强。当前,在我国环保信息化建设中,各环保信息化系统在具体业务的信息化管理方面发挥了积极作用,但各系统之间因建设主体和实现技术等因素不同,没有在环保工作顶层设计方面做好统一规划,造成各环保系统“各自为政”,不利于环保数据的互通共享。
2) 环保数据采集难度大。传统的环保数据采集和统计多以表格的方式实现,通过人工手动处理,或从专业系统中检索、整理获取。传统的环保数据采集方式存在采集效率低、数据格式不一致、对人员的素质和责任心要求较高等问题;传统的环保数据统计方式不仅耗时费力,而且存在不同来源的数据之间不匹配的问题,导致环保数据采集较为困难,不利于环保数据的整合。
3) 数据整合展示能力不足。现有的数据管理以台账化管理为主,信息整合难度大,数据调查的口径和方式不同;数据缺乏规范性,环境信息标准和规范不健全;缺乏环境空间信息,仅有地址和经纬度信息,数据空间分布信息缺失,不利于环境数据的直观展示。
4) 法律法规知识库建设滞后。现有的环保信息化系统主要围绕环保业务条线进行功能设计,没有将法律法规的整理汇总和查阅学习作为环境治理和业务能力提升的补充。
5) 环保监管协同处置不连贯。由于环保业务中的环境监测与环境执法是由不同的部门负责的,环境监测部门发现问题与环境执法部门立案处理之间缺乏跨部门协同处置的过程,导致环境监管处置流程不顺畅,环境保护工作效率较低。
综上,设计研发具有多源异构数据融合能力和跨部门环保业务协同处置能力,能提供法律法规知识库构建服务的环保信息化系统具有重要意义。本文基于数据生命周期管理的理念,围绕环境质量管理,以全国第二次污染物普查数据、空间地理信息、排污许可证信息、污染源监测数据、污染源监管数据、环境质量数据和环境规划信息等海量多源异构数据为基础构建环境数据资源中心,建设基于网络地理信息系统(WebGIS)的环保信息化系统,为城市环境治理和污染源管理提供智能化解决方案。同时,通过打通排污许可证后监管系统、环境在线监测系统、上海市污染源综合管理信息系统和浦东水务云平台等系统,实现环境数据的跨部门互联互通和环保业务的跨职能协同管理,搭建环保法律法规知识库,提高环保知识学习能力和环保业务处理能力,从而打通政府和企业环境保护与治理的产业链,形成环保管控和服务平台,切实体现“放管服”改革举措;构建环保“政府监管、企业自律、公众参与”的社会共治模式,促进环保信息化服务的专业化、智能化和平台化发展,推动生态环境治理水平和民生服务水平进一步提升。
2 系统设计
2.1 总体架构设计
环保信息化系统总体架构设计图见图1,主要由采集层、处理层、支撑层、应用层和展示层等组成。
1) 采集层主要实现对环境专业数据和公开数据的对接采集,以及对数据和资料的人工录入。
2) 处理层主要实现对数据的继承、清洗、转换、加载、加工、分类和检索挖掘等。
3) 支撑层主要提供地理信息引擎、工作流引擎、统一身份认证、报表管理、统一日志、数据库引擎、图像识别和数据共享交换等功能,为应用系统提供支撑。
4) 应用层为环保信息化系统的主要功能层,主要由4部分组成。
(1) 污染源管理:实现对污染源信息的管理;建立环境规划信息和对应图层;实现对污染源信息不同需求维度的检索。
(2) 环境政策法规知识库:通过汇集现有环保政策法规资料,并从法律法规、环境标准和技术规范,以及国家级和上海市级等多个维度进行分类,建立环保政策法规知识库。
(3) 环境质量分析:实现水环境质量分析和大气环境质量分析2个子功能。
(4) 环境智能应用:建设水环境保护预警智能预报和污染源处置能力智能评估应用。
5) 表现层主要为用户提供交互界面。
图1 环保信息化系统总体架构设计图
2.2 应用功能设计
2.2.1 多源异构数据采集与融合
主要采用抽取-转换-加载(Extract-Transform-Load,ETL)方法,从外部系统和已有的业务系统中全面采集污染源普查信息、空间地理信息、排污许可证信息、污染源监测数据、污染源监管数据、环境质量数据和环境规划信息。数据采集流程图见图2。
图2 数据采集流程图
数据采集方式主要有联机采集、前置机、网络服务接口、离线数据导入和人工审核填报等5种。
1) 联机采集方式:对于允许直接访问的数据,采用联机采集机制采集,直接访问关系型数据源。
2) 前置机方式:对于不允许直接访问的数据,采用前置机方式采集,即业务系统将需要的数据同步到中间表中,从中间表中采集数据。
3) 网络服务接口方式:可基于SOAP和RESTful API等网络技术协议,实现异构系统间的数据交换。优先考虑将HTTP作为交换协议。
4) 离线数据导入方式:对于无法联机访问,但业务系统可导出的数据,采用离线数据导入方式采集,即对于业务系统按数据更新频次要求导出的离线数据,由采集系统根据不同数据和文件类型进行导入。
5) 人工审核填报方式:对于没有信息系统或电子台账,只有纸质文件的数据,可采用人工填报审核的方式采集。
针对以上多源异构数据,系统根据环保数据的内在业务逻辑关系,对各类数据资源进行时间上和空间上的综合处理。首先,按数据类型划分数据类别,分为污染源普查、空间地理、排污许可证、污染源监测、污染源监管、环境质量和环境规划等;然后,按服务和应用建立数据对应的主题库,如应用门户和数据统计分析等,为数据的统一分类提供条件。
2.2.2 数据分析与可视化
2.2.2.1 数据分析统一展示
系统以数据展示大屏的方式,基于WebGIS 地图展示企业、大气环境、水环境、危废和土壤环境等数据。图3为主页 WebGIS 地图。
图3 主页 WebGIS 地图
1) 企业:通过右上角的“精确查询”和“分类查询”进行不同条件的检索,点击“企业标识”进入企业一源一档概述界面。
2) 大气环境:展示浦东新区最常用的5个环境空气监测站点,站点标识上的数字为实时空气质量指数(Air Quality Index, AQI),标识颜色表示空气质量等级。
3) 水环境:展示浦东新区39个国控和市控断面实时水质情况,标识上的数字表示该断面水质目标,绿色表示断面达标,红色表示断面超标。
4) 危废:展示浦东新区所有危废产生单位,可通过右上角的查询功能区进行不同条件的检索查询。
5) 土壤环境:展示浦东新区目前开展场地调查评估的所有地块,可通过右上角的查询功能区进行不同条件的检索和查询。
2.2.2.2 污染源信息展示
基于WebGIS地图展示工业污染源、农业污染源、生活污染源、集中式污染治理设施和移动源等污染源信息。图4为工业污染源地图。
2.2.2.3 环境规划信息展示
进行多维度环境规划功能区的WebGIS地图展示,支持对工业源信息的检索查询,实现图层与污染源的信息叠加,便于对污染源选址地的环境规划情况进行查询。可对“三线一单”、大气环境、土壤污染风险和生态环境等内容的管控分布情况,以及大气功能区划、水功能区划和产业园区等区划信息进行直观展示。图5为“三线一单”管控地图。
图4 工业污染源地图
图5 “三线一单”管控地图
2.2.2.4 环境质量分析
基于WebGIS地图展示河道、水质信息、重点行业企业、排污企业、养殖企业、污水处理厂和排污口等环境质量数据,并对这些数据进行分析和展示;同时,对空气质量、空气实况数据进行分析和展示。
2.2.2.5 法律法规知识库
构建法律法规知识库,汇集环保政策法规资料,并按法律法规、环境标准和技术规范等分类标准进行归类;建立环保政策法规知识库,并提供全局检索功能,为企业环保咨询提供查阅和学习服务。
3 关键技术和方法
3.1 手持终端坐标获取与坐标转换技术
地理信息系统 (Geographic Information System,GIS)是在计算机硬件和软件共同支持下,对地球表层空间中的地理信息数据进行采集、存储、处理、运算、分析、显示和应用的系统。WebGIS是Web技术与GIS的结合,基于B/S(Browser/Server)技术在互联网上展现,使用浏览器访问,使用空间数据。手持终端采集的全球定位系统(Global Positioning System,GPS)定位结果为基于WGS84坐标系的结果,该坐标系与我国全面启用的CGCS2000国家大地坐标系不一致,导致定位结果存在较大的累积误差,不利于在WebGIS地图上正确展示。另外,由于国家安全保障工作的需要,我国所有电子地图上的真实经纬度坐标都需加密为火星坐标。因此,需对手持终端获取的坐标进行转换,以获得对应坐标系的数据,在电子地图上正确展示。
该系统使用的WebGIS地图为高德地图,其采用的坐标系为GCJ-02坐标系。因此,需将手持终端GPS获取的WGS-84坐标转换为GCJ-02坐标。手持终端应用软件调用GPS功能获取当前的WGS-84坐标,调用业务接口并传入该坐标数据,后台服务软件按坐标转换逻辑对传入的坐标数据进行计算和转换,通过计算目标经纬度的粗偏移量、对角度和弧度进行互转和根据椭球曲率对粗偏移量进行校正等一系列操作,得到对应的GCJ-02坐标,并将其保存在数据库表的映射字段中,以便直接加载到WebGIS地图上,节省坐标数据转换时间。
3.2 多源异构环保数据清洗融合方法
3.2.1 搭建多维主题数据仓库
规划多维主题数据仓库设计,通过制定数据质量标准,按业务将数据划分为污染源普查、空间地理、排污许可证、污染源监测、污染源监管、环境质量和环境规划等主题,并搭建多维主题数据仓库。在实现过程中,采用ETL工具Kettle与SQL语句处理相结合的方式对采集到的多源异构数据进行清洗和转换,按业务主题和统一的数据标准装载入库。
3.2.2 构建环境数据资源中心
环境数据资源中心主要由环境业务基础数据库、多维主题数据仓库和GIS空间数据库组成,是环境数据的存储、组织和管理平台,便于对各类环境数据资源进行归纳、整理,并根据环境管理要求和业务逻辑进行重定义和再组织。环境业务基础数据库主要用于存储本单位或外部业务系统的原始数据,保留各业务系统的原始数据;多维主题数据仓库按主题存储经过清洗(包括去除重复数据、补充缺失值和核实异常值等)的环境数据,为数据的多维分析提供来源;GIS空间数据库主要用于存储与环境数据有关的空间地理信息(包括点位信息、区域信息和边界信息等),为环境数据分析结果的直观展示提供支持。
3.2.3 环境数据逻辑性分析
采用知识图谱技术对数据指标间的共现关系进行分析,构建指标项之间的逻辑关系。例如,对工业源企业的生产情况与废水排放、生产情况与废气排放和生产情况与环境监测数据之间的逻辑关系进行分析,并结合现场实际生产数据进行核实验证,多次调整优化之后确定该逻辑关系的正确性。以该逻辑关系为依据,对采集的环保数据进行扫描,并标记疑似有问题的数据,由工作人员进行核对校正,进一步提高入库数据的规范性和逻辑一致性。
3.3 数据切分技术与数据预处理方法
数据切分是指按某种切分规则将一个较大的表分成多个称为“片段”的较小的表,主要有垂直切分、水平切分和结合这2种切分方式的混合切分等3种方式。在系统研发过程中,针对实时统计分析和展示时间过长的问题,通过引入数据切分技术,提升数据处理能力,缩短查询时间。根据环保数据管理要求和业务划分情况,该系统采用水平切分方式:首先根据范围切分算法,按业务对环境数据进行分类;然后采用一致性哈希算法,将环境数据分别存入片段表中。
针对系统页面上展示的统计分析数据,使用定时任务进行预处理和存储,即根据定时任务设置,提前对统计分析和展示的数据进行预计算,提前将计算结果存入按小时、天统计的维度表中,前端直接从这些维度表中加载数据。以数据量为5 000万条的环境监测数据查询功能为例,通过应用数据切分技术和数据预处理方法,平均加载时间由原来的100 s缩短到了1 s左右,有效解决了数据统计分析和展示时间较长的问题。
4 结 语
本文所述环保信息化系统基于全国第二次污染物普查数据、空间地理信息、排污许可证信息、污染源监测数据、污染源监管数据、环境质量数据和环境规划信息等多源异构数据构建,并根据这些数据的逻辑关系进行信息融合;对手持终端获取的GPS坐标进行转换得到我国指定的加密坐标,采用WebGIS作为地图展示技术,提供污染源管理、环境质量分析、水环境质量智能预警和污染源处置能力评估、法律法规查阅学习等服务。该系统已在环保管理部门落地应用,对促进环保管理的专业化、精细化和智能化发展,进一步提升环境管理效率和监管水平,以及环保决策能力、生态环境治理水平和民生服务水平等,具有积极作用。