基于大数据的甘肃省农村饮水安全信息管理系统开发研究

马国印

（甘肃省农村饮水安全管理办公室，730046，兰州）

为加强农村饮水安全工程运行管理，2016年甘肃省水利厅利用互联网及大数据技术，建成了“横向到工程、纵向到农户”的农村饮水安全管理信息系统。通过系统建设，摸清了全省饮水工程和供水人口的底数，建立了供水工程与供水户间的动态数据架构，实现了甘肃省486万农村用水户、2 076万农村人口和近1万处集中供水工程、42万处分散供水工程信息的相互关联。基于“一张图、一个库、一张网”，完成了全省供水工程的分布及相应覆盖区的查询和展示；基于移动端开发了工程及户信息查询，任何时候任何地点均能查询工程基本信息及用水户的基本情况，对全省农村用水户实行清单式动态管理。该系统与全省精准扶贫大数据管理平台进行了数据共享，信息平台以户为单元，明确了扶贫对象和解决问题的措施、时间节点及责任单位。

一、系统结构设计

系统采用B/S方式架构进行构建。系统总体架构分为4个层，即应用层、服务层、支撑层、数据层，其中应用层包括客户端控件层和应用系统层，客户端控件层主要包括Flex控件和富客户端RIA。富客户端是一种增强用户界面、提高交互能力，增强用户体验的新型多媒体网络应用客户端。服务层分为应用服务层和WEB服务层。应用服务层主要作用为实现人饮工程信息管理业务。WEB服务层包括平台提供的标准服务，包括OGC标准的WMS、WFS等以及 REST标准。支撑层主要作用为保障系统功能正常运行，系统采用Windows Server系列服务器操作系统，数据库及WEB GIS采用开源免费的PostgreSQL及PostGIS，部分数据采集处理将使用ArcGIS及Supermap桌面软件。数据层主要用于数据存储和数据管理。从总体上分为行政区划代码库、人口信息库、已建工程库、在建工程库、拟建工程库、分散式工程库、工程覆盖区库等。系统架构如图1所示。

图1　系统总体架构

二、大数据处理技术

2017年6月底，甘肃省农村饮水安全管理信息系统共采集和录入各类数据信息13 670万个，其中供水工程信息387万个，覆盖区信息46万个，用水户信息13 001万个，各类联系人信息21万个，地理坐标信息3万个，其他相关信息212万个。这些信息数据覆盖全省14个市州87个县区1 276个乡镇16 280个行政村88 595个自然村，涉及全省农村用水户487万户2 000万人，其中贫困户（含已脱贫）104万户432万人，非农村人口65万人；集中供水工程9 434处、受益人口1 809万人，分散工程42万处、受益人口191万人。

系统主要经过数据采集、数据存储、数据清洗、数据挖掘及数据可视化处理等5个步骤完成海量数据的更新。

1.数据采集

（1）行政区划编码采集

利用现行的行政村及以上标准代码模式，建立了树形结构的行政区划编码体系，核实清理了现状无居住户的自然村，将省、市、县、乡、村、自然村的行政区划名称用编码有机地串联起来，便于数据的维护、查询及统计。同时动态核实自然村联系人及联系方式，便于系统数据的抽查核实。

（2）农户信息采集

收集、处理了全省486万农户、104万贫困户 （含已脱贫）的基本信息。用农户户主的身份证号作为唯一识别号，甄别户主所在的自然村。数据处理主要包括户主信息的有效性、准确性、家庭人数、移民所处行政区划的唯一性。同时与省扶贫办共享的104万贫困户信息进行对接，将全省贫困户完全包含在农村用水户信息中。

（3）工程信息采集

收集处理了全省9 400多处集中式供水工程、42万处分散式供水工程的信息。

（4）农户与供水工程的关联采集

将用水户与实际的供水工程建立关联关系，使得每一户均有相应的供水工程与之对应 （集中式或分散式），每一处集中式供水工程均有其相应的覆盖区及覆盖人口。

（5）地理信息处理采集

对系统数据进行概化处理，将工程、用水户及人口信息汇总到行政村级，以在线天地图的电子图和影像图为基础工作底图，将全省9 400多处集中式供水工程、16 000多处行政村在底图上进行核实、标绘，完成了系统的空间数据采集工作。

2.数据存储

甘肃省农村饮水安全信息系统主要面对的是大规模的结构化数据。针对这类大数据，通常采用新型数据库集群。它们通过列存储或行列混合存储以及粗粒度索引等技术，结合MPP(Massive Parallel Processing)架构高效的分布式计算模式，实现对PB量级数据的存储和管理。

3.数据清洗

甘肃省农村饮水安全信息系统数据清洗主要是通过批量处理及人工处理相结合的方式进行。其中，批量数据是利用服务器空闲时间对成批数据进行一次性自动清洗，适合批量清理无用数据；人工处理是指对一些需要人工进行判断的数据交由全省各县区系统操作人员进行清理维护。

4.数据挖掘

所谓大数据计算模式，即根据大数据的不同数据特征和计算特征，从多样性的大数据计算问题和需求中提炼并建立的各种高层抽象或模型。例如，将系统中海量户信息以工程或者市、县、乡镇、行政村、自然村等不同级别进行抽象汇总处理，生成可面对公众的数据。传统的并行计算方法，主要从体系结构和编程语言的层面定义了一些较为底层的并行计算抽象和模型，但由于大数据处理问题具有很多高层的数据特征和计算特征，因此大数据处理需要更多地结合这些高层特征考虑更为高层的计算模式。根据大数据处理多样性的需求和以上不同的特征维度，目前出现了多种典型和重要的大数据计算模式。与这些计算模式相适应，出现了很多对应的大数据计算系统和工具。由于单纯描述计算模式比较抽象和空洞，因此在描述不同计算模式时，将同时给出相应的典型计算系统和工具。

5.数据可视化

大规模数据的可视化主要是基于并行算法设计的技术，合理利用有限的计算资源，高效地处理和分析特定数据集的特性。通常情况下，大规模数据可视化的技术会结合多分辨率表示等方法，以获得足够的互动性能。甘肃省农村饮水安全信息系统大数据可视化主要是通过表格形式进行展现，辅以图表和地图形式进行数据展示。

三、技术成果

1.建立了基于“互联网+”的“横向到工程、纵向到户”的农村饮水安全信息管理平台

针对甘肃省农村饮水安全工程管理实际情况，基于 “互联网+”，在PC端和移动端（安卓、苹果系统）同时实现了“横向到工程、纵向到户”的甘肃省农村饮水安全信息管理平台，通过从供水工程到覆盖区、从行政区划到人口这两条主线的串联，将工程和人口以及行政区划紧密结合到一起；实现了全省所有农户信息与工程的关联，并包含所有贫困户信息，方便通过工程查人口、通过人口查工程的数据管理模式。

2.实现了基于“一张图”的地理信息查询展示功能

系统以在线天地图的电子图和影像图为基础工作底图，辅以全省各县的行政区划边界，全面展示工程分布、行政村分布以及工程的覆盖区展示，方便使用者基于浏览器通过一张地图查询工程信息及行政村级的人口、贫困户等信息。

3.开发了基于移动互联网的信息查询系统

针对安卓、苹果系统，实现了行政区划、集中式工程、分散式工程的汇总统计，可通过输入用水户身份证号或姓名查询用水户及相应供水工程的情况，具有身份证拍照识别功能，通过拍摄身份证照片，可以查询用水户基本情况。

4.分别基于内网、公众网完成系统的数据维护和查询功能

由于系统中存有大量农户身份信息，为了安全考虑，分别基于内网（VPN）、公众网实现了数据的维护和查询功能。基于内网，对全口径农户信息及工程进行维护和查询；基于公众互联网，允许查询到自然村或行政村的人口数据、工程情况及覆盖区。

5.建立水质检测工作数据模型，促进管理科学化

系统以每个县的用水户、供水工程的分布为基础，按照水源、水厂、末梢水等关键节点，建立水质检测任务数据模型。每个水质检测中心每月需要提取水样进行化验，并将检测结果上报系统，随后系统自动产生报表，动态分析水质状况，为全省水质检测工作管理科学化、高效化、长效化奠定了基础。

四、系统的创新性

1.实现基于“两条主线”的数据关联

针对甘肃省农村饮水安全工程管理实际情况，基于“两条主线”（从供水工程到覆盖区主线、从行政区划到人口主线），将工程和人口以及行政区划紧密结合到一起，建立了通过工程查人口、通过人口查工程的纵向和横向数据关联。

2.低投入、高产出

一般的应用系统，只数据库购置费就已远远超出项目的总投资额，而本系统采用开源免费的数据库PostgreSQL，其功能先进，效率极高，性能满足系统要求，以低资金投入产生了较大的经济效益和社会效益。

五、结语

甘肃省农村饮水安全大数据库，在实现省、市、县各级相关部门信息共享的基础上，以县级平台为基础，向社会公开县域内所有供水工程的覆盖范围、供水人口饮水现状，以及管理责任人名单和联系方式等信息，既可为群众反映、咨询和解决饮水方面的问题提供方便，又能广泛接受社会各界的监督。同时在已收集整理的村级联系人的基础上，建立信息清单，对后期的抽查和调查工作将会发挥巨大的作用。

参考文献：

[1]段少远.论信息系统项目的范围管理——以拜城县农村饮水安全管理信息系统项目实施为例[J].新疆农垦科技，2017（1）.

[2]张浩.省级农村饮水安全管理信息系统的设计[J].海河水利，2012（6）.

[3]李晓琴，杨继富，刘文朝.农村饮水安全信息管理系统构建的思考[J].现代节水高效农业与生态灌区建设，2010（8）.

[4]贵州师范大学，贵州财经大学.大数据时代农村信息服务实证研究——基于贵阳市的调查[J].贵州师范大学学报（社会科学版），2016（4）.

[5]赵乐诗，周玉，曲炳良.各地加强农村饮水安全工程建设管理政策综述[J].中国水利，2014（11）.

[6]杨继富，李斌，赵翠，孙毅.小康社会农村安全供水评价指标体系研究[J].中国水利，2015（17）.

[7]金丽，冷曼曼，李庆国，李斌.农村供水安全预警模糊综合评价研究[J].中国水利，2015（5）.

[8]胡孟，李晓琴.农村饮水安全自动化监控技术研究及应用前景分析[J].中国水利，2013（8）.