全国山洪灾害调查评价成果数据管理平台设计

刘业森+郭良+张晓蕾+刘荣华

摘要：全国山洪灾害调查评价成果数据类型多样、数据量大、数据结构关系复杂、专业性强。全国汇总数据量超过100 TB，省级平均数据量达到TB级，数据有效管理难度大。基于行政区划隶属关系和小流域两条主线出发，设计全国山洪灾害调查评价数据模型，建立了对象实体模型、梳理了对象关系，利用ETL技术进行海量数据的多级综合与集成，形成多级数据综合成果。在此基础上，基于面向服务软件架构进行数据管理软件平台设计与开发，实现了不同管理层级差异化信息组织、多维信息关联分析、在线分析汇总统计等功能。解决了全国山洪灾害调查评价工作中海量多源数据管理、不同业务层级需求差异化等问题，可为各级山洪灾害调查评价数据管理与共享提供参考。

关键词：山洪灾害；调查评价；数据仓库；数据模型

中图分类号：P426文献标识码：A文章编号：

16721683（2017）06019607

Abstract：The results of the national investigation and evaluation of mountain flood come in various data types and large data volume，with complicated data structure and high degree of specializationThe national data volume reaches 100T，and the average provinciallevel data volume reaches TB scaleIt is difficult to manage these data effectivelyIn this paper，we designed a data model for national investigation and evaluation of mountain flood based on administrative division and small watershed，and established an entity model of the objects and analyzed the relationships of the objectsWe used ETL technology to realize multilevel aggregation and integration of massive dataOn this basis，we designed and developed a data management platform based on the serviceoriented software architecture，and realized various functions such as differentiated information organization of different management levels，multidimensional information correlation analysis，and online analysis and summaryThe construction of this platform solved some problems in national mountain flood investigation and evaluation such as multisource massive data management and differentiated demand of different business levelsIt can provide reference for management and sharing of mountain flood investigation data at all levels

Key words：mountain flood；investigation and evaluation；data warehouse；data model

我国山丘区自然地理环境复杂、极端灾害性天气频发、人类经济社会活动剧烈，多种因素共同影响，造成广大山丘区山洪灾害频繁，每年导致大量人員伤亡。据统计，近年山洪灾害死亡人数占洪涝灾害死亡人数的比例上升到80%左右[1]。为做好山丘区山洪灾害防御，减少人员伤亡，水利部、财政部在前期山洪灾害防治非工程措施基础上，联合启动了山洪灾害调查评价工作[1]。

山洪灾害主要是由山丘区突发溪河洪水造成的，作为一种自然灾害，既有灾害系统的共性，又有其特殊性。通过对全国山丘区范围的山洪灾害调查评价，调查清楚山洪灾害系统的孕灾环境、致灾因子、承灾体等各方面数据。孕灾环境包括下垫面情况、汇流条件、涉水工程等；致灾因子包括突发降雨、植被破坏等；受灾体包括重点村镇、沿河村落、企事业单位等。依据现状调查情况和历史数据，进行全国山丘区山洪灾害危险程度的分析评价，计算沿河村落的防洪能力，确定预警指标。最终为山洪灾害防治提供数据和技术支撑[23]。

截至2016年底，全国已经基本完成29个省（自治区、直辖市）和新疆生产建设兵团的山洪灾害防治区的山洪灾害调查评价工作，通过全国各级审核汇集工作，各地的调查评价成果数据陆续汇总到中央级节点，形成了山洪灾害调查评价成果数据库。汇总的成果数据具有类型多、涉及范围广、逻辑关系复杂等特点，需要有一套完善的软件平台进行管理与共享，以发挥数据的最大价值。

1调查评价成果描述

各地汇总到中央级国家数据库中的数据，主要包括调查数据和分析评价数据两部分。调查数据是指通过内业收集资料填报和外业调查测量形成的一次成果，包括全国防治区的普查和沿河村落数据的详细调查[4]。分析评价数据是指在调查数据的基础上通过分析评价形成的二次成果，包括小流域暴雨洪水分析成果、沿河村落防洪能力评价成果、沿河村落的临界雨量或临界水位成果等内容[5]。endprint

汇总到中央级数据库的全国山洪灾害调查评价成果数据总量超过100 TB，总记录上亿条条，文档资料和多媒体文件超过千万个，空间标绘对象900多万个。数据内容见表1。

全国山洪灾害调查评价成果数据主要特点如下。

（1）空间覆盖范围广。

山洪灾害调查范围为全国山丘区区（香港特别行政区、澳门特别行政区、江苏省和台湾省除外）、涉及29个省（自治区、直辖市）和新疆生產建设兵团，共计2 058个县级行政区域、涉及国土面积约700万km2。

（2）数据类型多样。

调查评价成果数据包括业务表格数据、空间数据、照片数据、成果报告等。成果内容以业务表格为主，具有空间位置信息的对象标绘了空间图层，针对自然村、桥梁等14类调查对象在外业调查中还拍摄了照片数据。山洪灾害分析评价工作是基于调查成果展开的，成果内容包括分析评价成果表、分析评价专题图和成果报告等。

（3）数据多级汇总。

在村落层级，包括村落情况调查数据、河道断面实地测量数据、沿河居民户宅基高程测量数据、监测预警设施、涉水工程等大量现场调查数据；在县一级，包括社会经济情况调查数据、分析评价成果汇总数据等；省市一级，汇总各县调查评价数据基础上，又包含了水文气象收集数据；中央级，在汇总各省上报数据的基础上，包括国家基础地理库中的基础地理数据、全国土地利用数据、全国植被覆盖数据、全国土壤质地数据等全国范围数据。

（4）数据应用主题与层级多样。

山洪灾害调查评价工作的主要目的是服务于山洪灾害防治，既要用于村级山洪灾害监测预警，也用于县级单位的灾害监测、应急指挥，还要服务于省、流域、国家层面的山洪灾害防治规划、投资匹配等宏观尺度。对于一些山区建设，如山区基础工程建设、山区交通建设与规划等，都需要山洪灾害防治相关数据作支撑。

2调查评价成果数据组织设计

21全国山洪灾害调查评价数据模型设计

目前已有许多灾害类数据模型相关研究，如地质灾害数据模型、时空数据模型、基于事件的数据模型等[69]，这些模型研究从不同角度出发，解决了相应的问题。但对于全国山洪灾害调查评价数据而言，存在两方面问题，第一，大部分的数据模型基于灾害事件，或者自然条件等连续类数据，很少涉及社会经济类统计数据，山洪灾害调查评价数据中，社会经[HJ203mm]济类数据是非常重要的内容；第二，没有考虑数据的多级综合，全国山洪灾害调查评价成果数据存在全国、省、市、县、乡、村各种管理级别的应用特征。因此，山洪灾害调查评价数据模型的设计，既要融合自然条件类与社会经济类数据，尤其需要能够表达社会经济数据内在关系，又要能解决同源数据的多级汇总问题。

本文综合运用空间对象建模理论、面向对象方法，遵从统一建模语言（UML）标准，借鉴水利普查数据模型、ArcHydro数据模型等方面的理论和经验[1012]，设计山洪灾害调查评价成果数据模型。建模过程采用了从实体对象到数据对象、从逻辑结构到物理存储、从数据存储到业务应用的技术路线，实现了从山洪灾害调查评价实体对象到空间要素对象，再到逻辑数据对象，再到物理数据存储对象的层层深化与设计。建立了对象的全息模型，基于更新汇总机制的多级元数据控制，体现数据的概化抽取融合。通过分析山洪灾害调查评价实体对象及其关系，在对象分类基础上，进行对象类关系建模。数据模型以自然村和小流域为两个核心对象，进行各类信息的汇总与关联。

按照行政区划隶属关系和小流域两条主线，以自然村和小流域对象为核心对象，梳理山洪灾害系统中的承灾体、孕灾环境、致灾因子、历史灾情等数据对象。社会经济类数据（承灾体对象），以自然村为核心，利用行政区划隶属关系，梳理山洪灾害防治区内的人口、财产、企事业单位等相关社会经济信息。自然条件类数据（孕灾环境），以小流域对象为核心，梳理自然环境（地形、地貌、植被覆盖、土地利用）、涉水工程（桥梁、路涵、塘堰坝）、历史水雨情、暴雨资料等自然类信息，见图1。社会经济类数据和自然条件类数据通过自然村、小流域两个对象建立联系。

基于实体对象模型，分析对象之间及对象内部数据元之间的逻辑关系，将对象关系分为三类：拓扑关系、关联关系、数值关系。拓扑关系反映实体之间的空间逻辑关系；关联关系反映实体之间的关联，指对象与对象之间有逻辑上或指向上的关联；数值关系反映实体数值型属性字段之间的关系，见表2

22调查评价成果数据多级综合

全国山洪灾害调查评价成果数据要满足不同层级的应用以及实时查询、管理，以及在线分析、统计、深度挖掘。基于此，山洪灾害调查评价成果数据组织引入数据仓库技术。数据仓库（Data Warehouse）的概念，由数据仓库之父比尔·恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”中提出[13]。数据仓库的思路是面向主题，并能够反映数据历史变化的数据集合，适用于管理决策支持，并具有联机分析处理（OLAP）能力，能够支撑数据挖掘、知识发现。数据仓库技术在通信、银行、保险等数据密集型行业，都已经有成熟应用[1417]。在水利行业的数据质量管理、工程管理、大坝安全、调度决策中，也已经有了一些数据仓库的应用[1820]。

本文基于全国山洪灾害调查评价数据模型和数据关系，进行同源数据的多级集成与综合，处理流程见图2。采用数据ETL工具，对数据库中的现场调查数据和分析评价数据进行多维深入分析，对数据进行不同主题的抽取与聚集，形成山洪灾害成果的多维视角，为山洪灾害调查评价工作提供统一的、面向分析的决策支持环境。山洪灾害调查评价数据具有多种管理维度，包括不同批次和数据采集时间的时间维，包括全国省市县乡村的隶属关系维，包括表格、图层、多媒体的格式维、包括社会经济、历史灾害、自然条件的属性维，还包括基于流域汇流关系的汇流关系维度。本文基于OLAP技术，采用星型及雪花模型，以事实表为基础，建立多维数据集，以及组织汇总的数据立方体，通过切片、旋转、上卷、下钻等分析模型剖析数据，能够从多个角度，多个侧面观察数据仓库中的工具，最后利用可视化工具进行表达，可以更直观、深入的理解数据的内涵。endprint

山洪灾害调查评价数据主题分为调查评价工作量情况、社会经济情况、数据批次信息、数据质量情况等，在BI层面上，除传统的报表、图表之外，根据山洪灾害调查评价数据的每类主题结合GIS制图技术进行表达。如调查评价工作量情况表，按数据报送批次和时间，从所有实体调查对象数据库表中抽取调查对象个数、标绘对象个数、多媒体文件个数，并对一些关键指标进行抽取汇总，包括防治区人口、危险区人口、防治区面积等。由于山洪灾害调查评价大部分对象有空间位置标绘信息，因此采用GETL（GIS+ETL）方式进行部分数据信息的综合，以沿河村落临界雨量为例，通过分析评价名录表，关联临界雨量信息表，读取临界雨量，通过关联行政区划名录表，获取沿河村落坐标，用沿河村落坐标与所在流域进行空间查询，得到流域各时段设计暴雨，临界雨量与设计暴雨比对，确认所选区域沿河村落的临界雨量成果信息表和分布图。

3成果管理平台技术实现

31基于共享平台的技术架构

基于数据模型和同源数据多级综合成果，进行全国山洪灾害调查评价成果管理平台的框架设计和功能设计。为方便数据和业务功能的扩展与复用，系统采用分层设计和面向切面编程方法[2123]，层次上分为数据层、数据访问层、数据模型层、业务逻辑层、控制器层、应用接口层以及视图层七个层次，见图3。

数据层，主要是采用商业软件Oracle数据库对山洪灾害调查成果数据进行存储；数据访问层，将业务逻辑与数据进行“隔离”，关系型业务数据部分采用数据模型进行封装并持久化，空间数据采用ArcSDE进行管理访问；业务逻辑层，根据业务功能的划分进行模块化封装，实现业务过程的处理；控制器层，主要是对页面的转发控制及简单逻辑的处理，并提供业务数据的访问API供外部应用集成调用；数据模型层，基于山洪灾害调查评价成果数据模型，对业务数据及页面表单进行建模封装，方便各层次对数据的访问；应用接口层，主要包括业务数据服务和地图服务两种API，业务数据服务来源于关系型数据，由控制层生成的API组成，地图服务由ArcGIS Server发布的服务组成；表现层，作为与用户进行交互的界面，主要使用JSP实现。采用面向切面间、时间、隶属、关联、指示等多种维度，在平台设计中，以数据模型对象编码和关联关系为核心，采用多种查询方式查询山洪灾害调查评价的数据成果，为专业人员进行数据浏览、对比、统计、分析提供工具。利用多维信息关联分析，能够支撑数据挖掘工作，发现数据之间的因果、关联、尺度效应等内含信息。

34在线数据综合

全国山洪灾害调查评价成果数据条数超过100 TB，实际应用中，需要對多张表中的近亿条有多重关联关系的记录进行数据抽取和信息综合，以快速掌握山洪灾害防治相关信息。基于数据模型和关联关系，利用OLAP技术，构建数据在线分析汇总统计功能。可以随时了解调查评价数据上报情况，可以根据暴雨或山洪突发事件，快速定位查询汇总相关信息，为决策提供数据支撑。

4结论

基于全国山洪灾害调查评价成果数据模型，对海量数据进行多级综合，设计全国山洪灾害调查评价成果管理平台，实现了海量全国山洪灾害调查数据的高效管理，实现了多级管理层级差异化信息组织、多维信息关联分析、在线数据综合等功能。目前，该系统已为全国山洪灾害监测预警平台提供数据与地图服务[2425]，并为调查数据审核、数据质量在线分析和数据挖掘提供支撑。

本文所述工作，还有几方面的工作待完善：（1）数据的更新维护工作，山洪灾害防治区的下垫面和社会经济信息，有很强的时间敏感性，需根据实际情况，及时进行数据更新维护；（2）本平台基于数据模型和数据仓库技术，能够支撑数据挖掘工作。山洪灾害调查评价成果数据库是数据富矿，涵盖了山洪灾害防治相关的大量历史数据和现状基础数据，可基于本平台研究山洪灾害发生机理、尺度效应、数值模型等。[HJ22mm]

参考文献（References）：

[1]水利部，财政部全国山洪灾害防治项目实施方案 （20132015 年）[R]2013（Ministry of Water Resources of the People′s Republic of China，Ministry of Finance of the People′s Republic of ChinaPlan for mountain flood prevention in China （20132015）[R]2013（in Chinese））

[2]郭良，刘昌军，丁留谦，等开展全国山洪灾害调查评价的工作设想[J]中国水利，2012（23）：1012（GUO L，LIU C J，DING L Q，et alWorking plan for mountain flood investigation and evaluation in China[J]China Water Resources，2012（23）：1012（in Chinese））

[3]黄先龙，褚明华，石劲松我国山洪灾害调查评价工作浅析[J]中国水利：2015 （9）1718（HUANG X L，CHU M H，SHI J SAnalysis on flash flood investigation and assessment in China[J]China Water Resources，2015 （9）1718（in Chinese））

[4]国家防汛抗旱总指挥部办公室，中国水利水电科学研究院山洪灾害调查技术要求[R]2014（State Flood Control and Drought Relief Headquarters Office，China Institute of Water Resources and Hydropower ResearchTechnical requirements for investigation of mountain flood[R]2014（in Chinese））endprint

[5]国家防汛抗旱总指挥部办公室，中国水利水电科学研究院山洪灾害分析评价技术要求[R]2014（State Flood Control and Drought Relief Headquarters Office，China Institute of Water Resources and Hydropower ResearchTechnical requirements for evaluation of mountain flood[R]2014（in Chinese））

[6]国务院第一次全国水利普查领导小组办公室第一次全国水利普查空间数据采集与处理技术规定[R]2011（State Council′s First National Water Resources Census Leading Group OfficeTechnical requirements for spatial data acquisition and processing of the first national water conservancy census[R]2011（in Chinese））

[7]龚健雅，李小龙，吴华意实时GIS时空数据模型[J]测绘学报，2014（3）：226232（GONG J Y，LI X L，WU H YSpatiotemporal data model for realtime GIS[J]Acta Geodaetica et Cartographica Sinica2014（3）：226232（in Chinese））

[8]薛存金，周成虎，等面向過程的时空数据模型研究[J]测绘学报：2010，39（1）：95101（XUE C J，ZHOU C H，et alResearch on processoriented spatiotemporal data[J]Acta Geodaetica et Cartographica Sinica2010，39（1）：95101（in Chinese））

[9]刘晓慧，吴信才，罗显刚面向对象的地质灾害数据模型与时空过程表达[J]武汉大学学报：2013，38（8）：958962（LIU X H，WU X C，LUO X GObjectoriented geological disaster data model and spatiotemporal process expression[J]Geomatics and Information Science of Wuhan University：2013，38（8）：958962（in Chinese））

[10][ZK（#]程益联，郭悦水利普查对象关系研究[J]水利信息化：2012（1）：2327（CHENG Y L，GUO YResearch on object relation of national census for water[J]Water Resources Informatization：2012（1）：2327（in Chinese））

[11]蔡阳，谢文君，付静，等全国水利普查空间信息系统的若干关键技术[J]测绘学报2015，44（5）：585589（CAI Y，XIE W J，FU J，et alSome key technologies of geospatial information system for china water census[J]Acta Geodaetia et Cartographica Sinica，2015，44（5）：585589（in Chinese））

[12]ZEILER MMODELING our world[M]ESRI Press，2000

[13]INMON W HBuilding the data warehouse （Fourth edition）[M]American，Hoboken：Wiley，2005

[14]SINGH S，MALHOTRA SData warehouse and its methods[J]Journal of Global Research in Computer Science，2011，2（5）：113115

[15]KIMBALLl R，CASERTA JThe data warehouse ETL toolkit：Practical techniques for extracting，cleaning，conforming and delivering data[J]Revista Brasileira De Oftalmologia，2012，71（3）：199204

[16]BORZA SFrom GIS database to spatial data warehouse[J]Academic Journal of Manufacturing Engineering，2015，13（2）：136141

[17]武彤，谭光炜基于索引视图实现动态数据仓库的实时数据加载[J]计算机科学，2016，43（s1）：493496（WU T，TAN G WRealtime data loading of dynamic data warehouse using index view set[J]Computer Science，2016，43（s1）：493496（in Chinese））

[18]KHAMBRA G，RICHHARIYA PA survey on data integration in data warehouse[J]Binary Journal of Data Mining & Networking，2014，4（1）：69endprint

[19]BERRAHOU L，LALANDE N，et alA qualityaware spatial data warehouse for querying hydroecological data[J]Computers & Geosciences，2015，85（85）：126135

[20]SELMOUNE N，ABDAT N，ALIMAZIGHI ZTowards a geographic data warehouse for water resources management[R]International Workshop on Advanced Information Systems for Enterprises，2012，18（3）：85 91

[21]Elrad T，Filman R E，Bader AAspectoriented programming：Introduction[J]Communications of the ACM，2001，44（10）：2932

[22]刘建川，杨军，甘泉，等一种地理信息服务聚合软件框架的设计与实现[J]测绘通报，2012（8）：6568（LIU J C，YANG J，GAN Q，et alA software architecture of GIS web service aggregation[J]Bulletin of Surveying and Mapping，2012（8）：6568（in Chinese））

[23]张弘北京段南水北调实时水量调度系统设计与开发[J]南水北调与水利科技，2015，13（4）：760764（ZHANG HDesign and development of realtime water quantity dispatching system of southtonorth water diversion project in Beijing[J]SouthtoNorth Water Transfers and Water Science & Technology，2015，13（4）：760764（in Chinese））

[24]劉荣华，刘启，张晓蕾等国家山洪灾害监测预警信息系统设计与应用[J]中国水利：2016（21）2426（LIU R H，LIU Q，ZHANG X L，et alDesign and application of national mountain flood monitoring and prewarning platform[J]China Water Resources，2016（21）：2426（in Chinese））

[25]陈煜，王树伟，林林，等全国山洪灾害防治管理平台建设中的若干关键技术研究与实践[J]中国水利水电科学研究院学报，2016，14（1）：3641（CHEN Y，WANG S L，LIN L，et alThe research and practice of key techniques used in constructing management platform of national mountain torrent disaster prevention[J]Journal of China Institute of Water Resources and Hydropower Research，2016，14（1）：3641（in Chinese））endprint