自然资源数字中台数据应用支撑框架建设

孙智军 农肖肖 唐 博 李智广

（新疆地矿局测绘大队，新疆 乌鲁木齐 830000）

为了实现自然资源的统一管理，需要按照标准化、规范化要求整合、集成和规范土地、地质、矿产、森林、草原、水、湿地、基础地理信息等各类数据库，构建“地上地下、陆海相连”的统一的自然资源“一张图”大数据体系。大数据、云计算等新一代信息技术的快速发展和应用，为自然资源领域管理和业务应用信息化创造了条件。有必要通过建立自然资源数据治理和数据分析体系，构建数据中台体系，使数据驱动自然资源的数字化、信息化、智能化转型[1]。

文章依托互联网、云计算、大数据等技术手段，基于自然资源信息化“十四五”规划框架，构建全方位获取、全网络汇聚、全维度整合的海量自然资源数据治理体系，设计对海量异构自然资源数据的存储汇集、分析应用等功能，形成“全面汇聚融合、安全可控访问、全业务逻辑一体”的数据中台，满足自然资源数据全网汇聚、全维度整合、分类组织、精细治理、精准服务、安全可靠的数据资源管理目标。

1 总体设计

自然资源数字中台设计采用中台架构的思想设计各个功能模块，技术中台架构能够实现各种通用功能模块化、服务化，各类专题业务服务化；对于数据库管理和自然资源通用服务中的数据服务模块，利用数据中台架构，实现数据资产化、模块化和服务化。

数据中台主要解决数据的“采、存、融、管、用”问题，使数据流动起来，充分发挥数据价值，支撑业务应用创新。数据中台支撑框架建设如图1所示。数据中台按照统一信息资源规划，主要提供数据集成、数据开发、数据治理、数据资产管理、数据服务等五部分功能。

图1 数据中台支撑框架建设

2 功能设计

2.1 数据汇聚

数据汇聚模块包括数据源管理、数据接入管理、任务运行管理和数据存储管理。

自然资源数据主要以空间数据为主，既有来自自然资源部门内部的测绘基础地理信息、土地、地质、矿产、森林、草原、水体、湿地、遥感影像等数据，来自外部其他部门的社会经济、人口数据，也有来自互联网的各类数据。数据源管理围绕土地、矿产、森林、草原、湿地、水等六类自然资源，按照空间分层、时间分期、地理位置分区、业务逻辑关联的标准化体系，整合各类自然资源调查监测成果，科学有序地统筹组织和管理地下资源层、地表基质层、地表覆盖层、管理层数据[2]，提供对多源异构的数据源进行统一管理的功能。

数据接入包括对数据源适配引擎、数据接入提取-转换-加载（Extract-Transform-Load，ETL）组件、数据接入模型可视化构建工具以及数据更新等方面。数据源适配引擎约定了一套可扩展的接口，能够持续地完善对新类型数据的接入。可视化构建工具则是提供了一套可灵活拖拉拽构建数据汇聚模型的应用系统，并且可以设置数据模型调度策略，保证数据的及时更新。

运行管理对数据接入中构建好的数据集成模型进行调度，实现数据的更新。提供对数据集成过程的监控管理及日志分析，帮助运维管理人员更好地掌握数据集成情况。

数据存储是在数据体系总体设计思路下，结合各类数据的特点以及使用环境，将数据按照结构化数据、流式数据、文件数据和其他类型进行分开存储。

2.2 数据治理

数据治理是对数据进行管控的过程，也是对数据的全生命周期管理，该模块结合自然资源数据特点，提供包括元数据管理、数据标准建设、数据质量控制、数据安全管理和数据全生命周期管理等功能模块。

元数据管理包括各类数据的元数据标准定义、关联关系管理、数据地图展现等。数据标准建设对数据标准进行设计，从标准的定义、标准的实施、标准的监测和版本管理等角度开展工作。数据质量控制功能提供从数据质检规则、质检模型、质检方案及质检执行和报告查看等五个方面进行控制。

数据安全管理通过加密、脱敏、漏洞探测和验证、应用权限、访问使用审计等方式进行设计和实现。自然资源网络数据和地理信息安全是自然资源信息化的重要内容，自然资源治理基础能力建设也应构建安全防护体系，网络硬件设施层面采取部署数据库防火墙、数据灾备、安全加固等措施。数据治理软件设计层面提供数据库审计、加密、脱敏等功能，配置主中心及各分中心应用、访问权限，保障系统能够对外提供稳定的服务。

2.3 数据开发

数据开发与挖掘模块包括资源管理、数据探索和服务管理等功能，探索和发现数据的业务价值。

资源管理对数据源进行管理，同时提供丰富的ETL组件、算法/模型组件等基础零件，支撑构建复杂的数据探索发现，如多维分析、聚合计算、聚类分析、回归分析等。

数据探索提供可视化的数据开发场景，用户可以将各类组件进行编排，绑定目标数据进行数据探索分析，将分析结果生成数据产品，支撑结果的复用。

服务管理对生成的数据产品进行发布，方便第三方平台集成应用，主要包括数据分析计算、数据展示、数据共享交换、数据引擎、数据集成、数据治理等服务能力。

2.4 数据资产管理

数据资产管理模块提供资产目录、资产体系和资产管理等功能。通过自然资源数据分类和聚合，梳理各部门数据涉及的业务关联关系、存储组织方式、访问情况和应用场景等，形成数据资产目录，建立科学的交换机制，打通数据孤岛。

资产目录提供资源检索、资源浏览和资源使用等多种手段，方便用户快速查找目标资源。对自然资源体系内海量、异构、多源、多尺度、分布式的现状、规划、管理等空间数据进行整合，形成自然资源资产目录，为各类与自然资源管理、决策、服务等提供有力的基础数据支撑。

资产体系包括数据模型、指标模型、算法模型、主题数据、维度数据和数据产品等内容。资产管理提供对目录管理、标签分类和资产发布等功能，帮助用户管理数据资产。

2.5 数据可视化

数据可视化构建模块包括对数据源进行管理、数据可视化配置管理和可视化组件管理等功能模块。

（1）数据源管理。

对可视化数据源进行统一管理，便于快速查询源端信息。

（2）数据可视化配置。

从展现的内容、样式和交互等方面进行设计。如使用表格进行展示时，需要考虑表格中展示的字段内容、表格样式以及表格中是否有排序字段，可钻取字段等。

（3）可视化组件管理。

数据可视化管理模块提供大量的可视化图表组件，包括表格、柱状图、饼状图、拆线图等常规图表以及热力图、趋势图、分级渲染图等专题地图和其他表格效果组件，实现图表的“拖-拉-拽”构建。

2.6 二、三维一体化

二、三维一体化展示模块包括数据管理、一体化浏览和空间查询与分析功能模块。

二维数据管理主要以自然资源矢量和影像数据管理为主；三维模型包括倾斜摄影实景三维模型、建筑信息模型（Building Information Modeling，BIM）、城市信息模型（City Information Modeling，CIM）等。

二、三维一体化浏览主要提供二、三维一体化窗口及功能的浏览，包括二、三维叠加、二、三维联动以及针对三维模型提供细致的浏览功能。

空间查询与分析提供全面的二、三维空间查询与分析功能。二维分析中提供叠加分析、缓冲区分析等能力；三维分析提供包括通视、视点、视域等地上三维分析功能；坡度坡向分析、阴影分析、填挖方计算、淹没分析等地表三维分析功能；针对地质三维的爆炸分析、虚拟钻孔、开挖分析、隧道漫游等地下分析功能以及针对地下管网三维模型的流向分析、爆管分析、碰撞检测等。

2.7 大数据计算

（1）组件管理。

提供大数据计算分析工具。矢量工具，如叠加分析、缓冲区分析、邻近查找、多边形提取等；栅格工具，如重采样、裁剪、归一化等；其他工具，如数据格式转换工具、数理统计工具等。

（2）模型构建。

通过大数据计算平台，实现模型编排功能，将各类数据分析工具进行组合，实现特定场景下的模型定制，完成后将其发布成标准Restful服务，供第三方调用。

（3）服务管理。

服务管理包括服务发布、服务调试、服务监控等核心功能。将构建好的模型服务统一发布成Restful服务，方便第三方应用集成。

（4）生态组件。

对平台用到的主机、集群、HDFS、Zookeeper、监控信息等进行统一管理。

3 结语

数据中台为自然资源及其他相关部门提供基于数据资源/资产的数据服务，以数据中台提供的自然资源“一张图”数据为基础，采取中台思想和SOA体系架构，融合先进成熟的云计算、大数据等新一代信息技术，以“大中台、轻应用、微服务”思想为指导，收集整理自然资源相关业务资产和数据资产，实现业务数据化、数据资产化、能力服务化、服务开放化。通过数据中台，提供面向国土空间规划、调查监测评价、用途管制、耕地保护、地质矿产管理、执法督察、监管决策的通用服务，实现数据安全、数据共享与开放、数据融合、数据流通、数字化共享等，为调查监测、监管决策等应用系统开发提供可复用的技术框架、可快速编排组合的服务资源，可开箱即用的业务组件，助力实现数字化的决策优化、业务创新，从而支撑自然资源信息化“随需应变”。