测绘地理信息档案管理中大数据处理技术的应用研究

2021-12-27张敏

辽宁自然资源 2021年9期

关键词：结构化数据处理测绘

张敏

（辽宁宇鑫建设工程有限公司，辽宁沈阳 110000）

现阶段，在大数据的影响下，我国社会经济与科学技术得以快速发展进步，同时，大数据处理技术的优势开始在各个领域得以展现。特别是在数据的存储和分析方面表现的尤为突出，通过大数据处理技术可有效解决测绘地理信息档案管理问题。

一、测绘地理信息档案管理的现状

现阶段，相对专业的资料档案管理部门主要负责地理信息档案的管理工作。在档案管理过程中主要存在以下几方面的问题。

其一，档案数据量过大，现如今的档案管理还是纸质文档和电子文档相结合的方式进行存储。就本单位而言，已存档的省内地理信息相关的文档就有400TB，有与项目相关的一些矢量数据、相关的影像数据、元数据和相关的纸质版资料等等，并且数据量还在以每天100GB的速度增长[1]。

其二，档案数据结构过于复杂，测绘地理信息数据不仅包含结构化数据还包含非结构化数据，比如测绘项目的DOM(数字正射影像图)数据、DEM(数字高程模型)数据、DRG(数字栅格地图)数据、DLG（数字线划地图）数据和三维立体模型等等，从而对数据的检索带来一定难度。

其三，为数据安全性较低，由于数据量大且格式不统一，而且有的矢量数据还涉及到保密，不能进行集中存储，因此只能进行分散管理，数据安全也无法得以保障，很容易出现数据孤岛。

上述问题对测绘地理信息管理工作带来了一定的困扰，借助于大数据处理技术方能解决这些问题。

二、大数据处理技术在测绘地理信息档案管理中的应用

1.大数据处理技术应用于地理信息档案管理的重要性

当前，测绘地理信息服务需求爆发式增长，大数据处理技术的使用优势，已广泛应用于自然资源、水利水电、城市交通、电力电网、管线管网、军事和许多其他领域，并发挥着更重要的作用，给测绘地理信息档案管理部门带来了重大挑战和更大的发展机遇。大数据处理技术在测绘地理信息档案管理中的广泛应用，有利于促进地理信息档案管理部门的不断进步和高效运作，随着地理信息技术突飞猛进的发展，越来越多的地理信息数据档案需要存储，而且地理信息数据档案具有数据量大、生产成本高、技术含量高和涉密性的特点，它不仅是国民经济建设所必需的基础数据，而且还具有很高的应用价值和广泛的应用需求，这是目前我国地理信息档案管理部门应该广泛关注的问题。在测绘事业转型升级的今天，大数据技术应用于地理信息档案管理的检索引擎中，取得了首战告捷的应用效果，它不仅可以为各行各业快速准确的提供有实用价值的信息，而且大数据技术也增强了自身的灵活运用，为今后的地理信息档案管理部门高效的工作提供更强的技术支持[2]。

2.省级地理信息档案资源大数据处理平台的创建

测绘地理信息档案包含的内容琳琅满目，如全国土地利用现状数据库成果、各类工程测量成果、大地测量成果、无人机航测成果、地形图制图成果、地理国情普查与监测数据库成果、海洋地理信息数据采集成果、行政区划数据成果、房产测量成果以及其他地理信息档案等等。在这之中，除了比如坐标成果信息和坐标系统的结构化数据外，还有大量的非结构化数据，例如：文本、表格、图片、光盘、硬盘和HTML等[3]。特别对于历史地理信息档案而言，由于年代久远，有大量的纸质版档案和纸质版地形图等，由于测绘地理信息档案具有保密性和完整性，测绘地理信息档案还包含属性特性、空间特性、精度特性和时间特性等，因此有的测绘地理信息档案基本不具备数字化程度，在这之中势必存在大量非结构化数据。因此，针对大量非结构化地理信息档案数据可以选择借助于大数据处理技术构建出省级地理信息档案资源管理大数据技术处理平台。

3.深入挖掘测绘地理信息档案资源数据

现阶段，在科学技术快速发展的推动下，测绘地理信息业务档案利用正在发生着根本的改变，人们对相关测绘地理信息数据的需要日益旺盛，很多尘封已久的先进测绘技术得以广泛应用，能够获取到地理信息数据的途径越来越多，相关联的测绘地理信息档案管理也就越来越多，加之多年来日益积累的数据档案。若要在这些测绘地理信息档案中通过人工查找的方式挖掘出有价值的信息数据是很难实现的，借助于大数据处理技术则能够实现[4]。在大数据处理技术广泛应用的过程中，其核心为数据分析，灵活多维度的分析，不同数据多层次下钻，满足多领域数据的分析需要，比如：地图数据可视化、宏观房地产商圈智能分析、城市地名和道路名称实时更新等。在测绘地理信息档案管理部门服务过程中，可利用大数据应用技术的数据挖掘和知识发现对数据进行深入分析。在大数据相关技术的共同作用下，对测绘地理信息所存在的多元异构数据进行采集、集成、清洗、分析和存储，从而形成一种便于分析的数据模式，进而将其应用在数据文件系统的仓库中，逐步形成完整的测绘地理信息档案大数据处理平台后，可以对地理信息档案进行不同层次的加工重组，以达到最有效地开发利用信息资源的目的，使其具备数据挖掘能力。最后，利用相关知识图谱，应用ES搜索引擎，实现数据的高质量搜索，为用户提供出更加有深度且更加准确的信息。