数据时代地理信息系统的应用分析

2023-01-26吴媛媛

科学与信息化 2022年14期

吴媛媛

山西省测绘地理信息院山西太原 030001

引言

作为一种高科技的综合决策技术，GIS在各个重要领域得到了广泛而成功的研究和应用。它不仅直接推动社会资源、环境和管理现代化规划的完成，而且是城市管理现代化、环境灾害防治和军事战略行动指挥的最重要技术手段，为世界社会的发展进步做出了许多积极而重大的贡献。

1 大数据在GIS中应用的必要性

受当时国内外数据传输、文件存储和处理技术应用的各种因素限制，在国外各种GIS应用软件的早期开发中，图形化RDBMS系统主要用于独立管理数据库，或者简单地采用数据库文件管理和图形RDBMS系统集成的文件管理集成模式，方便文件数据的管理[1]。例如，国内著名的GIS文件管理集成软件GEOSTAR直接采用与后者集成的文件数据管理模式，其属性数据部分仍主要采用RDBMS管理模式，图形、影响和DEM的功能均由文件系统管理，因此已成功开发和实施。然而，基于GIS领域固有的海量空间数据存储和对海量空间数据特征分析、海量数据处理和快速智能响应的强烈需求，这就决定了目前以关系数据库存储为典型代表的大量传统数据的存储方法，以及以大规模统计理论和大规模数据挖掘算法为主要代表手段的大规模传统数据处理方法和技术，显然已经不能有效地满足我国技术发展的需要当代GIS海量数据存储应用与分析处理领域。大数据时代的出现，给中国地理信息系统带来了新时代的深刻变革。

2 地理信息系统简述

地理信息系统（Geographic information system）简称智能地理信息系统，也被一些人直接称为现代自动地球科学信息系统（automatic geoscience information system，简称GIS）。是指对各类地学空间信息资源进行实时、自动的计算机智能综合分析、提取、查询和智能计算处理的自动化系统。它是一种直接用于输入、存储、查询的方法，是一种分析、计算地理信息并实时显示各种空间地理数据的新型综合计算机系统[2]。它是一种新的现代数字信息技术，可以随时随地使用智能移动平板电脑终端，准确、快速地进行空间地理资源的快速定位和跟踪定位，以及地理数据的动态智能处理和分析，最终以各种数字图形符号组合或数据符号组合的数字形式直接实现各种地面空间信息的准确表达和显示。由于GIS在地质调查和交通信息网络建设方面的优势，它也可以广泛应用于道路规划和交通信息网络建设，同时，也成为目前国内城市地形综合测绘应用工程系统中最重要的应用基础技术平台和应用支撑。其应用技术及其运行演变过程可简单概括如下：①对数据库的空间信息内容进行有效的收集和管理，定期进行整理或输出，最终将数据库中收集和记录的数据信息转化为具有实用价值的空间数据库内容。信息管理的实施过程必须具有高度的数据空间动态性。②GIS系统的基础研究对象应该是地理图形学。采用合理可行的地理模型系统进行图形分析，并提出相应的系统决策，使其成为具有较高决策价值的三维综合信息系统。③数据处理的全过程模拟由具有自动数据处理控制的主机提供。通过主机独有的计算软件和全过程仿真，对海量地理数据信息进行动态管理，逐步实现各种地理资源数据的综合分析和管理。

3 地理信息系统应用大数据时存在的问题

3.1 数据存储问题

所谓的海量地理数据，是指数据资源快速高效流动的能力，以及数据系统的动态性、地理数据类型的多样性、大数据模型的高速实时性、高价值性、低密度分布和高复杂性分布的特点。现阶段，我国数据市场对海量地理信息系统的建设提出了一系列迫切需求，特别是在3个方面：海量空间数据信息存储的爆炸性增长、数据处理和响应速度的日益加快、数据内容描述方法的逐步多样化，这些新的要求也对大数据在海量地理信息系统领域的应用提出了一些严格的要求。

3.2 数据处理问题

虽然数字地理信息系统产品在实际业务应用和实施过程中，可以通过多个通信渠道，同时对海量地理空间数据资源进行高效的集中统一处理，但在高效组织、数据传输、数据传输、数据传输等技术的应用上仍存在明显的不足。特别是在应用新的数据处理技术时，非结构化存储的海量空间数据处理与传统SQL等新的数据处理技术方法也存在某种形式的内在矛盾和逻辑冲突，在一定程度上削弱和影响了海量空间数据信息的有效处理手段和应用效果，阻碍和制约了大数据及其增值新产品技术的实际生产和使用进度，也是制约我国地理信息系统市场化发展的主要原因。

4 大数据时代下地理信息系统的应用

4.1 高效存储大量地理信息数据

随着科学技术的飞速发展，计算机技术近年来得到了迅速发展和成熟。特别是硬盘价格逐年下降，大数据的存储和使用成本逐渐降低。未来几年，大数据信息的存取和存储将更加方便，存储容量有望不断增加。这也充分展示了未来中国大数据技术的快速发展方向和重大进步。然而，随着未来客观物理世界模型的不断深入发展、探索和技术变化，GIS需要在实时导航和决策辅助等多个方面考虑实时应用。

4.2 信息处理的可扩展性和可扩展性

GIS及其应用领域中其他一些重要的基础数据和信息关系，它们的扩展程度和应用速度可以确保它们在现代大数据应用技术平台提供的强大技术支持的环境条件下得到快速扩展和进一步完善[3]。目前，在企业开发和应用的数据库处理系统中，仍然会有许多新型的数据库信息关系类型。通过这些增强和优化的硬件系统，我们将能够在一定程度上有效地扩展数据库。但是，由于需要投入大量研发资金来优化计算机设备，以及数据库从物理空间扩展到服务器级，整个系统的运行和环境性能、数据库容量的变化等都可能在同一时间内发生变化，因此，在扩展这些非结构化数据库信息程序时，我们可能还会遇到不适合直接使用的数据库信息的分割或扩展，需要对其进行相应的修改和程序。这可能涉及集成部分链路信息的程序，导致工作量增加，以及非标准化信息数据库扩展带来的程序冗余效应，将进一步导致信息数据扩展的困难和统一性要求的相对增加，从而大大减少和扩展分散在现有GIS网络中的各类信息数据库，实现数据库的可扩展管理和各类海量信息数据的高度可扩展处理。

4.3 支持多种数据类型

由于地理信息数据来源丰富多样，在大数据时代有必要对数据进行标准化，以减少一些数据或应用于其他领域的数据。一般来说，数据处理标准化应用的工作模式之一主要是通过数据的转换和操作以及相关的人工分析和整理，以尽可能保证数据处理的科学统一。在计算机技术的不断发展和演变中，如果其数据类型多样，很容易导致其开发过程中积累的大量数据信息与原有的传统结构化数据信息之间出现大量不一致，这将对计算机地理信息系统的应用产生各种不利影响。如果要有效地处理这个问题，必须使用各种原始的非结构化数据来存储其数据，或者结合各种新业务系统中业务的特殊性，可以存储各种不同的数据源，这就要求数据库支持各种类型的数据存储方法。

4.4 即时数据资料

在大数据信息化时代的要求下，我国逐步探索和完善了数字地理信息数据库的实际应用，并将特定地理资源信息与计算机大数据系统整合，从而最终实现地理信息数据与采集到的信息之间最有效的综合利用，使地理专业人员能够更及时、更有效地掌握各种相关数据和信息，进而实现计算机对数据信息的及时、有效的查询和分析。通过对地理信息的科学分析和应用，捕捉中国人口地理特别是人力资源和自然资源综合开发利用的海量大数据，需要进行实时更新的地理数据信息，将这些人类数据与相关的实际人口数据相连接，然后根据科学预测进行详细规划。

4.5 借助大数据交互处理模式创新GIS数据处理模式

4.5.1 大数据交互处理模式。大数据实时交互信息处理与共享是指计算机基于其所服务的人机自动交换平台，对实时采集和调整的相关数据信息进行处理，并将这些处理信息和结果信息以实时交互共享的方式自动传输给最终用户。目前，我国现有的商用分布式大数据实时交互处理计算系统主要由Dremel系统和spark系统组成。所谓的spark系统是指一个高效的分布式计算系统。该系统的处理性能远高于一般Hadoop系统的实时数据处理和效率。它还有一个性能优异的API。最重要的特点是，尽管Spark的代码格式也变得清晰简洁，但如果整个Hadoop平台想要完全表达相同数量的功能代码，它至少需要支付代码长度的10倍甚至100倍以上。同时，Dremel还可以以第二个点为单位，支持Pb级以上海量数据的快速处理，并使用多达数千万个大型数据集群共同建立和完成。

4.5.2 大数据列存储。Dremel系统的主要优点是可以通过哈希数据存储有效地保护所有相关数据信息。其优点是在数据信息分析、整理和存储过程中，只在必要时存储和处理一些关键数据信息[4]。这种操作模式可以大大有效地减少占用系统磁盘存储空间和系统CPU缓存的数据访问量。同时，在数据库的实际业务应用和推广过程中，我们也可以看到，数据库Dremel技术可以与传统的Web搜索和DBMS数据库技术有机结合。依托传统Web搜索技术中嵌入的数据库“查询树”的新功能，我们可以在数据查询和搜索网络中直接有效地划分各种大型数据库，其数据的科学分布直接传输到每个数据批节点数据库，从而进一步提高数据批查询和处理的效率和简单性。例如，基于HBase架构的嵌套式数据分布式存储系统是基于HBase的原始数据分布式存储技术架构，充分发挥了其可用性强、可扩展性好的优势。当使用HMASTE统一管理数据存储和系统节点数据时，也意味着我们可以进一步考虑使用HReGon服务器作为存储数据载体，以统一管理系统中每个子数据存储系统节点的数据存储和安全性[5]。同时，我们将进一步优化系统原有存储数据载体的阵列数据的存储和文件格式，基于这种新的嵌套格式构建下一组数据。这种基于Dremel体系结构的新型嵌套数据存储和文件格式也可以有效地实现数据文件持久化和处理这两个最终应用目的。另一方面，在基于HBase数据库技术的嵌套式数据存储系统中，数据读、写、存储功能块和数据读、存储功能模块中也有许多优秀的数据读、写、存储和查询功能，因此在数据读写存储功能模块的系统设计中，可以充分发挥数据信息的读写和查询信息处理功能，显示出一些明显的优势。事实上，这种交互式的数据处理和存储方法也可以用来优化和实现数据查询和存储功能，以及数据的数据分区和存储功能，从整体上提高海量数据的处理效率。