“智慧南昌”时空大数据与云平台建设研究
2023-02-05高洁纯
张 军,高洁纯
(1.江西省地质局地理信息工程大队,江西南昌 330001;2.江西华昌企业发展有限责任公司,江西南昌 330108)
0 引言
从数字化到智能化再到智慧化,近年来,南昌市统筹推进从数字城市到智慧城市的转型,加快构建“智慧南昌”一体化建设格局。“智慧南昌”的建设离不开地理空间框架的支持,随着大数据、云计算、区块链等先进技术的快速发展,各级城市的地理信息数据库逐步升级为时空大数据,原地理信息公共平台升级为云平台[1]。由此,时空大数据与云平台建设成为当前“智慧南昌”建设的重要内容。
“智慧南昌”时空信息云平台建设试点项目已于2021 年4 月通过专家组验收并正式投入运营。该项目基于泛在网络、云计算、地理空间集成等新一代信息技术,统筹时空信息资源建设,在丰富数据资源、完善软件和标准体系的基础上,深入结合智慧城市的建设要求,形成了具有地方特色、国内领先的地理信息开放式服务平台。该平台的建设给南昌市带来多样化的信息式服务,同时也为建设“智慧南昌”奠定了坚实的基础,为南昌市多个部门和智慧应用系统提供了安全、可靠、高效的服务,平台已经成为“智慧南昌”的核心基础设施之一。
1 平台总体设计
1.1 时空大数据设计
时空大数据是时空云平台建设的基础,“智慧南昌”时空大数据与云平台按照统一的数据标准体系和技术规范体系,依托物联网、云计算、大数据等新一代高科技信息技术,基于原数字南昌地理空间框架建设的成果,将基础地理信息数据、公共专题数据、公共规划数据、动态感知数据、实时传感信息以及网络抓取信息等资源进行整合,构建了高精度、长跨度、宽广度的时空大数据集。依据公众版的网络地理信息服务数据的要求以及相关规定,由测绘行政主管部门进行数据脱密技术处理,各政府单位可根据自身权限通过互联网获取脱密后的数据资源,在云平台基础上进行注册并发布各种服务,并可基于云平台提供的各种服务搭建各类GIS应用系统[2],实现了数据即服务、软件即服务、应用即服务,以满足日常的业务办公需求,实现数据信息的共建共享。
1.2 云平台设计
云平台的目的主要是通过统一服务门户系统,满足各类用户对空间数据的应用需求,并利用时空数据帮助各类型的用户进行数据深度挖掘,获取到更深层次的知识价值[3]。时空信息大数据通过广泛的网络条件、智能化的实时监测传感器以及大型的计算统计软件等先进技术集成到智慧城市时空信息云平台中,依托城市专用的政务云存储和云计算资源,形成更加智能的地理信息公共平台。城市各个部门提供的时空信息资源(硬件、数据、功能、软件等)都进行统一的存储、管理和对外发布服务的功能。云平台的构建就在满足以上需求的基础上,实现时空信息的高效整合、互相通信、互相调和。平台总体架构如图1 所示。
图1 平台总体架构示意图
1.3 智慧专题应用系统设计
在时空信息云平台成果的基础上,南昌市逐步建成了不动产权籍智慧管理系统、智慧耕地管理系统、国土空间规划监测评估预警管理系统、自然资源综合执法监管平台等多个智慧应用管理系统,充分发挥出时空信息云平台的应用支撑作用,为政府部门和社会公众提供及时高效、多样化、个性化的一站式地理信息服务。
1.3.1 不动产权籍智慧管理系统
以南昌市时空信息云平台为基础,对接现有的南昌市不动产登记信息平台,建立基于时空信息云平台下的不动产权籍管理系统。南昌市不动产权籍智慧管理系统是一个集信息管理、空间型、网络化与办公自动化于一体的新一代不动产权籍综合解决系统,具有不动产图属互查,权籍信息输入、查询、检索、分析、输出和管理,与GIS 结合还可进行全空间一体化展示目标区域内楼盘信息等功能,实现了二、三维一体化不动产管理,有效解决了不动产权利交叉等问题,实现了不动产权籍调查的流程化、规范化和标准化管理。
1.3.2 智慧耕地管理系统
以南昌市时空信息云平台为基础,并充分利用物联网、地理信息、云计算等现代先进技术开展南昌市智慧耕地管理系统的建设。南昌市智慧耕地管理系统基于信息化和智能化的耕地保护管理模式进行开发,并以耕地监测、政务办公、辅助决策、信息服务为基本核心,能够实现耕地信息的展示、查询、智能配置和维护等功能,为耕地保护和国家粮食安全提供全新的技术支持,形成了上下贯穿、互联互通的新型“智慧耕地”信息化应用体系。
1.3.3 国土空间规划监测评估预警管理系统
国土空间规划监测评估预警管理系统充分运用大数据和云计算等相关先进技术,以国土空间规划的智能管理目标为核心,通过集成资源整合、业务管控、梳理指标与模型体系,建立覆盖南昌全市的二、三维一体化的国土空间规划监测评估预警管理系统。该系统能够实现辅助国土空间规划编制、评审、监测、评价和预警的一系列管控业务,对于提高国土空间治理能力,推进全域全要素的国土空间信息化进程,打造数字化和现代化的国土空间规划并实现智慧国土空间规划具有十分重要的意义。
1.3.4 自然资源综合执法监管平台
南昌市自然资源综合执法监管平台共有7 大模块,包括基础数据管理与综合统计分析模块、违法信息采集模块、执法工作动态查询模块、卫片执法检查模块、违法行为处理模块和机构人员管理模块等。该平台实现了自然资源执法信息和管理层级间的互联互通,不仅做到了执法过程有记录可查,还能做到执法过程全程追踪和回放;同时该平台还打通了自然资源综合执法与其他项业务之间的联络,搭建了全过程、全业务的自然资源大数据执法综合监管环境。
2 平台建设关键技术
2.1 基于用户访问规律和GIS服务质量的云资源智能缩放技术
在云平台建设过程中需要考核的一项重要指标就是在保证服务质量的前提下,最大限度降低硬件资源和能源的消耗。南昌市在时空大数据云平台建设过程中,通过对云平台的时刻监控,建立了多指标约束下的优化求解模型,将云计算资源的利用状况、服务质量驱动的动态资源优化、服务的静态资源需求列为三项约束条件,实现了对云计算资源的智能伸缩、弹性扩展和动态分配,保证了服务质量。
2.2 基于Hadoop的时空大数据存储技术
时空大数据不仅具有大数据的数据量大、数据种类复杂的特性,还兼有时间、空间两个要素。由于时空大数据带有时序性,因此文件存储系统要能做到高吞吐的写入效率。此外,对于时空大数据的查询具有批量性的特点,故时空大数据的存储要从两方面来重点考虑,除了满足数据的高效存储,还要有大批量查询数据和数据挖掘的能力。平台建设选用Hadoop 来作为时空大数据的整体框架是基于时空大数据的几个特性考量的。因为时空大数据的多源异构、多尺度、多维度的特性并且数据的增长速度是PB 级(1 PB=1024 TB)的,传统意义上的关系型数据库无法满足海量数据的管理、分析、挖掘,单一节点的文件存储结构对于来源复杂、格式混乱的数据没有可靠性、可扩展性以及高容错性,而Hadoop 分布式计算框架能对时空大数据提供统一的存储、管理和数据挖掘方案。Hadoop Database 是NoSQL 数据库,即非关系型数据库。本平台主要面向的是非结构化数据,采用并列式存储的设计。由于Hadoop 是分布式存储结构,所以对于每台接入其上的计算机来说,每台计算机的物理边界就不再受到局限,可以理解为无限个环绕在一起,这样的存储机制带来的效用是当从Hadoop 集群里任何N 台计算机中的一台访问HDFS(分布式文件系统)时,用户能获得的存储空间是N 倍机器空间,存储的文件可以分布在N 多个计算机中。数据分配在N 台计算机上,相应的处理速度也就从单一的处理速度变为N 倍处理速度,这是基于分布式和并列计算得到的,从而极大提高了数据处理速度,使得在单位时间内处理的数据量得到极大扩大,进而实现了高吞吐量的能力。
2.3 地名地址匹配技术
地名地址数据是连接基础地理信息和其他众源数据的桥梁,因此其快速高效的匹配十分重要。地名地址匹配技术是智慧城市建设中应用的一项关键技术,南昌市时空信息云平台建设中充分应用地名地址匹配技术,进行地址匹配时,程序首先通过地址要素词典对输入地址进行切分,通过正向最长匹配算法,把输入地址字符串的地址要素和别名切分成段。在完成输入地址字符串切分的同时,通过两个数据结构的指针连接,程序也同时获得了一组标准地址树中的地址要素节点,即地址字符串切分和地址要素匹配同时完成。由于有时不同的地址可能包含同名地址要素,最终匹配到的地址可能有多条,所以程序再根据打分排序算法,对地址树中匹配到的各条地址打分,确定最佳匹配结果。这个双树索引机制还可以处理部分不规范的输入地址,通过地址树中沿着分支的上溯返回完整的标准地址。
2.4 市县一体化建设关键技术
考虑到共享平台的建设成本和建设难度,也为了更好实现市县两级的互联互通,形成全市地理信息资源的“大共享”,共享平台将政务版软件成果免费推广到各县(市、区),并统筹建设市县两级公众版软件,在保障市县平台统一的同时,必将大大促进县级平台的建设。公众版节点在全国首次采用了市县一体化的统筹建设模式,也即市县两级的“数据集中、软件统一、硬件集中、二级运维”。具体而言,平台后台通过同一套在线服务基础系统和服务管理系统对市县两级节点进行统一支撑和管理,平台前端则为南昌市本级及各县(市、区)分别构建多样化、独立运维的门户网站系统,并且将所有的服务软件体系运行在统一支撑环境中,统筹建设模式,实现了市县两级节点的深度耦合,也极大降低了县级节点的建设成本。
2.5 三维场景快速显示及二、三维一体化技术
与二维相比,三维地理信息更符合客观世界表达的真实性要求,可视化效果更佳,越来越受到人们的关注,但三维数据的数据量比二维的要高出十几倍甚至几十倍,尤其在地理信息服务走向网络化之后,如何通过技术优化实现网络条件下的三维快速显示愈发重要。三维场景快速显示及二、三维一体化技术遵照人类自然视觉的原理,视点较远,显示范围较大、细节内容少;视点较近,显示范围小、细节内容丰富。它始终保持屏幕信息量的固定,采用地形和地物的多级LOD(Levels of Detail 的简称)技术,可实现多层次的三维数据简化与消隐,将自然地形数据分成多层、地物模型数据分成多级,实时动态计算视点与目标的距离确定显示精细度,实现了网络环境下的三维场景的快速显示。“智慧南昌”时空大数据与云平台系统充分应用该项技术,主要实现了以下二、三维一体化的显示效果:
1)数据管理一体化,二维与三维信息均通过统一的服务接口发布,服务数据源在组织上保持一致,不再存储两套数据,减少维护工作量。
2)可视表达一体化,二维视图和三维场景的描述方式大大不同,前者的描述方式主要是由视图的中间位置、分布区域大小和视图的扩大缩小比例等组合形成;后者的描述方式主要是由观察点的三维坐标、周边可视范围区域等组合形成。通过将描述的组合内容进行严格对应,以此来确保二、三维显示的一致性。
3)实时联动一体化,将二维系统的操作与三维系统的操作进行实时监控,建立双向通信互操作的同步模块,分别将监控到的实时变动互相传递以实现联动一体化,影像二维数据和地下管线以及地上建筑实现了联动一体化。
4)应用分析一体化,二维GIS 分析和处理的结果均可以在三维场景显示,同时支持三维环境下的量测与分析功能,在二维环境中搜索建筑名称,在三维场景中实现建筑模型定位。
5)信息扩展一体化,对于用户标注、加载到二维视图中的个性化扩展信息,均可以在三维场景中直接显示;二维文本标注即可在三维场景中直接显示。
3 结语
时空信息云平台作为“智慧南昌”整体框架中一个重要的、不可缺少的空间信息基础设施,将最大程度地推进地理信息资源的共享和应用,提高政府管理和决策水平,显著推进南昌市的信息化进程,引导“智慧南昌”地理信息、大数据以及各类智慧应用等信息经济产业的快速发展。下一步,南昌市将对平台进一步完善,并加快推广应用,并在此基础上,积极探索发展以时空大数据平台为代表的新型基础设施建设,优化技术创新和科技成果产业化的政策体系、激励机制和市场环境,不断推进智慧城市的建设。