智慧泰州时空大数据平台的设计与实现

李观石,张 彭,蔡 勇

(1.江苏省测绘研究所,江苏 南京 210013;2.泰州市自然资源和规划局,江苏 泰州 225300)

0 引言

2016 年,泰州确立为江苏省智慧城市建设试点,进一步加快 “智慧泰州”建设进程。 智慧泰州以“互联网+”与城镇化建设相融合为抓手,充分运用互联网、云计算、大数据等新理念、新技术,面向城市治理、惠民服务、公用基础设施管建等,通过全面感知、精确分析的智能化管理手段,逐步提升智能化水平,实行精细化运行管理服务。 根据2019 年版《智慧城市时空大数据平台建设技术大纲》[1],项目的建设任务确立为在数字城市地理空间框架的基础上,依托城市云支撑环境,实现向智慧城市时空大数据平台的提升,开发智慧城市示范应用系统,为智慧城市时空大数据平台的全面应用积累经验。

1 系统设计

1.1 总体架构

智慧泰州时空大数据平台依托云支撑环境、时空大数据和数据服务、功能服务、接口服务等服务体系进行平台和示范应用建设,总体上采用了基础设施即服务(IaaS)、数据即服务(DaaS)、平台即服务(PaaS)、软件即服务(SaaS)的总体架构,同时为确保系统长效运行,同步建设了政策法规标准规范、安全保障体系和运营维护机制[2]。 智慧泰州时空大数据平台总体架构,如图1 所示。

图1 智慧泰州时空大数据平台总体架构

1.2 关键技术

时空大数据建设完成之后,如何进行大数据的汇聚、分析,并且将分析模型发布为服务,并供平台用户调用,成为平台建设的关键问题,因此平台设计了大数据三维渲染引擎、POI 搜索引擎和时空信息分析引擎。

1.2.1 基于GLSL 的三维渲染引擎

时空大数据三维渲染引擎基于GLSL 语言(OpenGL 着色器编程语言)GPU 编程技术,实现了渲染管线自定义、顶点着色器和片元着色器编程,定制渲染效果。 在不改变原始数据存储结构的前提下,通过多次绘制实现矢量和模型数据的融合表达。

本项目基于Cesium 所内置的Primitive 基类,实现了以Shader 逻辑为核心的GLSL 实时单体化分割渲染机制。 对于数据调度获取到的每块矢量瓦片单元,先以图元为单位拆解出内部包含的几何对象,构建为基础二维几何图元,然后设置三维单体化底面高度属性字段、顶面高度属性字段等必要样式信息,读取图元本身的三维空间坐标,同时结合样式配置,提取必要的图元属性,构建三维几何图元,建立自定义Primitive 绘制对象。 为确保海量数据的渲染效率,对图元进行合并处理,构造GLSL Shader 与JavaScript 的基于图元唯一键的关联关系,支撑对象属性拾取,进行实例着色属性赋值,支撑基于属性的对象单体化着色,基于自定义GLSL Shader 顶点着色器脚本和片元着色器脚本,实现浏览器渲染管线下的动态单体化效果渲染。 渲染流程,如图2 所示。

图2 三维引擎渲染流程

1.2.2 基于Solr 的POI 搜索引擎

Solr 是一个高性能,采用Java 开发,基于Lucene 的全文搜索服务器。 对其进行了扩展,提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文搜索引擎。

为解决传统POI(兴趣点)搜索方式部署复杂、效率不高以及无法智能搜索等问题,本项目将Solr 技术引入地名地址引擎,对POI 搜索进行改造。 基于Solr 技术,仅需对省、市、县后台数据库及POI 源数据进行一次索引创建,之后可以与数据库及源数据文件彻底分离,与底层数据库及数据格式无关,部署方便,实现使用多种数据库创建POI 索引;查询请求直接访问索引库,索引作为一种普通文本文件,其访问效率要高于访问数据库;支持全文检索、智能分词及同源词匹配,按地理位置进行搜索,无需额外编写代码;支持用户输入的模糊性与容错性设置,实现了地名地址信息的精确匹配和模糊匹配。

项目采用Solr 技术进行数据搜索,基本流程为:首先把获取到的原始数据转换成ShapeFile 格式的数据,通过对ShapeFile 文件创建索引,创建完成后可以直接使用索引库,甚至可以不用源数据和数据库,使用客户端请求直接访问搜索中间层,而中间层直接访问Solr索引库。 流程如图3 所示。

图3 Solr 技术搜索流程

1.2.3 基于OGC WPS 的数据分析引擎

OGC WPS 是一种Web 处理服务,用于解决空间信息互操作的空间分析等问题。 Processing 即ArcView 中的GeoProcessing,诸如Union,Intersect 等方法。 WPS 要做的就是暴露基于URL 接口来实现客户端通过WebService 对此类方法的调用和返回数据。

数据分析引擎主要包含知识引擎、知识模型和知识服务池三大模块,知识模型中存储了基于J2EE 或PYTHON 编辑和发布的知识算法,知识服务池基于OGC WPS 服务进行封装,通过BPMN (Business Process Modeling Notation)进行工作流建模,通过Zookeeper 大数据分布式集群基础组件构建知识引擎[3],提供配置维护、域名服务、分布式同步、组服务等功能,不仅保证了系统的稳定性和可用性,还设置了数据存储的冗余机制,利用适合快速访问和读写的数据模型进行数据管理。 项目将知识模型按一定的规则发布为标准的OGC WPS 服务,再通过符合BPMN2.0 规范的流程引擎[4],对服务进行流程定制,实现从知识算法模型到知识服务流程的转变。

时空信息分析引擎针对不同的业务场景,利用流程设计器组合适用的知识模型,形成知识流程,并通过流程引擎按照知识流程,调用知识模型,执行知识链,得到最终运算结果。 时空信息分析引擎架构,如图4所示。

图4 时空信息分析引擎架构

2 时空大数据建设

智慧泰州大数据平台基于一套完整的时空大数据的整合和处理技术流程,汇聚了多个年份的基础时空数据、各类公共专题等数据资源、物联网感知数据和互联网抓取数据。

2.1 时空大数据汇集

智慧泰州时刻大数据汇聚内容包括基础时空数据、公共专题数据、物联网感知数据和互联网在线抓取数据四大类。

2.1.1 基础时空数据

影像数据汇集了电子地图数据、DEM 数据,收集整理了2003—2019 年7 个年度的0.1~0.3 m 分辨率高清航片、2004—2021 年度卫片影像以及1966 年、1976年的历史卫片(共15 个年度,如图5 所示)以及历年的地理国情数据。

图5 历年卫片数据(泰州市政府周边影像)

2.1.2 公共专题时空数据

历史与现状的公共专题数据包括泰州市水利、交通、城管等多个部门的专题数据。 对于部分缺乏空间信息的专题数据,首先需要将这些数据进行空间化处理,然后统一进行规范化处理,统一空间基准为CGCS2000,添加时间戳并入库。

2.1.3 物联网实时感知数据建设

物联网实时感知数据主要包括慧眼守土监测点、城管综合管理视频监控点等摄像头流数据和点位分布数据等。

2.1.4 互联网在线抓取数据建设

互联网在线抓取数据建设主要通过FME 软件集成数据,辅助以Python 二次开发(即FME 中的Python Caller 和Python Creator)。 数据获取包括三个阶段:设计获取规则、规避数据保护和解析地理信息[5]。 设计获取有助于了解网站的架构及确定爬取URL、参数的设置。 规避数据保护旨在研究如何有效地避开不同网站的保护机制。 解析地理信息为后期并行计算、分布式存储提供有力支撑。

2.2 时空大数据处理

项目按照以上数据建设内容,构建时空大数据,主要包括汇聚、空间化处理和管理三大功能,统一汇聚、存储、处理、融合、服务化各类结构化、非结构化信息内容。 时空大数据空间化处理对实时在线、定期在线和离线拷贝的结构化、非结构化的时空大数据,序化前的处理工作包括:统一格式、一致性处理和空间化。 流程如图6 所示。

图6 时空大数据处理流程

2.3 时空大数据挖掘

时空大数据分析挖掘通过调用平台的已有工具,通过基于J2EE 后台自主开发的基于内存计算的开源集群系统Spark 来实现[6],形成REST 服务供Java 服务端调用并提供给客户端,数据源为DataStore,Oracle11g或Geodatabase,利用快速的分布式计算和存储,快速处理带有时间和空间值的矢量或者表格数据的新产品,挖掘数据在时空上的分布特征。

3 时空大数据平台建设

时空信息云平台主要包括云中心(业务流引擎、知识引擎、地名地址引擎、三维场景引擎、云端管理系统、服务引擎、大数据挖掘与可视化系统、云端自主制图系统、按需定制系统、服务资源池)、桌面平台、移动平台建设。

3.1 云中心

3.1.1 服务引擎

服务引擎是指以灵活的方式实现服务彼此通信和转换的连接中枢,帮助用户在线调用服务资源池里的各类服务。 服务引擎的主要功能包括服务地址编目规则、服务地址转换与编目、服务通信和服务围栏等功能。

3.1.2 业务流引擎

业务流引擎是将业务流程中的工作,按照逻辑和规则以恰当的模型进行表示并对其实施计算,实现工作业务的自动化处理。 业务建模管理提供一个可视化的业务流建模管理平台,通过拖拽的方式实现业务流程建模,并支持对所建模型的运行、监控和管理。 业务流程建模构建在时空大数据之上,以时空信息云服务能力为支撑。 其中构建业务工作流所需要的计算资源、存储资源、数据资源、分析模型等都可以从云平台获取,这些资源以原子服务形式存在,可归为两大类:云GIS 基础资源服务和云GIS 功能服务。 云GIS 基础资源服务是指为业务流提供基础计算和存储资源、数据服务资源的服务,云GIS 功能服务是指提供时空信息数据加工、处理、挖掘、分析等GIS 功能的服务。 每个原子服务通过Java 接口遵循统一标准实现。

3.1.3 知识引擎

知识引擎是一个独立的、可扩展的引擎系统,主要负责知识流程流转的驱动,让知识模型在定制的流程结构中以节点和节点组合的方式进行运转并输出结果。 整个知识引擎系统的核心是知识模型,总体可分为三大类:统计分析模型、空间分析模型和面向时空大数据的分析模型。 其中,统计分析模型包括:属性统计模型、时间统计模型、空间统计模型;空间分析模型包括:叠加分析模型、网络分析模型、插值分析模型;面向时空大数据的分析模型包括:时空聚类模型、时空分类模型、时空模式分析模型、时空异常检测模型。

3.1.4 地名地址引擎

地名地址匹配引擎是空间信息与其他信息之间的桥梁,能够实现数据在立方体模型上的精确定位,具体功能主要包括精确匹配不完整地址和不规范地址、精确匹配地址别名、精确匹配地址要素别名、容错匹配功能、非法或超界地址识别功能、可定制功能的开放服务接口、批量匹配等。

3.1.5 三维场景引擎

三维场景引擎利用WebGL 无插件技术,实现海量二三维空间数据从全球到近景尺度的实时可视化功能,并提供二三维数据符号化效果的交互式配置和专题三维地理场景的内容和功能交互式配置功能。 三维场景引擎按照数据在线发布、图层符号化配置、三维场景浏览、专题应用定制等四方面功能建设目标,三维场景引擎细化解耦出数据管理系统、三维场景浏览系统及数据管理服务接口三大子系统。

3.2 桌面平台

桌面平台是依托云中心提供的各类服务和引擎,面向桌面终端设备,运行在内部网、政务外网或互联网上的服务平台。 桌面平台子系统主要包括地名地址服务系统、三维场景展示系统、服务管理中心、云端管理系统、大数据挖掘与可视化系统、云端自主制图系统、按需定制系统等。 系统界面如图7 所示。

图7 智慧泰州时空大数据桌面平台

3.3 移动平台

移动平台是依托云中心提供的服务,以移动应用程序或软件形式部署在移动终端设备,运行在移动网或无线网上的服务平台。

移动平台实现了电子地图基本功能、兴趣点查询、专题图层菜单控制、定位等内容,并进行合理布局。 依托云中心,实现用户注册、认证及登录、图层叠加、查询统计、离线下载、路线查询及规划、兴趣点标注及收藏、空间量测及应用设置等功能。 实现用户分享、数据编辑、分屏对比、资源更新同步、地图打印、地图导航等功能。 系统界面如图8 所示。

图8 智慧泰州时空大数据移动平台

4 结语

智慧泰州时空大数据平台是智慧泰州的时空基础设施,在项目实施中技术难度大、施工周期长,项目组攻坚克难、抢抓时间节点,积累了多项科技创新成果,构建了时空大数据平台,实现链式数据汇集、处理、分析与可视化。 研发了时空知识引擎,实现多平台GIS分析能力互操作与在线组合定制,智能搭建GIS 应用,赋能智慧城市应用,提升行业智能化水平。

智慧泰州时空大数据平台建设试点项目将不断进行持续深入的建设和推广,并总结新形势下开展智慧城市时空大数据平台建设的工作经验、智慧城市时空大数据平台服务于自然资源管理的优秀经验,形成可复制、可推广的“泰州模式”,为泰州的建设、运营、管理与服务提供全市统一的时空信息 “工作底图”。