江北新区感知平台的时空大数据建设

2022-03-04朱媛丽

科技创新与应用 2022年4期

朱媛丽

（江苏北斗卫星应用产业研究院有限公司，江苏南京 210032）

江苏省南京市江北新区感知平台为新区管委会领导及为各级部局、企业和社会公众提供时空信息资源服务，为基于空间的数据分析挖掘和应用奠定平台基础，促进城市规划、建设、管理和服务智慧化的新模式。感知平台集成电子地图数据、多时期影像数据、地名地址及POI等，建设地理实体数据、倾斜航空摄影及三维建模数据，接入物联网时空数据，整合行业专题数据，建设时空大数据库。时空大数据最大集成数字南京地理空间框架建设成果，基于实体模型对时空大数据组织与表达，多方法将地理资源汇聚整合，形成江北新区统一的、权威的时空大数据库。

1 时空大数据建设思路

时空大数据服务建设总体流程划分为数据汇聚、数据处理、数据建库、数据管理和数据共享等环节。

1.1 数据汇聚

对接江北新区大数据管理平台的数据成果，上承接南京市基础地理数据和专题数据建设成果，下接入区级各个部局现有专题数据，同时汇聚新区物联感知信息，整合各类共享的数据资源，汇聚并处理管理时空信息资源，作为政务数据与地理数据融合的基底，形成专题数据成果，并建立长效数据更新维护机制，实现对各类业务专题信息实时、准确地管理与更新。

1.2 数据处理

针对同步过来的多种来源、多种格式的时空信息数据进行统一处理，包括数据空间化、格式转换与标准化、坐标转换、一致性处理、数据重组、数据融合等形成标准化、规范化。

1.3 数据建库

数据质检符合入库规范的数据，按不同数据组织方式进入相应的数据库。

1.4 数据管理

针对数据库中的各类数据进行管理，包括对数据库的数据进行数据源管理、入库更新、数据查询和数据分析等操作。

1.5 数据共享

根据各委办局的空间数据应用需求，采用自选、定制、推送的方式，在统一的数据共享机制约束下对外提供专题数据共享。

2 资源目录梳理

政务地理资源目录梳理主要是研究江北政务空间资源目录体系总体框架，明确与政务信息资源目录体系之间关系、市区两级目录体系关系。政务地理资源目录体系核心元数据，通过资料、网站、业务梳理，形成新区各个政务部门潜在的和已建的政务地理资源，包括资源名称、类别、相关的业务、职能以及主题等信息，对梳理结果进行编目。

江北新区建设静、动态时空大数据，静态时空大数据包括电子地图、影像、地名地址及POI、倾斜摄影数据和行业专题数据等，动态时空大数据包括传感设备位置数据、实时位置及实时感知数据等。本着集约化建设原则，充分利用南京市已有数据资源，并新增、采集部分数据，如倾斜摄影数据、部门专题数据等，直接利用的数据主要来源于数字南京地理空间框架、江北新区各部局数据。

2.1 基础地理数据

电子地图数据、影像数据是“智慧城市”地理信息共享服务平台重要基础数据，数据覆盖整个江北新区范围，与南京市规划局进行对接，基于数字南京地理空间框架获取最新电子地图数据服务。地名地址数据库是时空大数据的重要组成部分，与南京市规划局、南京市信息中心、江北新区公安分局进行对接，获取其地名地址数据并进行整合，通过对地名地址信息进行规范化、标准化处理，建立地名地址与空间坐标之间相互对应关系，形成江北新区权威的、统一的地名地址数据库。POI数据与南京市规划局进行对接，通过数字南京地理空间框架获取江北新区POI数据服务，并由数字南京地理空间框架进行数据服务更新。地理实体数据以江北新区化工园区、生物医药谷、软件园为试点，生产地理实体数据，包括小区楼栋、工厂、学校、医院等重要构筑物。倾斜航空摄影模型数据采用倾斜航空摄影技术获取生物医药谷、软件园等的0.05 m分辨率的倾斜影像，并基于倾斜影像建立3D模型，以满足园区管理的需要。

2.2 行业专题数据

时空大数据应该是智慧城市的时空基准，能够让各个部门将自己的空间数据或非空间数据落到统一的时空大数据中，并且可以叠加或融合其他部门的数据进行协同分析。本项目与江北新区城市大数据管理平台及各部局进行对接，获取行业专题数据，并对数据进行清洗、转换、时空化改造等，形成江北新区统一的空间专题图层，提升基于地理位置的综合信息服务能力。人口库所有权归原拥有者；人口数据经过空间化之后，将具有明确、唯一的空间信息，时空大数据服务仅仅是关联和对其进行空间化，不对其数据库内容和库体做实质性改变，只是建立时空数据与其关联关系。关联人口信息，在时空大数据库中实现数据融合。本项目的人口基础属性数据以大数据管理中心的人口库为准。法人单位库所有权归原拥有者；法人数据处理与人口数据处理方法相同，时空大数据服务关联法人单位基础数据，建设统一的法人数据空间基础。通过地名地址匹配形成法人地理分布信息。除基础地理信息类、人口类、法人类数据、及强GIS部门的规划类和国土类数据外，其他中等强度和弱GIS部门可共享的业务类空间数据，也是空间数据中心需要汇聚的重要数据资源。数据处理主要通过地理数据对各项专题数据进行空间化处理，并添加时间信息，同时对属性进行清洗与梳理，最终达到接入、融合的目标。

2.3 智能感知数据

江北新区感知平台接入各类具备开放和共享条件的智慧城市物联网节点位置数据，为智慧江北传感信息深度共享提供支撑，包括智慧工地传感器位置数据、防汛传感器位置数据以及空气监测传感器、水质监测传感器等环保监测传感器的位置数据等。平台接入渣土车的实时位置数据，为渣土车的管理提供时空位置服务。平台以江北新区大数据管理中心的公共安全视频监控联网平台项目建设为契机，接入智慧江北各类视频监测点的位置数据。

3 时空大数据汇聚

时空大数据汇聚是所有数据进入时空大数据库的入口，也是更新的入口，提供在线接入和离线拷贝2种方式。在线接入主要针对的是实时位置与实时感知数据、各类行业专题数据等，对于涉密数据等，均采用定期离线拷贝的方式进行汇入。

3.1 离线拷贝方式

网络条件限制或涉密条件下，感知平台提供离线数据交换共享。业务用户可以通过离线拷贝方式提交数据文件至大数据汇聚区（限制网络或涉密网），经整理后转换为时空信息成果数据或服务，更新之后，原有静态地理数据作为历史数据进行保存。

3.2 在线接入方式

在线接入包括接口对接和数据融合汇聚两种方式，具体如下：

（1）接口对接。在具备网络连接的条件下，提供以数据接口对接的方式进行在线数据接入。

（2）融合汇聚。通过与外部业务系统、互联网网站、物联网系统等进行对接，从中抽取适当的数据，并清洗、转换、空间化加载到时空大数据库。数据融合汇聚过程如图1所示，该过程通过“时空大数据融合系统”来实现。

基于以上的时空大数据汇聚方式，灵活可配数据清洗转换，跨业务系统，跨异构数据源的数据汇集及转换。汇聚数据经过初步处理后，将在汇聚库中存储。

4 时空大数据库建设

4.1 统一时空基准

时间基准。时空大数据的时态概念涉及事务时间和有效时间，在时空大数据整理入库过程中，电子地图、地名地址数据、地理实体数据同时记录事务时间和有效时间，其他数据根据情况，至少记录事务时间。时间基准为公历纪元（日期）和北京时间（日期）。

空间基准。江北新区感知平台统一采用CGCS2000坐标系，为城市建设提供坐标系统及高精度的定位服务。

4.2 数据存储

江北新区时空大数据既有结构化数据，也有非结构化数据。结构化数据主要包括地名地址数据、地理实体数据、行业专题数据等，以“空间数据引擎+关系型数据库”的方式进行存储，其中地名地址类数据（地理编码）存储需要严格依据标准，对数据的组织，按行政区域地名、街巷（道路）名、门牌号、小区名、标志物名、兴趣点名和门（楼）址等进行存储。非结构化数据主要包括电子地图、影像、三维模型数据等，主要以集中存储NAS或分布式文件存储HDFS进行储存。各数据录入时都要录入元数据信息，以提高查询检索效率，元数据统一存储在关系型数据库中。

4.3 数据入库

平台数据流经时空大数据汇聚区、处理区、管理区，形成成果数据，再经服务化转变为江北新区感知平台开发项目上的服务资源，面向最终业务用户提供调用。数据汇聚、入库的整体流程如图1所示。

图1 数据汇聚、整理入库的整体业务流程

对离线拷贝、在线接入的各类数据，经过抽取、清洗后形成中间成果数据存储于汇聚库，根据时空大数据模型进行分层处理，对于没有空间坐标的进行空间化处理，然后经过数据处理、数据质检、数据入库，进入时空大数据库中。数据入库同时，对元数据进行同步入库操作。经过感知平台服务化，转换为平台上的各类GIS服务。

4.4 数据更新

为保障时空大数据现势性，建立了时空大数据更新机制和操作规范，保障时空大数据持续更新。本项目支持全区数据更新，实现电子地图、地理实体、地名地址及行业专题数据的更新。数据更新后，原数据就转为相应历史数据。

电子地图及影像数据更新与数字南京地理空间框架进行对接，及时获取其最新的电子地图及影像数据服务，采用“文件+数据库”的存储和管理方式，存储在文件中，元数据存储在数据库中。更新时以图幅为单元，地图进入文件存储，元数据更新进数据库，自动实现元数据、地图数据的同步。地名地址及POI数据更新与数字南京地理空间框架进行对接，及时获取其最新的地名地址数据及POI数据服务，为江北新区地名地址及POI数据的准确性和现势性提供保障。与互联网公司（高德地图、百度地图等）数据合作，进一步丰富地名地址数据及POI数据，以丰富新区范围内地图引用展示。地理实体数据更新主要实现实体数据的图形、属性的更新，可以按范围、按图层提取更新包。其中，按照要素图层导出更新包，系统仅对变化要素记录变更信息，更新三域标识；按照图幅范围或自定义范围导出更新包，系统对范围内各图层所有要素记录变更信息，更新三域标识。行业专题数据更新与各部门签订共享协议，双方协定传入数据的种类、类别、数量、传输方式以及更新频率，并在平台中设置提示，如果部门超时未更新专题数据发送超时报警，通知相关部局，具体更新频率，以各部门协议为准。行业专题数据通过数据融合系统，设定更新频率，定期从各部局的业务系统中抽取、融合政务专题数据，转换为空间专题数据，接入江北新区时空大数据库，实现要素级更新，更新三域标识。