省级卫星中心遥感数据管理服务平台建设实践
2022-07-04周长雯祁信舒
周长雯,闵 天,祁信舒,张 霞
(1. 湖北省航测遥感院,湖北 武汉 430074;2. 湖北省测绘工程院,湖北 武汉 430074)
随着我国“高分辨对地观测”重大专项和“空间基础设施”的实施,遥感对地观测获取能力逐步提升,推送的卫星对地观测数据量呈较大的增长趋势。卫星数量、种类的增加,数据分辨率、质量的提高,数据量也随之飞跃式增长,如何进行海量数据的管理,是省卫星中心建设的重要组成部分[1-2]。构建面向地区应用需求的专业遥感数据管理服务平台,实现省级卫星中心对海量遥感数据的高效管理,逐步推进遥感数据向市、县的贯通、共享,加快遥感数据的应用推广是目前各省级中心的工作重点。在此背景下,湖北省卫星中心建设了遥感数据综合管理服务平台。
1 平台总体设计
遥感数据管理服务平台分为数据入库管理系统和数据推送服务系统2 个系统:①数据管理系统采用c/s(client/server)客户端/服务器架构布设,系统为两层架构,第一层是在客户机上布设数据入库管理系统;第二层是数据库服务器上建立PostgreSQL 数据库。客户机和数据库直接相连,这2个组成部分都承担着重要的角色。PostgreSQL 数据库以数据表的形式对遥感数据的空间位置、元数据、数据实体及各数据表的关系等信息进行管理,方便数据的归档、查询、浏览、调用[3]。②数据推送服务系统采用B/S(browser/server)浏览器/服务器架构布设系统,系统采用三层结构,即利用Web服务器联通客户端浏览器和数据库服务器,浏览器和数据库服务器采用多对多的方式连接,实现强大的遥感数据信息共享。系统依托C/S 端建立的关系数据库,为客户端用户提供按空间位置、按条件等多种形式的查询服务,统计服务,生产管理服务,数据推送服务等多项共享服务。总体架构见图1。
图1 遥感数据综合管理服务平台总体架构图
2 数据管理系统C/S端
数据管理系统管理的数据涉及中心接收的1A 级原始卫星影像数据;经卫星中心处理后的成果影像数据;高精度航空影像数据;LiDAR点云数据以及数字高程模型数据等多种类型的海量数据,数据涉及Erdasimg、GeoTIFF或Pix等多种格式。
数据管理系统采用C/S 架构,将多源异构数据按照统一的标准规范进行集成并录入到综合数据库中,数据库采用混合存储架构,即PostgreSQL 关系数据库+在线共享存储的形式对数据进行管理,PostgreSQL数据库中以表的形式存储数据的元数据及空间信息,数据实体文件存储采用在线共享存储方式进行管理。
2.1 空间位置管理
遥感影像综合管理系统综合数据库体系使用WGS84作为基准坐标系,其他坐标系统通过坐标或投影转换统一到WGS84坐标显示和处理。
在数据入库过程中,空间信息使用PostgreSQL 中PostGIS 空间数据引擎管理,PostGIS 作为PostgreSQL数据库的空间扩展,完全支持OpenGIS规范的空间数据存储结构,提供了对空间数据管理的支持。
2.2 元数据管理
元数据是需管理数据的“名片”,记录了数据的格式、精度、生产时间、时相等重要的属性信息。数据管理系统综合数据库中涉及的每种数据,定义其元数据项,在数据库中对应不同的元数据表,对数据属性进行管理。采用UML语言在PostgreSQL数据库中实现所有对象元数据表的映射和持久化管理。
2.3 实体数据管理
实体数据采用在线共享存储的形式对数据实体进行管理,入库时在PostgreSQL 数据库中以数据表的形式存储数据的路径,记录数据的在服务器中的存储位置。数据调用时,依据数据表中记录的数据“地址”调用数据实体。
3 数据推送服务系统B/S端
B/S 端面向用户提供服务,利用网络Web 服务器连通数据库服务器与客户计算机,并通过部署浏览器连接数据服务系统“遥感数据推送服务系统”。该系统为用户提供遥感数据的快速检索、查询、分析、统计及数据推送服务。
3.1 数据目录管理
通过入库管理系统将海量数据入库后,需要有一个合理的逻辑轴线管理数据,数据才不会庞杂无序。针对不同类型的数据,平台设计了不同的目录节点对数据进行展示,数据目录节点设计见表1。
表1 数据目录管理设计表
3.2 数据查询统计服务
B/S 端挂接PostgreSQL 关系数据库,通过客户端连接服务器的IP地址及端口,通过“遥感数据推送服务系统”为用户提供已入库数据的浏览、查询、统计服务。用户可按省域行政区划(最小行政区可到县区级)查询数据,也可按手绘多边形、拉框矩形、标准图幅号、导入SHP文件等多种方式定位需查询区域的空间位置,查询该空间位置所覆盖的遥感数据。同时,还可按条件查询数据,在条件对话框中给定云量、获取时间等感兴趣信息,对数据进行条件检索。
3.3 数据推送服务
省级中心节点接收到的数据,对经审批取得数据使用权限的客户,实行数据的主动推送服务。数据推送分自动推送和半自动推送2 种模式,通过待推送数据与客户矢量范围的自动匹配,生成对应矢量范围内的分发数据列表,自动推送模式下数据按设定的扫瞄时间自动定时分发,半自动推送模式下管理员对分发列表进行确认,对分发列表内的数据进行勾选或去勾选操作,对数据确认后执行推送任务,数据分发总体架构见图2。用户安装用于数据接收的客户端工具软件,通过账号、密码登陆后,接收数据并查看数据下载状态,历史下载记录、设置下载路径等。
图2 数据分发架构图
3.4 用户账户管理
B/S 端设置用户管理子系统,可增加、删减用户,并设置各用户不同的权限。用户账户管理的信息记录在PostgreSQL 数据库中的用户表、用户角色关联表、功能角色表中。
“用户表”管理ID、密码、部门等信息,通过添加角色获得权限,用户角色关联表用来存储用户和角色关联信息。“功能角色表”用来存储功能角色信息,功能角色表通过配置功能关联“功能权限表”,角色和功能权限关联信息存储在角色关联权限表中。
4 遥感数据管理服务平台建设实践及思考
4.1 建设实践
湖北省卫星中心遥感数据管理服务平台针对海量影像数据资源为基础,建设了一个具有高性能管理与查询、共享与服务的遥感数据管理平台。平台于2019年开始建设,前期进行了数据管理系统的建设,系统搭建了一个多源、多时相、多分辨率的全省统一的遥感数据库;数据库搭建成功后,着手建设了数据服务系统,为遥感影像用户提供数据查询、分析、统计、分发等共享服务。
卫星中心节点全年无休接收部中心推送的影像,平台每景数据入库含数据解压、读取元数据项、数据迁移等,时间约为100 s左右,能完全满足省级中心节点对接收数据的管理需求。同时,平台已管理了自2015年始的成果影像,数据量近70 TB;管理了约40万张航空遥感影像数据,数据量约60 TB;平台按2 m格网、5 m格网、10 m格网精度管理了全省的DEM数据,按长江流域、汉江流域等摄区管理了LiDAR数据。
为方便遥感影像用户使用数据共享服务,平台建成后24 h在线运行,支持多用户在线并发使用,平台用户只需登录账号,在B/S 端可多用户同时调用数据库,查询数据。平台的数据推送服务,采用按设定空间位置自动计算出符合条件的数据推送,节省了人工分析数据的环节,省去了常规数据发送用光盘、机械硬盘等载体拷贝的步骤,直接在作业单位的内部局域网发送数据,减少了人工工作量,提高了生产效率,节省了数据在途的时间。平台通过对用户账户的权限管理建立了数据管理的安全保障,提供了资源、数据、服务的有效共享。
平台的建立为地理国情监测[4]、省级耕地非农化、自然资源资产审计、基于遥感大数据的湖北省复工复产进程监测[5]等项目的开展提供了遥感影像的快速查询、分析、发送等基础数据保障。平台的运行,满足了省级卫星中心对数据信息化管理的需求,为提升省级卫星中心遥感信息共享服务能力和水平发挥了重要作用。
4.2 建设思考
遥感数据管理服务平台在湖北省卫星应用技术中心的建设实践经验,印证了利用数据库技术管理海量空间数据,用B/S 架构实现数据共享服务在省级卫星中心数据管理中的优势。实现了遥感数据管理和智能化共享服务,进一步提升了政府部门在资源利用、环境管理等方面的能力和水平[6]。根据我国空天技术中长期规划,未来10 a,我国将继续研制、发射多颗遥感卫星,形成高、中、低分辨率并举,光学和微波相结合的对地观测数据体系[7]。随着国产卫星数据家族的不断壮大,未来遥感数据需提供面向政府和公众的PB级数据存储和共享能力[8],这对遥感数据管理服务平台的建设提出了更高、更迫切的要求。
在后续的建设中还应考虑以下方面的问题:
1)数据开放共享机制的形成与实现。基于遥感数据进行自然资源监测,为政府精细化管理的需求提供了技术支撑,为各级自然资源管理部门提供了高效、精准的管理与监督手段。实现信息资源共享,才能消除数据和信息孤岛现象,提高信息获取的准确性和时效性。现有系统因考虑数据保密管理问题布设在涉密局域网上,远远不能满足卫星中心贯通到市、县(区)的服务需求,遥感数据保密管理制约着数据的使用推广。如何在现有条件下加快数据的共享使用,是平台建设需要思考的问题。
2)多源数据的整合与高效应用。按照自然资源部对省级卫星中心的定位和我省卫星应用需求,充分发挥卫星应用技术在自然资源调查监测、生态环境可持续发展等主体业务中的支撑作用,增强地方政府自然资源管理决策支持服务能力,扩大遥感技术的应用领域及项目成果的应用深度,不断加强卫星数据深加工和数据处理能力。省级卫星中心承担着成果影像数据生产的任务,经卫星中心节点接收的1A级原始影像数据,经过辐射校正、几何校正和几何精校正,同时采用数字高程模型(DEM)纠正地势起伏造成的视差后得到4级成果影像数据。卫星中心平台同时管理着这2种数据,2种数据有着基本一致的空间位置,相同的时相、分辨率等信息,而且影像的数据量也是以倍数增长。如何将2种数据的相同信息整合,减少数据冗余入库,减少数据入库工作量,减少存储空间,提高数据查询效率,是今后平台建设需要关注的问题。