山东省遥感影像数据的高效归档与管理

文·韩娟 戚文来 张鹏

遥感影像档案数据量大、覆盖面宽、应用范围广，是国民经济和社会发展不可或缺的基础性、战略性信息资源，其服务范围涉及与地理信息有关的国民经济和社会发展的各个领域和各个行业。山东省国土测绘院承担全省自然资源卫星、航空遥感数据获取及处理工作，同时负责全省测绘成果和档案资料管理工作。“十三五”期间，山东省陆域范围及近海岛屿每年获取 1 期优于 0.5 米分辨率遥感影像，数据源以航空影像为主，航天影像作为补充。随着航空航天技术的不断发展，遥感影像数据类型越来越多，分辨率越来越高，数据量增长迅速，对遥感影像数据安全高效归档管理的需求也越来越大。

面对数据量大、更新频率高、结构化与非结构化数据并存的海量多源遥感影像数据，传统人工归档管理的方式效率低、易出错、耗费人力物力，不利于数据的存档、分发与应用，没有充分发挥遥感影像数据的效益[1]。为了实现海量多源异构遥感影像数据的安全高效归档与管理，山东省国土测绘院研发了山东省遥感影像数据管理系统。

一、数据归档与管理设计

（一）总体设计思路

系统设计依据《信息化测绘体系建设技术大纲》和《测绘地理信息业务档案管理规定》等国家相关规范和技术标准，充分考虑影像数据与产品成果归档管理的需求和开展其他业务的需要，在对各种航空航天遥感影像数据进行统一分析设计的基础上，研发山东省遥感影像数据管理系统，完成各类数据的建库归档工作[2]。

（二）数据处理归档与管理流程

数据归档入库前，首先由数据整合模块对航空航天遥感影像数据产品成果数据进行标准化整合，根据所归属的数据类别，进行元数据和辅助信息的提取。然后，根据数据类别的不同，设计不同的数据库表格，确保能够完整有效地提取录入每一类数据的元数据和辅助信息。最后，在对数据格式及完整性检查后，将符合条件的遥感影像数据进行归档入库，对信息缺失的遥感影像数据进行标记，方便后期对数据进行核查。数据入库后，根据分类，开展归档目录数据创建、元数据注册和数据体注入等流程，完成数据归档工作。归档数据实行在线备份存储，由数据库存储和文件存储两种方式相结合，各业务系统通过查询检索接口进行数据查询、数据检索和数据提取，不同的业务用户有不同的权限。

数据归档与管理流程图

（三）数据归档系统设计

数据归档系统设计的主要目标，是实现航空航天遥感影像数据归档与产品成果综合管理。整个数据归档系统包括数据归档子系统、数据检索子系统、系统管理子系统、统计分析子系统、数据整合子系统。其中数据归档子系统细分为元数据、数据完整性检验、数据归档、归档监控四个模块。元数据采集模块设置影像元数据采集、产品属性信息提取功能。由于数据多来源、多标准、多格式，需要进行数据的统一规范存储，设计采用基于建模技术的数据管理技术，实现多元异构数据管理。数据完整性检验模块配置检验规则设置数据管理、数据自动检验、人机交互检验、检验报告输出功能。数据归档模块软件设置自动归档、人机交互归档、接口归档功能。归档监控模块软件设置归档状态监控、异常数据处理、迁移状态监控功能。通过四大模块有机结合，完成数据归档。其它子系统共同配合，实现数据的安全高效归档与管理。

（四）数据归档指标

系统在万兆光纤网络环境、存储 IO满足情况下，10 台计算节点组成归档集群，具备每天 10TB 级数据归档时间优于 2 小时，单节点 1GB 数据归档平均时间低于8 秒，支持包括资源三号系列卫星、高分系列卫星等非涉密航天卫星遥感影像以及省内ADS系列航摄仪、UC系列航摄仪、SWDC系列航摄仪、DMC系列航摄仪等航空遥感影像和各类成果等数据产品的数据归档、管理数据类型，数据归档完整性达到 100%，以插件方式支持未来后续航空航天遥感影像数据及其他成果数据。

二、数据归档与管理关键技术

（一）多元异构数据管理

该系统对多来源、多标准、多格式的航空航天遥感影像数据，采用基于建模技术的数据管理技术，进行数据的统一规范归档存储。以统一的数据库管理基础平台作为基础，利用编目和元数据结合的方式管理资料，以空间数据集方式管理空间数据，构建出符合各自特征的资源库，两者的资源编目都注册到资源目录管理系统，以支持资源信息的发布和共享。

（二）海量数据快速自动归档入库

对于海量遥感影像数据归档、数据统计等任务，现有的传统的单机处理模式已经无法满足数据及时归档、高效统计的需求，新建的系统采用基于自主的并行计算框架进行实现，系统的并行处理能力与性能主要受制于并行任务处理节点的个数、网络吞吐量和盘阵 IO 的性能，并行调度框架支持并行资源调度、并行任务分配以及并行计算的执行，基于此框架研制数据归档系统，实现数据归档、数据检索和数据统计业务的多机、多进程并行执行。在执行任务时，将数据归档、数据检索和数据统计任务分解成若干个子任务，并将这些子任务分配给相应的执行节点执行，各节点执行完毕后，将执行结果汇总返回。通过将串行的流程并行分配执行，从而提高数据归档效率、加快数据查询速度、缩短数据统计时间[3]。

（三）数据快速查询检索

系统将需要查询的空间信息和元数据信息均采用分区表的方式存储于数据库中。对于包含空间信息的数据，系统采用空间数据集的方式进行管理，并且通过空间数据引擎建立索引。对于元数据信息采用数据库分区表进行管理，并建立数据库索引。在进行数据检索操作时，系统会基于不同的查询条件采用不同的索引进行检索操作。在进行数据查询时，系统综合运用多线程查询机制、分页查询机制、实时动态查询机制、索引管理机制，提高查询效率，提升用户体验[4]。

三、应用探讨

该系统建成后，实现了多源遥感影像数据归档、数据统计等业务的自动化运行，实现数据查询、数据下载、数据分发等业务的网络化运行，实现数据快速处理、数据成果发布等工作流程的业务化运行，有效整合了遥感数据资源，提高了遥感影像归档、管理以及服务水平，为山东省新型基础测绘、地理省情监测和应急测绘等提供了数据保障。根据《山东省“十四五”基础测绘规划》，“十四五”期间，山东省拟开展遥感影像获取工程和实景三维山东建设工程，拟分年度获取1米间隔机载激光雷达点云数据，实现全省陆域覆盖1次，并根据需要获取全省县级以上城市建成区约1.5万平方千米优于0.05米倾斜航空遥感影像，山东省遥感影像系统的建立将为“十四五”基础测绘任务所形成的的遥感影像数据成果归档管理提供更加规范更加高效更加优质的服务。