基于NoSQL技术的卫星配载数据管理系统的研究与设计
2021-01-23刘慧慧
【摘 要】 为了解决传统星载计算机系统对卫星数据储存速度慢、数据备份不足和综合管理能力弱等问题,设计了基于NoSQL处理技术的数据管理系统。系统数据查询模块通过探测帧操作命令,实现了数据的快速检索和快速回传。数据库综合管理模块实现了地对空数据传输、传感器采集模块的数据储存、操作命令的执行和实时通信等。为了加快数据传输,传输层采用UDP协议,详细进行了储存帧、数据检索帧和数据传输帧的设计。通过模拟系统实验测试,证实了该系统能够实现多源数据的快速存取、复杂查询和传输通信等。
【关键词】 卫星配载;传感采集;数据处理;传输通讯
Research and design of satellite stowage data management system based on NoSQL Technology
Liu Huihui
(Zhengzhou University of Industry Technology,Zhengzhou, 451100,China)
Abstract:In order to solve the problems of slow storage speed of satellite data, insufficient data backup and weak comprehensive management ability of traditional onboard computer system, a data management system based on NoSQL processing technology is designed. The data query of the system realizes the fast retrieval and fast return of the data by detecting the frame operation command. The integrated management of database realizes the ground to air data transmission, data storage of sensor acquisition module, execution of operation command and real-time communication. In order to speed up the data transmission, the transport layer adopts UDP protocol, and designs the storage frame, data retrieval frame and data transmission frame in detail. Through the experimental test of the simulation system, it is proved that the system can realize the fast access of multi-source data, complex query and transmission communication.
Keywords:Satellite stowage; sensor acquisition; data processing; transmission and communication
〔中圖分类号〕 TP391.1 〔文献标识码〕 A 〔文章编号〕 1674 - 3229(2021)03- 0000 - 00
随着卫星飞行器技术的快速进步,卫星配载的计算机系统对海量飞行数据储存、快速回放和数据检索的需求迅猛的提升,而传统的数据处理方式难以满足新一代飞行器存储检索的需要[1]。传统卫星数据存储管理通过操控存储介质实现对空间数据的采集、储存、实时处理和数据之间的互相访问,在地面与卫星之间通讯时数据回放过程会产生间断、丢失等问题[2]。
基于卫星配载的多源分布存储与快速检索数据管理系统采用了NoSQL数据处理技术,能够实现分布式数据管理、存储和检索等功能,可以大大提高卫星数据存储、检索和回传的速度和准确性[3-5]。
1 系统总体设计
卫星配载计算机系统多元数据的特点是品类多和形式异同、数据整体管理不易[6]。为了满足卫星数据管理系统的多元融合、存储灵敏和实时检索的需求,设计了全新的高效率数据管理系统框架,如图1所示。
上图中,数据源1、2、3代表的是多源传感设备收集的各类异同数据,包括卫星飞行角度状态、位置信息、速率、温度和科学仪器等。综合管理主要负责地对空数据的外部交互通信和卫星数据的内部交互通信、数据检索、通信接口设计和数据储存管理等。
数据管理功能主要包括数据的查询搜索和快速储存,数据库技术NoSQL能够满足灵活多变、存储逻辑快捷和检索高效的系统需求,分布式框架实现了数据隔离和容易扩展的特征。综合管理模块使用Sqlite技术,提高了卫星配载数据的统一管理与组织。它还实现了地面数据接收系统与卫星之间的实时数据传输对接[7]。
2 数据查询模块设计
2.1 数据查询功能设计
数据查询功能主要通过综合管理的数据查询命令实现传感器采集数据的接收与处理,并根据查询命令在NoSQL数据库中搜索相应数据、传输至地面。系统数据查询模块流程如图2所示。
数据查询功能模块主要包括[8]:(1)数据连接探测,探测命令发出后,完成传感器数据传输通道连接异常检测并进行数据传输通道重启,保障传输信道不会影响数据的采集与接收;(2)控制命令执行,当地对空命令发出后,数据系统做出相应的操作执行;(3)数据检索与查询,实时进行数据的查询、检索与传输;(4)NoSQL数据库,实时完成采集数据的接收与储存。
2.2 数据查询工作流程设计
数据查询的工作流程主要包括[9]:(1)系统初始化,实现数据接收端的侦听;(2)接收到命令后,打开客户端接收状态;(3)根据检索命令,实现卫星温度数据、功率数据和飞行姿态的查询存储,并实现存储数据的封装和传送。数据查询模块的工作流程如图3所示。
3 综合管理模块
数据综合管理模块主要可以实现传感采集数据的存储管理、数据接收和查询检索,并通过内部通信和外部通信实现数据的空对地回传功能,整体设计结构如图4所示。
消息展示模块主要是空中对地面的数据传送与界面显示;数据组织管理主要实现卫星采集数据的储存、分析和查询检索;通信主要实现卫星内部和外部数据传输信道的控制,完成相应操作命令的执行;控制主要实现数据的组织管理、数据传输和数据分析等功能。地对空命令包括了:探测命令、简单查询、复杂查询和数据库操作等。具体如表1所示。
4 分布式通信协议
为了提高数据传输效率,数据管理系统的通信协议使用了基于UDP传输的技术,数据帧范围为1-64bit。帧格式主要设计了三种类型:(1)数据通用格式,主要是1字节的frame type和63字节的数据长度;(2)查询命令格式,主要包括1字节的frame type、1字节的catetyte、22字节的时间戳、24字节的长度检测和18字节的数据校验;(3)储存数据帧格式,1字节的frame type、1字节的date tyte、1字节的dataSIQ和40字节的data。三种帧模式可以满足数据的存储、校验和检索等[10]。通信帧结构设计如图5所示。
5 系统模拟测试
为了验证系统设计的可行性,本文编码实现了原型系统并进行了测试。测试所使用的验证开发板为Power837x,其余测试的软硬件环境如表2所列。
本文用多块开发板模拟多个星载数据源,不同的开发板存储不同类型的星载数据,同时运行各自的数据查询模块,并且用PC模拟星上环境部署综合管理模块与地面中心,完成外部通信链路。PC机与开发板通过交换机用以太网连接,以模拟综合管理模块与星载数据查询模块的分布式内部通信链路。
测试环境搭建中,数据交换設备采用交换机实现有线模式的地对空的网络传输环境业务开发板1/2/3模拟卫星的传感器数据采集,负责模拟实现不同种类数据的感知与采集。数据库技术使用NoSQL实现数据的存储、检索和查询等功能。测试系统环境搭建如图6所示。
测试系统模拟了卫星配载数据储存在NoSQL中,并通过UDP协议传送到开发板中。数据库的上传与下载速率如图7所示。从图中可知,传感器采集数据的数目越多,网络传输效率越低,上传与下载速率维持在1.5M/S。
为了验证系统的速率,测试了在缓存技术与不启动缓存的条件下,100条、500条、1000条、2000条、3000条和4000条数据的传送时间。传送时间如图表2所示,从表中可以看出,缓存机制大大提高了数据传送的效率。
如图8所示,卫星配载数据管理系统的测试运行图,通过系统操作命令的测试,能够准确实现数据的查询、检索和传送。测试结果表明,该系统可以实现卫星配载数据的存储、检索和空对地的传输。
6 结语
传统星载计算机数据处理系统已经不能满足航天器飞行技术的要求,基于卫星配载多源分布存储与检索技术的数据管理系统设计了数据查询、综合管理、分布式通信协议和数据帧等模块,实现了多传感器数据的快速采集、快速检索和地对空快速数据传输等功能。通过模拟系统的实验测试,证实了该系统能够准确实现数据的查询、检索和传送,并可以实现卫星配载数据的存储、检索和空对地的数据传输等功能。
参考文献:
[1] 刘阳娜.基于NoSQL数据库下空间大数据分布式存储策略的分析[J].数字技术与应用. 2018(2):55-57
[2] 郭鹏,廖韬.航天器热试验查询统计系统的设计与实现[J].计算机测量与控制. 2017(11):55-57
[3] 胡剑平,李强.固态记录设备在航天器中的应用及发展趋势[J].遥测遥控. 2017(6):55-57
[4] 杜丽娟.关系型数据库与NoSQL数据库的性能对比[J].智能计算机与应用. 2017(3):55-57
[5] 马文龙.Key-Value型NoSQL本地存储系统研究[J].计算机学报. 2018(8):55-57
[6] 罗平,张彤.基于闪存的星载存储数据管理研究[J].计算机应用研究. 2018(2):55-57
[7] 吴琼.基于闪存的星载高速大容量存储技术研究[J].通讯世界. 2017(4):55-57
[8] 李绍俊,杨海军.基于NoSQL数据库的空间大数据分布式存储策略[J].武汉大学学报(信息科学版). 2017(2):55-57
[9] 宋琪,李姗,朱岩.星载固态存储器数据管理结构的设计[J].电子设计工程. 2016(6):55-57
[10] 星载嵌入式容错文件系统的设计与实现[J].贾露娟,李文新,夏加高,雷志军.计算机技术与发展. 2015(10):55-57
[收稿日期] 2021-04-10
[作者简介] 刘慧慧(1994-),女,硕士研究生。郑州工业应用技术学院信工学院助教,研究方向:嵌入式系统、无线通信/大数据分析数据分析、算法优化。