海上测控任务数据中心一体化管理平台设计*
2016-11-12鲍俊雷张德华段慧芬黄爱军
王 华,鲍俊雷,张德华,段慧芬,黄爱军
海上测控任务数据中心一体化管理平台设计*
王 华**,鲍俊雷,张德华,段慧芬,黄爱军
(中国卫星海上测控部,江苏江阴214431)
根据海上测控任务数据和信息分布的特点,设计了海上测控任务数据中心的一体化管理平台。首先,平台设计采用基于无共享存储的高性能集群模式数据库架构,具备统一的计算与存储系统能力以及良好的动态可扩展性;其次,平台采用层次化设计,包括数据采集与处理、数据存储、数据管理和数据应用4层,实现统一的数据中心管理和应用。根据应用需求,重点设计了航天器遥测故障预警与诊断、测控设备远程监控与故障诊断、外测数据精度分析与数据挖掘等典型数据应用模块,实现数据核心价值。
海上测控;数据中心;一体化管理平台;数据采集;数据存储;数据挖掘;云计算
全球信息化的快速发展开启了大数据分析处理的新时代,根据研究统计,2011年全世界数据较上年增长了40%,未来10年全世界的数据量将是现在的44倍[1]。在大数据时代,用户的信息化管理面临着前所未有的挑战,如何建立智能化的数据平台,在提高数据响应效率的同时把应用做到极致,愈发成为人们关注的焦点[2]。谁拥有对海量数据的占有、分析、处理的主导权,谁就拥有“数据主权”,就能以此为基本参数和清晰坐标进行核心竞争力建设。因此,在航天测控领域,需要适应信息技术向数据技术迈进的大趋势,研究设计功能更加完善、配置更加合理、应用服务更加灵活高效的数据管理系统。
1 需求分析
根据海上测控业务的多样性和复杂性,海上测控数据中心的建设应满足以下需求:
(1)能够满足海上测控各项业务、各类数据的高效存储和管理,具备对各类不同信息的兼容和统一访问能力,同时兼具高效的精确查询和统计查询计算能力;
(2)能够实现对各类数据的分层管理和使用,具备统一的数据中心管理平台和应用平台,能够与单位其他信息系统有良好的兼容能力;
(3)能够实现系统运行态的资源在线平滑扩展,系统扩展不再需要暂停业务,实现硬件资源的即插即用以及软件系统的接入式扩展应用;
(4)能够按照数据的特征进行自动生命周期管理,降低系统运维成本;
(5)基于坚实的数据挖掘理论和丰富的工程化经验,形成大数据挖掘能力,深度探索和发现隐藏在海量数据之中的模式、规律和关系,从低价值密度的数据萃取高价值密度的知识,以指导海上测控任务中各项业务的决策,体现数据的核心价值;
(6)具备良好的容灾能力,具备数据中心自动瞬时故障转移能力,保障数据的安全性。
2 数据中心平台设计
大数据涉及的关键技术主要是海量数据的存储、海量数据的分析与处理和知识挖掘三个方面,海上测控任务数据中心的平台设计也应该围绕这三方面开展研究应用。
随着云计算时代的到来,更高的带宽和更快的速度将使得计算机的大部分任务处理放在云端成为了可能,要达到这一目标,如何存储和访问海量数据是所有云计算提供商所必须解决的问题。从Google、Amazon等先进厂商提出的理念和实践来看,无共享存储集群是解决这一问题的关键技术。在无共享存储架构集群中,每个节点拥有独立的计算和存储能力,数据根据预先设定的分布规则被分散到各个节点中,访问被按照分布交付给对应的节点处理,结果最后合并返回[2]。由于这种架构具有较高的扩展性,可以用较多的普通计算机架设出具有极大存储空间和极强处理能力的数据中心,因此特别适合于作为提供云计算的基础组件。
借鉴这一思想和模式,本文设计了数据中心数据库的集群式架构,如图1所示。数据中心的主节点放置在陆上,部署集群式的服务器阵列,在海上(测量船)则部署集群服务器的终端节点,实现数据的分布存储,定时数据同步和转移。在这类大规模数据库集群中,通常融合了列存储、优化索引、多级容错、大规模并行处理、无共享、线性扩展等技术中的多种技术,实现了其集群系统对PB级以上数据的分析处理能力。
图1 数据中心分布式集群架构Fig.1 Data center distributed cluster structure
数据库集群系统采用基于无共享存储的高性能集群技术,无共享存储集群中的单个节点是一台基本完整的计算机系统,包括自备的CPU、内存、存储设备,各节点之间通过局域网连接,单个节点计算与存储性能均比较有限,然而整个系统的扩展性非常出色,方便增加或删减节点的动态扩展,并获得相应的性能调节,整个系统对外表现为功能强大的统一计算与存储系统。
数据中心平台具备一体化的平台管理,其平台架构设计如图2所示。
图2 数据中心平台架构Fig.2 Data center Platform architecture
数据中心平台架构分为4层:第一层是数据采集层,对数据的采集、数据整合及格式归一化处理,该层是数据的源端;第二层是数据存储层,对各类数据进行分布式集群存储;第三层是数据管理层,对数据采集端及数据库进行可视化管理、数据库状态的实时监控、容灾备份,提供快速、精确的大规模数据查询、存储等服务;第四层是数据应用层,在数据管理平台的基础上,可根据不同的数据特性和用途,实现对数据的统计分析、故障诊断、数据挖掘、数据计算、数据查询浏览等各种应用。
3 大数据的应用设计
数据存储的目的就是为了数据使用,如何使用好各类数据,充分挖掘数据内部的有价值信息,成为了数据应用的关键,为此,重点设计了几种典型的数据应用。
3.1 航天器遥测故障预警与诊断
随着航天器控制精度不断提高,航天器在轨寿命的不断延长,积累了大量的在轨遥测数据,在轨遥测数据反映了卫星在实际空间环境中真实的性能表现。对在轨遥测数据的挖掘和再利用,对于改进航天器设计,进一步提高航天器稳定性和可靠性,延长在轨运行寿命,具有重要的意义。
通过在轨遥测数据的变化来监视在轨卫星的状态,判断和定位卫星的运行异常和故障,是航天器在轨运行管理的核心内容之一。如图3所示,通过历史遥测数据和异常遥测数据的时间、事件、位置、姿态等特征数据,利用数据挖掘分析算法,结合“自回归”和“移动平均自回归”算法对遥测参数进行“时间序列”建模分析,对现有的遥测数据趋势进行曲线拟合和回归分析[3]。对已经确定出现的异常进行分析和定位,通过找出实际曲线与预测曲线残差分析,分析部件或者元器件的实际性能与设计指标偏差;通过预测未来的遥测数据变化趋势,进行卫星的故障预警和应急准备。同时,还能辅助进行事前的在轨故障预警和事后的在轨故障分析诊断,提高在轨监测分析的水平以及卫星在轨管控能力。
图3 航天器遥测故障预警与诊断Fig.3 EarlY Warning and diagnosis for sPacecraft telemetrY
3.2 测控设备远程监控与故障诊断
测量船的测控设备是海上测控的核心,其运行状态直接关系到测控任务的执行情况,因此测控设备运行状态的监控及开展有效的故障诊断是数据中心数据管理的重点。
通过数据中心的测控设备状态监控数据,实时设备状态的远程监控,可以建立设备的运行管理机制,实时掌控设备管理的阶段特征和重点难点[4];统计分析设备的故障高发点和异常高发点;评估设备运行状态和任务状态;进而对设备进行健康管理,提高设备的使用寿命,保持设备良好状态。
其次,根据设备的数据模型及大量的输入输出数据建立对应的故障模型,通过对大量历史信息的数据挖掘,解决偶发的设备故障或异常状况,解决难以准确定位的故障等,为设备故障诊断提供数据决策支持,并开展对设备状态运行趋势预测分析等等,其大致的方法与图3相类似。
3.3 外测数据精度分析与数据挖掘
单站测量体制下跟踪测量数据的残差影响分析是高精度测量数据事后处理的关键技术手段之一。高精度外测数据事后处理结果其作用一是分析和评估飞行器试验是否成功的重要依据,二是改进飞行器控制系统设计、定型,提高制导精度的关键,三是为测控系统总体设计、设备研制、精度鉴定和使用提供反馈信息,改进和提高测控设备的测量精度重要途径。跟踪测量数据的残差影响分析的目的是通过数据处理和误差残差建模,对影响测量数据精度的各类系统误差残差进行修正效果分析、估计,为型号研制部门提供高精度数据处理结果[5-6]。因此,数据中心的核心数据是型号任务中的实时外测数据和设备校飞中的实时外测数据,这些数据是分析评估测量船测量精度及改进测量误差模型的关键信息,应用好这些数据意义很大。
此外,在外测数据的处理中,总存在一些无法识别分析或难以察觉的异常,因此开展对外测数据的数据挖掘,进而从大量外测数据中发现一些不易发现的知识。数据挖掘一般分成4类,即相关和依赖关系的发现、类别的判定、类别的描述及异常数据的发现。特别是对异常数据的分析、与其相关联数据的分析,通过数据的表征信息,对异常信息分类出误差因素测量误差,挖掘出潜在深层有价值的信息,通过数据挖掘数据方法建立挖掘模型,进而修正外测数据事后处理数据模型,解决含有复杂船摇周期影响的测量船动态测量数据的异常检测难题等等。还可以通过相同的型号任务、相似的测量工况及测量设备等多种情况进行数据的关联分析和数据挖掘,分析系统误差源,修正误差模型,提高测量精度。
3.4 航海模拟训练与气象信息数据应用
测量船航海的海域范围广、行程远,特别是某些海域海况复杂,测量海域的气象水文信息资料尤为珍贵,在海上测量任务中,测量海况的好坏对测量精度的影响很大,对测量船航行的安全性也尤为重要,因此,数据中心的气象海域信息是其重要的组成部分。
安全的船舶驾驶是测量船执行测控任务的根基,通过航海测控海域信息的采集包括海况的浪高、浪大,海区的温度、盐度、密度的分布,水团和大洋环流、暗礁的分布状况及测控海域的场景信息等,可以为建立真实的海区航海模拟器提供真实的数据资料库。通过海域信息库,将海域各类数据通过统一的数据接口输入航海模拟训练系统,进行数据驱动模拟出真实的海域场景,通过这种信息化方式,逼真开展航海模拟训练。
与海况信息一样,海域的气象信息同样重要。常见的天气要素包括气温、湿度、气压、风、云、天气现象、能见度等,其与海况信息直接影响测控任务的执行情况,建立丰富齐全的气象信息资料库,可有效指导航线规划及测控任务的风险规避。
另外,测控通信的无线电波是在地球站和通信卫星之间的空间传播,星、站之间的电波传播要穿透包含对流层(包括其中的云层和雨层)、平流层和电离层的大气层,进入外层空间。从电波传播机理和传播损耗来看,300 MHz以下的电波不能穿过电离层,而10 GHz以上的电波受大气层的云、水蒸气及雨的衰减较大[7]。因此,采集建立任务海域实际降雨的气候信息库,建立降雨衰减预测模型,为海上测控应用提供必要的数据资料。
3.5 试验任务质量分析
随着质量管理体系的建立,其信息化系统逐步开始应用,各类试验任务数据会逐步信息化,形成完整的试验任务质量体系管理数据。在质量管理体系中,重要的一个环节是对质量问题进行统计分析,查找质量的原因,进行质量的持续改进。因此,通过对数据中心的质量信息的统计分析和数据挖掘,可以找出试验任务实施过程中的薄弱环节和相关因素,通过纠正措施和应急预案提高试验任务质量等。
4 结束语
本文分析了海上测控任务数据中心的建设需求,根据测量船分布情况、测控数据及相关数据的实际情况,设计了一种适用于海上测控任务数据中心的一体化管理平台。该平台具备强大的统一计算与存储系统能力以及良好的动态可扩展性,能实现统一的数据中心管理和应用。根据数据中心存储的航天器遥测数据、测控设备运行数据、测控任务外测数据、海域数据、气象数据及质量数据等,分析了航天器遥测故障预警与诊断、测控设备远程监控与故障诊断、外测数据精度分析与数据挖掘等多种典型数据应用,实现了数据核心价值。
[1] 俞立平.大数据与大数据经济学[J].中国软科学,2013(7):177-183. YU LiPing.Big data and large data economics[J].China Soft Science,2013(7):177-183.(in Chinese)
[2] 严霄凤,张德馨.大数据研究[J].计算机技术与发展,2013(4):168-172. YAN Xiaofeng,ZHANG Dexin.Big data research[J]. ComPuter TechnologY and DeveloPment,2013(4):168-172.(in Chinese)
[3] 肇刚,李言俊.基于时间序列数据挖掘的航天器故障诊断方法[J].飞行器测控学报,2010,29(3):1-5. ZHAO Gang,LI Yanjun.SPacecraft fault diagnosis method based on time series data mining[J].Journal of SPacecraft TT&C TechnologY,2010,29(3):1-5.(in Chinese)
[4] 袁静.面向设备故障诊断的数据挖掘关键技术研究与实现[D].西安:西安电子科技大学,2006. YUAN Jing.Research and imPlementation on KeY technolo_ gies of data mining oriented to equiPment failure diagnosis [D].Xi′an:Xidian UniversitY,2006.(in Chinese)
[5] 王敏,胡绍林,安振军.外弹道测量数据误差影响分析技术及应用[M].北京:国防工业出版社,2008. WANG Min,HU Shaolin,AN Zhenjun.Ballistic trajectorY error influence analYsis technologY and its aPPlication [M].Beijing:National Defense IndustrY Press,2008.(in Chinese)
[6] 孙卫祥.基于数据挖掘与信息融合的故障诊断方法研究[D].上海:上海交通大学,2006. SUN Weixiang.Research on fault diagnosis method based on data mining and information fusion[D].Shanghai:Shanghai Jiaotong UniversitY,2006.(in Chinese)
[7] 刘涛.Ka波段卫星通信雨衰与抗雨衰问题的研究[D].沈阳:东北大学,2008. LIU Tao.Research on rain attenuation and fade counter_ measures in Ka band satellite communication[D].ShenY_ ang:Northeastern UniversitY,2008.(in Chinese)
王 华(1977—),女,河南人,硕士,高级工程师,主要研究方向为软件系统架构及数据库应用等;
WANG Hua Was born in Henan Province,in 1977.She is noW a senior engineer With the M.S.degree.Her research concerns softWare sYstem architecture and database aPPlications.
Email:WhWindcolor@126.com
鲍俊雷(1978—),男,江苏人,硕士,工程师,主要研究方向为软件系统架构;
BAO Junlei Was born in Jiangsu Province,in 1978.He is noW an engineer With the M.S.degree.His research concerns softWare sYstem architecture.
张德华(1978—),男,江苏人,硕士,工程师,主要研究方向为计算机应用;
ZHANG Dehua Was born in Jiangsu Province,in 1978.He is noW an engineer With the M.S.degree.His research concerns comPuter aPPlication.
段慧芬(1963—),女,吉林人,硕士,高级工程师,主要研究方向为航天测控;
DUAN Huifen Was born in Jilin Province,in 1963.She is noW a senior engineer With the M.S.degree.Her research con_ cerns sPace TT&C technologY.
黄爱军(1982—),男,江苏人,硕士,工程师,主要研究方向为计算机应用。
HUANG Aijun Was born in Jiangsu Province,in 1982.He is noW an engineer With the M.S.degree.His research concerns comPuter aPPlication.
Design of a Data Center Integrated Management Platform for Maritime TT&C Missions
WANG Hua,BAO Junlei,ZHANG Dehua,DUAN Huifen,HUANG Aijun
(China Satellite Maritime Tracking and Control DePartment,JiangYin 214431,China)
According to the characters of maritime task data and information distribution,this PaPer designs a data center integrated management Platform for maritime TT&C missions.BY aPPlYing the high Perform_ ance cluster Pattern database architecture based on shared memorY,the Platform can achieve PoWerful uni_ fied comPuting and storage sYstem caPacitY and good dYnamic scalabilitY.With hierarchical design,inclu_ ding data collection and Processing,data storage,data management and data aPPlication of the four laYers,unified data center management and aPPlication is realized.According to the aPPlication requirements,tYPi_ cal data aPPlication modules are designed to realize the core value of the data,such as the sPacecraft telem_ etrY fault earlY Warning and diagnosis,telemetrY and control equiPment remote monitoring and fault diagno_ sis and tracking accuracY analYsis and data mining.
maritime TT&C;data center;integrated management Platform;data acquisition;data storage;data mining;cloud comPutation
TP392
A
1001-893X(2016)01-0104-05
10.3969/j.issn.1001-893x.2016.01.019
王华,鲍俊雷,张德华,等.海上测控任务数据中心一体化管理平台设计[J].电讯技术,2016,56(1):104-108.[WANG Hua,BAO Junlei,ZHANG Dehua,et al.Design of a data center integrated management Platform for maritime TT&C missions[J].Telecommunication En_ gineering,2016,56(1):104-108.]
2015-04-08;
2015-07-13 Received date:2015-04-08;Revised date:2015-07-13
**通信作者:WhWindcolor@126.com Corresponding author:WhWindcolor@126.com