大数据平台在航天领域中的应用

2013-09-04莱诺斯科技北京有限公司

数字通信世界 2013年12期

莱诺斯科技（北京）有限公司张力

一、引言

通过近年来国家持续投入，航天人的不断努力，中国航天事业取得了长足进步。而在新的时代，航天也面临着一些新的转变，首先是由科研向应用转变，其次，由单产向批量转变。这些转变意味着航天任务将附加更多的职能，产品研制的压力持续增加，如何通过信息科技手段来解决这些问题，也成为航天界迫切需要解决的课题。而如何管好、利用好航天器的工程数据，则是这些问题中的重中之重。莱诺斯科技公司依托多年的航天行业经验，自主研发了大数据平台，并成功地应用于航天领域，为中国航天事业的高速发展提供助力。

二、航天领域中的数据管理问题

现在航天设备的研制一方面面临着批量化的挑战，另一方面，面临着企业化运营的压力，这意味着航天企业需要花更少的时间，更少的资源去完成更多的航天器的研制任务，为了达到这个目标，航天企业面临着管理精细化及生产现代化的变革。同样，现在的航天设备由原有的试验性质向商用转变，其搭载的有效载荷应用也越来越多，功能越来越强，这些都意味着海量的数据将在企业日常生产与运营过程中产生和应用，这些使航天企业对海量数据管理提出了需求：

1. 海量数据集中存取

随着航天企业的管理越来越精细，对质量控制越来越严格，对外协作越来越密切，使得航天企业内部系统自身产生的信息如：文档、报表、图像、测试数据、在轨数据等增长的越来越快。据统计，一个单机产品结束时，往往能产生上GB（109）的文档及上TB（1012）的测试数据。而在轨数据将随着航天设备的运行更为庞大，这些数据日常就分散在各个研发人员和技术负责人电脑的硬盘里。一方面，平时查找非常不方便，设计人员大量的时间浪费在资料收集上；另一方面，一旦相关人员出现变动或设备出现故障，这些数据就会丢失，给企业带来损失。因此，如何能把这些数据集中存储、统一管理起来，一直是航天企业数据管理迫切需要解决的问题。

2. 高性能并行计算

很久以前，航天系统就有过建设仿真、比对分析、故障诊断及专家系统的想法，也尝试过建设过一些类似的系统，但这些信息系统的应用一直没有大规模推广，且应用并不是很理想。从技术上讲，大部分瓶颈在于这些系统没有足够的计算能力，处理海量数据困难，因此，要把这些庞大的工程数据利用起来，为分析仿真系统提供高性能并行计算是必要的基础能力。

3. 便捷历史数据追溯查询

航天设备在研制过程中，产生的工程数据具有数据量大、数据类型复杂多样及关联性强的特点，如何在这些数据之间建立连接，为用户提供一个便捷的数据浏览界面是航天数据管理成败的关键。利用对全部历史数据的自由追溯查询能力，质量过程控制的力度可大幅度提升，同型号自初样起各单件数据、不同型号不同阶段间所有数据内容均可横纵比对，成为追溯数据以提升型号质量的利器。

4. 高效统一的数据分析

在当前情况下，一方面，由于计算能力不足，很难对大数据量及复杂的算法进行处理分析，另一方面，各设计师每一次分析过程都是一次思考的过程，而这个思考过程没有任何记录，一旦下一名设计师遇到同样的问题，还需要从头进行尝试，极大地浪费了设计师的精力，因此，迫切需要建设一个高效统一的数据分析平台，以提升企业的知识积累，加速企业的知识传播。

5. 安全的数据架构

航天设备的数据非常重要，如何让这些数据安全也是航天数据管理的一个难题，一方面，大量数据如何安全的存储，如何实现远程的备份与容灾，以保证其物理安全，另一方面，如何控制数据的密级，防止数据泄密，以保证数据传播安全，是工程数据管理的难题之一。

三、航天进入大数据时代

1. 大数据平台的解决方案

从技术架构上来看，莱诺斯科技的大数据平台由三大部分组成，即一个综合，两个基础。两个基础是数据存储中心和并行计算平台，一个综合是工程数据管理平台。数据存储中心主要解决海量数据的存储的问题；并行计算主要解决大数据量的复杂计算问题；工程数据管理平台主要解决数据的转移、浏览、查询、分析等数据管理及可视化的问题。如图1所示，数据存储中心与并行计算平台是工程数据管理平台的基础，只有具备这两个基础能力，工程数据管理平台才能为客户提供多样的数据管理方式，提供高性能的分析手段。

图1 大数据平台架构图

整个平台由数据存储设备及功能性设备组成，功能设备主要完成数据管理的相关职能如监控设备、查询设备及分析设备，存储设备用于线性扩展系统的存储容量，见图2。

图2 大数据平台功能设备

2. 航天工程大数据平台的数据管理

（1）基础能力

对于传统的存储技术，SAN（SAN网络存储是一种高速网络或子网络，SAN存储系统提供在计算机与存储系统之间的数据传输。）架构因扩展性有限、跨平台数据共享困难、管理复杂等问题，不能很好的满足非结构化数据的存储需求。传统NAS（NAS是一种采用直接与网络介质相连的特殊设备实现数据存储的机制。）架构和设备由于协议开销大、带宽小、延迟高、可扩展性差等原因，不利于海量数据的并发访问。因此，莱诺斯科技的大数据平台采用并行数据存储系统，这些并行存储系统具有高性能、高扩展性，高可用性等特点，使得建立一个集中统一存储的数据中心具备可能。

（2）实时数据查询、分析、诊断

对于传统的航天设备地面试验，一般情况，每一个测试终端均是一台单独的计算机，对实时数据进行显示与分析，这样，由于内存及CPU的限制，能处理的数据量相当有限，远远不能满足设计人员的需要；而且实时数据查询也会被限制在一个很短的时间范围内，要做大数据量的查询、分析诊断的话，终端机器与服务器的资源会明显不足。莱诺斯科技的大数据平台提供并行计算平台，能高效地对大数据量的试验数据进行处理。同时，每一次的分析过程也可以统一存储在数据平台中。

（3）历史数据的追溯

莱诺斯科技的大数据平台是一个统一的数据中心，通过型号、设备、任务等将研制过程当中的工程数据组织到了一起。用户可以对历史任务的工程数据进行查询浏览回放，甚至，对于历史的分析过程都可以进行回放，以避免不同设计人员针对相同问题进行重复分析，节约系统资源与设计人员的精力。

（4）故障诊断、系统仿真与健康预测

航天器的故障诊断、系统仿真与健康预测是一个复杂的过程，牵涉到大量的试验数据、在轨数据与复杂的计算模型，通过莱诺斯科技的大数据平台，为实现这些工作提供了基础能力。

四、航天领域中的应用

大数据平台的主要任务是将航天器在空间和地面的测试数据进行统一管理，同时也可将航天器的在轨数据进行集中管理和监控。数据中心由数据中心机房及监控室构成：机房安装存储服务器、数据分析服务器、配套网络路由交换设备、空调防火防静电环境；监控室提供监控工作站及投影大屏。数据中心机房配备50TB的初始容量的存储服务机柜、配套的数据服务器，并预留足够未来扩充数据管理能力的机柜空间。数据中心的基础环境构成见图3。