基于云的装备试验数据中心架构设计
2019-06-18谭顺成
李 一,冯 楠,谭顺成
(1.92493部队;2.92941部队,辽宁葫芦岛,125000;3.海军航空大学,山东烟台264000)
信息技术的飞速发展,推动社会各领域信息化建设加速发展。“大数据”时代的到来,使数据资源的建设利用,呈现出前所未有的“倍增器”作用[1]。近年来,军队信息化建设加速发展,各类信息系统陆续投入使用,网络运行基础条件显著提升,有力推动了基于信息系统的体系作战能力建设,但也呈现出对数据资源建设的紧迫要求[2]。在全军信息化建设的大背景下,武器装备试验机构(以下简称试验机构)由于所承担的装备试验鉴定职能对数据要求的特殊性,更加凸显了数据资源建设、共享、管理与大数据产品开发的重要性。
长期以来,受到型号、任务划分等因素的制约,试验机构的试验资源一般由各分试验机构独立建设、自成体系,存在着信息交互能力不强,资源的重用、重组能力不强,系统集成度不够等问题。数据中心建设是武器装备信息化建设的基础工程[3],是武器装备信息化建设水平的基本标志,建设云装备试验数据中心,充分发挥试验数据资源作为武器装备建设发展战略资源和核心资源的作用,已经成为深入推进试验机构信息化建设的必然趋势。
1 云装备试验数据中心构建需求
随着信息技术的快速发展,测试、测控系统的完善,装备试验数据正以前所未有的速度不断增长和累积,试验机构也已具备了大数据时代的一些特征。但大数据的本质并不仅仅是指海量数据,更重要的是指对数据的管理与应用能力[4]。因此,新形势下,对试验机构的数据管理与应用提出了更高更迫切的需求,主要表现在以下3个方面。
1.1 新形势下试验机构需要更加高效的数据存储和管理技术
近年来,试验机构试验任务量每年成倍增多,试验密度不断增强,试验任务量的增多、测控设备种类和数量的大幅增加使得试验数据种类和数量急速剧增。试验数据的多样性和海量化对数据存储和管理技术提出了新需求。试验数据数量的增加需要构建更高效更科学的数据存储方式以方便数据的存储和共享使用;数据种类的多样性须要设计统一的数据管理方式和标准以对个性化数据进行存储和管理[5]。
1.2 装备试验技术能力发展需要更加开放的试验数据支持
试验数据是武器装备试验与鉴定技术研究的基础,试验数据应用能力是武器装备试验与鉴定能力的重要体现,也是履行武器装备试验鉴定使命任务的重要支撑。当前,国防事业处于前所未有的大发展阶段,对创新技术的需求超过以往任何时期[6],试验与鉴定技术已经从单领域、单学科向跨领域、跨学科融合处理方向发展,试验与鉴定技术研究模式从封闭式研究向多单位协同合作、集智攻关方式发展,更离不开装备试验数据的支持。数据共享不畅是阻碍装备试验与鉴定技术研究与发展的重要因素。因此,在联合攻关的模式下,需要对多单位的装备试验数据共同研究共同验证,数据共享的深度和广度需求更加迫切。
1.3 装备试验数据的价值缺少深入挖掘和应用
随着试验机构使命任务的拓展和信息化建设的不断深化,用户对于数据的需求已经不再是简单的对本业务系统数据的检索、浏览、获取等,而是综合利用分散在多个数据库中数据资源,面向特定的主题,从多个维度发现这些数据之间的特殊关联关系,并建立相应的数据挖掘模型[7],为工程建设、组织管理等提供辅助决策,在这些方面,试验机构的挖掘和利用还存在很大的欠缺。
面对新形势新任务的需求,对海量装备试验数据进行高效存储和管理,开展地域、时域、频域等多维度应用分析,大力挖掘隐藏在数据中的“真金白银”[8],是信息技术发展的一个必然趋势,也是武器装备试验技术发展的必经之路。而数据应用的基础和前提是实现数据的汇聚存储与安全共享[9]。因此,新形势下首要需求是建立云装备试验数据中心,实现装备试验数据的规范、安全、高效、互联的统一存储与管理,为试验机构深入开展数据挖掘与应用,更好地履行好航天发射测控与武器装备试验鉴定职能奠定坚实的基础。
2 云装备试验数据中心架构设计
2.1 云装备试验数据中心业务总体架构
基于云服务模式架构建设装备试验数据中心,将数据资源、数据分析与挖掘、数据计算以及各类管理功能模块整合、分解形成云服务能力,实现装备试验数据基于云的规范、安全、高效、互联的统一存储与管理,云装备试验数据中心将在以下3个方面为试验机构提供云端服务。
1)基于云的业务应用服务,将数据管理、数据挖掘与分析、数据计算以及各类管理功能模块化,以云服务的模式提供给试验机构,构建高速计算、海量存储、集约管理、开放共享的装备试验数据管理中心。
2)基于云的跨单位协同服务,提供基于云的跨单位数据交换服务、基于云的跨单位数据发布、订阅、借阅服务、基于云的试验结果交付服务和基于云的跨单位试验数据调度与监控服务。
3)基于云的装备试验数据资源共享服务,包括建立基于云的结构化试验数据资源、基于云的非结构化试验数据资源、基于云的半结构化试验数据资源和基于云的跨单位统一知识库。
云装备试验数据中心业务总体架构如图1所示。其中:按业界云平台架构,对应云基础支撑、云平台、云业务3个层次[10],在各类试验数据的支撑下,打造基于云的装备试验数据中心,形成“基于云的结构化试验数据资源库”、“基于云的非结构化试验数据资源库”、“基于云的半结构化试验数据资源库”和“基于云的统一知识库”等基础共享资源,支撑云装备试验数据中心开展跨单位试验数据交换、基于云的跨单位试验数据发布、订阅、借阅、基于云的试验结果交付和基于云的跨单位试验数据调度与监控等服务[11],再通过基于装备试验数据中心的不同业务类别提供独立的云业务应用服务,形成试验机构的云服务管理中心。
图1 云装备试验数据中心业务总体架构Fig.1 Overall framework of center business for cloud equipment test data
2.2 云装备试验数据中心技术架构
云装备试验数据中心采用统筹规划、统一体系的思路,采用面向服务的方式,进行试验数据资源整合,着重提高数据处理效率和质量[12]。其具体技术架构见图2所示。
云装备试验数据中心统一规划高性能服务器、存储阵列、灾备服务器、网络交换设备等高性能设备集群,进行基础设施和综合数据库建设;集中接收并自动汇集装备试验数据,对各类试验数据、信息采集数据进行集中存储、协议适配等预处理,利用系统订阅分发与服务管理总线进行分发推送;综合运用预设处理工具、数据挖掘、主题模板、标准专业处理工具等手段,实现数据服务生产。
按照技术架构和业务特性,云装备试验数据中心可分为云资源IaaS层、云平台PaaS层、云服务SaaS层[13],并通过云信息安全和云环境运行管控层为云数据中心系统的安全、可靠运行提供整体必要的技术手段。
图2 云装备试验数据中心技术总体架构Fig.2 Cloud equipment tese data center technology overall architecture
2.2.1 云资源IaaS层
云资源层提供底层的软硬件资源,基于云计算和云存储技术,实现对海量试验数据存储及数据高性能计算的底层支撑,基于软硬件资源的分布式调度,实现资源的动态平衡和无限扩展,同时基于虚拟化技术实现对云操作系统和云桌面系统的硬件支撑[14]。
云资源层着重于基础设施建设,突破计算能力、存储能力、灾备能力、通信能力等硬件性能瓶颈,为构建综合数据库、大幅度提高数据处理效率建立先决条件。
1)整合应用系统服务器组、高性能计算服务器组、高速海量存储设备、灾容备份服务器、云计算管理软件等软硬件,形成统一的资源池。
2)部署专用综合数据库和分析计算单元,结合试验机构规模和业务分布的特点定制实现。
3)所有设备均采用成熟、稳定的商购设备和软件系统,整合集中后为云平台层和云服务层提供基础支撑[15]。
2.2.2 云平台Paas层
云平台层提供了大量成熟、稳定、可靠的开发功能组件,实现对数据管理平台、数据汇集、系统总线等上层应用的组装式开发,为上层应用的定制开发提供了高效、可靠的保证。而且云平台层作为云装备试验数据中心的信息交换枢纽,采用面向服务架构,构建系统订阅分发与服务管理总线[16],为多体制的数据处理需求建立平台级服务。
1)通过网络融合,自动实现底层通信的运转与维护,提供多源数据统一的通信传输和接入控制服务能力。
2)对于多源多类型的原始数据,遵循数据元标准、数据库标准以及数据交换标准,提供必要的协议转换服务。
3)采用订阅分发机制,为上层应用提供业务无关的信息流转服务接口及数据应用需求管理控制,统一解决互联互通和服务信息发布的底层问题,并可按需调整服务的性能与规模。
4)遵循数据综合处理系统的数据元标准和数据库标准,构建数据集市与数据仓库,完成元数据管理,整合智能查询、多维展示、质量控制、统计分析、抽取整合、数据同步等方向的底层支撑组件,以后台计算、可交互查询、报表图表等形式提供应用服务,实现数据预处理与专业数据处理能力。
5)针对各任务设备的试验数据源,提供试验数据的预处理能力,提高试验数据的基础质量,涵盖统一接入处理、集中存储归档,并按需自动汇集分发整理后的试验数据主题服务,扩展数据应用范围,支撑上层系统业务实现。
6)通过应用引擎、流程引擎、数据管理、业务应用开发运行、权限安全管理为云服务层提供应用开发、管理、运行服务[17]。
2.2.3 云服务Saas层
云服务层为云装备试验数据中心构建统一的装备试验数据管理服务、数据挖掘分析服务、数据计算服务。
1)利用数据管理技术,实现对海量多源多类型装备试验数据的综合预处理,建立数据关联,配合数据挖掘、主题模板、通用及标准专业数据处理手段实现数据的高效应用,并为用户提供装备试验数据查询、数据审批、数据导出和数据导入等通用数据管理手段。
2)对云装备试验数据中心数据进行挖掘与分析,提供装备试验数据分析、数据挖掘、数据对比与统计服务。通过对装备试验数据的预处理,提供对数据的自动汇集、分析;基于数据库管理功能和底层云存储软硬件资源,实现对汇集数据的海量数据仓库建设,提供数据挖掘功能,综合利用智能查询、多维展现等手段实现对海量装备试验数据的挖掘;并提供专业的数据处理和通用的数据处理能力,实现对装备试验数据的综合分析以及专用分析服务。
3)为云装备试验数据中心提供高性能计算服务,为武器飞行试验中的电磁环境态势分析、轨道计算分析和弹道计算分析等试验任务提供计算资源,保障飞行试验任务的高效进行。并且用户能够远程向数据中心提供计算方法、计算软件,利用数据中心的高性能计算等计算资源和数据资源,对用户提供虚拟的存储、计算和应用环境,满足用户的计算需求。
2.3 跨试验机构数据交换架构
在云装备试验数据中心中,跨地域、跨层级、跨系统发放的文件通常比较大(超过100M,甚至达到10G左右),在协作处理中,须要将这些文件和与文件相关的信息在试验机构与各分试验机构之间进行传递。为了保证这类大文件与信息在各个试验区之间安全、可靠、完整的传输,须要通过跨试验机构的数据交换架构来满足上述需求。
跨试验机构数据交换过程及具体实现主要包括以下4个方面。
2.3.1 跨域数据交换环境预设和共识机制搭建
首先,检查数据接受方基础环境,包括是否搭建满足要求的数据管控环境,满足数据传输和使用管控的基本要素。然后,进行共识机制、智能合约和选取与封装。根据共享场景需求设计专属共识机制协议和智能合约程序,与被共享数据同时封装入安全的跨网传输总线。
2.3.2 信息解析转换
通过企业服务总线提供的请求接收服务获取请求信息后,由服务总线的数据解析组件进行数据解析。同时,根据需要,通过转换组件进行数据转换。解析转换后的内容包括2部分:一是本次传输任务的消息描述,即消息类型、存放位置等;二是消息路由规则,即消息的发送方、接收方、经由方等路径信息。
2.3.3 建立传输通道
服务总线根据解析出来的消息描述信息,找到关联的消息(文件),将消息描述信息与消息实体作为一个整体消息(其中,消息描述可以放在消息头中)。同时,根据消息接收方信息,以及预先配置的路由规则将消息发送给对应的消息中间件。
2.3.4 跨网数据同步
基于预设的共识机制,完成网络间数据一致性同步,形成跨网数据溯源和完整性验证。消息到达目的端后,存储在目的端的消息队列中。此时,对方业务应用获知并接收消息的方式有2种:
1)消息中间件主动通知并触发应用,由应用提供一个接收消息的应用程序,当有消息到达时,消息中间件能够直接启动应用程序接收消息;
2)应用主动从队列中取消息,可以根据应用需要定时轮询队列,当有消息到达时,直接从队列中取得消息。
3 结束语
本文基于云计算、大数据、数据挖掘等新的信息技术,提出以云服务模式架构建设装备试验数据中心,将装备试验数据资源、数据分析与挖掘、数据计算以及各类管理功能模块整合、分解形成云服务能力[18],实现装备试验数据基于云的规范、安全、高效、互联的统一存储、管理与应用,最大限度发挥装备试验数据作为核心资源的价值,对试验机构建设发展提供决策支撑,将数据优势有效转化为决策优势和行动优势,全面提升装备试验数据资源服务价值,为形成基于信息体系的核心军事能力提供支撑。