战术数据链大数据应用体系构建

2021-04-13刘刚毛云飞李福才吴俊辰

指挥与控制学报 2021年1期

刘刚毛云飞李福才吴俊辰

1.解放军93216 部队北京100000 2.中国电子科技集团公司第二十八研究所江苏南京210007

随着互联网/移动互联网、数字设备、物联网/传感器等技术的发展,全球数据生产在高速增长,世界已经进入大数据时代.传统的数据处理技术已经无法应对新的挑战.以大数据为代表的新的信息处理技术开始在各个领域、行业发挥重要作用,使数据价值能够被更好地挖掘和利用[1].

美军近年来以国防高级研究计划局(Defense Advanced Research Projects Agency,DARPA)为牵头单位,主导启动了大数据相关的多个研发项目,计划将大数据应用至情报、侦察、无人机指挥控制、武器故障排查等多个领域和方向,依赖于大数据收集技术、大数据处理技术、大数据展示技术等关键技术,美军期望通过强化数据的价值,确保其在信息战场中的主导权[2−3].

数据链保障体系[4−5]在任务执行中会产生大量过程数据,依托各级各类设备记录和存储,各类设备按照自身需求实现了主要数据的记录,包括数据链指令、态势、网络控制指令等大量数据,可以用作大数据分析及处理.然而,由于数据记录方式的多样性,数据记录要素、格式不完全统一[6],此外,由于各类设备存储空间限制,数据无法长时间存放,导致数据资产流失,大部分数据的价值未能充分挖掘和使用.

为解决上述问题,考虑构建战术数据链大数据应用体系,以大数据平台为基础,构建多节点、全流程、体系化的大数据采集分析架构,实现数据资产的自动采集和备份,提供数据挖掘的能力[7−8].持久化存储数据链系统产生的海量数据,整合数据采集、数据清洗、数据存储、数据加载、分布式处理等环节,提供数据从获取到形成分析数据集的全流程支撑,提升数据存储能力和数据的统计分析效率[9].

1 总体构想

1.1 设计原则

战术数据链大数据应用体系重点面向数据链体系的数据资产持久化,和基于数据资产的智能化应用展开设计[10].以大数据概念为核心,汇聚数据链系统的基础数据、系统运行采集的状态数据及记录数据,结合统计评估分析方法开展体系应用效能评估,支撑数据链体系的分析、验证、改进等领域的工作.整体设计原则遵循一致性、可行性、可扩展性原则.

1.2 能力需求

战术数据链大数据应用体系,研究数据链体系中数据的使用,发掘数据中蕴含的价值.需要具备海量数据存储与实时分析能力、数据链体系的评估能力、数据链保障的智能辅助决策能力、数据链体系发展支撑闭环能力.

1.2.1 海量数据存储与实时分析能力

依托分布式数据架构,实现数据链系统相关的海量数据在线、实时存储,从数据分类上来说,包括用户服务过程、值班人员操作、情况处置,以及平台定位信息、指令、设备工作参数等；从数据来源上来说,包括数据中心、通信站点、指挥所以及空中平台等.在线存储容量PB 级,提供不少于百亿条数据的数据检索、统计与报表生成能力.

综合考虑数据来源及数据样式情况,以大数据平台为基础,整合“数据采集、数据清洗、数据存储、数据加载、分布式处理”等环节,提供数据从获取到形成分析数据集的全流程支撑.对于单一数据链节点的大数据应用,提升主要体现在分析效率及分析的数据体量上,依托大数据平台的数据存储能力和分布式处理能力,可以大幅提升数据的统计分析效率.对于多数据链节点的大数据应用,构建多节点、全流程、体系化的大数据采集分析架构,依托多级、多类大数据平台进行数据处理及存储,可以实现数据资产的自动采集和备份,提供后续对各节点数据进行关联处理、数据挖掘的能力.

1.2.2 数据链体系评估能力

引入新技术应用,结合机器学习和人工智能技术,对于数据记录进行深度挖掘和模型训练,完成特定场景下智能评估技术研究,提升系统的效能评估准确性及合理性[11−12].能够基于海量的任务保障数据,建立分析模型,对使用的数据链规划、保障的流程、通联情况等方面的数据比较、聚类、分析和归纳,评估保障样式、任务规划以及系统的保障效能,实现对作战支持能力的量化评价.研究以数据链视角的作战效能评估模型,将历史经验实体化模型化,并使用数据进行模型验证.通过数据驱动评估模型研究并实现模型的验证,通过评估模型规范数据记录,逐步完善评估数据体系.

1.2.3 数据链保障智能辅助决策能力

将大数据的方法融入保障规划的环节,基于对历史保障规划的分析,有针对性地建立需求分析、手段匹配、能力分析等业务模型,能够支撑辅助值班人员科学地开展态势容量估计、时隙分配、资源调配等保障预案、规划制定工作.海量数据再生产得出的历史知识经验库[13],基于积累的长时间数据,分析系统运行规律,提取总结故障运维时间段的数据特征,形成知识库辅助系统,为链路资源调配、站点优选等提供科学的决策依据.

进一步结合人工智能等先进技术,实现人机结合共同决策的最终目标.计算机自动学习人员决策的经验和知识,快速实现任务规划,给出处置建议,人员仅需根据任务特性细化,微调建议方案,实现高度智能化.智能决策辅助概念如图1所示.

1.2.4 数据链体系发展支撑闭环能力

以积累的海量数据为基础,依托大数据平台提供的在线分析能力,对数据从使用不同模型进行统计、分析与计算,关联保障效能和通信资源使用情况,从通信站点建设规划、巡修巡检计划制定、频率资源优选、消息标准扩充、消息处理流程优化等角度,给出系统的优化建议进行迭代发展,通过分析过程中获得结果及发现的数据遗漏等,反馈至系统用于完善和升级,对数据链体系发展给予可靠支撑.

图1 智能决策辅助概念图Fig.1 Concept graph of intelligent decision support

1.3 体系组成

体系总体组成分为数据链设备层、数据资源平台层、数据管理应用层.数据链设备层主要基于数据链体系设备,实现数据的感知和收集工作,是实现本体系构建的基础.数据链资源平台层,主要基于大数据技术,搭建大数据池,统一、持久、稳定地存放和管理数据资源,是体系构建的重要中间环节.数据管理应用层主要基于开放式的平台,研究并实现数据挖掘、数据共享、数据反馈相关的工作,是体系构建的最终展示和价值体现窗口.1)数据链设备层.通过优化数据记录方式并完善数据记录内容,改进设备的数据记录能力,实现数据的自动采集和汇总.2)数据资源平台层.结合人工标注处理,对数据进行清洗和治理.重点突破数据驱动的自动建模与优化技术、知识表述与自动抽取技术和可视化呈现技术,探索数据链系统数据智能化水平提升的途径.3)数据管理应用层.结合规律统计、聚类优选、分组处置等模型,支撑研制保障效能评估、预案辅助制定、问题辅助定位等应用,发挥大数据在辅助数据链建设规划、优化数据链运行保障,以及提升数据链作战支撑能力等方面的作用.能够提供综合运维态势,直观展现信息栅格运行状态和趋势,提供评估分析结果.能够根据任务和态势,产生对可能发生事件的处置方案,组织各专业管理系统进行联动处置,从而维持信息栅格正常运行.构建集基础数据与资源管理、网络运行管理、指挥信息系统运维管理、通信业务管理、值勤维护管理、辅助决策支持于一体的综合化运维管理方案.

2 数据架构设计

数据链大数据应用体系的数据架构,主要囊括数据中心、通信站点、用户等节点的数据链使用数据,包含指令、态势、设备控制等多类信息.依照特定的数据共享原则,梳理各类数据共享的程度和范围.基于统一的数据交换标准,可将大数据体系构建分为三级,站点级、用户级、区域级,规范化地实施信息采集、汇聚和处理.

1)站点级节点.主要作用是数据采集和上报,主要采集站点设备实时状态数据及日常综合运维产生的各类记录.考虑到站点数量较多的情况,站点级节点可采用数据详尽记录、空闲时间段数据向上汇集的方式,将数据信息通过专网传递至上级指挥所进行预处理.2)用户级数据节点.主要作用为数据采集及数据预处理,汇集下级站点的数据信息,同时结合本节点数据进行统一处理,将处理后的数据一路用于本节点业务报表展现需要,另一路上报区域数据中心.3)区域级节点.可理解为区域数据中心节点,作为数据处理核心节点,具备数据汇聚、数据持久化存储、数据融合、数据共享的能力,作为基础稳步推进各项数据资产效益的产生.

3 标准体系设计

为了促进数据链评估体系数据的有效、精确的积累与沉淀,确保数据资产的合理规范化存储和应用.制定有效的标准规范,朝着数据全局统筹处理的目标开展数据链大数据体系构建工作[14−16].结合大数据实际应用场景,构建数据链大数据标准体系,用于规范和指导各设备/系统提供商,在大数据框架下的数据处理操作,为数据的感知、存储、流转、应用全流程提供有效保障.

图2 数据链大数据标准体系图Fig.2 Standards system diagram of data link in the big data

数据链大数据标准体系分为数据基础标准、技术应用标准、数据评价标准、管理维护标准等4 类,数据链大数据标准体系见图2.数据基础标准对于数据链大数据应用领域中涉及的术语进行规定,对数据链大数据标准体系的适用范围、目标进行界定,包含专业术语标准、使用范围标准.技术应用标准制定涉及数据分类、数据格式、命名规范、采集导入方式等方面的数据接口标准,同时针对大数据处理平台的数据集描述、处理生命周期和互操作特性等大数据相关技术进行规范.数据评价标准主要负责对于数据链大数据体系中的各类数据的完备性、可用性、规范性等特性的评估提供基础,综合反映当前数据的数据质量.管理维护标准包括源数据和结果数据的存储管理维护标准及安全管理标准.

以上几类标准共同构成数据链大数据标准体系,标准体系从数据链大数据体系的建立范围、使用方式、评价方法、管理方式4 个方面,提供了标准化的整体规划.该标准体系的建立,可以进一步促进和完善数据链体系的数据规范,夯实数据链大数据应用体系构建的基础.