大数据在海战场指挥信息系统中的应用研究∗

罗 荣 肖玉杰 王 亮 盛 亮

（1.海军研究院 北京 102442）（2.海军航空大学 烟台 264001）

1 引言

随着互联网、物联网、无线传感网络等信息技术快速兴起与普及，当前社会数据的增长速度比以往任何时期都要迅猛。不仅数据规模呈井喷式增长，而且数据种类日渐丰富，数据结构愈加复杂，在浩瀚的大数据洪流中淘出“真金白银”，已成为世界各国的共识［1］。2012年美国政府将大数据上升到国家层面，投资2亿美元启动“大数据研究和发展计划”，涉及国家科学基金、国防部高级研究计划局、地质勘探局、国防部、能源部、国家卫生研究院等6个联邦政府部门，投资超过两亿美元，大力推动和改善与大数据相关的信息采集、存储和分析处理工具及技术，以推进从大量的、原始的、复杂的数据集合中获取知识的能力［2］。2015年我国印发了《促进大数据发展行动纲要》，明确表示数据是国家的基础性战略资源，并引导和鼓励各个领域在大数据分析方法及关键应用技术等方面开展探索研究。近年来，大数据技术在民用领域获得飞速发展，相关技术体系趋于成熟，在交通、能源、环境、气象、经济等民用领域均获得比较成功的应用，建立起了一系列民用大数据库与处理分析平台。

随着大数据技术向国防领域的不断渗透与转化发展，大数据逐渐出现在各个军事领域并迅速获得应用，例如航天航空、情报侦察、目标识别、指挥控制等多个军事领域的数据规模已呈现出“大数据”特征，军事大数据时代已经到来［3］。海战场指挥信息系统是指挥综合运用以计算机为核心的技术装备，实现对海战场信息的获取、传输、处理、显示等，保障各级指挥机构对所属部队和武器实施科学高效指挥控制的各类信息系统的统称，其依托信息传输平台和指控系统，将天基、空基、陆基、海基传感器组网融合，并与各武器平台综合集成，实现各平台共享信息与协同作战。海战场指挥信息系统的核心功能是迅速准确识别与快速精确决策，其所需要的就是各种信息，实际上就是各类数据。随着信息技术的发展以及大量传感器的投入使用，海战场态势的侦察与探测能力提高的同时，指挥信息系统面临着信息量急剧增加，信息种类迅速增多，实时处理要求迅速提高等挑战，而大数据技术的发展正好使指挥信息系统适应了这些要求［4］。如何从海量复杂、原始冗余的数据中快速分析挖掘出有价值的情报信息，从而支持作战指挥决策是信息化时代作战制胜的关键［5］。只有依托大数据技术，从海量数据中提取出有价值的信息，从而准确及时地掌握敌方的战略企图、作战规律和兵力配置，客观预判对手的作战构想和行为特点，准确地分析把握敌我力量对比关系和战场态势的发展变化，实现战场态势实时感知和指挥员同步认知，才能将战场“数据优势”转换为“决策优势”，达成运筹帷幄之中、决胜于千里之外的作战目的。因此海战场指挥信息系统必是大数据技术广泛应用与创新发展的典型舞台与前沿阵地。

2 大数据概念与技术体系

2.1 大数据概念与特征

大数据是指规模大、数据形式多样性、非结构化特征明显，导致数据存储、处理和挖掘异常困难而无法采用常规数据库软件与平台进行采集、存储、管理和分析的数据集［2］。大数据的特征通常可以归结于以下5个“V”，即：数据容量巨大（Volume）、数据类型多（Variety）、数据处理时效性（Velocity）、价值密度低（Value）以及结果准确性（Veracity）。

2.2 大数据技术体系

大数据技术指在大数据的采集、传输、处理和应用过程中，伴随着数据处理过程，获得分析和预测结果的一系列关键技术［6］。这些关键技术能实现“大数据”的高效存储和高速传输，完成“大数据”的高效获取和检索，从而实现从数据到知识的目的，促进从数据到决策的转变。完整的大数据分析处理流程基本可划分为数据采集、数据处理与集成、数据挖掘分析和数据解释等四个阶段，因此本文将大数据技术体系分为数据采集技术、数据处理与集成技术、数据挖掘分析技术、数据解释技术以及大其他相关技术等五个部分，大数据技术体系如图1所示。

图1 大数据技术体系

3 海战场的大数据特征

传统的海战场除了传统的海面战场外，还包括其中的岛屿、毗邻的陆地、海面上广阔的空间和水面下方一定范围的水体。在信息化时代，随着作战要素进入到电磁空间、心理空间及网络空间，海战场的范围也从传统的海陆空几何空间扩展到太空、电磁空间、心理空间和网络空间。由于单传感器和单一类型传感器存在不可避免的弱点，信息化海战场中的预警探测已从传统舰船平台跨越到卫星、无人机、预警机、无人潜航器等新型平台，传感器也已从单一类型传感器发展到多种类型传感器，探测方式从就近探测为主发展到全域、远距、主动侦察，已基本形成一个全方位、大纵深、立体化、可全天候全天时侦察监视的分布式海战场预警探测体系。在信息化海战场作战过程中所需要和产生的数据之所以可以作为大数据来处理，是因为这些数据符合大数据的以下特征。

1）数据量大

信息化海战场预警探测体系中监视卫星、预警雷达、无人侦察机、声纳、磁探仪、红外热像仪、电视摄像仪、敌我识别器、电子侦察与告警设备等各类战场传感器和监视设备的广泛使用，以及电子侦察、航天侦察、航空侦察、谍报侦察，网络侦察、光电侦察等各种技侦活动的深度开展，导致海量情报数据与实时探测信息的产生。信息化海战场作战数据来自战场目标、战术意图、战场环境、地理信息、水文气象、网络舆论信息、武器装备、参战部队、后装保障等各个方面，主要有以下5类数据［7］：（1）战场情报侦察与监视数据；（2）编制装备数据；（3）指挥业务数据；（4）作战保障数据，包括电磁频谱、气象水文、导航定位、地理信息、社会环境等与作战行动紧密相关的数据；（5）后勤装备保障数据。信息化海战场作战数据的量级早己从TB发展至PB乃至EB级。

2）数据类型多样化

信息化海战场作战数据的类型是广泛多样的，大体可分为结构化、半结构化与非结构化等三类数据，其中半结构化与非结构化数据要占70%以上［8］。结构化数据是采用严格的二维表结构逻辑表达的数据（如作战计划、目标参数、装备性能等等），其价值密度高，具有历史和静态特征；非结构化数据是没有严格结构的数据，无法通过预先定义的数据模型表述或无法存入关系型数据库表中的数据，如航天侦察和技术侦察等方式获取各种文档、图像、报表、光谱、音频和视频信息等，通常具有容量大、价值密度低、时效性高和结构复杂等特点，其中蕴含了当前瞬息万变的战场态势和稍纵即逝的战争时机；半结构化数据介于结构化与非结构化数据之间，具有结构化数据的特征，但结构变化很大，如网页数据。半结构化数据既不能按照非结构化数据处理，也不能用结构化数据的处理方式，常常需要采取一些变通的方法。

3）数据处理快速化

在信息化海战场中，随着超音速甚至高超音速的武器与飞行平台大量应用，导致海战场态势错综复杂、瞬息万变，战机稍纵即逝。只有对各种传感器实时地传来的大量快速更新的情报数据流进行实时分析和处理（秒级甚至毫秒级），才能实现对海战场综合态势的实时感知与同步认知，从而压缩“包以德循环”（OODA Loop），即观察-调整-决策-行动的指挥周期，缩短“知谋定行”时间，提高快速反应能力。

4）数据价值高和价值密度低

随着情报数据的增加，高价值的情报信息在所有数据的比例越来越小，导致价值密度越来越低，经过大数据挖掘分析从价值分布稀疏的数据中挖掘得到高价值情报信息。

5）处理结果准确性要求高

随着现代高新军事技术的深入发展，使得海战场中各类武器信息化与智能化程度得到很大提高，其不仅速度快、威力大、能够超视距发射，而且体积小、隐身性强，越来越难以及时探测和识别，这对海战场指挥信息系统目标识别的准确性以及指挥决策的准确性构成巨大挑战，客观要求大数据处理结果具有很高准确性［9～10］。

4 海战场指挥信息系统大数据应用关键技术

随着信息技术的发展，海上作战需求的海量数据的存储、高效计算、情报分析挖掘、可视化展示以及数据安全防护等问题给海战场指挥信息系统带来了新的挑战，体现出大数据处理能力的新需求。因此，笔者在本节梳理总结海战场指挥信息系统大数据应用需重点发展的关键技术，具体如下所示。

1）海量异构数据存储与管理技术

目前，海战场指挥信息系统数据来源有情报数据、预警数据、平台数据、武器数据、后勤数据等多种数据来源。一方面，非结构化异构数据大幅增长，传统的关系型数据库无法实现高效的存储管理，带来了对海量非结构化数据的存储需求；另一方面，战场数据量呈现爆炸性增长，传统的物理存储方式扩展性差，难以有效应对大容量数据的存储管理，带来了存储的弹性扩容需求。因此，急需发展面向军事大数据的海量异构数据分布式存储技术，以解决复杂结构化、半结构化和非结构化的数据管理与处理问题。

海量异构数据存储与管理技术是大数据分析的基础，支持结构化和非结构化大数据的统一存储管理，支持弹性扩容、大容量、高并发和高速一体化的数据访问。海量异构数据存储与管理技术包含的核心技术有分布式文件系统与数据库技术、能效优化与高效低成本的存储技术、大数据降噪去冗余技术、分布式非关系型大数据管理与处理技术、多源异构数据的数据融合技术、海量异构数据组织技术、大数据高效索引与并行查询技术、大数据移动备份复制技术等。

2）大数据并行计算处理技术

在计算模式方面，目前海战场指挥信息系统采用传统的集中式数据计算模式，该模式以数据迁移为代价，无法支撑大数据的高效计算。为实现高效计算处理，需要通过分布式的大数据并行计算处理技术，以计算迁移实现高效处理，并根据典型的计算应用对计算模式进行改进和优化，增强适用性。大数据并行计算处理技术能实现多台计算机进行并行计算的同时具有对计算任务进行自动分解、并发执行的功能，支持批处理、内存计算、流计算和图计算等多种计算模式，并能实现多种计算模式的资源分配和统一调度，为大数据的分析处理提供高效和可定制的计算框架。大数据并行计算处理技术包括计算任务的智能解析技术、计算的智能管理调度技术、分布式计算高效执行技术和集群计算全过程状态监控技术等。

3）大数据挖掘分析技术

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含的人们事先不知道的但又是潜在有用的信息和知识的过程。由于实际的目标行为一般十分复杂，很难检测和依靠建模分析，而激增的情报数据背后隐藏着许多重要的知识和信息。通过对海量历史情报数据的挖掘分析处理，可以快速智能地检索目标相关信息，挖掘目标的特征、规律和行为意图等隐含信息，从而提升系统的情报智能分析能力。通过战场大数据的分析挖掘，提取其中蕴含的知识和价值，从而提高作战指挥和辅助决策的时效性，提升智能决策能力。

大数据的分析挖掘技术针对海量历史数据的目标静态特征和行为特征，构建各军兵种战场目标特征知识库，以知识库为基础，结合战场实时信息的快速检索和处理，动态识别目标身份及行为，实现对其作战能力及意图的认知，形成对作战决策的有力支持。大数据挖掘分析技术非常丰富，除了传统的分类、聚类、关联、k近邻方法、决策树以及各种统计推断方法（包括回归分析、判别分析、主成分分析等）外，还包括神经网络、粗糙集理论、贝叶斯网络、遗传算法、深度学习、增强学习、迁移学习、集成学习、知识图谱、知识推理等智能挖掘分析技术。

4）大数据可视化技术

海战场指挥信息系统前端需可视化展现多维、复杂和异构的大规模数据，以支持人机交互分析，帮助用户直观地掌握战场态势并快速做出决策。面对信息化海战场指挥和辅助决策需求，应形成网络关系的可视化、数据分析过程的交互可视化以及多维、异构和海量数据的综合可视化等能力。

大数据可视化技术是指运用计算机图形学和图像处理技术，将数据转换为图形或图像在屏幕上显示出来，并进行交互处理的理论、方法和技术。大数据可视化技术可以实现对海战场大数据的立体呈现，直观地呈现海战场大数据特点，形象地展示数据分析结果，使结果非常容易地被指挥员所接受，提升指挥员的态势认知，提高决策质量。大数据可视化技术可解决长期以来数据只能批处理而不能交互处理的现象。通过指挥人员之间以及指挥人员与数据之间的可视化交互，实时发现非结构化、非几何的抽象数据背后的本质问题，可为基于数据的精确作战指挥决策提供直观、形象、丰富的信息和隐含知识。大数据可视化技术主要有并行式绘制技术、复杂数据对象可视化技术、复杂关联关系可视化技术、人机交互可视化技术和多维空间表现可视化技术等。

5）大数据安全防护技术

由于大数据的重要性，针对大数据“云”的攻击会时常发生，为确保大数据的安全，需要大数据安全技术进行预防、检测、诊断并对攻击作出反应。大数据安全防护技术包括云端的数据安全技术和网络设施的安全技术，具体来说有身份认证、访问控制、异常检测、补丁管理、数据备份以及系统恢复等。

5 海战场指挥信息系统大数据分析框架

5.1 大数据基本框架

大数据框架是大数据的“操作系统”，其将数据的传输、存储、整合和分析等各环节连接成为一个整体，完成对数据及各类资源的管理控制，并提供应用开发接口。典型的大数据框架包括MapRe⁃duce，内存集群计算和流式计算等三类基本框架。

MapReduce框架是一个软件架构，适用于大规模数据集的并行运算，其将海量数据处理工作分解为可以并行的小任务，然后将分解后的小任务派送给分布式系统中的主机完成处理，并在不同工作节点之间进行协调和同步，而且在出现软硬件故障时仍然能保证处理顺利进行和性能的优化［11］。Ma⁃pReduce框架采用分布式文件系统存储输入、输出与中间数据，进行主机间的数据同步。MapReduce框架具有高吞吐、高可用性、通用性、可扩展性好等诸多优点，然后对于机器学习等需要多次迭代的计算任务，分布式文件系统的效率受限于硬盘I/O的速率，因此时延太大，这是MapReduce框架的主要缺陷。相比之下，内存集群计算框架采用分布式内存来存储输入、输出与中间数据，进行主机间的数据同步，机器学习处理速度与MapReduce框架相比，提高了一个数量级。

对于网络监控、网络测量、呼叫记录、网页访问、生产制造和传感检测等应用，其数据以大量、快速和时变的数据流形式持续到达，因此不宜用持久稳定的关系型模型建模，而适宜用瞬态数据流（即流式数据）建模。流式计算框架对流式数据进行实时和持续的计算或处理，需处理的输入数据并不存储于可随机访问的磁盘或内存，而是以一个或多个连续数据流的形式到达，经过处理后，丢弃或存储归档，数据流可级联处理。典型的流式计算框架有Storm、S4、Cloudera Impala、Hstreaming等，单项数据的处理速度达到毫秒级。其中，Storm框架在容错、可靠性、可扩展性和编程便利性等方面具有较多优点，尤其是其自身采用运行于Java虚拟机（JVM）之上的Clojure语言开发，能够支持所有运行在JVM之上的编程语言，并能通过中间库支持更多的编程语言。因此，Storm框架得到了较多应用。

5.2 基于Hadoop与Storm的海战场指挥信息系统大数据分析框架

海战场指挥信息系统中的大数据分析包含离线分析和在线分析。其中，离线分析需要对海量历史情报数据进行及时、准确地处理，通过关联分析、聚类、分类等多种数据挖掘手段，以获取潜在的、有价值的情报知识。Hadoop云计算平台是MapRe⁃duce框架的一个典型的应用，作为大数据领域的标准处理与分析平台，由于其开源特征而获得了广泛应用［12］。Hadoop云计算平台适合情报分析人员可以对海量原始历史情报数据进行分析，并得到支持决策所需的情报知识。然而，在指挥信息系统中，各种侦察传感器实时地传来大量不断更新的情报数据流，战场态势瞬息万变，只有对这些情报数据进行实时在线分析（秒级甚至毫秒级），才能获取实时的战场态势。虽然Hadoop云计算平台有Ma⁃pReduce框架的诸多优点，然而也继承了MapRe⁃duce框架的主要劣势，存在延迟大，调度开销大等问题，无法满足作战指挥的实时性要求，不适合对海战场中的流式大数据进行在线分析。基于流式计算框架的Storm云计算平台，一种开源的分布式实时流计算框架，支持全内存计算，且具有高容错性、部署简单等优点，能够弥补Hadoop批处理不能满足实时性要求的缺陷，适合对海战场中的流式大数据进行在线分析。

基于以上分析，可以基于Hadoop分布式云存储技术，结合MapReduce并行计算框架和Storm流计算框架，构建适用于海战场指挥信息系统的大数据分析框架，如图2所示。整个架构包括云存储层、云计算层、数据挖掘分析层和应用层。支撑管理层为每一层提供相应的服务支撑，包括数据安全、流程管理、资源监控、资源调度、资源部署、资源规划和虚拟化等功能，保证每一层都具有高可靠性和可伸缩性。

图2 海战场指挥信息系统大数据分析框架

各个层次的具体功能如下：

1）云存储层由分布式文件系统（Hadoop Dis⁃tributed FileSystem，HDFS）、分布式数据库（Ha⁃doop Database，Hbase）、分布式数据仓库工具Hive构成，实现数据的分布式存取，其中HDFS是一种类似于GFS的分布式文件系统，可以为大规模的服务器集群提供高速度的文件读写访问；HBase是一种与BigTable类似的分布式并行数据库系统，可以提供海量数据的存储和读写，而且兼容各种结构化或非结构化的数据；Hive是一种基于Hadoop的大数据分布式数据仓库引擎，它使用SQL语言对海量数据信息进行统计分析、查询等操作，并且将数据存储在相应的分布式数据库或分布式文件系统中；

2）云计算层由并行计算框架（Hadoop）和流计算框架（Storm）组成。其中Hadoop提供非实时并行计算能力，Storm提供实时流计算能力。这两种优势互补的框架结合使用，能取得取长补短的效果，使得海战场指挥信息系统既能深入处理大量的远期情报信息，又能快速处理实时预警探测信息流；

3）数据挖掘分析层包含并行机器学习算法、并行统计分类算法、并行数据挖掘算法、并行搜索算法、智能优化算法、预测决策算法、自动推理算法等各类并行或智能算法，从而能够高效准确地处理各种结构化、半结构化和非结构化数据；

4）应用层面向海战场指挥信息系统指挥人员提供数据融合、情报保障、目标识别、态势感知、态势预测、威胁估计、指挥决策、火力协同、毁伤评估等各种具体的作战应用。

6 结语

随着大量传感器与侦察设备在信息化海战场的使用，海战场情报数据来源越来越多，海战场空间产生的数据表现出体量大、种类多、结构复杂和增速快等典型的大数据特征，因此海战场指挥信息系统面临着信息量急剧增加、信息种类迅速增多、实时处理要求迅速提高等诸多新挑战，而大数据技术的发展正好使海战场指挥信息系统适应了这些新要求。所以，发展大数据技术不仅是信息化条件下指挥信息系统革新的内在需要，而且是应对信息化作战指挥新挑战的必然要求。大数据理念及技术可以作用于海战场指挥信息系统预警探测、情报分析、态势感知、威胁估计、指挥决策、效果评估等各个关键环节，进行海量数据存储、高效计算处理、战场态势分析与预测、智能情报分析与指挥决策支持等，最终为指挥员及参谋人员提供实效性强、准确度高的辅助决策。将大数据技术应用于海战场指挥信息系统，可提高我海军信息化水平，推动指挥信息系统向知识化和智能化的方向发展，为保证我海军在现代化战争中能打仗和打胜仗起到基础支撑作用。