基于大数据的舰艇编队情报分析平台架构研究

崔家连，饶世钧

（海军大连舰艇学院，辽宁 大连 116018）

0 引 言

随着水面舰艇编队侦察预警手段多样化，情报收集能力大幅提升，情报处理能力的发展却滞后于情报的收集能力，情报优势不能及时转变为决策优势。未来水面舰艇编队作战样式，必然是基于信息网络的一体化作战样式，地理空间上涵盖陆、海、空、天，物理空间上涵盖声、光、电、磁、网，导致情报数据多源异构类型复杂。高通量、高分辨率传感器和网络技术手段的广泛运用，导致侦察情报中图像情报高清化，并且由于传感器自身、人为因素、伪装欺骗、气象环境影响等原因，导致情报中存在大量重复、虚假、冲突、孤立数据，影响情报分析结果的准确性和时效性。如何构建一个智能化、自动化的情报处理平台，缩短从传感器到舰载武器的响应时间，对未来水面舰艇编队遂行防空反导、远程打击等任务有着重要的意义，也是夺取海空控制权的关键因素。

大数据时代，信息技术赋予了情报科学新的内涵，着力发展专业型、计算型、战略型、政策型和方法型等“五型融合”的情报研究新范式。本文将重点探究大数据技术在舰艇编队情报组织运用中的应用问题，并探讨相应的解决方案。

1 舰艇编队情报分析特点及需求

1.1 舰艇编队情报特点

通常认为，大数据有4 个特点：数据量大（Volume）、数据类型繁多（Variety）、处理速度快（Velocity）和价值密度低（Value），即“4V”特征。在舰艇编队情报领域主要表现出以下几个特点（图1）：

图1 舰艇编队情报数据特点

（1）数据量大。在长期军事训练和作战行动的背景下，舰艇编队已经积累电子侦察、气象水文等大量历史数据；岸基、空基、天基等各类侦察预警手段，源源不断的产生海量数据，水面舰艇编队情报数据量已经从TB 过渡到PB 级。

（2）数据类型繁多。无人机、预警机、卫星、舰载传感器等手段协同探测，舰艇编队情报涵盖了图像情报、信号情报、测量与特征情报、技术情报等多种情报类型。其中，结构化数据有AIS、电子侦察数据、雷达目标数据等；非结构化数据有可见光图像、红外图像、视频、上级通报等。各种数据数据类型、位置精度、延时周期、来源层次等方面均存在较大差异。

（3）处理速度快。不同于传统情报数据的“数据包”形式，大数据时代情报数据更多来源于各类传感器、侦察设备产生的“流”数据。面对不断产生的新数据，为了避免“获取即过时”的尴尬局面，大数据环境下舰艇编队情报工作必须快速响应，在动态环境中完成数据获取与分析工作，确保情报分析结果的时效性。

（4）价值密度低。舰艇编队数据量增长的同时，有效、可用的有效信息比例却在下降。编队预警探测设备自身因素、人为因素、复杂电磁环境等原因，导致编队情报数据中出现大量重复、缺失、冲突、孤立数据。同时敌方欺骗干扰、伪装佯动更加使得获取的数据虚实难辨、真假混杂。

1.2 舰艇编队情报思维的改变

大数据条件下，舰艇编队情报工作处于一个全新的数据生态系统，给情报工作带来了深刻的影响，数据获取、分析、使用模式与以往大为不同，使得情报工作的思维必须转变以适应新的形势（图2）：

图2 大数据条件下情报思维的变化

（1）采样思维到全样本思维的转变。情报工作正在从随机采样分析转变为全样本数据分析，尤其是在远海作战条件下，交战区域存在大量中立、民用目标，必须对全部数据进行分析，以破除“情报迷雾”。

（2）因果关系到相关性关系的转变。情报分析的逻辑基础，从严密的因果关系推理，转变为偏向寻找相关性关系。这是因为在海量的情报数据中寻找到因果关系需要采取拟合算法和模拟推演，时间代价较大。例如，美国雷神公司通过大数据分析，发现某国潜艇在某一海域活动时，该国反潜巡逻机即不出现在这一海域，进而摸出了该国潜艇活动规律。

（3）注重精确到注重效率的转变。以往由于采取采样而非全样的方法，局部微小的误差放大到数据全集就可能导致情报分析结果出现致命的方向性错误。所以，以往的情报分析注重追求算法的精确性。但是由于采取全样本数据分析，大数据条件下局部错误不会被方法放大，由追求精确性转变为追求效率性，甚至可以达到“秒级”响应。

（4）单一来源到多源融合的转变。在情报大数据时代，情报数据的信息粒度日益细小，数据碎片化现象日益明显。横看成岭侧成峰，不同来源的数据可能从不同角度揭露不同的真相。通过将多源异构数据汇聚成统一结构的数据集合，将大量相关数据聚合到一起，经过数据清洗和互补，可以更好地揭示数据之间的关系，预测发展趋势，提升判情的准确性。

1.3 舰艇编队情报处理流程的改变

大数据条件下，舰艇编队情报分析流程更加注重情报数据的采集、分析、处理，数据是整个情报组织运用中的核心与基础。传统情报分析流程与大数据条件下情报分析流程对比如图3所示。

图3 传统情报流程与大数据环境下情报流程对比

信息始终是情报的基础，这一点无论是在传统流程中还是在大数据流程中都没有改变，信息搜集始终是情报工作中一个重要内容。但是在大数据条件下，信息的搜集更加强调对于批量数据的自动获取，而不是传统的寻找稀疏的秘密信息。

从流程对比中可以明显看出，大数据条件下多出了信息融合与数据清洗环节。这是由于大数据环境下，情报加工与传统流程相比内容上发生较大变化。一方面，当前舰艇编队情报数据环境发生较大变化，数据多源异构、类型复杂，一种数据只能揭示一个方面或者几个方面的内容；另一方面，将多种信息融合到一起，能够更加全面的展示事物的本质和潜在规律。

2 平台架构

2.1 平台总体架构设计

水面舰艇编队情报处理平台总体架构设计，首先需要立足于编队海量异构情报的分析应用需求，基于Hadoop平台强大的异构数据处理能力，利用分布式文件系统HDFS（Hadoop Distributed File System）和大数据集处理MapReduce 架构，构建经济、高效、可靠的处理集群；其次，为解决广泛获取的数据获得的信息优势与同时造成的决策劣势之间的矛盾，基于大数据全样本分析的优势，将分布式数据库中的全局数据进行阅读、识别、抽取、关联、分析和理解，各集群进行并行处理，深度挖掘分析数据之间的关联性和隐藏的潜在规律，去伪存真，消减战场的不确定性；最后，为了增强平台的鲁棒性和灵敏性，平台采取综合化、一体化、层次化的开放式系统架构，上层结构指导下层运行，下层结构为上层结构提供功能支撑，各模块功能上相互独立，业务上相互协同，标准化接口设计，实现即插即用和无缝衔接。

系统整体采用面向服务的分布式的体系结构，编队各成员之间可以共享情报数据，具备分布式的存储和计算能力；面向服务是着眼于编队灵活编组的需求，单个成员或系统的更新不必影响编队整体的情报处理能力，具备较强的容灾备份能力，整体架构如图4所示。

图4 基于大数据的舰艇编队情报处理平台体系架构

基础资源层是是整个平台运行的基础，包括数据资源和基础设施两部分。基础设施提供整个平台建立和运行所必须的存储、计算、通信等基础设施资源和调度、管理、监控所需的软件资源；数据资源将各探测预警分系统的数据整合为一体，提供结构、维度统一的数据资源，具备数据的搜集和整合能力。

信息支撑层为平台提供大数据运算的环境，主要分为软件支撑和信息服务两部分。软件支撑搭建了大数据运算的平台，SQL/NoSQL 数据库用于提供编队海量异构数据的存储和管理模块，Hadoop、Spark、Storm 为平台提供了分布式处理环境。信息服务则是为平台的构建和运行提供功能性的模块支持，包括数据预处理、数据转换、数据校验、融合处理等信息服务。

情报服务层则是在信息支撑层提供的协同和共享环境中，依托各功能模块，实现特定的情报处理功能并生成相应的情报产品。情报服务层包括综合情报、作战情报、目标情报、动向情报、情报态势、情报服务等情报产品，为各类情报产品的生成提供服务。

指挥决策层是基于情报服务层生成的相关情报产品，面向具体情报作战应用的功能实现层。主要功能包括为海战场侦察监视、两栖编队海上作战、对海/ 陆打击等作战行动和行为预测、态势共享、指挥控制等提供情报保障。

2.2 运行流程

基于大数据的水面舰艇编队情报处理平台系统运行流程如图5所示。不同于以往以平台为中心或自上而下垂直的“烟囱式”结构，整个运行流程以数据为中心，数据在不同系统不同平台之间流转，贯穿“侦—控—打—评”全过程，将战术、技术和装备有机结合。

图5 基于大数据的舰艇编队情报处理平台运行流程

根据不同类型作战任务需求，平台动态接引多种情报源和数据，包括雷达、侦察卫星、电子侦察、航空侦察等多种情报来源，也包括报文、视频、图像、电磁等多种结构的数据载体，预留接口接引舆论、法律、政治等开源情报。各节点采集的数据按照“隶属优先、节点自治”的原则，汇集到分布式数据库中，便于进一步的处理和分析。各功能模块对数据进行预处理、压缩，以节省海战场珍稀的带宽资源，并提取数据特征，在各资料库中选取合适的算法对其进行处理，形成综合态势，支持战术行动。在情报处理和分发过程中，采取MapReduce 模式，Map 阶段将情报处理任务分发至平台各节点，Reduce 阶段将各节点的处理结果整合，形成最终结果。整个过程通过将任务分解，各节点并行处理，加速情报处理进程。

平台生产的各类情报产品，可以根据不同分发规则，分别进行强制分发、订阅分发和推荐分发。不同于传统平台以编指为中心依据指挥关系“点—点”的分发模式，将情报产品分别划分为编队级的侦察预警情报、单舰级的战术指挥情报和火力单元级的跟踪制导情报进行推送，以满足不同级别用户对于情报不同覆盖区域、不同精度、不同信息粒度的需求。这样可以缩减不同级别用户从海量情报数据中获得所需情报的时间，加强情报保障的时效性。

为充分调动计算资源和提升数据利用率，打破信息壁垒，按照“分布式组织管理，集中式分发共享”的原则，平台采用分布式存储和分布式计算的技术，对情报搜集、存储、计算资源进行统一管理，根据情报保障任务需求，协调调度共同完成分析任务。采用传统的关系型数据库检索、存储现在舰艇编队海量的异构数据效率会非常低下，而平台采用的HBase 这类非关系型数据库具有无可比拟的性能优势。

2.3 主要功能

（1）真实的态势感知功能。综合利用各种侦察手段，将贯穿作战全过程的侦察预警、指挥决策、效果评估等各环节获得的数据存储到数据库中，通过对情报数据的挖掘，较为准确的还原战场真实态势，可以应用于目标识别、侦察预警、查证敌人位置、网电攻防等。

（2）迅捷的辅助决策功能。充分利用大数据技术分布式计算的效率优势，从充斥着虚假、缺失、孤立等“脏数据”的海量数据中，快速提取出有价值的情报，增强预测性，为指挥员优化作战决策和完善行动方案提供情报支持。

（3）高效的资源调度功能。在多维的战场空间中，通过构建的网络化作战环境，对编队所属的各类侦察预警设备和武器平台协同管理，加速从传感器到舰载武器的过程，以实现整体作战效能的最大化。

（4）便利的模块服务功能。通过面向情报用户的服务体系架构，对平台各部分功能软件进行模块化封装，包括数据预处理、数据压缩、数据存储、数据挖掘、特征提取等，形成功能模块软件库，在编队各成员、各系统、各节点之间共享。

3 关键技术

3.1 基于“云”概念的多传感器协同感知技术

编队海上活动面临的气象、电磁环境日益复杂，ISR（情报、监视、侦察）系统传感器种类和数量越来越多，海空活动的各类目标越来越密集，小型化、隐身化目标探测难度越来越大，这些都增加了编队情报获取的难度。因此需要根据预警、跟踪、打击、评估不同阶段的探测需求和作战规则，对传感器、存储、计算、通信等资源协同使用，优化资源利用，获取高质量数据。云计算分为基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）三个层次。陆基核心节点作为处理中心，利用其最大峰值的计算和存储能力，提供最高级别的Iaas、Paas 和Saas 服务；编队作为中心节点，在极限通信条件下提供低于核心节点的服务能力。核心节点、中心节点、边缘节点通过网络互联，灵活编组，构建联合作战云环境。通过将编队探测资源、存储资源、计算资源虚拟化，整合广泛分布的各类设备，构建广域共享的开放式“云”架构体系，实现ISR 系统分布式探测、资源互通共享，增强各系统之间的互联互通互操作能力。

3.2 广域的分布式大数据分析计算架构技术

研究符合编队海上作战特点的大数据分析计算架构技术，开发支持海量异构情报数据采集、存储、计算和挖掘等大数据软件系统，构建支撑实时、动态、精准情报分析的大数据平台。Hadoop 可以为大规模分布式情报采集和融合提供高容错性分布式和结构化存储、跨节点快速处理功能；Spark 面向内存提供高保密的情报数据读取和处理，支持面向指挥作战应用的大数据分析处理功能；Storm 针对不间断的情报数据流提供大规模、实时、容错计算功能。批处理封装在Hadoop 内核中，由MapReduce 作业执行，并得到Hadoop 生态内其他组件如Hive、Pig 的支持；Spark 通过内存计算，可以满足编队对历史数据挖掘的需求，其GraphX组件支持对图结构的情报数据处理；Storm 基于其对流数据的处理优势，用以支持编队短周期的快速指挥决策和控制。Hadoop+Spark+Storm 搭建了情报处理的典型框架，可以满足舰艇编队情报分析的要求。由于各类数据在编队内部广泛流通，需要充分考虑无连接、断续连接、低带宽等极限条件下的通信能力。

3.3 编队多源异构情报数据智能化挖掘技术

与激增的情报数据同步增长的还有隐藏在各类数据背后的潜在信息，传统的建模分析方法难以应对复杂多变的目标实际行为。面对存储在分布式数据库中质量良莠不齐、类型复杂多样的各类数据，采取数据挖掘技术，对情报数据进行清洗、预处理，结合传统的分类、聚类、关联等方法和贝叶斯网络、机器学习、决策树、神经网络等数据挖掘处理方法，可以较为准确的掌握目标作战能力和作战意图，对其背景、态势、特征、行为进行分析。例如，对于目标潜在行为方向的挖掘可以采用基于时空聚类的方法，采用BP 神经网络求解输入数据与输出结果之间的关系。

4 结 论

舰艇编队大数据情报处理平台具有以下优点：一是可以从海量的数据中快速提取出情报，形成覆盖较大范围的目标运动特征，加速打击速度；二是可以自主关联、整合、挖掘目标的威胁情况，为各级指挥员提供作战决策和优化方案的重要依据；三是能将片面、孤立的碎片化信息通过关联整合提升为对整体、全域的认知层次，从不同方面揭示战场态势全貌。大数据情报处理技术，舰艇编队防空反导、对海/陆打击、反潜作战有着重要的应用价值，可广泛应用于各类作战行动。