天基海量电磁数据深度处理服务平台

曾德国，徐富元，张 君，刘 建

(中国航天科工集团8511研究所，江苏 南京 210007)

·技术前沿·

天基海量电磁数据深度处理服务平台

曾德国，徐富元，张 君，刘 建

(中国航天科工集团8511研究所，江苏 南京 210007)

当前电子侦察数据呈现爆炸式增长，如何挖掘电子侦察的潜力，提升应用效能是当前电子侦察技术研究面临的关键问题。海量电磁数据深度处理平台以大数据技术为手段，利用云存储、云计算构建海量电磁数据的大数据深度处理框架，通过数据抽取、知识图谱构建、数据规律挖掘等关键技术，实现基于电磁信息的战场目标状态与意图预测，可有效提高电子侦察在现代信息作战中的重要性，提升电磁情报对战略、战役、战术的支援能力。

海量电磁数据；云存储；云计算；深度处理

0 引言

随着科技的发展以及各国对电子侦察卫星的重视，电子侦察卫星装备数量快速增加，卫星电子侦察数据呈现爆发式增长，卫星地面应用系统的能力也不断增强，产生的情报种类也不断丰富，每型卫星系统生存周期内的侦察数据和情报的数据量也增长了数倍，加之卫星的数量不断上升，总的数据量已达到了PB的规模。同时，随着卫星电子侦察能力的提升，侦察情报质量也有了较大的提高，也助推了不同卫星之间的侦察数据/情报融合以期得到更多情报需求的进一步强化。

在电子侦察卫星快速发展的同时，上述各型卫星应用系统在以下诸多方面还存在明显的不足：一是电子侦察数据的处理深度不够，特别是缺乏基于多星联合的深度挖掘能力；二是处理的层次不够，目前基本处于数据判别、单目标简单判别、平台简单判别等方面，在电子目标的行为层面情报的分析能力较弱，电子作战意图情报、预测情报、群目标任务情报基本处于空白状态；三是应用系统的自适应、自学习的能力较弱，缺乏与侦察载荷或外部环境的交互、反馈能力和自适应能力；四是应用系统的战术支援能力较弱，体现在与联合作战行动任务的紧密关系不足以及实时支援能力不足。

大数据技术发展到今天，许多技术已相对成熟，模型丰富、机器学习、自适应等技术特点可以较好地应用到上述问题的解决途径中，因此，基于大数据技术的电子侦察数据挖掘和智能处理技术的研究就显得尤为迫切。

1 总体框架

1.1 天基海量电磁数据深度处理服务平台的总体架构

天基信息云服务平台的总体架构可以按照图1进行搭建。

天基海量电磁数据深度处理服务平台的总体架构研究主要由两部分任务组成：天基信息融合处理技术研究和基于云技术的平台架构。

1.2 基于云技术的平台架构

基于云技术的平台架构主要由云存储、云计算和可视化图表展现引擎组成。

云存储通过集群应用、网络技术和分布式文件系统等功能，将处理网络中大量各种不同类型的存储设备通过专用的软件方式集合起来协同工作，共同对外提供数据存储和业务访问功能。云存储的建设可以通过其强大的集成和高效访问能力，解决天基海量侦测信息的存储、传输和访问问题，提供安全的数据接口、数据清洗和格式转换的处理平台。

云计算通过分布式计算、并行计算、效用计算和网络传输等技术，将处理网络中各计算节点集成起来统一调度，根据各插件软件的需求合理分配计算资源，实现处理系统的负载均衡和高效运行，能够解决天基海量数据的高计算量需求问题。

可视化图表展示引擎通过图形、图像处理、计算机视觉等方法，根据各插件的需求提供对数字、图片、实体关系等数据的图形、动画、三维的可视化展示平台。

1.3 天基信息融合处理技术研究

天基信息融合处理技术研究主要由数据源、数据采集、知识图谱、数据处理和应用服务组成。

天基海量电磁数据深度处理服务平台项目主要处理的数据源由天基数据和其他数据组成。天基数据主要由侦察数据(图像、电子侦察数据)和测绘数据组成。其他数据主要由互联网(文本、声像)、气象水文、情报等数据组成。天基海量电磁数据深度处理服务平台数据源可以统一地存储在云存储平台中，并且向处理上层提供统一的调用接口，以满足处理插件对数据灵活调用与处理。

数据采集主要的功能是数据的获取和数据的清洗。根据各处理插件额需求，通过数据接口采集数据，同时对多源异构数据清洗，去除其中不必要的参数和特征，降低数据传输对网络带宽的要求。数据采集的工作是在云存储平台中的各存储器端实现。

知识图谱通过实体抽取，关系规则挖掘和实体关系表达等关键技术的研究，对天基多源异构的海量数据实现共指消歧，实体对齐等功能构建基于目标、事件、地物、区域的多维度知识图谱，为目标行为规律分析与预测、动态监视和态势感知提供丰富的数据特征。由于天基信息获取能力不断提高，天基数据量日益剧增，知识图谱在构建和更新过程中会产生大量的计算需求，因此需要依托云计算平台实现快速的关系规则挖掘为图谱的及时更新提供保障。

数据处理是基于知识图谱的基础上，依托海量天基数据，面向情报需求，利用机器学习、规则挖掘等关键技术，根据天基获取当前信息，建立实体规律和预测模型，实现对目标行为规律挖掘与预测、目标动态监视、事件预测和态势感知。

应用服务是利用计算机图形学和图像处理技术，将情报数据转化成图形或图像，以交互处理的理论、方法和技术面向用户提供个性化、准确的目标行为、目标状态、事件状态和态势形式的情报信息服务，增强军委、各战区和各武器平台对情报数据的理解、探索和交流能力。

2 知识图谱的构建

针对情报保障智能化、自动化需求，瞄准信息快速关联、高效检索以及隐含关系发现、推理预测等需求，突破多源信息的实体抽取、实体关系挖掘以及实体关系表达等关键技术，为面向情报任务的目标行为规律挖掘与预测，目标动态监视，重大事件预警以及战场态势感知提供多维度的样本特征。

2.1 知识图谱的构建过程

知识图谱的构建过程如图2所示。

知识图谱的构建首先应以情报需求的目标为中心，从海量的天基信息数据源中进行实体抽取，通过现有的关系数据库或规则得到一些简单的实体之间的关系。但是有些实体关系是隐藏的、未知的，需要人工的判别或者大量数据的挖掘才能得到，因此通过实体关系挖掘可以得到更深层次的实体关系，最后通过实体关系表达构建知识图谱。

2.2 实体抽取

针对天基多源数据以及其他引接数据对于实体的描述不一致性问题，从海量的天基信息数据中抽取参数、名称和语义等信息通过数据关系库和规则实现实体对齐与共指消歧，完成实体集合的建立。

实体抽取的过程如图3所示。

天基海量电磁数据深度处理服务平台的数据源主要由天基数据(包含图像侦察、电子侦察和测绘数据)以及其他信息(文本、声像、情报等数据)。天基信息中由于天基手段各异，获得的情报产品也不相同，其他信息中更是包含了大量非结构的数据，因此各种实体间的对齐方式也是不相同的。

图像侦察的实体对齐：现有的天基图像侦察的方式主要包括红外、可见光、SAR以及高光谱等手段，其作用的实体目标包括飞机、舰船、地物等。由于各种天基图像侦察的原理不相同，因此对于实体的描述表征均不相同，在实体对齐的过程中可以借用现有的图像识别库，通过目标名称和一些固定的参数实现红外、可见光、SAR以及高光谱作用实体间的对齐。形成目标的实体集。

电子侦察的实体对齐：现有的天基电子侦察主要的情报产品包括中频数据、全脉冲数据和辐射源信息。由于辐射源的存在脉间捷变、脉组捷变、频率跳变等多种工作方式，因此在辐射源实体对齐过程中可以借用一些辐射源库将多种全脉冲，中频参数与辐射源的名称进行对齐，形成辐射源的实体集。

其他信息的实体对齐：文本、声像、情报等数据相比较于天基数据更加复杂，包含了多种实体(包括事件、地物、目标和区域)。很多信息数据均是非结构化的，在处理之前需要进行元数据的提取，然后由于信息中存在语义的共指和歧义，需要通过规则进行共指消歧，形成多种实体集。

2.3 实体关系挖掘

天基海量电磁数据深度处理服务平台的实体应包括目标、事件、地物和区域等实体，天基海量信息应包含侦察、测绘和其他信息等。因此各实体之间的关系有十分明显，也有较为隐藏的，需要去挖掘才能发现。通过信息推理、数理统计、判读经验积累等方法，实现各实体间关系的挖掘。

实体关系挖掘的过程如图4所示。

军事行动中目标的行为、事件的发展和态势的转变与多种因素有关，如作战任务、地理环境、军事形势、指挥思想、目标性能等。因此知识图谱中的各实体之间的关系错综复杂，相互影响，因此需要深入研究各实体间关系，构建完备的知识图谱。

为了满足天基海量电磁数据深度处理服务平台知识图谱的要求，可以从以下几个方面考虑进行实体间的关联。首先可以利用一些先验的信息，如关联数据库、已有的关联规则等，实现关系关联；其次可以通过位置、时间、描述、数据的匹配统计实现实体关系的挖掘；最后通过对判读员经验积累完成实体关系建立。

2.4 实体关系表达

完备的知识图谱可以为数据处理的规律挖掘与模型训练提供更高维度的特征数据。因此在实体抽取与关系挖掘的基础上，通过实体关系图进行数据库的建模是知识图谱在天基海量电磁数据深度处理服务平台中的实际应用方式。

天基海量电磁数据深度处理服务平台中的实体关系图(ERD)如图5所示。

通过实体关系图的建立可以预先精确定义数据库的需求，但是转向数据建模工具的时候会存在以下难题。

首先是如何使用建模符号准确地描述实体与实体关系；其次如何在不丢失任何关键信息的前提下，用数据建模工具描述实体关系图；最后如何开发一个对实体关系图全面支持的工具。

基于实体关系图的数据模型初步如图6所示。相对于目前传统的数据组织

方式，有以下优势：首先是渐增式数据模式设计：初始设计的时候，很难清楚所有的概念，而知识图谱的动态可扩充性以及“无模式”特性使得用户很容易增加或修改模式；其次数据集成更方便：本体的语义互操作特性以及“链接数据”原则，使得来自不同供应商的数据集成更为方便。再其次是现有标准支持：有RDF(S),OWL, SPARQL等标准，可以逐渐要求内容供应商支持；最后是数据和知识应用更简单：可实现自然语言形式的语义检索。

3 数据处理与应用服务

天基海量电磁数据深度处理服务平台主要包括搭载平台和工作模式分类分析服务、舰船行为的分类服务和多源数据的关联规则挖掘服务。

3.1 基于ELM的搭载平台和工作模式分类分析服务

ELM(extreme learning machine)极速学习器是一种深度机器学习挖掘规则的方法，对比传统单层神经网络，具备精度相同但速度更快的优点。ELM是由黄广斌提出来的求解神经网络算法，神经网络模型如图7所示。ELM最大的特点是对于传统的神经网络，尤其是单隐前馈神经网络(SLFNs)，ELM比传统的学习算法速度更快。

通过ELM技术学习可以实现对实时电磁数据进行搭载平台和工作模式分类的服务。

3.2 基于LSTM的舰船行为分类服务

LSTM是基于RNN的时间序列神经网络，通过对已知时间发生时间状态学习，判断下一时刻的状态。海量电磁数据深度处理服务平台中输入数据是一个时间与空间结合的数据类型。所有RNN 都具有一种重复神经网络模块的链式的形式。在标准的RNN中，这个重复的模块只有一个非常简单的结构，例如一个tanh层，如图8所示。

LSTM同样是这样的结构，但是重复的模块拥有一个不同的结构。不同于单一神经网络成，如图9所示，这里有四个，以一种非常特殊的方式进行交互，也是LSTM基于RNN神经网络的改进项。

如图9所示，每一条黑线传输着一整个向量，从一个节点的输出到其它节点的输入。中间的圈代表pointwise的操作，诸如向量的和，而阴影的矩阵就是学习到的神经网络层。合在一起的线表示向量的连接，分开的线表示内容被复制，然后分发到不同的位置。

3.3 基于Apriori算法的多源数据的关联规则挖掘服务

Apriori算法使用频繁项集的先验知识，使用一种称作逐层搜索的迭代方法，k项集用于探索(k+1)项集。首先，通过扫描事务(交易)记录，找出所有的频繁1项集，该集合记做L1，然后利用L1找频繁2项集的集合L2，L2找L3，如此下去，直到不能再找到任何频繁k项集。最后再在所有的频繁集中找出强规则，即产生用户感兴趣的关联规则。

由于电磁信号与多源标注信息之间的语义关联度不强，比起因果关联模型，采用数据统计的Apriori算法更为合适。其次由于需要常常更新知识库的关联模块信息，导致大量信息需要重复计算，Apriori算法计算代价较低，且更新后精度较高。

4 结束语

本文介绍了一种基于大数据处理的辐射源识别技术，具体包含了大数据处理系统的构架、知识图谱的构建与基于无标签电子侦察数据的聚类实例。该技术能够依托海量的天基电子侦察数据为基础，利用数据挖掘、智能聚类等方法实现对辐射源目标快速、准确、全面的识别与意图预测，对于电子侦察领域的技术研究的发展具有一定的指导意义。■

[1] 庄严，李国良，冯建华.知识库实体对齐技术综述[J].计算机研究与发展,2016,53(1):165-192.

[2] 沙毅，陈曦，张立立，等.基于ELM神经网络的FAST节点位移预测研究[J].东北大学学报(自然科学版)，2017,38(5)：630-633.

[3] 姚庆锴，柳少军，贺筱媛，等.战场目标作战意图识别问题研究与展望[J].指挥与控制学报,2017,3(2)：127-131.

[4] 赵月，任永功，刘洋.基于MapReduce 的改进的Apriori算法及其应用研究[J].计算机科学，2017,44(6)：250-254.

Depth-processingplatformbasedonthemassspace-electromagneticdata

Zeng Deguo, Xu Fuyuan, Zhang Jun, Liu Jian

(No.8511 Research Institute of CASIC,Nanjing 210007,Jiangsu,China)

The electronic reconnaissance data has seen an explosion of mergers. How to exploit the potentialities from the electronic reconnaissance data is the key issue of the electronic reconnaissance technology. Big data as a method is used in the depth-processing platform based on the mass space-electromagnetic data. The framework of the depth-processing platform based on the mass space-electromagnetic data is built by cloud computing and storage. The target state and intention prediction is acquired by the data extraction, knowledge map and law mining.The depth-processing platform based on the mass space-electromagnetic data can enhance the significance of the electronic reconnaissance in the modern information warfare and promote the capacity of electromagnetic intelligence in the war of strategy, battle or tactics.

mass electromagnetic data;cloud computing;cloud storage;depth-processing

2017-07-20；2017-08-12修回。

曾德国(1985-)，男，高工，博士，主要研究方向为电子侦察接收机。

TN97

A