异地多源数据读写同步技术

陈春宇

（中国电子科技集团公司电子科学研究院，北京100041）

1 多源异构数据库系统框架

电磁数据具备格式多、来源多、种类多、数量多等特点，从格式上来讲包括结构化、半结构化和非结构化数据；从来源上来讲包括装备采集数据、系统处理数据和人工分析数据；从种类上来讲包括原始采集数据（全脉冲、中频、无线频谱）、分析结论数据（分选结论、信号样式、目标位置、识别结论、人工分析报告）、支援情报数据（海空情、卫星情报、资料情报、伪基站传播短信息内容、黑广播传播内容）、电子目标数据（辐射源参数、平台目标及其活动规律、电子标签、电磁目标位置及轨迹）和作战基础数据（电子战部队、电子战武器装备、台站库）等。

由于电磁数据具备以上特点，如不进行统一的预处理，将给后面的挖掘分析带来很大的困难。多源异构电磁海量数据采集及汇聚技术主要解决电磁数据的统一采集（包括实时数据和非实时数据接入）、数据解析提取、数据去重去噪、数据格式转换和数据持久化等问题。

电磁数据统一采集和汇聚技术主要通过数据服务总线ES 消息发布订阅机制实现。主要实现途径如下：

（1）实时数据或非实时数据，统一发布至数据服务总线ESB，并通知各订阅组件；

（2）系统订阅到数据后根据类别调用相应的数据解析服务进行索引信息和特性信息的提取；

（3）根据数据索引信息和特征信息跟数据库中数据进行匹配计算，过滤掉重复数据；

（4）根据数据质量准则对数据进行质量评估，过滤掉不符合质量要求的数据；

（5）将数据格式统一转换为Protobu 式，并调用存储服务对数据进行持久化。

对于不支持数据总线采集和汇聚的老系统，采用数据库上报和文件FT 传方式来实现，以及通过智能网关进行协议转换实现老设备挂接到数据服务总线ES，突破了多源异构海量电磁数据的统一采集、数据解析提取、数据去重去噪、数据格式转换和数据持久化等问题。

2 数据读写语言

（1）通过服务接口返回采集

系统建设符合《无线电监测数据采集规范》和《无线电监测数据传输规范》。根据《无线电监测数据采集规范》和《无线电监测数据传输规范》，监测设备接到上层控制指令后，按指令要求进行监测采集，采集过程中或采集完成后，生成的结果通过如表1 的五种方式之一返回。

其中XML、stream 种方式结果返回到发起命令的监测管理平台，由监测管理平台处理后存入电磁大数据中心；URL、FTP、database 种方式结果直接存到电磁大数据中心。下层文件系统上传大量详细监测的结果以文件的方式保存在文件系统中。下层文件系统通过FT 传到上层电磁大数据中心。

表1

（2）通过下层数据库上报

电磁大数据中心的数据主要来源于下层业务数据库。地市级数据库定期将数据同步到省数据中心或省数据分中心，省数据中心或省数据分中心将本级数据定期同步到电磁大数据中心。

例如：当监测站配备了AI 收机时，AI 收机接收到的数据经过加工处理后，可能会直接存入到监测数据库中，再通过监测数据库将AI 测数据上报到上层电磁大数据中心。

（3）通过其他途径导入

管理平台通过数据导入、数据交换等方式，将天线系数、各类模板、国内台站、国内频率、国际台站注册信息、国际频率协调信息等数据存入电磁大数据中心。

3 数据读写方法及接入技术

智能网关项目围绕提升智能前端节点的数据感知能力、数据处理能力、前置响应能力和协同感知能力的要求，通过开展对感知数据采集、接入、处理和反馈的研究，提出基于分布式感知和处理的智能感知网关前端系统，突破感知数据归一化、异构数据融合、综合目标识别、边缘计算、数据趋势分析技术、前置目标服务和节点组网等技术，构建基于感知即服务的智能网关前端节点系统，形成快速构建各种感知系统能力，达到国内领先水平，为基于“感知即服务”的分布式智能网关前端系统的智能化和大数据应用打下坚实的基础。

智能网关是分布式系统的前端关键设备，通过协同感知、边缘计算和前置反馈等技术改变了原有感知系统前端采集、后端处理和反馈的机制，采用数据处理前移、分布式数据处理、节点协同感知和网格化部署等，使得感知设备具备大规模组网、前置快速响应、前置智能信息分析和感知节点自组网协同的能力，为后端大数据平台提供统一数据和服务响应支持。当前系统实现以蓝海岛礁观测系统、智能感知接人网关等为代表的分布式智能前端系统，极大提高感知数据采集、应急反应和多节点协同等能力，最终实现智能计算和大数据的前端延伸。

主要功能如下：

（1）感知数据格式归一化功能：智能网关支持多种感知设备的接入和数据接收，实现统一的硬件接口转换、设备即插即用和支持多种感知设备的接入，并把各种不同的感知设备类型的数据进行归类处理，形成统一的数据格式。

（2）数据分布式处理功能；建立数据节点实现数据分布式处理的能力，实现前端数据清洗、处理和融合，并支持节点处理二次开发和远程挂载能力。

（3）感知数据服务提供功能；网关节点提供统一的感知数据和数据服务总线，实现感知数据统一服务能力。

（4）系统扩展及自组网功能；构建的系统具有较强的扩展能力，新的节点的加入后可在不同节点之间进行数据转发和自寻路由，不需要进行开发。

电磁大数据智能网关符合《无线电监测数据采集规范》和《无线电监测数据传输规范》标准，实现了通过RMT 协议和监测服务接口规范等手段，接入、整合不同厂商的监测设备、环境监测设备以及视频监控设备，并以标准原子化服务（符合《超短波监测业务一体化平台服务规范》）向外部提供统一的对异构监测设备的访问控制，从而完成不同的厂商监测设备的整合，实现异构监测网络的连接和互操作，为上级系统提供统一的设备控制、数据管理和智能分析的原子化服务。电磁智能网关支持实时工作模式、自主工作模式。具有监测环境数据的整合和协调功能，能协调同时对环境监测设备的多个控制请求指令，保障对设备的正确控制和设备状态的正确反映，能采集监测设备的网络流量、剩余磁盘容量、剩余内存容量、CPU 使用率等额外的资源消耗数据。

电磁大数据智能网关具有多种工作模式，可实现监测数据和自动采集和智能化分析，在采集监测数据时，自动识别频谱变化，并检测出引起频谱变化的信号，识别信号的调制，测量信号的IT 数，解调解码信号内容，记录信号频谱等特征。智能监测网关可对下属设备访问的优先级仲裁，协调多个用户或任务对同一监测设备或环境监控设备的访问控制，避免对设备的控制冲突的发生。

电磁大数据智能网关支持智能网络切换，自动按照有线网络、无线3G/4G 移动通信、卫星通信网络优先级顺序接入。支持数据传输过程中的数据重传与断点续传（在网络条件较差时），确保各类数据在传输过程中的数据完整性。

电磁大数据智能网关对下支持各种标准监测协议接入，包括RMTP、原子服务、LG；同时并可对不同厂商的监测协议进行适配，从而实现了异构监测设备的统一接入。智能网关对于上级系统同样提供了RMTP、原子服务、LG 标准协议的控制访问入口，其中通过RMT 协议或原子服务协议可实现与无委现已建监测系统进行无缝对接，同时通过LG 准协议可向军队频管系统提供访问接口。

4 结语

异地多源数据副本读写同步技术同时实现了对不同监测设备上报的异构监测数据进行整合，其所存储和上报的数据格式遵循国家无线电管理“四库一化”相关标准。智能网关同时提供实时数据流上报、服务调用返回（XML）、FTP、数据库同步等接口方式，实现与上级系统的对接，可实现与无委现已建监测系统、军队频管系统等之间的数据共享，下一步项目组将结合已有成果，从两个层面开展工作。

一是结合中国电科云数据中心全国布局，启动自主可控国家公共云节点试点建设，开展数据中心准入指标体系、评测方法研究，突破国家公共云资源调度、跨领域数据资源共享调度等关键技术，构建国家公共云数据资源调度体系，实现不同行业、不同业务领域和不同组织机构的数据中心之间的资源调度能力示范验证。

二是结合技术研究的逐步深入，反向完善顶层架构设计、标准体系制修订。