基于孪生网络的电磁目标跨模式识别算法

张 伟，王沙飞，林静然，利 强，邵怀宗

（1. 电子科技大学信息与通信工程学院，四川成都 611731；2. 电子信息控制重点实验室，四川成都 610036；3. 北方电子设备研究所，北京 100191；4. 鹏城实验室，广东深圳 518055）

1 引言

电磁目标识别是电磁频谱感知/认知领域的重要研究内容，是实现电磁频谱资源有效管控的重要手段［1］.传统的电磁目标识别主要利用经典信号处理方法提取目标特征并进行模板匹配，以此为依据对目标身份进行辨识［1～4］. 这类方法受人为经验影响较大，自适应能力差，在复杂的应用场景中识别准确率较低. 近年来，以深度学习［5，6］为代表的人工智能技术为复杂电磁环境下的目标精准识别提供了一种有效解决方案. 神经网络具备模拟复杂非线性映射关系的能力. 利用大量标注良好的数据对神经网络进行分类训练，可以避免繁杂的显式特征提取，将电磁信号特征提取和身份辨识并入神经网络，实现端到端的精确识别［7～14］.

总体而言，在训练样本充足且标注良好的情况下，各类神经网络大多能很好地完成目标识别任务. 但这样的条件过于理想. 特别地，现有的电磁目标往往具有多种工作模式，如全网通手机可兼容2G/3G/4G/5G等制式；通信电台可以工作在不同频段，采用不同的调制、编码和加密方式进行信息传递［15］；多功能雷达也支持边跟踪边搜索、跟踪加搜索、单目标跟踪、多目标跟踪等多种模式［16］. 受目标工作场景、模式选择策略和数据采集条件等因素限制，能够获取的多模式电磁目标各模式训练样本的数量往往不均衡，甚至会出现某一种或几种模式的样本完全缺失或者十分稀少的情况. 本文将训练样本充足的模式称为“常见模式”，将样本缺失或稀少的模式称为“罕见模式”. 由深度学习方法自身机理可知，在罕见模式下难以获得较好的识别性能.需要说明，尽管罕见模式出现频率不高，对应的目标识别问题却十分重要. 以军用电台为例，在日常训练和实际作战中电台工作在不同模式. 日常训练对应常见模式，数据较易获取、训练样本充足，可以确保较高的识别率；一旦进入实战，电台会切换到作战模式即罕见模式，由于前期缺乏训练样本支撑，作战模式下的目标识别十分困难. 另一方面，从实用角度出发，能够在作战模式下正确识别目标显然更有价值，其重要性甚至超过了训练模式下的目标识别［17］. 基于上述考虑，本文针对多模式电磁目标在非均衡数据集上的跨模式识别问题开展研究.

目前，关于非均衡数据集上的目标识别问题，其解决方法主要有3 类：数据层面的方法、算法层面的方法和混合类的方法［18～20］. 其中，数据层面的方法利用重采样或生成对抗网络（Generative Adversarial Network，GAN）等方法来平衡各目标的训练集［21～25］；算法层面的方法则通过修正现有学习器来缓解数据不均衡造成的学习偏移，代表性的方法有代价敏感学习算法［26，27］、单分类学习算法［28，29］、基于模糊决策树的算法［30］、基于核学习的算法［31］、网络嵌入方法［32］等；混合类的方法则把数据层面和算法层面的方法相结合，利用二者的优势来进行目标识别［33～35］. 除此之外，另一类相关的研究是小样本/零样本识别，二者都是在训练样本不足时试图提高目标识别率，其基本解决思路仍然是数据增强、修改算法或将二者结合［36～41］. 需要说明的是，尽管在相关领域已经有很多成果发表，但是关于本文考虑的多模式电磁目标在非均衡数据集上的跨模式识别问题仍然缺乏一个有针对性的优良解决方案. 就现有方法而言，数据层面的方法往往存在增加无用数据或者误删有用数据的风险；而算法层面方法的性能高低取决于能否准确地定位传统方法在非均衡数据集上识别性能恶化的原因——这显然并不容易. 此外，很多现有非均衡数据识别、小样本/零样本识别都没有考虑多模式问题，它们研究的目标模式较为单一，尽管也有研究考虑一大类目标中又包含若干小类的问题，但这和一个电磁目标具有多种工作模式的场景有着明显的区别. 最后，本文考虑的非均衡数据集并不是简单的各类数据比例不同，而是某类数据完全缺失或者十分稀少的极端情况，处理起来显然更具挑战. 综上所述，由于问题模型的不匹配，直接使用现有方法求解本文的问题难以获得令人满意的性能.

为解决多模式电磁目标在非均衡数据集上的跨模式识别问题，本文首先分析现有方法性能不足的原因.现有深度学习方法在非均衡数据集上主要依据常见模式数据中携带的电磁指纹来学习确定分类边界，忽略了罕见模式数据中的电磁指纹. 由于目标内部不同模式数据间的差异可能超过不同目标数据间的差异，这必然导致在罕见模式下的目标识别性能下降. 另一方面，由于使用同一套硬件设备，同一目标不同模式的数据间仍然包含有（可能非常微弱）共有的指纹特征，如果能设法让深度学习过程更加关注这些不同模式间的共有指纹特征，将显著提高罕见模式下的识别性能. 基于上述观察结果，本文提出了一种基于孪生网络（Sia⁃mese Network）的电磁目标识别算法，以解决多模式电磁目标在非均衡数据集上的跨模式识别问题. 本文的主要贡献总结如下：

（1）在孪生网络框架［42］下，通过修改网络结构和损失函数，引导神经网络在深度学习过程中聚集在同一电磁目标不同模式间的共有电磁指纹特征，同时弱化不同模式间电磁指纹的差异，从而修正了由数据不均衡引起的分类边界偏移；

（2）基于度量学习［43］的思想，设计了一种邻近判决准则，通过计算罕见模式下的网络映射向量与训练集上各个目标映射向量间的欧氏距离来进行目标分类判决，该方法有效规避了人为设置门限引起的判决模糊，自适应能力更强；

（3）在此基础上提出了一种联合判决反馈机制，其核心思想是当罕见模式下的测试数据到来时，利用多样本进行联合判决，根据当前判决结果标记新到数据，并利用新标注的数据反馈和更新网络，使网络具备自增长能力，逐渐提升罕见模式下的识别性能.

2 基于孪生网络的跨模式识别算法

2.1 现有深度学习方法的不足

为有针对性地解决多模式电磁目标在非均衡数据集上的跨模式识别问题，需要先分析现有深度学习方法失效的原因. 图1 给出了现有方法在处理该问题时遇到的困难，图中红、黄、蓝3 种颜色代表3 个不同的目标，编号1，2，3则对应3种常见模式，编号4对应罕见模式. 如图1 所示，不同目标不同模式的数据携带的电磁指纹特征是不同的（他们在信号空间处于不同位置），并且同一目标内部不同模式数据间的指纹特征差异可能超过不同目标数据间的特征差异. 以不同模式代表不同工作频率的场景为例. 电磁信号在空间的传输受到频率选择性衰落的影响，且不同频段上的衰落特性差异巨大. 另一方面，随着电路集成工艺的提高，相同型号元器件之间的电气特性差异正不断减小. 在这种情况下，同一目标内部不同模式数据间的指纹特征差异完全可能超过不同目标数据间的差异. 这里使用距离远近描述差异大小. 在图1（a）中，罕见模式训练样本缺失，网络完全根据当前已有常见模式训练样本的映射向量在空间的分布情况确定分类边界，忽略了罕见模式样本在空间的分布. 测试过程中，当罕见模式样本（见图中虚线圆圈）到来时，利用上述边界进行分类就会发生误判，如图1（b）所示. 同理，当罕见模式的训练样本十分稀少时，也会发生类似的现象.

图1 现有深度学习方法在非均衡数据集上的跨模式识别过程

由上述分析可知，同一目标不同模式间的特征差异性可能掩盖目标个体间的特征差异性，导致深度学习过程主要关注各个模式的指纹特征，因此个体识别性能受模式变化影响较大. 为解决该问题，本文拟采用度量学习（Metric Learning）的思想来弱化模式特征，凸显个体指纹特征. 具体而言，通过寻找一个度量空间（映射空间），使得同一目标的不同工作模式在度量空间中呈现聚合特性，同时不同目标在度量空间中呈现分散特性，从而实现对同一目标不同模式特征的弱化和对不同目标个体指纹特征的凸显. 在度量学习领域，孪生网络最具代表性. 下面对孪生网络基本原理进行简单介绍，并对基于孪生网络的电磁目标跨模式识别算法进行详细描述.

2.2 基于孪生网络的电磁目标跨模式识别原理

孪生网络度量学习核心是通过构造对比损失函数（Contrastive Loss），缩小同一目标间的距离，拉大不同目标间的距离. 采用的损失函数如下：

此时，网络将不同目标在度量空间中的距离至少拉大到M.

网络训练可以通过求解如下优化问题实现，即

图2 孪生神经网络结构图

该优化问题通常采用随机梯度下降法（Stochastic Gradient Descent，SGD）迭代求解，过程如下：

其中，Nk为第k次SGD 迭代的mini-batch；ηk>0 为迭代步长. 在具体实现中，可以使用SGD 的加速算法Adam来更新网络参数.

孪生网络将输入的电磁信号映射到度量空间. 基于电磁信号在度量空间中的表征，还需要设计相应的分类判决准则. 传统的孪生网络判决方法将待分类数据与训练数据成对输入两个子网络中，获得各自的映射空间向量，计算向量间的距离（如欧式距离、指数距离等）以获取相似度量值，并人为地设置门限对其进行判决——度量值小于门限则判为同类，大于门限为判为异类. 但是，由于门限划分与数据密切相关，面对不同场景的数据集时需要反复进行人为筛选，缺乏灵活性. 为解决门限设置难题，本文设计了一种Q临近点判决准则，以实现跨模式目标识别.

2.3 Q临近点判决准则

Q临近点判决的原理可描述为

其中，x为待判决的输入；为第i类辐射源的第n个训练数据；q(i)为第i类辐射源训练数据集合的任一大小为Q的子集；I为类别辐射源/类别总数；Q临近点判决方程在度量空间中计算每个辐射源与当前待判决信号最近的Q个点的距离和，选取最小值来判决当前输入信号所对应的辐射源.

图3 给出了Q临近点判决原理示意图. 简单起见，考虑3 个辐射源（红、蓝、黄），每个目标包含3 种模式（圆形、矩形和三角形）. 当待分类数据输入网络后，在度量空间中映射为绿色正五边形. 分别计算绿色正五边形与1～3 号源的常见模式数据之间距离最近的前Q（这里Q=4）个距离和，作为待分类数据与3 个源的判决距离. 假设绿色正五边形与1～3号源的判决距离分别为1，2和1.5，则待分类的绿色正五边形判决为辐射源1.

图3 孪生网络的Q邻近点判决算法示意图

综上，面对多模式电磁目标的非均衡数据集，结合Q临近点判决，本文提出了基于孪生网络的跨模式目标识别算法，其具体流程如算法1所示.

算法1 基于孪生网络的跨模式目标识别算法输入:由多模式电磁目标各个模式样本组成的数据对输出:新输入某目标罕见模式样本的识别结果步骤1 将训练数据对输入图2所示的孪生网络并训练步骤2 保存网络模型步骤3 加载网络模型步骤4 将待判决的某目标样本与各个源的已有样本以数据对的形式输入孪生网络中步骤5 对待判决的样本与各个源已有样本之间的度量距离进行决策判决,判决出该样本所属目标,具体步骤如下:步骤5.1 计算各个目标已知样本中与输入样本距离最近的Q 个距离度量并求和步骤5.2 找到Q个距离度量之和最小的目标步骤5.3 将待判决样本判定为步骤5.2中目标

由临近判决的机制，不论是罕见模式还是常见模式均能通过寻找临近最近的所属源来实现判决，解决了硬判决强边界的问题，也解决了人工辅佐设置门限导致程序的繁冗.

3 基于联合判决反馈的自增长识别

在罕见模式数据缺失或十分稀少的极端情况，由于必要信息的缺失，受限于深度学习的机理，有时候算法1 中的方法仍然难以拿到获得足够高的跨模式识别率. 为此，在前一节的基础上引入数据切片技术和联合判决反馈，使孪生网络具有自更新的能力，利用罕见模式测试数据进一步提升对罕见模式的识别性能. 该方法的基本原理如图4所示.

在图4中，通过对长段的未知目标数据进行数据切片，并将多路切片数据并行送入已训练好的孪生网络模型，利用第2节中的Q临近点判决算法获得m个独立的判决结果. 通过对m个判决结果进行联合判决，最终得到当前待测样本的判决结果. 实验发现，当每个切片数据的判决准确率不太高的时候，通过多个独立切片判决结果的综合，可有效提升最终的判决准确率.

图4 基于联合判决反馈的自增长跨模式识别原理

获得当前待测样本的判决结果后，可将该结果作为该未知目标数据的标签加入到训练集中，对孪生网络进行重新训练或仅用新加入的数据进行增量式更新训练，从而实现网络的自增长. 需要注意，自增长是否有效取决于对新入未知目标数据的识别是否准确. 若能较准确的识别，可以实现正向自增长，若新入数据识别率较低，可能会导致错误累积效应，恶化孪生网络性能. 为避免错误累积，一方面可以只使用联合判决置信度较高的待测数据进行网络更新；另一方面，可以引入网络更新判决机制，通过对网络更新前后在验证集上性能的比测试，来决定最终是否更新后网络模型.

4 算法性能测试

利用5 部多模式通信电台的中频实采数据进行跨模式识别算法的性能测试. 其中，每部电台支持在5个不同频率（200 MHz，330 MHz，400 MHz，440 MHz，500 MHz）上传输数据，对应5种工作模式. 在测试过程中，选取任意一种频率（如440 MHz）为罕见模式，其他4 种频率为常见模式，利用大量常见模式的数据和微量罕见模式的数据实现5部电台罕见模式数据的识别功能.

作为对比，同时测试在孪生网络架构和常规单体网络架构上的跨模式识别性能. 两类网络都选择经典卷积神经网络（Convolutional Neural Network，CNN），训练集包含各个电台大量常见模式的数据样本和微量的罕见模式数据样本. 二者使用相同的样本量和特征提取方法，本文用短时傅里叶变换（Short-Time Fourier Transform，STFT）. 单体网络和孪生网络的相关参数如表1 所示，其中罕见模式的训练样本量可配，以常见模式训练样本数1 920 为基准，在0%～100%之间选择一些典型的比例值，以测试不同罕见模式训练样本量下的跨模式识别算法性能.

表1 单体网络和孪生网络的配置对比

在第一个实验中，假设5部电台罕见模式的训练样本完全缺失，使用经典的单体CNN 和本文所提出的孪生网络方法分别对5 部电台罕见模式的测试样本进行识别，得到的混淆矩阵如图5所示. 由图5可以看出，单体CNN 在罕见模式训练样本缺失的情况下基本不具备跨模式识别能力，只有4号电台的罕见模式识别效果略高，但也仅为56%，而5部电台的平均识别率仅为35%，几乎等同于随机猜测. 与之相对，孪生网络在罕见模式样本缺失的情况下，对1 号、2 号、4 号电台仍然具有较好的识别效果. 特别地，最高的4 号电台罕见模式的识别率达到了98%，其可能的原因为4号目标罕见模式和常见模式之间的相似程度非常高. 另外，此时对1 号、2号电台的识别率也高于60%，只有3号、5号电台的效果略差. 本实验说明，基于孪生网络的目标识别算法显著提升了非均衡数据集上的跨模式识别能力，在罕见模式训练样本缺失、单体CNN 方法基本失效的情况下，其仍可以识别大部分目标.

进一步地，观察到图5 中3 号和5 号电台识别率仍然较差，尝试加入微量（即192个样本，仅占常见模式训练样本数量的10%，时长约为500 ms）第3 号、5 号电台的罕见模式样本参与训练，此时第1号、2号和4号电台罕见模式的训练样本仍然缺失. 两种方法获得的混淆矩阵如图6 所示. 可以看出，增加少量3 号和5 号电台训练样本后，2 种方法的识别率都有所上升，但单体CNN 方法的识别率仍然较低，大部分电台识别率不足50%，5 部电台平均识别率仅为51%；而孪生网络方法效果提升明显，3号电台识别率由13%增加到了60%，5号电台识别率由39%增加到了66%，5部电台平均识别率达到70%. 由此可见，本文设计的基于孪生网络的跨模式目标识别算法在非均衡数据集上优势明显.

图5 罕见模式训练样本完全缺失时的混淆矩阵

图6 第3号、5号电台增加10%的罕见模式训练样本后的混淆矩阵

为全面地测试所提出算法的性能，在下面的实验中逐步增加所有5 部电台罕见模式的训练样本. 同时，在对比算法中除了经典的单体CNN 目标识别方法外，还增加了2种数据增强的方法进行比较：一是通过线性组合采样的数据增强方案，二是基于生成对抗网络GAN的数据增强方法. 图7所示为5部电台罕见模式平均识别率随罕见模式样本数量的变化图. 由图可知，在罕见模式训练样本量较少（如低于常见模式样本量的20%）时，2 种数据增强方法的识别率仅仅是略好于经典的单体CNN 方法，这是因为当绝对样本量较少时，这些方法很难有实质性的数据增强效果，因此性能提升有限. 这说明对于本文考虑的非均衡数据集上的跨模式识别问题，数据增强方法并不适用. 与这3 种方法相比，本文提出的识别算法优势明显，特别是在罕见模式训练样本量低于常见模式量的20%时，识别率性能提升比例最高超过20%. 此时尽管罕见模式训练样本的绝对数量很小，但通过与常见模式相对充足的训练样本进行组合，仍然可以构成大量样本对，支撑网络收敛到较好状态. 当罕见模式训练样本量继续增大时，几种方法的性能大致相同. 该结果说明，本文提出的方法特别适用于罕见模式样本缺失或者十分稀少的极端情况.

图7 罕见模式识别率随罕见模式训练样本数量的变化情况

最后一个实验测试联合判决反馈机制带来的网络识别率自增长效果. 首先，需要确定进行联合判决的样本数量. 容易想到，进行联合判决的样本数越多，反馈的数据样本标签越准确，最终联合判决识别率也越高，但代价也越大、效率也会降低. 表2 所示为罕见模式训练样本缺失时，联合判决样本数量与识别率的关系. 可以看出，联合5 个样本的识别率仅为70%左右，也就是说判决中会出现30%的判错样本进入闭环反馈，导致最终识别效果变差，而联合100 个样本后，正确率接近100%，几乎不会出现判错情况，但此时反馈效率较低（待收集100 个样本的联合判决后才能反馈）. 实际应用时，应该在性能和效率之间进行折中.

表2 联合判决样本量与识别率的关系

图8 所示为不同数量的样本联合判决反馈对最终罕见模式识别结果的影响. 可以看出，通过判决结果的反馈，孪生网络对罕见模式数据的识别率提升明显. 特别地，在选取20 个样本的识别结果进行联合判决和反馈时，最终的识别率能够逐渐上升并达到90%以上. 由此可以得出结论：孪生网络的临近判决算法和联合判决反馈机制可以很好地在实际应用中解决非均衡数据集上对电磁目标罕见模式数据的识别问题.

图8 罕见模式识别率随罕见模式训练样本数量的变化情况

5 总结

本文针对多模式电磁目标在非均衡数据集上的跨模式识别问题，提出了一种基于孪生网络的Q临近点判决算法，并在多模式通信电台实测数据上进行了算法性能验证. 实验表明在罕见模式训练样本数据量较低的情景下，本文所提算法对罕见模式的识别能力优于常规卷积神经网络，也优于现有的数据增强方法. 此外，通过引入数据切片技术和自增长技术，提出了一种联合判决反馈机制，随着罕见模式测试样本的到来，在提升识别率的同时，实现了网络的动态更新.