基于深度限制波尔兹曼机的辐射源信号识别*

周东青，王玉冰， 王 星， 程相东， 肖吉阳

(1.空军工程大学 航空航天工程学院， 陕西 西安 710038； 2.空军西安飞行学院， 陕西 西安 710306；3.空军工程大学 装备管理与安全工程学院， 陕西 西安 710051)

基于深度限制波尔兹曼机的辐射源信号识别*

周东青1，王玉冰1， 王 星1， 程相东2， 肖吉阳3

(1.空军工程大学 航空航天工程学院， 陕西 西安 710038； 2.空军西安飞行学院， 陕西 西安 710306；3.空军工程大学 装备管理与安全工程学院， 陕西 西安 710051)

针对电子侦察中使用常规参数难以有效识别复杂体制雷达信号的问题，提出利用深度限制波尔兹曼机对辐射源识别的模型。模型由多个限制波尔兹曼机组成，通过逐层自底向上无监督学习获得初始参数，并用后向传播算法对整个模型进行有监督的参数微调，利用Softmax进行分类识别。通过仿真实验表明该模型能对辐射源进行有效的特征提取和分类识别，具有较高的识别精度和较强的鲁棒性。

辐射源信号识别；深度学习；限制波尔兹曼机

雷达辐射源识别是雷达威胁告警、电子支援措施和电子情报侦察等系统需要解决的关键问题，也是战场威胁评估和干扰决策制定的重要依据[1]。雷达辐射源识别是通过无源侦察设备接收雷达辐射源发射的脉冲数据，并分析、提取辐射源个体特征，唯一确定辐射源个体的过程。通过雷达辐射源识别可以完成威胁判断和平台鉴别[2]。

传统的辐射源识别方法依赖于5个常规参数[3]，即射频(Radio Frequency, RF)、幅度、脉冲宽度(Pulse Width, PW)、到达时间(Time Of Arrival, TOA)和到达角度(Angle Of Arrival, AOA)，通常称为脉冲描述字(Pulse Description Words，PDW)。随着战场电磁环境的日益复杂和多功能雷达的出现，传统方法难以有效识别雷达辐射源。因此，当前研究趋向于通过对脉内数据进行分析[4]，寻找能表征雷达个体的特征参数，达到快速、准确识别雷达辐射源的目的。

提取有效的分类特征一直是模式识别领域的热点问题。近几年，深度学习受到许多学者的广泛关注，其模拟大脑的深度组织结构，通过组合底层特征形成更抽象、更有效的高层表示[5]。目前，深度学习在信号处理方面应用广泛，主要包括：语音[6-7]、图像[8-9]和文本[10]等。在语音方面，微软研究院的语音识别专家Li和Dong在2011年改变了原有的语音识别技术框架，研究了基于深度神经网络的语音识别方法，该方法能有效降低语音识别的误识别率[11]；在图像方面，Hinton在2012年利用更深的卷积神经网络在著名的ImageNet问题上取得了当时世界最好的结果，使得图像识别向前迈进了一大步；此外，深度学习在人体行为预测[12]、广告搜索[13]等方面都取得了较好的研究成果。

鉴于深度学习网络结构的函数表达能力和特征提取能力，本文将其应用到辐射源信号特征提取和分类识别问题中，提出了一种深度限制波尔兹曼机辐射源识别(Emitter Recognition based on Deep Restricted Boltzmann Machine, ERDRBM)模型。ERDRBM深度神经网络模型由多个限制波尔兹曼机(Restricted Boltzmann Machine，RBM)组成，通过状态嵌置逐层自底向上无监督学习获得初始参数，然后用后向传播(Back Propagation，BP)算法对整个模型进行有监督的参数微调，最后利用Softmax进行分类识别。

1 深度学习理论

深度学习是机器学习的一个新分支，它的目的是跨过整个特征设计阶段，直接从原始数据中进行特征提取和特征学习。目前多数分类、回归等学习方法的实质为浅层结构算法，对于有限样本的复杂函数表示能力有限。对比浅层学习，深度学习的实质是通过构建具有多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。 “深度模型”是手段，“特征学习”是目的，区别于传统的浅层学习，深度学习的不同在于：①强调了模型结构的深度，通常有多层隐藏层；②明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。

本文所涉及的深度学习理论主要基于RBM展开。RBM是一种无监督的机器学习模型，它是Smolensky于1986年提出的一种生成式随机网络，来源于对波尔兹曼机的一种改进[14]。

假设有一个二部图，每一层的节点之间没有连接，一层是可视层(v)(输入数据层)，一层是隐藏层(h)。如果所有的节点都是随机二值变量节点(只能取0或者1值)，同时全概率分布p(v,h)满足Boltzmann分布，称这个模型是RBM模型。

RBM模型中，已知可视层(v)，则所有的隐藏节点之间是条件独立的(因为节点之间不存在连接)，即p(h|v)=p(h1|v)…p(hn|v)。同理，已知隐藏层(h)，所有可视节点都是条件独立的。由于所有的v和h满足Boltzmann分布，因此，当输入v时，通过p(h|v)可以得到隐藏层h，而得到隐藏层h之后，通过p(v|h)又能得到可视层。通过调整参数，如果从隐藏层得到的可视层v1与原来的可视层v一样，那么得到的隐藏层就是可视层的另外一种表达，即隐藏层可以作为可视层输入数据的特征。

对于一个具有n个可见单元v=(v1,v2,…,vn)和m个隐藏单元h=(h1,h2,…,hm)的RBM，定义其能量函数为：

(1)

其中，v和h是可视层和隐藏层的状态，vi是第i个可视单元的状态，hj是第j个隐藏单元的状态，ai和bj是对应单元的偏置，wij是可见单元i与隐藏单元j之间的连接权重。RBM处于状态v,h的概率为：

(2)

当给定可见单元状态时，各隐藏单元的激活状态之间是条件独立的，由此可得第j个隐藏单元的激活概率为：

(3)

同理可得第i个可见单元的激活概率为：

(4)

其中，σ(x)=(1+e-x)-1为sigmod激活函数。

用极大似然法最大化式(4)，可得对数似然函数：

(5)

其中，θ={wij,aj,bj}。使用梯度下降法可推导出权值的更新公式：

(6)

其中，ε表示学习率，< >data表示数据上的平均值，< >model表示模型上的期望值。期望无法求得，原因是在学习的过程中，归一化因子未知，只能通过吉布斯采样得到足够多的样本，然后对样本求平均值。本文采用Tieleman[15]提出的保持对比度算法，该算法可以进一步提高对比散度算法对理论算法的近似程度。由于受限玻尔兹曼机的预训练过程与维度无关，所以可以利用这一模型对数据进行有效的投影。

2 基于ERDRBM模型的辐射源信号识别

2.1 ERDRBM模型

由于深度学习具有强大的函数表达能力，能有效地从样本中学习多变函数的本质，因此，提出一种ERDRBM模型。该模型主要包括三个部分：辐射源信号预处理、多隐层深度神经网络和Softmax多目标分类，如图1所示。

图1 ERDRBM识别模型Fig.1 Recognition of ERDRBM model

首先，利用ERDRBM模型中由多层RBM构成的多隐层深度神经网络对辐射源目标进行特征提取。参考第1节的分析，将经过预处理后的m个n维样本作为多层RBM网络的输入数据，通过第1层编码器获得第1隐层的状态为：

(7)

式中，σ(x)=1/[1+exp(-x)]。对于本文提出的由l个隐层组成的深层网络，采用贪婪算法逐层初始化，则第i隐层的状态为：

(8)

最后通过BP算法调整得到全局最优的权值向量：

(9)

(10)

其中，J(W,b)为损失函数，α为步长系数。

特征提取之后，利用ERDRBM模型中的Softmax回归进行分类识别。Softmax回归模型是Logistic回归模型在多分类问题的推广，类标签可取两个以上的值，从而得到输入数据的类标值，最终得到输入数据与类标值的非线性映射。

对k类m个样本构成训练集{(x(1),y(1)), (x(2),y(2)), …， (x(i),y(i)), …, (x(m),y(m))}，在Softmax回归中将测试目标x归为类别j的概率为：

(11)

此时，采用有监督的最小化Softmax回归的代价函数即可训练模型参数θ：

(12)

式中，若输出结果j等于标签y(i)，则{y(i)=j}=1，否则为0。λ表示大于零的权重衰减项，惩罚过大的参数值并使得代价函数变成严格的凸函数，这样就保证了通过梯度下降可以收敛到全局最优的唯一解。

2.2 基于ERDRBM模型的识别算法

在2.1节的基础上，提出基于ERDRBM模型的辐射源信号识别算法。考虑计算复杂度和硬件资源的限制，ERDRBM模型由数据输入层、三个隐藏层和Softmax输出层构成。其中，三层RBM隐藏层网络中的神经元个数分别为1000，500和100。本文所要测试的辐射源信号类别数目为8，因此，Softmax输出层网络的神经元个数为8。具体算法流程包括3个部分，如图2所示。

1)数据预处理。调整各类辐射源信号目标数据，提高目标数据的可判决性。同时将辐射源信号输入数据随机分成p组，每组q个数据，以此降低神经网络的计算复杂度；

2)特征提取。利用ERDRBM深度神经网络提取预处理后的辐射源信号目标的深层抽象信息作为辐射源信号目标的特征向量。其中，网络中参数的调整分为两部分：第一，通过无监督学习调整ERDRBM中每一隐层网络的权重参数Wi，将调整后的隐层状态作为下一隐层的输入；第二，通过有监督学习BP算法对整个网络的参数进行调整。同时，引入动量参数momentum，防止数据过拟合。

3)分类识别。结合深度神经网络模型和多辐射源信号目标识别任务，采用Softmax回归分类器在特征向量张成的低维特征空间上实现目标识别，并输出识别结果。

图2 基于ERDRBM模型的识别算法Fig.2 Flowchart of ERDRBM algorithm

3 实验分析

选取8种不同的辐射源信号[4]建立训练集和测试集，8类信号分别为：连续波(Continuous Wave, CW)信号、二进制相移键控(Phase Shift Keying, PSK)信号、二进制差分相移键控(Differential Phase Shift Keying, DPSK)信号、二进制频移键控(Frequency Shift Keying, FSK)信号、简单脉冲信号、脉冲压缩信号包括：线性调频(Linear Frequency Modulation, LFM)信号、非线性调频(Non Linear Frequency Modulation, NLFM)信号和相位编码信号。其中LFM调频斜率为1，NLFM采用正弦波调频，相位编码采用13位Bark码，噪声为随机高斯白噪声。同时，ERDRBM模型中的学习率ε经验取值0.1，动量参数momentum取多次实验最优值0.001。

将8类辐射源信号分别在-20 dB，-15 dB，-10 dB，-5 dB，0 dB，5 dB，10 dB和15 dB的信噪比下产生600个样本，由于本文提出的模型对训练样本集的数量相对要求较高，因此采用其中500个用作辐射源识别的训练集，其余100个用作辐射源识别的测试集。同时采用文献[4]基于双谱二次特征(Bispectrum Cascade Feature, BCF)的方法，文献[16]基于粗集理论的雷达辐射源识别方法(Rough Set, RS)，文献[17]基于时频原子特征(Time Frequency Atom Feature, TFAF)的识别算法进行对比实验。

定义雷达信号的总识别正确率为：

(13)

定义单个雷达信号的识别正确率为：

(14)

图3为在不同信噪比下ERDRBM模型与BCF，RS和TFAF模型的识别性能对比。当信噪比大于5 dB时，各模型识别性能相当，ERDRBM模型识别性能最好；当信噪比逐渐降低至-10 dB时，BCF，RS和TFAF模型识别性能有所下降，其中RS，TFAF模型识别性能下降程度比较明显，而ERDRBM模型仍保持较高的识别率；当信噪比降低至-10 dB以下时，ERDRBM模型识别率有所降低，但仍明显高于其他三种模型。这是因为本文提出的ERDRBM模型采用基于多隐层RBM的深度神经网络对辐射源信号进行数据分析和提取特征，保留了原始数据的基本特征，因此识别率高于其他三种模型，且受噪声的影响程度较低，具备很强的鲁棒性。

图3 不同模型下辐射源识别性能对比Fig.3 Recognition performance of different algorithms

图4为在不同信噪比下ERDRBM模型对不同类型辐射源信号的识别性能对比。图5为图4中信噪比为-20～-10 dB的局部放大图。由图4和图5可以得到，在信噪比大于-10 dB时，ERDRBM模型对各类型辐射源均保持几乎100%的识别概率；当信噪比小于-10 dB时，ERDRBM模型对各类型辐射源的识别率呈现不同程度的降低。其中，当信噪比为-15 dB时，对CW信号、PSK信号、DPSK信号、FSK信号和相位编码信号的识别率保持在90%以上，略高于脉冲信号、LFM信号和NLFM信号；在信噪比为-20 dB时，对CW信号、PSK信号、DPSK信号、FSK信号的识别率在70%～80%之间，对脉冲信号、NLFM信号和相位编码的识别率在40%～50%之间，而对LFM信号的识别率则在20%以下。

图4 不同类型辐射源识别性能对比Fig.4 Recognition performance of different radar signal in RSRDRBM algorithm

图5 -20～-10 dB时不同类型辐射源识别性能对比Fig.5 Recognition performance of different radar signal from -20 dB to -10 dB

进一步分析ERDRBM模型对不同类型辐射源的识别性能，将信噪比为-15 dB，-20 dB时不同类型辐射源的识别结果和混淆矩阵如表1、表2所示。

从表1、表2可以看出，在信噪比为-15 dB时，简单脉冲信号、LFM信号、NLFM信号和相位编码信号之间存在一定的误识别率，这是因为噪声对脉冲信号的调制特征有一定的影响。在信噪

表1 信噪比为-15 dB测试集下的混淆矩阵Tab.1 Confusion matrix in -15 dB SNR

表2 信噪比为-20 dB测试集下的混淆矩阵Tab.2 Confusion matrix in -20 dB SNR

比为-20 dB时，各类型辐射源都有一定概率被误识别为简单脉冲信号，这是因为简单脉冲信号的调制特征不明显，在噪声的影响下难以和其他类型辐射源进行区分。除此之外，PSK信号被识别为NLFM信号和相位编码信号的概率、FSK信号被识别为PSK信号和NLFM信号的概率、相位编码信号被识别为PSK和NLFM信号的概率和LFM信号被识别为NLFM信号的概率相对较高，原因是这些信号的调制方式有一定的相似性。

4 结论

利用深度学习网络结构强大的函数表达能力和特征提取能力，将其应用到辐射源信号特征提取和分类识别问题中，提出一种深度限制波尔兹曼机辐射源识别模型——ERDRBM模型。基于该模型的识别算法首先将ERDRBM深度神经网络进行逐层预训练，然后用反向传播算法对整个模型进行微调，最终在网络顶层进行分类。通过仿真实验，证明所提模型的有效性，尤其是在低信噪比情况下，该模型具有较高的识别精度和较强的鲁棒性。但该模型存在计算复杂度较高的问题，同时神经元数目和隐藏层层数的设置也需要进一步深入分析。如何合理有效地利用ERDRBM模型对辐射源进行识别仍需进行长期深入的研究。

References)

[1] Dekker A H. Applying social network analysis concepts to military C4ISR architectures[J]. Connections, 2002, 24: 93-103.

[2] 王磊， 姬红兵， 李林. 基于模糊函数零点切片特征优化的辐射源个体识别[J]. 西安电子科技大学:自然科学版,2013, 37(2): 285-289. WANG Lei, JI Hongbing, LI Lin. Specific emitter recognition based on feature optimization of ambiguity function zero-slice[J]. Journal of Xidian University:Natural Science, 2013, 37(2): 285-289. (in Chinese)

[3] Dekker A H. Centralisation and decentralisation in network centric warfare[J]. Journal of Battlefield Technology, 2003, 6(2): 23-28.

[4] 王世强， 张登福， 毕笃彦， 等. 双谱二次特征在雷达信号识别中的应用[J]. 西安电子科技大学:自然科学版, 2012, 39(2)： 127-132. WANG Shiqiang, ZHANG Dengfu, BI Duyan, et al. Research on recognizing the radar signal using bispectrum cascade feature[J]. Journal of Xidian University:Natural Science, 2012, 39(2): 127-132. (in Chinese)

[5] Bengio Y, Delalleau O. On the expressive power of deep architectures[C]//Proceedings of International Conference on Algorithmic Learning Theory, 2011: 18-36.

[6] 王山海， 景新幸， 杨海燕. 基于深度学习神经网络的孤立词语音识别的研究[J]. 计算机应用研究, 2015, 32(8):2289-2291. WANG Shanhai, JING Xinxing, YANG Haiyan. Study of isolated speech recognition based on deep learning neural networks[J]. Application Research of Computers, 2015, 32(8): 2289-2291. (in Chinese)

[7] 胡振, 傅昆, 张长水. 基于深度学习的作曲家分类问题[J]. 计算机研究与发展, 2014, 51(9): 1945-1954. HU Zhen,FU Kun,ZHANG Changshui. Audio classical composer identification by deep neural network[J]. Journal of Computer Research & Development, 2013, 51(9): 1945-1954. (in Chinese)

[8] 梁淑芬, 刘银华, 李立琛. 基于LBP和深度学习的非限制条件下人脸识别算法[J]. 通信学报, 2014, 35(6): 154-160. LIANG Shufen, LIU Yinhua, LI Lichen. Face recognition under unconstrained based on LBP and deep learning[J]. Journal on Communications, 2014, 35(6): 154-160. (in Chinese)

[9] 孙志军, 薛磊, 许阳明. 基于深度学习的边际Fisher分析特征提取算法[J]. 电子与信息学报, 2013, 35(4): 805-811. SUN Zhijun, XUE Lei, XU Yangming. Marginal fisher feature extraction algorithm based on deep learning[J]. Journal of Electronics & Information Technology, 2014, 35(4): 805-811. (in Chinese)

[10] 吴嘉伟, 关毅, 吕新波. 基于深度学习的电子病历中实体关系抽取[J]. 智能计算机与应用, 2014, 4(3): 35-38. WU Jiawei, GUAN Yi, LYU Xinbo.A deep learning approach in relation extraction in EMRs[J]. Intelligent Computer & Applications, 2014, 4(3):35-38.(in Chinese)

[11] Dahl G, Yu D, Deng L, et al. Context-dependent pre-trained deep neural networks for large vocabulary speech recognition[J]. IEEE Transactions on Audio Speech & Language Processing, 2012, 20(1): 30-42.

[12] Choi S, Kim E, Oh S. Human behavior prediction for smart homes using deep learning[C]//Proceedings of IEEE Ro-Man, 2013: 173-179.

[13] 余凯，贾磊，陈雨强，等. 深度学习的昨天、今天和明天[J]. 计算机研究与发展, 2013, 50(9)： 1799-1804. YU Kai, JIA Lei, CHEN Yuqiang, et al. Deep learning:yesterday,today,and tomorrow[J]. Journal of Computer Research & Development, 2013, 50(9)： 1799-1804.(in Chinese)

[14] Ackley D H， Hinton G E， Sejnowski T J． A learning algorithm for Boltzmann machines[J]. Cognitive Science，1985, 9(1): 147-169.

[15] Tieleman T. Training restricted Boltzmann machines using approximations to the likelihood gradient [C] //Proceedings of International Conference on Machine Learning,ACM, 2008: 1064-1071.

[16] 张葛祥， 金炜东， 胡来招. 基于粗集理论的雷达辐射源信号识别[J]. 西安交通大学学报, 2005, 39(8): 871-875. ZHANG Gexiang, JIN Weidong, HU Laizhao. Radar emitter signal recognition based on rough set theory[J]. Journal of Xi′an Jiaotong University, 2005,39(8): 871-875. (in Chinese)

[17] 王希勤， 刘婧瑶， 孟华东, 等. 一种基于时频原子特征的雷达辐射源信号识别方法[J]. 红外与毫米波学报, 2011,30(6): 566-570. WANG Xiqin, LIU Jingyao, MENG Huadong, et al. A method for radar emitter signal recognition based on time-frequency atom features[J]. Journal of Infrared & Millimeter Waves, 2011, 30(6): 566-570.(in Chinese)

Radar emitter signal recognition based on deep restricted Boltzmann machine

ZHOU Dongqing1， WANG Yubing1， WANG Xing1， CHENG Xiangdong2， XIAO Jiyang3

(1.Aeronautics and Astronautics Engineering College, Air Force Engineering University, Xi′an 710038, China;2.PLA Air Force Xi′an Flight Academy, Xi′an 710306, China;3. Equipment Management and Safety Engineering College, Air Force Engineering University, Xi′an 710051, China)

To deal with the problem of radar emitter recognition caused by parameter complexity and agility of muti-function radars in electronic intelligence reconnaissance field, a new recognition model based on deep restricted Boltzmann machine was proposed. The model was composed of multiple restricted Boltzmann machine. A bottom-up hierarchical unsupervised learning was used to obtain the initial parameters, and then the traditional back propagation algorithm was conducted to fine-tune the network parameters, and the Softmax was used to classify the results at last. Simulation and comparison experiment shows that the proposed method has the ability of extracting the parameter features and recognizing the radar emitters, and it has strong robustness as well as high recognition rate.

radar emitter signal recognition; deep learning; restricted Boltzmann machine

10.11887/j.cn.201606022

2015-06-19

国家自然科学基金资助项目(61372167)

周东青(1988—)，男，陕西西安人，博士研究生，E-mail:qq_eastz@126.com； 王星(通信作者)，男，教授，博士，博士生导师，E-mail:wangxing1099@sohu.com

TN97

A

1001-2486(2016)06-136-06

http://journal.nudt.edu.cn