基于迁移学习的SAR图像车辆目标识别方法研究

吴桐，刘云清，姜淑华

（长春理工大学 电子信息工程学院，长春 130022）

合成孔径雷达（SAR）是一种以航天飞机、人造卫星等载体为基础的高分辨率成像雷达，不容易受到光照及天气情况的影响，具有高穿透力的特点[1]。目前，SAR己广泛应用于军事目标侦察[2]、地球科学[3]、环境系统监测[4]等国防和国民经济领域。然而，随着SAR成像技术的成熟，SAR系统获得的数据越来越多，如何从海量的数据中获取感兴趣的目标已成为一个热点问题。

邵桢等人[5]提出通过将嵌入空间信息的模糊聚类算法与水平集方法相结合来识别海洋溢油污染的SAR图像。张婷等人[6]提出了一种基于属性散射中心匹配的鲁棒SAR图像目标识别方法。该方法首先利用稀疏表示方法提取SAR图像的目标属性散射中心。然后，利用匈牙利算法建立测试样本的散点集与模板散点集的一一对应关系，通过评价匹配对的属性差异和可能出现的虚警和漏警，得到两组属性散射中心的相似度。最后，根据最大相似度原理确定测试样本的SAR图像的目标类别。杨佐龙等人[7]采用二维线性决策分析方法，在行和列方向同时压缩图像矩阵进行特征提取，并结合支持向量机对SAR图像分类识别。这些方法虽然能很好地识别SAR图像目标，但是提取SAR图像特征时往往依赖专业知识和手工设计，且特征设计费时，并且提取的特征往往只对特定识别任务有效，识别模型的泛化能力较差。

卷积神经网络（CNN）的兴起，为SAR图像识别开辟了新的方向。卷积神经网络具有从海量数据中自动学习到层次化特征，不需要复杂的手工设计特征的优点，在理论上可以取得较好的SAR图像识别效果。基于卷积神经网络，崔福彬等人[8]提出一种基于改进的卷积神经网络的SAR图像目标识别算法，使用布斯沃特滤波算法对图像进行滤波处理，降低相干噪声，并改进卷积神经网络结构，引入改进的线性修正单元作为激活函数，使用丢弃法（Dropout）增强网络的泛化性，训练时采用自适应矩估计优化器更新模型参数。曲长文等人[9]提出采用分割后的卷积神经网络进行SAR图像识别，在多尺度SAR图像目标识别中取得了较好的准确率。胡红萍等人[10]提出了一种基于卷积神经网络与随机森林的SAR图像目标识别方法，该方法将卷积神经网络的softmax分类器替换成随机森林，在移动与静止目标搜索识别数据集（MSTAR）上取得了较高的识别精度。

虽然这些改进的神经网络模型取得了很好的SAR图像目标识别效果，但是卷积神经网络有两个问题亟待解决。一是需要大量的样本训练网络。二是网络参数的随机初始化会导致训练缓慢和过拟合的问题。为了解决这两个问题，提出了一种基于迁移学习的SAR图像目标识别方法，该方法通过MSTAR数据集中的三类目标样本预训练网络，然后将训练的网络参数应用到数据集中的十类样本上，通过对网络应用Dropout技术和组合小卷积核的方法来减少网络的参数，加快网络训练速度和抑制过拟合问题。

1 相关工作

1.1 迁移学习

迁移学习是以任务A开发模型为出发点，在开发模型B中使用的一种机器学习方法。在迁移学习中，有两个重要的概念：域（Domain）和任务（Task）。分别表示为：

其中，X是特征空间，X=(X1,X2…,Xn)；Y是标签空间，Y=(Y1,Y2,…,Yn)；f(⋅)是预测函数，可以通过训练集(xi,yi)得来，xi∈X,yi∈Y。域分为源域Ds和目标域Dt，任务分为源任务Ts和目标任务Tt。迁移学习可以定义为：利用Ds和Ts中已有的知识，帮助Dt改进预测函数f(⋅)的学习，完成目标任务Tt。其中Ds≠Dt,Ts≠Tt。与传统的机器学习方法相比，迁移学习有三个优点：第一，不需要训练数据和测试数据满足独立相同分布的条件。第二，不需要大量的样本训练就可以得到一个好的模型。第三，不需要对每个任务建模，可以重用前面的模型。

1.2 Dropout技术

Dropout最初是由 Hinton 提出的[11]。Dropout是指在深度学习网络的训练过程中，神经网络单元以一定概率暂时从网络中脱落，可以显著减少过拟合现象。即神经网络在前向传播时，某个神经元的激活值会以一定的概率停止工作，这可以增强模型的泛化，因为它不会过于依赖某些局部特征，如图1所示。

图1 丢弃法示意图

Dropout具体执行过程如下：

（1）输入待训练神经网络模型，训练数据批数设置为n；

（2）通过给定点概率的p删除网络中的部分神经元；

（3）第i批数据通过修改后的网络传播进行输入，通过随机梯度下降方法更新未删除神经元参数；

（4）恢复被删除的神经元；

（5）重复（2）-（5），直到n批训练数据训练完成；

（6）输出训练好参数的神经网络模型。

1.3 组合小卷积核

在卷积神经网络中，感受野是指网络各层输出的特征图上的像素点在输入图片上的大小。增大感受野特征图可以获得更多的信息，通常卷积网络使用的是5×5的卷积核。为了改进卷积神经网络结构，提出用两个3×3的组合小卷积核代替一个5×5的卷积核。下面给出这种方法的可行性证明：

假设：输入图片大小为M×M，卷积核大小为K×K，步长为S，填充的像素数为P，进而可以得到卷积输出的特征图大小=(M+2×P-K)/S+1。

假设输入的图片是28×28，使用5×5的卷积核对其卷积，步长为1，填充为0，得到的结果是：(28-5)/1+1=24。然后使用两个卷积核为3×3，这里的两个是指两层，同样步长为1，填充为0，第一层3×3得到的结果是：(28-3)/1+1=26，第二层3×3得到的结果是：(26-3)/1+1=24，所以最终结果和5×5的卷积核是一样的。

而且应用多个3×3的卷基核比一个大尺寸卷积核卷基层有更多的非线性（使用更多的非线性激活函数），使得判决函数更加具有判决性。同时多个组合小卷积核有更少的参数，如采用的两个组合的3×3的卷基核的参数为18个，一个5×5卷基核的参数为25个，更少的参数，意味着训练速度更快，同时网络复杂度降低。

2 算法流程

图2为基于迁移学习的SAR图像车辆目标识别算法的流程。算法具体步骤如下：

图2 算法流程

（1）源域预训练

将MSTAR数据集中的三类数据较小的目标数据作为源域训练样本，对源域中的三类识别任务进行卷积神经网络训练，得到预训练模型。

（2）目标域迁移

构造与预训练模型结构相同的卷积神经网络，将十类目标识别作为目标域的目标任务，将源域预训练获得的模型参数作为网络的初始参数迁移到网络中，采用MSTAR数据集中的十类目标数据作为训练样本对网络进行微调：

①前馈网络

a.通过目标域网络的卷积层提取出十类SAR图像车辆目标的信息，对每个卷积层应用Dropout技术；

b.通过池化层对卷积神经网络提取的特征信息进行降维，减少计算量；

c.通过卷积层代替全连接层将得到的特征图数据输出，利用Softmax分类器，对提取到的结果进行识别。

②误差反向传播

利用交叉熵损失函数计算梯度，调整网络的权值和偏置，直到网络收敛。

3 实验结果

为了验证提出的SAR图像车辆目标识别方法的有效性，采用MSTAR数据集进行实验。MSTAR数据集为高分辨率聚束合成孔径雷达采集的静止车辆SAR剖面图像，包括多类型SAR图像的车辆目标数据。

3.1 实验平台

本文进行实验的计算机配置：处理器为英特尔 Xeon E5-2620v3，主频 2.4 GHz；显卡为 NVID⁃IAGeForceGTX1070，显存为 8 GB；操作系统为Ubuntu 16.05；编程环境为 OpenCV3.1.1，cuda8.0；深度学习框架为caffe；编程语言为python。

3.2 设计的网络结构

设计采用两个组合的3×3小卷积核代替一个5×5的大卷积核。构造的网络有5个卷积层和4个池化层，卷积层可以提取输入SAR图像的特征，采用多个卷积层，可以使提取特征更加充分，而且网络具有更强的非线性表达能力，每个卷积层后的池化层可以降低网络的参数，减少过拟合。其中最后一个卷积层代替了传统的全连接层，进一步减少了网络的参数，第三个卷积层选择的是2×2的卷积核是为了调节特征图尺寸。网络的输入为进行数据归一化后的128×128的SAR图像车辆目标，由于SAR图像为灰度图像，所以通道数为1。最后网络的输出为一个N维的向量，N为识别目标的类别数。设计的卷积神经网络结构如表1所示。

表1 设计的卷积神经网络结构

3.3 三类目标的预训练

源域预训练模型的训练样本采用MSTAR数据集中数量较少的三类目标。三类目标数据如表2所示，训练样本为方位角17°下的坦克、步兵战车和运输车的数据。在三类目标预训练中，卷积神经网络结构的N=3。

表2 三类目标训练样本数据分布

针对源域的源任务，即三类SAR车辆目标的识别，预训练神经网络选择小批量随机梯度下降法训练网络，小批量处理的数据的批量大小设置为25，学习率设置为0.001。将10 000次训练迭代的网络参数保存为预训练模型。

3.4 十类目标的训练与测试

为了实现网络信息从源域到目标域的迁移，目标域采用与源域相同的网络结构，如表1所示。设置卷积神经网络输出的N=10，通过对源域预训练模型进行训练后的参数进行迁移，得到网络的初始参数。目标域采用MSTAR数据集中的十类目标作为数据样本。十类目标数据包括坦克、装甲坦克、运输车、装甲运输车、步兵战车、装甲侦察车、推土机、自行榴弹炮、货运卡车、自行高炮。训练样本为方位角17°的十类目标数据，测试样本为方位角为15°的十类目标数据。目标域的十类SAR图像车辆目标数据分布如表3所示。

表3 十类目标训练样本数据分布

对目标域的识别任务，选择小批量梯度随机下降算法训练网络，其中批量大小设置为30，学习率设置为0.001，迭代次数设置为10 000次，每迭代1 000次进行一次统计。

3.5 算法性能对比

因为提出的基于迁移学习的SAR图像车辆目标识别方法的卷积神经网络的初始参数是从预训练网络迁移过来的，所以选用卷积神经网络参数随机初始化的SAR图像识别模型进行对比。同时，为了验证预训练网络的样本对目标域训练的影响，对源域的训练样本选取MSTAR数据集的五类目标训练的SAR图像识别模型进行对比。不同方法得到的十类合成孔径雷达图像车辆目标识别正确率如表4所示。

表4 十类合成孔径雷达图像车辆目标识别正确率

SAR图像车辆目标识别过程中训练误差如图3所示，测试正确率变化如图4所示。

图3 训练误差对比

图4 测试正确率对比

结合表4、图3和图4可以得出，首先用三类目标做预训练网络的迁移学习的SAR图像车辆目标的识别效果优于随机初始化网络参数的方法，而且相比选用五类SAR图像车辆目标的预训练网络，也具有微弱优势。这是因为，选用三类目标做源域的训练样本，相比五类目标得到的网络参数，输入到目标域后，更加具有灵活性。可以用极端情况做出解释：假设选用的是十类目标做源域的预训练样本，将训练的参数输入到目标域进行十类目标的训练，那么此时的迁移学习是没有意义的，即和随机初始化网络参数的识别模型是没有区别的。所以也可以得出，迁移学习源域选择的数据不宜和目标域的数据高度相似。

4 结论

针对SAR图像车辆目标的识别，提出了一种基于迁移学习的方法。该方法采用MSTAR数据集中三类车辆目标数据作为源域的训练样本，十类目标数据做目标域的训练样本，对目标域的神经网络参数进行微调。通过这种迁移方式，在目标域的十类目标上取得了98.39%的识别精度，同时相比随机初始化网络参数的SAR识别卷积神经网络模型，在收敛速度上也有了一定的提高。由于提出的SAR识别方法的源域样本是从MSTAR数据集中提取的一小部分，因此提出的方法不适用于小规模数据集的识别。下一步的研究方向可以在小规模数据集上进行，进一步研究卷积神经网络的过拟合和泛化问题。