一种基于掩膜组合的多类弹载图像目标分割算法∗

袁汉钦 陈 栋 杨传栋 王昱翔 刘 桢

（1.海军驻合肥地区军事代表室 合肥 230031）（2.陆军炮兵防空兵学院 合肥 230031）

（3.高过载弹药制导控制与信息感知实验室 合肥 230031）

1 引言

图像末制导弹药是信息化弹药重要组成，在各国各军种弹药发展中得到广泛关注和应用。其利用CMOS图像传感器获取目标图像，弹载处理系统对图像清晰化处理后进行目标检测和跟踪，根据目标中心距视场中心偏差实时调整弹体姿态最终控制弹药命中目标。其中基于图像的目标检测作为核心环节，其提供打击点的准确性和实时性对于调整弹药命中目标至关重要，受到高度重视。

图像末制导技术通常有基于图像分割的方法、基于匹配的方法和基于统计的机器学习方法，如文献［1］对Otsu图像分割算法改进能够将目标进行分割，文献［2］采用可替换模板的SIFT特征进行匹配一定程度上解决目标检测中尺度变化问题，文献［3］利用Harr特征结合Adaboost算法实现了对坦克类目标检测。但是传统分割方法仅适用于简单背景且目标与背景对比度差异明显情况，基于匹配的方法和传统的基于统计的机器学习方法利用模板或者手动设计的特征对于目标旋转尺度、光照背景变化等因素鲁棒性不足，并且基于滑动窗口的区域选择策略时间复杂度高。考虑到弹载环境下目标尺度角度会发生很大变化，战场环境复杂多变且目标自身具有一定隐蔽能力，综合来看，传统检测算法应对复杂现代战场环境的能力不足。

近年来基于CNN的方法依靠大数据优势，省去了人工设计特征的环节，以监督学习的方式，具有更有效的特征表达能力，成为当前图像目标检测领域最热门的深度学习模型。目前可分为基于候选框的两阶段检测算法［4］、基于回归的单阶段检测算法［5］及无候选框的单阶段检测算法［6］。其中基于回归的单阶段检测算法在检测速度上达到了实时的要求，并且通过网络压缩和加速等技术，该类算法部署在FPGA等常用的弹载硬件平台上能够达到上百帧每秒的速度［7］。

当前目标检测普遍使用矩形边界框定位图像中的目标，利用矩形中心标定打击点。但此方式存在以下问题：边界框的长宽比因目标旋转发生变化，无法反映同一目标的实际形状；当目标在图中有倾斜时，边界框内背景像素点占近半数，目标和背景难以有效区分，不能精确地对目标打击点进行标定，进而影响打击效果。应对该问题，主要有通过旋转检测框和目标分割的方法：文献［8］在单阶段算法上设计了一系列旋转检测框进行遥感图像目标检测，但实时性难以满足；近年来基于CNN的目标分割算法如Mask-RCNN［9］能够实现对复杂背景下目标分割，并且YOLACT［10］在实时性上有了新的突破，为本文解决弹载目标检测提供了思路和方法。

为了更加快速准确地对多类军事目标分类并为打击提供更准确的打击位置，本文提出了一种基于卷积神经网络的多类弹载图像目标快速分割方法。该方法首先采用迁移学习的设计思路，使用在ImageNet数据集上预训练完成的ResNet50作为基础特征提取网络，针对多类军事目标检测任务对网络结构和参数进行改动和微调；其次，沿用YOLACT中的检测框架结合预测子网络和掩膜生成网络对目标进行检测和分割；预测子网络结合预设候选框在不同分辨率的卷积特征图上进行分类和边界框回归，提高了对尺度变化的鲁棒性；掩膜生成网络结合掩膜预测系数线性组合不同部位的激活特征，输出目标及目标部件的分割结果；最后利用分割结果后处理后输出目标旋转检测框和打击目标的形心位置，克服了普通矩形框不足。同时通过数据增强方式丰富数据集，提高了应对目标旋转、背景光照变化等复杂环境的能力。

2 基于掩膜组合的目标分割算法

本文提出的目标分割算法整体框架如图1所示。整个网络结构由三部分组成：特征提取网络、掩膜生成网络和多尺度预测子网络。首先利用特征提取网络提取图像特征，利用掩膜生成网络和预测分支网络对目标的类别、位置和模板系数进行预测并融合基本掩膜模板，通过极大值抑制和得分阈值筛选，输出预测目标的类别、位置和目标位置内对应的目标掩膜。

图1 目标分割算法框架

2.1 特征提取网络

特征提取是目标检测任务中的第一步，特征合理与好坏决定着后续检测的效果。权衡速度和精度的需求后，本文选择了基于ResNet50预训练网络作为特征提取网络，为了便于训练快速收敛，通常使用在大规模的图像数据集ImageNet上预训练好的模型，采用迁移学习的思路在特定数据集上再训练进行模型参数调整实现检测任务。

在一个多层卷积神经网络中，低层特征通常能更好地表征图像纹理、边缘等细节信息，经过多层卷积操作后得到的高层特征能更好地表征语义信息。仅使用Conv5_3卷积特征进行后续预测，会由于该层分辨率不足导致对弱小目标检测能力有限。为了应对弹载目标尺度变化，本文选择了特征金字塔结构，将Conv5_3卷积特征作为金字塔P5层特征；P5层特征经过下采样作为P6特征；经过卷积操作降低通道数的Conv4_3特征与经过上采样到Conv4_3同样分辨率的P5特征融合作为金字塔P4层特征，同理Conv3_3与P4得到P3特征。不同分辨率的特征P3，P4，P5，P6共同构成特征金字塔，提高了对大尺度变化的适应能力。

2.2 掩膜生成网络

区别于一般目标检测任务只需要对目标分类和定位，目标分割还需要设计掩膜生成网络来获得目标区域的二值激活图，称其为目标掩膜。本文采用掩膜生成网络结合掩膜系数进行线性组合的方式解决此问题。掩膜生成网络生成一系列不同位置的激活图，掩膜预测分支为每个掩膜预测掩膜系数作为权重，通过线性组合得到最终目标掩膜。本文使用的掩膜生成网络具体结构如表1所示，该网络以P3层特征（69×69×512）为输入进行三次相同的卷积操作，利用反卷积操作增加尺度（138*138*256），利用点卷积降维并通过修正线性单元（Re-LU）进行修正，得到分辨率是138*138、维度为k的掩模图。产生k层特征激活掩模。选择k=32兼顾速度和精度。每个掩膜对应不同的属性。如图2掩膜分别对舰船的指挥塔、船体、背景等部位进行了激活，并且各有所侧重，并不是单独作用。

表1 掩膜生成网络结构

2.3 多尺度预测子网络

预测子网络对特征金字塔中每层不同分辨率的特征进行预测，使得弹载图像目标尺度从大到小变化的问题得到较好地应对。整个子网络对目标类别和位置及掩膜系数预测。具体网络结构如表2所示。

表2 预测分支网络结构

在不同尺度特征图上经过两层卷积操作及Re-LU激活函数激活后，位置预测分支对W×H尺寸大小特征图上的每个网格中心点生成4×a个相对于先验框的坐标偏移量值。其中a表示对应a个先验框，本文选择a=3，4表示相对于先验框中心坐标和宽高的偏移量 (lcx，lcy，lw，lh) ，即对预测框大小b=(bcx，bcy，bw，bh)进行了一个编码过程，如式（1）：

其中d=(dcx，dcy，dw，dh)为先验框大小。在预测前向传播时，将预测输出的偏移量根据式（1）解码为原始大小，即式（2）：

通过编解码的方式，边界框的学习方式从直接学习边界框尺寸变成了学习相对于预设先验框中心平移和宽高缩放的线性回归，相当于通过平移和缩放两个步骤实现从先验框向近似真实目标边界框的过渡，相比直接预测边界框大小，该方式能让边界框训练更快收敛。

分类分支利用3×3卷积对W×H尺寸大小的特征图上的每个网格中心点生成a×c个预测类别概率值，c为目标类别个数加背景类，最高的概率值表示所属的类别。

由于网络对每层各个网格位置都进行了预测，得到接近2万个候选结果，存在大量的无用结果，需要对初步预测结果进行筛选。弹载相机视场小、同一场景中需选择打击的目标数量少，因此挑选分类得分中最高的10项，并使用非极大值抑制去除重叠检测，得到了一组最终的预测结果。在此基础上再进行掩膜线性组合能够大幅降低运算量。

掩膜系数预测分支对每个类别均输出k个模板对应的权重系数，作为对上节基本掩膜组合的依据。为了保证网络非线性，在掩膜系数预测分支后增加tanh激活函数，能够使输出更加稳定。将预测的掩膜系数按绝对值大小排序并对掩膜加权组合，如式（3）：

其中，P是138×138×k维的基本掩膜矩阵，C是n×k维的掩膜系数，n是经过非极大值抑制和置信度阈值限制后的结果个数，σ表示利用sigmoid激活函数对其进行非线性约束。当k=32时，掩膜生成网络得到32个模板，掩膜系数预测分支对每类目标均产生32个对应的系数。线性组合结果如图2所示。通过线性组合分别得到了舰船指挥塔和舰船的二值掩膜。

后处理阶段主要对输出结果进行处理。为了防止预测掩膜激活部分超出边界框范围，使用边界框对掩膜进行裁剪。最后根据得到的目标二值掩膜，利用目标边界可以得到最小包围矩形，作为旋转检测框，计算旋转检测框或者边界范围的质心作为打击点，相对于传统矩形框能够提供更有价值的打击位置。

2.4 模型训练

本方法通过反向传播和随机梯度下降方法在三种损失组成的多目标损失函数约束下进行端到端的训练，损失函数包括分类损失Lcls、边界框回归损失Lbox和掩膜损失Lmask，并通过平衡系数λ对三种损失进行加权，定义如下：

分类损失使用交叉熵损失函数，计算如下：

其中i∈Pos表示正样本，i∈Neg表示负样本，N为正样本个数。通过设置预测框和真值框交并比阈值区分正负样本。

边界框回归损失使用smoothL1函数，掩膜损失使用像素级的二值交叉熵损失，为了提高分割效果增加了语义分割损失。计算公式如下：

经过匹配过程后，绝大多数为负样本，这会造成正负样本严重不均衡，直接计算损失将造成负样本损失过大导致训练不稳定，因此需要控制正负样本比例。不同负样本存在难易程度区别，因此需制定特定的采样策略对负样本进行挑选。本文选择了OHEM［11］难负样本挖掘方法，并设置正负样本比为1：3，在所有负样本中按照损失值降序排序选择影响最大的部分作为训练样本。该方式能够使训练更加稳定，提高训练效果。

3 实验与结果分析

3.1 数据集及参数设置

在室内沙盘及户外草地、沙地、土地等不同场景下利用云台及旋翼无人机搭载弹载摄像头在不同高度和距离上对各类目标进行拍摄，构建了包括舰船、航母、坦克、远程火箭炮、导弹车、自行火炮六种军事目标数据集，并按照COCO格式制作数据集样本。获取约7000个样本数据，其中6000张图片用作训练集，1000张用于测试集。通过labelme工具包对样本图像进行标注，使其满足COCO数据集格式，以便进行训练。同时，借鉴了SSD［12］中数据增广方法，对数据进行亮度、饱和度、色调、颜色灰度扭曲等变换，以增强网络对不同光照等环境变化的适应性。

图2 掩膜系数预测结果及线性组合

实验硬件使用配置有内存为16GB和英伟达1070GPU的PC机；操作系统为ubuntu16.04，在python中基于pytorch深度学习框架对算法模型编程实现。整个网络进行40000次迭代，前500次采用权重预热方式使学习率增加至0.001，20000次学习率降为0.0001，35000次后降为0.00001，动量取0.9，权重衰减因子为0.0005，批处理图像数为5，平衡系数设为λcls=1，λbox=1.5，λmask=6.25，训练正样本交并比阈值0.5，负样本交并比阈值0.3。

3.2 对比实验及结果

为了验证模型性能，选择两阶段的Mask-RCNN和单阶段的YOLACT两种算法，在相同的训练集和训练策略下进行模型训练，在测试集上进行对比测试。具体对比模型选择了三种：采用ResNet101作为基础网络及多尺度预测的Mask-RCNN、YOLACT及采用ResNet50作为特征提取网络只用C3层预测，不使用多尺度预测方法的YOLACT-ResNet50-C3。对比结果如表3所示。从图像时间开销来看，由于使用了更轻量的特征提取网络和参数设置，本文使用的算法具有更大的速度优势，是两阶段算法Mask-RCNN的23.5倍，是YOLACT-ResNet101的1.5倍，能够达到实时性的要求。在精度上，YOLACT方法相比于两阶段算法在精度上下降并不明显，由于使用了掩膜合成方式并利用语义分割损失进行了弥补，对于高交除并重叠比时更有优势。在以交除并重叠比为0.5时，本文算法精度达到93.2%，以不同交除并重叠比计算得到的平均检测误差为73.7%，由于本文以速度作为主要需求，采用了更为简单的特征提取网络，相对于对比算法有一定下降，但通过旋转检测方式对精度不足的问题有一定弥补。在不同大小目标检测上，可以看到相对于不使用多尺度检测的YOLACT-ResNet50-C3，在速度上并没有差别，而使用多尺度预测方法在中小目标检测上有更高的检测精度，证明了多尺度检测的有效性。

表3 不同模型在多军事目标数据集上的测试结果

图4 模型对比结果

图4为针对多类目标与Mask RCNN分割效果对比。同时目标自身有一定的类内差异性，如远程火箭炮和导弹车的炮架位于不同位置。可以看到，本文算法能够有效分类和精确分割，如对于细长难以分割的坦克和自行火炮的炮管也能够达到较好的分割效果，表明采用的掩膜组合方式的目标掩膜生成方式和增加了语义分割损失起到了较好的作用。

图5为本文在测试集上检测结果，可以看到，对坦克、自行火炮、火箭炮目标的识别效果体现出算法能满足弹载目标识别中大尺度变化、目标角度变化及光照等不同背景条件变化的需求，舰艇目标识别结果更清晰地反映了旋转检测及分割的优势，能够为打击任务提供更合理的打击点。

图5 部分测试结果

4 结语

本文针对弹载目标检测中传统检测框指示打击位置不够准确的问题，提出了一种基于掩膜组合的多军事目标快速检测分割方法。采用迁移学习的思路，在基于ResNet50网络的单阶段检测算法基础上，增加了掩膜生成网络输出目标及目标部件的分割结果，利用分割结果计算打击目标的形心位置和旋转检测框。在多尺度特征图上进行预测。结合数据增强、困难负样本挖掘和多目标损失函数训练方法，本文方法在构建的多军事目标数据集上取得优秀的检测效果，在速度上达到28.2fps，优于其他目标分割算法。下一步工作主要集中在模型的剪枝和压缩，便于在弹载硬件上进行部署；同时研究更有效的特征提取网络，在保证速度的前提下尽可能提高检测精度。