红外小目标SSD-DSST算法与目标模拟系统研究

王 磊，高 扬，张 慧，郝永平

(沈阳理工大学机械工程学院，辽宁 沈阳 110159)

0 引言

红外小目标检测被广泛应用于红外制导、预警等军事领域[1]。红外小目标的像素与整张图的像素比不超过图像整体的0.15%,成像面积只有几个像素到十几个像素,在复杂背景的情况下,小目标往往只含有少量的语义特征。由于目标在成像系统较远处,红外辐射的能量在距离上显著衰弱状态,红外小目标易淹没在背景之中,目标检测难度较大,在此条件下的检测能力具有理论意义和应用价值。

为提升小目标的检测能力,国内外学者通过深度学习的计算机视觉技术在目标检测领域获得了重大进展[2-11]。目前,基于卷积神经网络[4]的深度学习检测算法成为主流,按照是否存在候选区可分为一阶段目标检测[5]和两阶段目标检测[6]算法。两阶段算法是在产生候选框的前提下在对候选区域内目标进行分类和回归,如CNN[7],R-CNN[8],Fast R-CNN[9]等,算法虽精度高,实时性差,检测小目标效果差;一阶段算法不对候选区进行提取,只用一级网络完成了分类和回归,这类算法主要有SSD[10],YOLO[11]等,算法虽实时性高,但检测精度低。

针对红外小目标识别过程受到复杂背景的干扰,目标特征不明显,易丢失等问题,提出了一种基于改进SSD与DSST方法的红外小目标检测算法,通过通道-空间注意力机制与FPN特征金字塔结构改进SSD网络,采用DSST对目标下一帧目标进行位置和尺度预测。在PC端与ZYNQ嵌入式平台联合搭建了目标融合模拟系统,可将待测小目标融入到复杂背景下,实现预定场景模拟,对所提算法进行评估和验证。

1 改进的SSD检测网络

1.1 加入通道-空间注意力机制的SSD算法

传统SSD卷积网络特征非线性程度不够,仅靠目标训练不能获得理想的识别精度[11]。在主干检测网络生成特征图阶段引入注意力机制,使检测网络更加关注特征图中目标可能存在的位置区域,提高卷积对特征图的遍历速度和小目标识别准确率。同时增加目标上下文信息,缩小检测范围,提升红外小目标的检测能力算法原理为:通过CBAM机制对网络生成的特征图Z分别产生一维通道注意力、二维空间注意力共两个尺度的特征图,推断出特征图的注意力权重系数。特征图中每一个通道作为一个特征检测器,选择利用最大池化和平均池化的方法学习目标的判别性特征,将特征送入一个共享的多层感知机(MLP)网络中得到通道注意力权重,将每个通道的权重与原卷积的特征加权融合[11]来提取目标特征信息,通道注意力参数矩阵为:

Mc(Z)=σ(W1(W0(Zavg,c))+W1(W0(Zmax,c)))

(1)

其中:Z为输入特征图;σ为激活函数;Zavg,c和Zmax,c分别表示平均池化和最大池化;W0,W1为两个全连接层各自的权重参数。

对于空间注意力机制关注特征图中重要信息的位置,将通道注意力产生的特征图拼接起来,对拼接起来的特征图上进行卷积操作产生最终的空间注意力特征图,空间注意力参数矩阵为:

Ms(Z)=σ(f7×7(Zavg,c;Zmax,c))

(2)

其中f表示卷积核为7×7的卷积核。

将通道注意力机制生成的通道注意力矩阵与输入特征图进行元素级相乘得到Z′,再将Z′与空间注意力矩阵进行元素级相乘得到输出特征图Z″,如式(3)、式(4)所示,式中⊗表示元素级相乘。

Z′=Mc(Z)⊗Z

(3)

Z″=Ms(Z)⊗Z′

(4)

1.2 FPN 算法改进SSD网络

针对红外图像对比度较低、分辨细节能力差、目标特征不明显问题,以及传统SSD卷积网络模型中并没有使用原始图像的底层特征,其深层特征的语义信息无法与浅层结构信息融合,造成目标细节信息丢失。

利用FPN算法将检测网络的浅层次特征与高层次特征在“自下而上”的数据流向基础上采用横向连接,把高层语义信息传递给浅层检测网络,实现多尺度的信息融合,丰富底层特征图的语义信息,提升小目标的检测能力。FPN算法改进的SSD网络架构如图1所示。

图1 FPN算法改进SSD网络架构图Fig.1 Improved SSD network architecture of FPN algorithm

以VGG16的SSD网络为基础对卷积网络进行改进,红色箭头代表Conv1×1卷积核的卷积操作,意在改变特征的输出个数的同时,不改变特征尺度,将反卷积和卷积输出的特征图保持数据一致性。绿色箭头代表上采样,通过反卷积操作使进行反卷积之后的深层特征图与邻近上一层特征图保持大小和通道数相同。“⊕”表示将上采样和Conv1×1卷积后的特征图对应元素线性叠加,所叠加两个特征图的宽度、高度以及通道数均相等。改进网络输出6种不同尺度的特征图,利用3×3卷积核对融合叠加结果进行卷积计算来解决上采样的混叠效应。

2 基于改进的SSD网络与DSST的红外小目标检测算法

上述的空间-通道注意力机制与FPN算法改进的SSD检测网络对红外小目标的检测能力有明显提高,但在复杂背景下易受其他目标干扰,导致小目标丢失和误检。为解决问题,将DSST算法与改进的SSD检测网络相结合,利用上一帧对目标当前帧位置和尺度进行精确估计,实现目标检测。通过给改进的SSD检测网络设置阈值来判别检测是否准确,将检测不准确的图像输入到DSST算法进行二次检测,此方法有效避免改进的SSD网络误检和漏检问题。基于改进SSD网络与DSST的红外小目标检测算法总流程图如图2所示。

图2 改进SSD网络与DSST的红外小目标检测流程图Fig.2 Flow chart of improving SSD network and DSST infrared small target detection

将待检测图像输入到FPN算法改进的SSD卷积检测网络,生成6种不同尺度大小的特征图。随后利用通道-空间注意力机制计算目标可能存在的区域权重,经过非极大值抑制,实现目标检测。计算检测目标框的置信度α,通过实验条件下得到的不同阈值下AP值的对比关系,确定合适的阈值A大小。当α≥A, 说明检测结果准确,算法直接输出检测结果;当α

(5)

式中:hl为第l个通道对应的滤波器;p为训练样本特征;λ为正则化参数为了提高运算速度;s为样本对应的高斯函数输出。

为提高运算速度,将ε转化为频域计算,通过极值点求导法则得到滤波器输出H:

(6)

(7)

对于新的一帧,在前一帧的位置基础上,提取三倍目标大小的图像特征,进行傅里叶逆变换:

y=F-1(Yt)

(8)

此时响应最大对应的区域即为当前帧目标区域。对于新位置的尺度大小,用目标的33个尺度样本特征训练原理相同的尺度滤波器,来负责检测目标的尺度变化,通过位置与尺度两个滤波器的相互作用,实现对新一帧的目标检测。

3 嵌入式与PC平台的目标融合与识别模拟系统

为模拟复杂背景下红外小目标的运动情况,开发了能够把目标图片融合到背景,进行目标估计设定、检测与跟踪的目标融合识别系统。系统包括下位机嵌入式ZYNQ7000的开发平台[12],通过红外或可见光摄像头完成复杂背景的图像采集,图像预处理、VDMA数据读取、以太网控制等;通过UDP网络传输协议把ZYNQ采集的高清背景图像传输到PC端进行图像数据样本解析和处理。PC端的图像接收程序采用VC++开发了通过发送,应答,再发送,接收数据的双握手协议,实现复杂背景下图像预处理后的传输与接收。通过定制上位机PC端MATLAB GUI(graphical user interface)平台,实现背景图像合成,目标叠加,叠加视频生成,峰值信噪比PSNR(peak signal to noise ratio)的计算、目标识别等功能。通过PC MATLAB, Visual C++, 嵌入式ZYNQ7000等软硬件平台完成协同设计与测试仿真,软件的控制流程与功能模块如图3所示。

图3 嵌入式与PC平台的目标融合与识别系统Fig.3 Target fusion and recognition system based on embedded and PC platform

系统通过不同目标在复杂背景下的叠加融合实现预设场景的高效模拟与测试,验证和评测不同目标检测和跟踪算法、避免复杂验证实验,节约成本,提高效率。

在得到不同场景下的背景图像后,通过定制开发的PC端MATLAB GUI目标融合与检测跟踪系统可以方便选择不同分辨率的目标图片,目标数量,实现目标图片融合到背景图片或视频的功能;融合系统实现对不同的帧率的背景照片进行图像视频生成,可设定目标的运动轨迹,在不同的测试背景中变化;对生成仿真测试视频进行动态展示和存储。

系统通过人机界面菜单或按钮可分别显示背景视频、目标和背景的融合视频、融合目标的跟踪视频等,还可实现对融合后的图像视频进行实现峰值信噪比(PSNR)计算,曲线显示,实际目标轨迹的绘制等功能,可对生成的图像视频按照不同路径进行保存。采用所提算法,对融合后小目标进行检测跟踪,其在系统后台运行。

4 实验研究与分析

为了进一步验证ZYNQ硬件平台与VC、 MATLAB系统联合仿真能力,ZYNQ可作为视频背景测试源处理后结果返回到PC平台,对提出的目标检测算法进行实验测试。通过搭建系统可采集不同的真实实验场景下的背景数据。上位机作为接收端,可实现对ZYNQ嵌入式板卡采集的高清图片或视频的传输。通过配置不同需求的可见光摄像头或红外摄像头等可实现对不同场景下背景环境数据的采集,为在PC端MATLAB GUI进行目标融合叠加、融合提供背景环境图像样本数据。

搭建了半实物仿真系统包括上位机PC端笔记本电脑,1个嵌入式ZYNQ7000开发板,千兆以太网线等。PC端采用所提的改进SSD目标识别算法识别待测目标,视频图像数据接收平台采用VC++语言编制。下位机嵌入式平台采用ZYNQ,在VIVADO环境下编制,烧录仿真器为XDS100V1型。融合后的视频文件可保存。

为保证模拟系统的目标融合效果,对融合后的图片进行峰值信噪比(PSNR)计算,结果如图4所示。

图4 不同红外背景区域PSNR值Fig.4 PSNR value of different infrared background areas

图4(a)为8×8点目标插入到背景上半部分区域所得到的峰值信噪比下降比率曲线;图4(b)为点目标插入到动态变化的背景(下半部分)中峰值信噪比的曲线,相应的不同区域PSNR下降百分比结果如表1所示。

表1 PSNR下降百分比均值Table 1 Mean value of PSNR decrease percentage %

计算8×8分辨率下目标图片融合到红外视频内生成仿真测试视频的全区域PSNR变化均值, 全区域叠加视频PSNR下降不超过5%,保证图像质量的前提下满足实验测试要求。

为验证所提算法在复杂环境干扰下对小目标的识别能力,点目标分别叠加于背景上、下区域,如图5所示。通过对PSNR的计算,上半区域PSNR下降值小,整体PSNR值较大,图像失真量少,目标的轮廓信息清晰,用以模拟简单背景下的识别;下半区域有舰船等其他移动目标和干扰的噪点,PSNR值变化均值大,识别过程中有疑似目标干扰,模拟复杂背景。

图5 模拟复杂背景下红外小目标Fig.5 Simulating small infrared targets in complex background

实验选取了红外小目标和背景图像共300张样本数据,对其进行特征训练,选择150张不同复杂背景程度下红外小目标图像进行测试。利用平均精度AP值作为评价指标,与传统SSD检测算法进行比较分析,对算法性能进行评估,识别结果如图6所示。图中方框区域则是通过算法检测的目标位置。

由图6(a),图6(b)对比可见,图6(a)中真实目标设置在背景上半区域时,传统SSD算法深层由于特征语义信息不能与浅层结构信息融合,使目标细节信息丢失,当受到下半区域舰船等移动目标干扰,未能有效识别真实目标,误识别了下半区域的伪目标。图6(b)所提算法通过当前帧目标位置和尺度进行精确估计,能有效识别出上半区域的真实目标。由图6(c),图6(d)对比可见,真实目标设置在背景下半区域时,目标附近背景复杂,识别难度增加,传统SSD算法受复杂背景干扰识别了下半区域的疑似伪目标物体,不能准确的检测到真实目标,所提算法通过对混淆区域内目标框置信度阈值的计算与判断,结合DSST算法,实现当前帧图像目标位置和尺度预测,在不同复杂程度背景下准确的识别小目标。

通过对运动目标多帧检测研究,所提算法与传统SSD算法的精度对比如表2所示,针对选取150帧小目标样本图片进行检测,传统SSD算法有效检测129张,所提算法有效检测147张。传统算法识别的召回率为74.10%,AP值为86.89%;所提算法召回率为83.71%,AP值为98.17%,平均精度提高了11.28%,算法在复杂场景下具有一定的自适应性,改善了目标识别能力。

表2 不同算法的检测精度对比Table 2 Comparison of detection accuracy of different algorithms

5 结论

提出改进的SSD网络与DSST红外小目标检测算法,通过加入特征金字塔网络来丰富卷积层,在特征图生成阶段加入通道-空间注意力机制提高小目标的区域权值;在改进检测网络提高小目标检测能力的同时,通过阈值判断结合DSST算法,对当前帧图像目标进行位置和尺度预测,检测目标位置。搭建了嵌入式ZYNQ与PC平台的目标融合模拟系统,利用嵌入式ZYNQ平台进行背景图像采集,将背景图像样本数据传输给PC端,进行数据解析后,实现背景图像合成,目标叠加,目标轨迹设定、叠加视频生成,峰值信噪比PSNR的计算、融合后目标识别等功能。针对实验采集的红外样本,采用传统SSD与所提算法进行测试实验和精度对比,AP值提高了11.28%,验证了所提算法有效性。