红外单帧弱小目标检测算法研究综述

刘 征,杨德振,李江勇,黄成章

(华北光电技术研究所,北京 100015)

1 引 言

近些年来,红外探测技术的应用深入到军事、空间遥感以及民用等各个领域中,如红外侦察预警、星载空间红外探测、医学红外成像和汽车导航等诸多应用场景。作为红外预警探测领域的关键技术,适应于不同复杂场景下的红外弱小目标检测算法一直受到国内外研究人员的广泛关注。在目前光学系统的空间分辨率难以进一步提升的情况下,研究适用于不同作战场景下的红外弱小目标检测算法,保证算法低虚警的同时提升算法的自适应性,以增强红外预警探测系统远距离检测跟踪的能力。因此作为红外探测关键技术的弱小目标检测算法,目前乃至将来仍然是一个值得去深入研究的课题。

红外弱小目标检测算法主要分为多帧检测和单帧检测,多帧检测利用多帧图像中运动目标的连续性和相关性实现红外小目标检测,而单帧检测主要利用单帧图像,提取小目标在红外图像中的梯度、灰度、对比度等特征,通过目标增强或背景抑制等方式实现弱小目标检测,相比多帧检测,具有复杂度低,执行效率高,便于硬件实现等优点。因此本文以单帧检测算法为主线,着重阐述近些年来红外单帧弱小目标检测算法的研究现状。

2 红外弱小目标特征与检测难点分析

红外弱小目标这一定义分别指出了目标的两个特性,即“弱”和“小”,其中“弱”指的是目标信噪比低、与背景之间的对比度差、红外辐射强度弱；而“小”指的是目标像素少,检测时难以获得纹理信息,可考虑的信息只有灰度和位置。如图1所示,图1(a)为红外小目标的实际图像,图1(b)为目标区域所对应的三维强度分布图像。

(a)

通过观察上图可以看出,通常小目标在成像时距离较远,成像质量差,其形状类似圆形斑块或点状形式,灰度由中心点向四周边缘缓慢扩散,无各向异性,而噪声点常以孤立亮点或暗点形式出现,与目标相差较大,因此传统研究常采用二维高斯函数对红外小目标建模表示。但上述模型的建立是基于小目标尺寸不会发生较大范围的变化且目标背景相对干净这一假设,使得传统小目标检测方法能够有效抑制背景杂波从而检测出弱小目标。然而实际在对红外弱小目标进行远距离检测跟踪时,小目标常处于复杂背景环境下,如云层边缘、地面强杂波干扰等,极易被背景杂波所淹没,这时直接使用二维高斯函数建模往往是无效的。

3 红外单帧弱小目标检测算法分类

红外单帧弱小目标检测算法主要通过图像预处理突出小目标同时抑制背景噪声干扰,之后采用阈值分割提取疑似目标,最后根据特征信息进行目标确认。由于单帧检测的算法复杂度较低,检测效率高,因此目前绝大多数的高速运动目标检测平台等都是采用的单帧红外弱小目标检测算法。本文对近些年来提出的红外单帧弱小目标检测算法进行归类总结,如下所示：

红外单帧弱小目标检测算法包括：①基于滤波的检测算法；②基于人类视觉系统的检测算法;③基于图像数据结构的检测算法;④基于深度学习的智能检测算法。

下面将针对每类算法展开详细介绍与分析。

3.1 基于滤波的检测算法

由于红外探测系统得到的单帧图像中,红外小目标的纹理、大小等特征信息往往难以获取,通常红外小目标检测是基于小目标和背景之间的灰度差异。滤波方法的原理就是利用像素灰度差异来突出小目标,并去除周围背景噪声干扰。目前这类方法大体可分为空间域滤波和变换域滤波。

3.1.1 基于空间域滤波的检测算法

空间域滤波主要是在空域上对红外图像进行处理,其基本原理是首先对图像进行预处理,将滤波得到后的显著图通过阈值分割方法来检测红外弱小目标。近些年来空间域滤波的方法主要有以下几类:

(1)空域高通滤波

高通滤波器是基于背景估计的方式,由于探测系统获取的红外图像中小目标为亮点,而周围背景一般偏暗,高通滤波基于这两者之间的灰度差,从而将小目标从图像中提取出来,同时去除背景和噪声的干扰。空域高通滤波的优势在于计算复杂度低,便于硬件实现,但是通常小目标所处环境复杂,背景灰度变化大,容易存在大量干扰噪点,所以面对这种环境时利用高通滤波进行检测往往会导致虚警率很高,检测性能达不到要求。

(2)最大中值、最大均值滤波

Max-Mean和Max-Median滤波最早于1999年应用于红外小目标检测,其中最大中值滤波主要通过固定模板逐步对红外图像中对应区域内的像素灰度值进行统计得出中值,从而降低边缘信息对于检测效果的影响。而最大均值滤波通过利用不同方向上的像素灰度值获得均值,进一步求取最大值,即得到最大均值滤波输出。这两种算法能够在保留的边界同时抑制图像中的噪点,使得目标得到增强,算法简单,易于硬件实现,但算法容易受到窗口形状和尺寸的影响,且不同图像背景对滤波窗口要求不同。

(3)Robinson Guard滤波器

Robinson Guard滤波器的结构如图2所示,其中心像素周围无权值区域称为保护带,主要作用是保护带内目标信息,还能够对带外背景边缘进行检测。

图2 Robinson Guard滤波器结构

滤波原理是将当前像素灰度值与其模板最外层区域的像素灰度最大值进行比较,并将差值作为输出。但是Robinson Guard滤波器缺点在于其不能够自适应调整滤波窗口大小,滤波结果很容易受到小目标本身或干扰杂波的影响。为了解决传统Robinson Guard滤波器的局限性,Zhang等人[1]在传统Robinson Guard滤波器的基础上进行改进,采用自适应调整Robinson Guard滤波器窗口大小的方式,并通过多尺度进一步优化获得最优的滤波器窗口大小,能够适用于不同大小的小目标,同时对于低信噪比的图像,还具有很好的背景抑制能力和小目标增强能力。

(4)双边滤波算法

双边滤波(BF)算法主要通过在背景区域和目标区域之间自适应地改变两个高斯滤波器的标准差以实现红外小目标检测。近期,Bae等人[2]在边缘方向分析的基础上提出一种基于双边滤波(BF)的红外弱小目标检测方法,该算法将BF滤波器作为背景预测器应用于小目标检测,改进后的算法不仅具备传统双边滤波算法较强的背景估计能力,同时相较传统算法还提升了鲁棒性和检测效率。

(5)数学形态学方法

由于数学形态学处理算法复杂度较低且易于FPGA硬件实现,因此近些年来一直被作为红外小目标检测领域中的图像预处理方法。其基本思想是通过选取具有一定形态的结构元素对红外图像进行相应数学运算,有选择性地剔除图像中部分区域特征,同时提取出小目标特征信息。如经典Top-Hat变换不仅能实现很好的背景抑制效果,还能提取出与结构元素相似的目标和少量干扰噪点,但其仅采用一种结构元素,难以体现出目标区域与周围区域的差异。最近Zhu等人[3]提出一种基于Top-hat正则化与低秩张量相结合的红外小目标检测方法,该算法充分考虑目标的结构先验知识和背景的自相关性,提高了小目标检测的信杂比增益和稳健性。除了Top-Hat变换外,Zhao等人[4]提出一种基于形态学特征提取的红外小目标检测算法,该算法结合形态学特征提取与低秩稀疏分解方法抑制背景杂波的同时显著提高了目标的信噪比。

(6)二维最小均方滤波器(TDLMS)

二维最小均方滤波器(TDLMS)从Wiener滤波器演变而来,主要是基于输入红外图像,计算相应的模板参数,将其用于迭代过程中求取期望图像和预测图像之间的误差函数,当误差小于一定阈值时,停止迭代并输出得到预测背景图像,最后用原始图像减去预测背景图像得到小目标检测结果。该算法通过多次迭代运算能够对背景进行准确估计,自适应性较强。最近Lv等人[5]提出一种基于二维最小均方滤波(TDLMS)和基于邻域灰度差(GSD)度量相结合的算法,用以运动点目标检测问题,能够有效去除残留背景杂波干扰。张艺璇等人[6]提出一种自适应双层TDLMS滤波的红外小目标检测算法,能够有效降低虚警率但同时也牺牲了实时性。

3.1.2 基于变换域滤波的检测算法

变换域滤波主要通过将原始图像利用数学方法转到变换域,根据目标和背景在变换域中所属成分不同这一特性,在变换域进行处理,将处理后的结果逆变换为空间域从而实现小目标检测,相比空间域滤波能够更加直观显示目标和背景的特性,从而背景抑制效果得到增强,与此带来的是算法计算复杂度的增加。目前应用较多的这类方法主要有频域高通滤波、小波变换滤波、多尺度几何分析[7]、二维经验模式分解(BEMD)[8]以及离散余弦变换(DCT)[9]。

(1)频域高通滤波

由于红外图像中的小目标通常比周围背景的灰度值高,通过将时域信息变换到频率域,利用频域高通滤波器提取红外图像中的高频小目标部分,同时滤掉低频背景和噪声,实现背景抑制并突出小目标。这类滤波器在红外场景较为简单的时候,滤波效果比较明显,但是通常所处理的图像往往处于频率复杂的地面强杂波背景、卷云杂波干扰的环境下,此时滤波效果并不能满足检测需求。

(2)小波变换

小波变换算法的实质是通过构建不同尺度的小波函数去分解原始图像,利用变换得到原图像在多个尺度下的高、低频信息,通过分析小目标特性,将高频部分中的小目标从中检测出来。考虑到传统小波变换在高维情况下,难以充分利用图像数据原有的几何特征,后来在小波变换的基础上提出了多尺度几何分析的方法,吴文怡等人[7]将Contourlet变换应用于红外弱小目标检测,Contourlet变换的引入成功解决了小波变换对于二维图像只能在水平、垂直和对角三个方向上进行分解这一局限性,对于每个尺度所分解的方向都具有灵活性。虽然该算法在小目标检测性能上有所提升,但是该算法仅适用于目标点极少的红外小目标检测。

(3)二维经验(BEMD)模式分解

经验模式(Empirical Mode Decomposition,EMD)方法的提出很好地避免了小波分析对小波基和小波变换核的空间尺度的选择,并且继承了其多分辨率分析和时域分析的特性。而后由EMD推广到了二维经验(BEMD)模式分解,针对复杂背景下的红外小目标检测,解婷等人[8]提出一种基于二维经验模式分解(BEMD)的新方法,通过引入了同组过滤器(PGF)和局部逆熵(LIE),能够有效抑制背景噪声和改善原始图像信噪比,但是由于算法复杂度的增加导致了实时性不足,因此还难以满足实际工程需求。

(4)离散余弦变换(DCT)

离散余弦变换(Discrete Cosine Transform,DCT)最先于1974年提出,该变换具有良好的去相关性,同时其只使用实数,相当于只有一半长度的傅里叶变换,可以减少一半以上的运算量,近些年来常用于信号处理和图像处理领域中。Ding M等人[9]提出将离散余弦变换(DCT)应用于机载光电平台的红外目标检测与识别的方法中,并取得了较好的检测结果。相比传统的离散傅里叶运算,采用DCT可以降低算法的计算量,适合进行硬件加速计算以应用于系统工程中。

3.2 基于人类视觉系统(HVS)的检测算法

人眼可以快速定位到感兴趣区域,并获取其中的感兴趣目标,这一行为主要是人眼根据对比度区别目标和背景而不是亮度,以此来获取视觉显著性区域。根据HVS的特性,红外图像中目标的显著性特征主要包含对比度、大小、形状等等。所以红外小目标检测中引入了局部对比度、视觉显著性图、多特征融合、多尺度等理论机制。

(1)基于局部对比度机制

由于红外小目标一般与其周围背景不连通,并且其本身的结构信息并不显著,所以在红外图像的局部邻域中,对比度是考量目标和背景之间关系最好的方式。如蔡军等人[10]提出一种基于视觉对比度机制的红外小目标检测算法,该算法利用局部对比度(LCM)算子获取显著性区域,同时采用多尺度对比度进一步提升算法的鲁棒性和检测能力。由于传统LCM算法对噪声和背景抑制性能有限,潘胜达等人[11]提出一种基于双层局部对比度机制(DLCM)的红外弱小目标检测算法,该算法只需计算单尺度的双层对比度就可以实现不同尺寸的小目标检测且实时性较好,考虑到实际工程应用中算法移植的可行性,后续算法还需进一步优化改进。

(2)基于多特征融合

基于多特征融合的方式也是人类视觉机制应用小目标检测的一个研究方向,为了抑制背景杂波,通常需要考虑多个特征对小目标局部特性进行表征,如局部强度、梯度、局部灰度残差等等。局部强度特性可以用来抑制强度值分布近似的均匀背景,而梯度特性可以用来检测边缘较强的背景,因为它们的梯度方向通常是一致的,并且在分布上与目标的不同。由此来看,结合不同特性可以起到有效抑制背景杂波的作用。如危水根等人[12]提出一种结合局部灰度残差、局部强度和梯度三种特性相融合的红外小目标检测算法,该算法利用局部灰度残差信息图抑制平缓背景,局部强度均值约束信息图剔除孤立背景点干扰,梯度方向约束信息图剔除强边缘杂波干扰,最后通过融合这3个特征信息图并结合阈值分割实现弱小目标与背景的分离。

3.3 基于图像数据结构的检测算法

上述大部分方法都是从红外小目标的变换域特征、对比度、梯度特征以及灰度分布等方面进行分析,从而实现背景抑制和目标增强。近两年,相关学者提出了一个新的研究方向,即将图像数据结构引入到红外小目标检测算法中,利用了红外图像中背景的非局部自相似性和目标的稀疏特性,即背景块属于同一低秩子空间,而目标相对整体图像尺寸较小。目前比较典型的基于图像数据结构的方法主要有以下两种:

(1)红外图像块(IPI)模型

由传统的目标、背景和噪声三大部分构成的红外图像模型推广到利用非局部自相关特性的红外块图像(IPI)模型,该模型主要将红外弱小目标检测问题转化为恢复低秩和稀疏矩阵的优化问题,其典型的求解IPI模型的目标函数表达式如下:

(1)

其中,I、B、T分别对应红外图像块矩阵,背景块图像矩阵和目标块图像矩阵;λ和μ均为可变权重参数。Yang等人[13]提出基于红外图像块(IPI)模型的多尺度融合和参数调整的红外小目标自适应检测方法,对于高度变化的复杂场景具有很好的适应性且能够保证较低的虚警率。由于上述采用IPI模型的方法通常需要将每个图像块矢量化为一列像素,而在此过程中,像素间的结构信息被破坏致使信息丢失,因此估计目标图像并不够准确。Zhang等人[14]提出一种基于图像块张量(IPT)模型的小目标检测方法,将检测任务由二维图像层面扩展到三维张量层面,同时将小目标检测问题转化为分离张量的低秩部分和稀疏部分的优化问题,相比IPI模型提升了算法的检测性能。由于这类算法实现时通常需要进行多次矩阵分解的迭代,而高维奇异值分解效率较低,耗时较长,所以在实时性上还需进一步改进以适用于实际工程中。

(2)稳健主成分分析(RPCA)

稳健主成分析(RPCA)方法的核心是将背景和小目标分离的问题转换为采用数学的方式求解凸优化问题。樊俊良等人[15]将RPCA算法应用于弱小目标检测中,通过对上述凸优化问题进行求解从而得到背景和目标前景图像,最后从目标前景图像提取出小目标,该算法对于简单的混合场景具有较好的适用性。马铭阳等人[16]改进了稳健主成分分析(RPCA)分割的方法用于目标粗提取,而后结合基于统计的多点恒虚警检测(MCFAR)方法用于小目标精检测,保证了红外小目标的检测精度。这类算法很大程度上降低了虚警率,但对于RPCA算法的求解速度问题还有待进一步优化。

3.4 基于深度学习的智能检测算法

传统的红外小目标检测算法中通常是根据小目标本身灰度值,邻域背景信息等特征来进行检测识别,这些算法选取的特征大多是基于人工的选择,因此在算法设计中考虑的特征参数总是有限的,而深度学习能通过训练提取数据中深层次的中层以及高层特征,用以目标表征,提升目标检测的鲁棒性。国内外学者在近几年来相继提出了许多基于深度学习的智能检测算法。LIN等人[17]通过设计一种7层深度卷积神经网络(CNN),实现对红外小目标特征的自动提取以及对背景杂波的端到端抑制。该方法在背景抑制和目标增强方面均取得了很好的性能。Wang等人[18]设计了一种特征提取骨干网络(MNET)用于红外小目标检测,该网络兼顾了实时性与检测精度,能够实现105 f/s的检测速率。钮赛赛等人[19]利用经典模板匹配算法与Fast YOLO模型相结合用于红外小目标检测。该算法不足之处在于一旦图像劣化或目标之间存在遮挡现象,难以准确检测出图像中的所有目标。

目前将深度学习应用于红外小目标检测最大的局限性在于,待检测的红外小目标尺寸过小,缺乏纹理、结构等特征,而神经网络中往往采取下采样操作,导致目标在特征图上尺寸仅占据几个像素,使得检测器难以提取出有效特征,导致小目标检测效果差；同时考虑到实际红外工程应用中对算法的实时性和硬件负载能力均有限定,神经网络架构移植到常用的FPGA+DSP硬件架构上的难度较大。

4 算法仿真与性能分析

为了进一步评估各类单帧检测算法的性能,本文从背景抑制因子(BSF)、信杂比增益()以及算法平均运行时间(ms)这三种评价指标出发,选取近些年来具有代表性的几种算法进行综合检测性能分析。其中BSF和SCRG分别用于度量算法的背景杂波抑制能力和目标增强能力,其值越大表明算法检测性能越强。而算法平均运行时间取决于算法的运算量大小同时也能够考量算法的实时处理速率与实际工程应用价值。本次实验主要选取5个真实红外图像序列集对单帧检测算法进行仿真实验,实验平台统一选取Intel Xeon 4110 CPU @ 2.10GHz,Nvidia GeForce GTX 1080Ti,64G内存服务器,仿真软件为Matlab2020b。仿真实验结果如图3及表1、表2所示。

图3 典型单帧检测算法的检测结果与对应的三维灰度分布

表2 典型单帧检测算法平均运行时间(单位：ms)

通过上述仿真结果看出,当小目标处于简单的空天场景时,这几种典型的检测算法均取得了较为不错的检测结果。而当目标场景趋于复杂存在大量云层杂波干扰或处于云边缘背景时,传统的检测算法Max-Median、LCM等算法处理后仍存在背景干扰点。从三维灰度图中可以进一步看出,相比干净背景下目标灰度峰值远高于背景灰度分布,尽管经过算法处理,复杂背景下的干扰点灰度峰值仍与目标峰值接近,此时采用阈值分割方法极容易将干扰点判为虚假目标,导致算法虚警率增加。而近些年提出的IPI模型和CNN检测算法在算法处理结果上明显优于传统算法,在不同的复杂红外场景下均能有效检测出目标,并剔除虚警点。

综合背景抑制因子和信杂比增益指标可以得出,传统的基于滤波的检测方法Max-Median和Top-hat的背景抑制能力要优于提升目标对比度的LCM方法,而IPI算法在背景抑制性能上有所提升,基于深度学习的CNN检测算法相较于传统的检测算法在整体性能上提升了几个数量级。但是从算法运行时间来看,考虑到CNN在单帧检测时需要进行大量浮点运算,因此在算法处理时间上要劣于传统的滤波和视觉对比度LCM算法,而IPI算法需要进行矩阵迭代运算,导致算法计算量很大,因此消耗时间最长。

5 结论与展望

综上所述,本文对近些年来提出的红外单帧弱小目标检测算法进行了系统性的梳理,并针对近些年来提出的红外单帧弱小目标检测方法分析了优势与不足。结合当下红外预警探测系统的发展需求以及各个领域逐渐引入人工智能思想的热潮,可以预见未来红外弱小目标检测的发展趋势如下:

(1)首先,考虑到红外预警探测对探测距离、成像质量、复杂背景环境下的适应能力等需求的提高,在硬件上研制大规模、高分辨率、多波段、超高密度集成和轻型化的焦平面器件,仍然是推动红外弱小目标检测研究必不可少的一部分。

(2)其次,由于单一波段的红外探测系统的性能总是有限的,由单波段检测推广到研究红外多光谱融合探测技术,高光谱探测技术以及多传感器信息融合技术,进行信息互补,实现预警系统一体化,有效解决单一波段或单一探测器探测性能的局限性。

(3)最后,创新和改进现有的红外弱小目标检测算法仍然是目前研究的重点。利用深度学习模型架构进行红外弱小目标检测,完善红外弱小目标数据集,同步考虑神经网络模型架构硬件移植的可行性,后续研究可以利用FPGA高速并行计算、低功耗的优势,在FPGA上搭建神经网络架构,加速神经网络计算,保证算法的检测效率与实时性。