红外弱小目标检测技术综述

任向阳， 王 杰， 马天磊， 朱晓东， 白 珂， 王佳奇

(郑州大学 电气工程学院 河南 郑州 450001)

0 引言

自然界中，物体温度高于绝对零度时，都会持续向外界辐射红外波段能量[1-2]。物体具有越高的温度，则其向外辐射的红外能量就越大[1,3]。红外探测技术就是以红外目标监测系统为载体，利用被检测目标与背景之间红外辐射的差异实现目标检测和识别[4]。

与传统的主动雷达成像以及可见光成像等探测技术相比，红外探测技术具有一系列的独特优势：

1) 红外探测技术隐蔽性好。主动雷达成像探测需要向外界发射电磁波而容易暴露自身的信息，红外成像探测则属于被动探测，不需要向外界发送信号。

2) 红外探测技术可以全天候工作。可见光成像探测器只能在白天进行探测工作，而红外成像探测器不受白天夜晚的限制，可实现昼夜工作。

3) 红外探测技术抗干扰能力强。主动雷达成像探测的效率容易受到目标表面隐形吸波材料的吸收而削弱；可见光成像探测很容易被云层、烟雾等因素干扰，并且容易被不同的伪装手段欺骗。随着雷达隐形技术以及伪装技术的发展，主动雷达成像探测与可见光成像探测往往难以满足一些实际的探测需求，而红外成像探测则可以更好地穿透烟雾、云层等干扰，并且有一定识别伪装目标的能力，同时不会被各种雷达隐形吸波材料所影响。因此，红外探测技术可以对传统探测手段进行有效补充甚至可以替代传统的探测技术。

随着红外探测技术的发展，该技术已在不同的领域中得到广泛应用[4-6]。在民用领域，已被广泛地应用于火灾预警[7-8]、气体泄漏检测[9-10]、医学特征识别[11-12]、农业生产[13-15]等方面。而在更为重要的军事领域，红外探测技术已被广泛应用于侦察、制导、预警等方面[16-19]。例如：美国的天基红外预警系统和国防支援计划导弹预警卫星系统[20]、俄罗斯的“凤凰”系统、荷兰等国的“天狼星”系统[21]、以色列的“云雀”无人侦察机、美国的“全球鹰”无人侦察机[22]等均使用到了红外探测技术[23]。

对于红外探测系统来说，当被检测目标与探测器之间的距离达到十几甚至几十公里时，在大气扰动、光学散射和衍射等外界因素的影响下，经过光学系统成像后，红外图像中的目标呈现“弱”和“小”的特征。此时红外探测已进入红外弱小目标探测的范围。其中“弱”这个特征主要是目标的信噪比以及目标与背景的对比度较低；“小”这个特征则主要是目标在整幅红外图像上所占有的像素数少。因此，在检测过程中，由于弱小目标尺寸比较小，不具有相应的形状以及纹理特征，同时在实际场景中，复杂多变的云、建筑物、海面等干扰物的面积较大，导致被检测的小目标很容易会被复杂的场景形成的杂波所淹没[3]。此外，目前红外弱小目标检测方法的稳健性、鲁棒性、实时性还不能完全满足不同应用背景的需求。因此，红外弱小目标检测技术成为近年来在民用和军事领域里的研究热点之一[4]。

1 红外弱小目标检测技术的研究现状

红外弱小目标检测技术是红外探测系统的关键技术之一，是红外探测领域的研究热点[24-26]。国内外有许多的相关机构开展了红外弱小目标检测技术的研究工作，并取得了丰硕的研究成果[26-28]。同时，有许多国内外的刊物和会议也经常发表和探讨一些弱小目标检测技术的研究成果[27-30]。

1.1 红外弱小目标成像的数学模型

图1 实际红外图像中的弱小目标及其三维强度图Figure 1 A small target in an infrared image and its 3D intensity distribution

在红外弱小目标检测中，根据对小目标检测时进行图像处理所需数据量的差异，可将这些检测方法分为两大类，即基于单帧的检测方法和基于多帧的检测方法[31]。基于单帧的弱小目标检测方法通过处理单帧图像来检测目标，并从单帧检测结果中给出目标存在与否的判决；基于多帧的弱小目标检测方法则同时处理多帧图像，将多帧图像全部处理后，给出目标存在与否的判决结果[32-33]。本文以这两类方法为主线，介绍其中的代表性检测方法。

1.2 基于单帧图像的弱小目标检测方法

基于单帧图像的弱小目标检测方法主要利用单帧图像的空间信息对小目标进行检测。现有的基于单帧图像的弱小目标检测方法主要分为三种：第一种是从目标角度出发，根据目标和周围背景在单帧红外图像中的灰度、结构等特征差异，设计检测算子，直接提取目标[34]；第二种是从图像背景角度出发，采用相应方法抑制图像的背景，从而实现弱小目标的检测[35-36]；第三种是基于图像数据结构的方法，这种方法主要是通过查找低维子空间结构以及使用预设的超完整字典来显示数据结构，从而实现小目标的检测[37-38]。本文主要针对几种比较有代表性的单帧检测方法进行介绍。

1.2.1基于目标特征的弱小目标检测方法 基于目标特征的弱小目标检测方法是根据目标和其邻域在单帧红外图像中的特征差异，设计不同方法凸显小目标并抑制背景杂波，从而实现弱小目标的检测。

1) 基于视觉对比机制的弱小目标检测方法

基于视觉对比机制的弱小目标检测方法是近几年才出现的一种新颖的弱小目标检测方法。由于人类的视觉系统(human visual system, HVS)在处理目标检测任务时表现出非常良好的鲁棒性[39-42]，所以，有关视觉系统中的一些理论机制也被引入到弱小目标检测中来[43-44]。在此类方法中，视觉对比机制较多地被用于研究弱小目标检测[45]。

对比机制一般被认为是信号在某个局部区域中存在信息差异，如小目标与其邻域之间存在着各种不同的差异。在人类视觉系统中，这些差异对于认知外界事物具有非常重要的意义[46]。根据小目标灰度强于邻域灰度的特征，Chen等[47]基于视觉对比机制提出了一种局部对比测量方法(local contrast measure, LCM)。该方法主要是利用小目标的灰度值一般会比邻域的灰度值更大一些的特点。此后，Han等[48]发现LCM存在过增强噪声点的现象，并提出了一种改进的局部对比测量方法(improved LCM, ILCM)。该方法采用了HVS大小自适应过程和注意力转移机制，有效地降低了噪声点过增强现象的发生，但该方法容易把小目标变得平滑。为了较好地保留小目标的形状，王晓阳等[49]提出一种区域局部对比度方法，该方法利用了图像信息熵和局部相似性等信息，对小目标的原始形状保留效果较好，但在复杂场景中，区域局部对比度方法不是非常有效。为了提高在复杂场景的检测率，Qin等[50]提出了一种新颖的局部对比度测量(novel local contrast measure，NLCM)方法。不同于ILCM使用近似于小目标尺寸的滑动窗口，NLCM使用尺寸大于小目标的局部区域作为滑动窗口，这更有利于在复杂场景中增强目标和背景的对比度。为了进一步提高方法的检测性能，Du等[51]提出了一种同质加权局部对比度测量方法(homogeneity-weighted local contrast measure, HWLCM)。该方法能够充分利用中心和周围区域的局部对比特征以及周围区域的加权均匀性特征。这些特征的使用有利于增强目标强度和抑制复杂背景。

由于LCM方法被提出时间并不是很长，仍有许多学者对该类方法进行研究和改进[52-56]，例如：多尺度块的对比测量(multiscale patch-based contrast measure, MPCM)[52]、多尺度局部同质测度(multiscale local contrast measure, MLCM)方法[53]、相对局部对比测量(relative local contrast measure，RLCM)方法[54]、局部差异量度(local difference measure，LDM)[55]、改进的LCM[56]，等等。在计算局部对比度时，LCM及其改进方法大多使用的是比率形式定义。这些方法先计算图像中某局部中心与其邻域之间的比率作为增强因子，然后将增强因子与局部中心值的乘积作为局部对比度[54]。

除了上述使用比率形式定义计算局部对比度的方法之外，许多方法还使用了差异形式定义，即使用图像中的某局部中心以及邻域之间的差异结果作为局部对比度[57-58]。这类方法中较为典型的是由Kim等[59]提出的拉普拉斯-高斯算子(Laplacian of Gaussian, LoG)。该算子可以有效地提高被检测弱小目标与其周围区域之间的对比度，从而实现目标的检测。针对该方法在具有比较复杂的背景杂波时容易产生虚警的问题，一种局部定向LoG算子被提出[60]。该方法首先将LoG滤波器分解为具有4个方向的局部LoG滤波器；然后使用局部LoG滤波器生成的内核对图像进行卷积；最后，通过最小滤波器获得最终的空间滤波图像。这种方法可以有效地提高检测率并消除云边缘带来的虚警。此外Shao等[61]在结合形态学操作的基础上，对LoG算子进行改进，也取得了良好的小目标检测结果。

2) 基于局部强度和梯度的弱小目标检测方法

基于局部强度和梯度的弱小目标检测方法是受到小目标在图像分布中呈现高斯形状的启发，从强度和梯度的角度对小目标的局部属性进行描述，以增强目标并抑制图像中的杂波[62]。在红外图像中，小目标像素的灰度值大于其局部相邻像素的值；另外，小目标可使用二维高斯函数模拟，二维高斯函数形成标量场，其梯度场表现为梯度向量指向中心的特点，同理，小目标具有灰度标量场，其梯度场也表现为梯度向量指向目标中心的特点。这两个属性分别被认为是局部强度属性和局部梯度属性。均匀背景可以通过使用局部强度属性来抑制，因为它们的强度值几乎相同；对于具有强边缘的背景，它们的梯度方向通常是一致的，不同于分布中目标的梯度。基于这两个属性，通过计算原始红外图像局部强度和梯度(local intensity and gradient, LIG)图，可以实现目标增强和杂波抑制。

1.2.2基于背景特征的弱小目标检测方法 根据背景抑制方式的不同，基于背景特征的弱小目标检测方法主要分为两类：基于空域滤波的方法和基于变换域滤波方法。

1) 基于空域滤波的方法首先通过估计图像的背景信号，然后利用原始图像与估计得到的图像背景进行差分运算，最后在差分图像中使用阈值分割方法实现弱小目标的检测。其中实现图像背景估计的步骤如下：首先在图像中取每个像素点对应的局部区域，然后利用此局部区域上的灰度信息对该像素点的背景强度值进行估计，最后对图像上所有的像素点进行遍历从而获取图像背景的预测图。传统基于空域滤波的方法有最大中值最大均值(max-meanmax-median)滤波器的方法[63]、二维最小均方(two-dimensional least mean square, TDLMS)滤波器的方法[64-67]、数学形态学方法[68-71]、双边滤波器[72-73]、高通模板滤波方法[3-4]、中值滤波方法[3-4]等等。

A) Max-meanmax-median方法是一种非线性的滤波方法，该方法在中值滤波方法的基础上，对图像进行滤波后再进行差分运算[63]。在处理过程中，当被处理的像素点在目标上时，使用max-meanmax-median方法所获得的背景预测值近似于该像素点邻域的平均信号强度值。而在图像中目标点的信号强度值和其邻域的平均强度值之间具有较大的差异，于是，在原图和预测的背景图进行差分运算后该像素点会具有较大的响应值。当被处理的像素点在平缓变化的背景上时，用max-meanmax-median方法所获得的背景预测值与该像素点的灰度值两者之间非常接近，在原图和预测的背景图进行差分运算后该像素点对应的响应值较小。当像素点位于景象边缘时，使用max-meanmax-median方法获得的背景预测值为景象边缘上的平均强度值，所以该像素点的强度值与预测值的差异很小，进行差分运算后该像素点对应的响应值也很小。因此，max-meanmax-median方法不仅对被检测图像上起伏的背景信号能够有效进行抑制，还可以有效地抑制图像边缘具有的纹理信息，这些抑制有利于后续的弱小目标检测。

B) 1988年，Hadhoud等将应用于一维信号处理领域的LMS(least mean square)方法扩展到二维信号处理领域，提出TDLMS方法[64]，并应用于图像去噪以及图像增强。考虑到该方法在图像处理领域具有较好的性能，因此该方法被一些学者引入到弱小目标检测中。TDLMS方法是一种自适应迭代的方法，该方法首先根据输入图像的内容对模板参数进行自动计算，在每一次迭代过程中求取预测的背景图像与期望图像两者之间的差异并得到误差函数；然后判断误差函数与设定阈值之间的大小，当误差函数数值小于阈值时，停止迭代，并输出经过该方法预测得到的背景图像。很多学者在不同特征区域的选取以及模板更新步长参数的自适应确定等方面对这种方法进行了改进[65]，例如Bae等[66]为了在背景和小目标区域中自适应地调整步长，通过使用小目标邻域图像块预测像素的方差，来计算与自适应区域相关的非线性步长，该方法取得了较好的检测效果。此外，张世璇等[67]提出了一种由背景去除与目标提取构成的两层TDLMS滤波器，该方法根据图像的统计参数对步长的大小自适应调整，并迭代得到最优的TDLMS滤波器权值。

C) 1964年Matheron和Serra提出数学形态学(mathematical morphology，MM)的方法，并将该方法应用到了图像分析领域[68]。数学形态学方法是一种基于集合理论和几何学的非线性滤波方法。数学形态学运算基于两个基本操作：腐蚀和膨胀。这两个基本的操作在原始图像和结构元素构成的集合上进行。最常用的数学形态学方法是顶帽变换(top-hat transformation，Top-hat)方法[69]，该方法首先构造合适的结构元素；然后利用形态学开运算滤除小于结构元素的亮奇异点，同时利用形态学闭运算滤除小于结构元素的暗奇异点，最后使用原始图像与预测的背景图像进行差分处理，得到包含残差和弱小目标的图像。在经典的Top-hat方法的基础上，有许多改进的方法被提出，Zhou等[70]设计了一种由系列Top-hat滤波器构成的连续Top-hat滤波器方法，该方法中Top-hat滤波器的结构元素逐渐减小。之后，Deng等[71]考虑到自适应结构元素对于Top-hat方法的重要性，提出了一种基于量子遗传方法的自适应Top-hat结构元素优化方法，该方法能够实现更稳定的小目标检测性能。

D) 1998年Tomasi等提出双边滤波器(bilateral filter)的方法，并用于图像去噪。由于该方法具有良好的红外图像背景估计能力，被学者们广泛地应用于弱小目标检测领域[72]。双边滤波器主要由灰度域滤波核和空间域滤波核这两个不同的高斯滤波核构成。在空间域中，滤波核根据像素之间的欧氏距离，对离中心像素更近的像素赋予更大的权重；在灰度域中，滤波核根据像素灰度值之差，与中心像素值更接近的像素赋予更大的权重。不同于传统的滤波方法仅仅考虑不同像素在空间位置中的分布，双边滤波方法不仅对像素的空间位置分布进行考虑，还对图像中像素的灰度分布特征进行考虑。因此，这种方法能够具有很好的红外图像背景估计性能，并且对于图像背景边缘的特点也有很好的保存性能。考虑到该类方法的特点，Bae等[73]提出了一种新颖的基于双边滤波器的目标检测方法，该方法首先根据像素四个方向的边缘分量判断是否存在潜在的小目标；如果判断的结果是存在潜在的小目标，则使用双边滤波器方法对小目标进行模糊处理；之后将原始的红外图像与通过双边滤波器方法得到的预测图像进行差分处理，从而实现对小目标信号的提升。

2) 相比于具有较低计算复杂度的空域滤波的方法，变换域方法计算复杂度较高。但是近年来随着相关计算设备性能的提升，一些基于变换域滤波的方法也在工程实践中被证明具有良好的背景抑制性能[74]。基于变换域滤波的方法首先使用相应的变换方法获取红外图像的变换域信息，然后在变换域中处理获取的信息，最后使用逆变换的方法将变换域中的图像变换至空间域，从而得到相应的结果。

A) 经典的频域滤波方法首先通过傅立叶变换方法[75]将图像变换到频域中，然后在保护目标相关特征的同时，对其进行高通滤波。最后，经过逆变换获得背景抑制后的红外图像。这种方法可以有效地抑制变化比较缓慢的背景，同时能够保留弱小目标、景象边缘以及图像中的随机噪声。常见的频域弱小目标检测方法主要有理想高通滤波[76]、巴特沃斯高通滤波[77]等。

B) 小波变换滤波方法考虑到红外图像中背景对应的辐射强度小于目标区域对应的辐射强度，同时弱小目标与周围背景灰度不连续。因此，在检测小目标的过程中，小目标可以被认为是红外图像的高频部分，而图像的背景则可以被认为是红外图像的低频部分，基于此可以使用小波变换的方法分离红外图像中的高频部分和低频部分，然后分别处理两个不同的部分，从而实现图像信噪比的提升以及对弱小目标的检测[78]。常见的小波变换滤波方法主要有基于Countourlet变换的方法、基于非下采样轮廓波变换的方法等[4]。

除了上面几类基于背景特征的检测方法之外。随着非局部均值滤波方法(non-local means denoising, NLM)在图像去噪领域取得的优异效果，该方法被引入到了小目标检测领域中[79-80]。NLM的主要思想是使用与评估像素具有相似邻域结构的像素加权平均值来替换评估像素[79]。基于NLM的方法使用相同的原理来寻找相似的局部块，并对图像背景进行估计。在这类方法中，非局部检测(detection by NL-means, D-NLM)是一种典型的方法，该方法首先寻找图像的相似块，并根据分析忽略相似块中两个最不相似的像素来修改距离度量以便在存在小目标的情况下稳健地估计图像背景。在D-NLM的基础上，文献[81]提出一种基于块匹配和三维滤波以及高斯混合匹配滤波器(detection by block matching and three-dimensional filtering and Gaussian mixture matched filter, DBM3D+GMMF)的方法，该方法基于块匹配和三维滤波方法的输出值来估计图像背景的均值[82-83]，并结合高斯混合匹配滤波器，最终有效地对红外图像的背景进行估计，成功提取了红外弱小目标。

1.2.3基于图像数据结构的弱小目标检测方法 传统的基于单帧图像的弱小目标检测的基本思路是认为被检测的红外图像由小目标、背景以及噪声三个部分组成，通过设计不同的方法实现增强目标信号或者抑制背景和噪声，进而实现弱小目标的检测。基于图像数据结构的弱小目标检测方法则主要是根据红外图像中目标的稀疏性和背景的低秩性等不同的结构特点，实现目标图像和背景图像的分离。近来，这些基于图像数据结构的方法引起了越来越多的关注[84]。基于图像数据结构的方法通常利用以下两种方式来对小目标进行检测[85-86]。

1) 在查找低秩子空间结构的方法中，代表性的是基于红外图像块(infrared patch-image，IPI)模型的方法[87]。该方法中，小目标被认为是一个稀疏分量，同时背景被认为是一个低秩分量。通过分析图像中背景、噪声以及小目标的特点，IPI模型可以表示为

式中:I代表红外图像对应的矩阵；T代表小目标矩阵；B代表背景矩阵；λ和μ为给定的参数。

在该方法中，对小目标的检测被转换成从数据矩阵中恢复两个分量的过程。但是IPI方法并未考虑当红外图像背景是较复杂的异构背景的情况。此时，单独的子空间很难有效地表示图像中复杂的异构背景。为此，Wang等[88]设计了一种稳定多子空间学习(stable multi-subspace learning，SMSL)的方法，该方法将图像的异构背景数据看作是一种多子空间的结构，并提出了一种学习多子空间策略的模型，有效地实现了对小目标的检测，该模型可以表示为

式中：D=[D1,D2,…,Dk]表示背景数据空间；α=[α1，α2，…，αk]表示系数；λ和μ为给定的参数；k是子空间维度。

此外，Dai等[89]对IPI模型进行了改进，借助结构张量和重新加权的思想，设计了一种基于局部结构权重和稀疏增强权重相结合的方式来代替全局恒定的加权参数，该方法解决了强边缘和未充分利用先验信息给小目标检测带来的影响，并取得了更好背景估计效果。

2) 利用预设超完备字典的方法首先对图像进行预设超完备字典，之后使用该字典显示图像的数据结构[90]。He等[91]首先通过使用二维高斯模型来预设超完备目标字典。之后，使用低秩稀疏表示模型对图像矩阵进行分解，以获得弱小目标对应的数据分量，从而实现对小目标的检测。Yang等[92]提出了一种鲁棒字典学习的检测方法。该方法设计了两个惩罚项分别用于发现小目标的位置和表征背景，而在线字典学习则用于消除噪声。Li等[93]提出了一种使用时空分类冗余字典对弱小目标的形态特征和运动信息表示的方法，该时空分类冗余字典中的原子主要是由背景时空原子和目标时空原子构成，在对弱小目标进行检测时，弱小目标以及图像中的背景杂波将分别被字典中相应的原子所重建，从而实现最终的弱小目标检测。基于对图像中目标和背景进行分离的思路，Liu等[94]提出了一种基于分形背景超完备字典和广义高斯目标超完备字典的小目标检测方法。通过在分形背景超完备字典上的稀疏表示，可以消除背景杂波，同时广义高斯目标超完备字典用于表示目标。

基于图像数据结构的弱小目标检测方法主要利用图像的结构信息，设计不同的方法实现弱小目标与图像背景杂波的分离，从而实现对小目标的检测[95-97]。

1.2.4基于单帧图像的弱小目标检测方法的总结 基于单帧检测的弱小目标检测方法具有计算量少的优点。这类方法的检测思路主要包括以下三种：第一种是根据目标特征，扩大目标与背景的对比度，实现直接检测目标；第二种是设计方法抑制背景，提高目标的可辨识度，进而实现检测目标；第三种是基于图像数据结构的方法，实现被检测目标与背景的分离。综合来讲，单帧检测方法具有方法复杂度低、执行效率高、便于硬件实现等优势。

1.3 基于多帧图像的弱小目标检测方法

基于多帧图像的弱小目标检测方法对序列图像的空间信息和时间信息进行综合，实现弱小目标的检测。在序列图像中，由于小目标的运动轨迹具有连续性，而图像中的噪声则是随机出现，并且没有规律性。所以，基于多帧图像的弱小目标检测方法根据小目标以及噪声的特征差异设计不同的方法实现弱小目标的检测。由于基于多帧图像的弱小目标检测方法能够利用的图像信息更多，因此这类检测方法更加稳定，且具有更好的检测性能。

1.3.1基于动态规划的弱小目标检测方法 1985年Barniv等[98-99]为了降低匹配滤波在检测小目标时对弱小目标运动轨迹穷尽搜索带来的巨大运算量，将动态规划方法引入到了弱小目标检测领域中。动态规划(dynamic programming, DP)是多阶段决策过程最优化的基本理论。基于动态规划的小目标检测方法的基本思想是将在某一轨迹上被检测小目标的累积能量，等效为动态规划理论中的决策函数，同时将目标在不同阶段的运动范围作为决策空间。通过递推方式寻找能够使得决策函数实现全局最优的运动轨迹[100]。在对最优目标运动轨迹搜寻的过程中，目标函数的设定决定了整个检测方法的性能。根据目标函数的不同，基于动态规划的小目标检测方法被分为两种：一种是基于似然函数的动态规划方法；一种是基于目标灰度值构造目标函数的动态规划方法[101]。

在最初的动态规划方法的基础上，Tonissen等[102]提出一种能够对具有恒定且较低速度的弱小目标有效检测的方法。然而，当被检测小目标的速度变快后，该方法具有的检测效果也会随之变差。基于Tonissen的方法，Johnston等[103]在2002年分析了动态规划的方法的性能，并给出了在该方法中检测率以及虚警率的理论表达式。基于传统的动态规划方法，Arnold等[104]在1993年提出了改进的动态规划方法，该方法使用帧内搜索，很大程度上降低了计算复杂度[3]。2011年，Orlando等[105]设计了一种以小目标周边图像区域的溢出能量作为参考的小目标运动模型，该溢出能量是在小目标运动时产生的，之后与广义似然比准则结合，使用设计的小目标运动模型进行目标决策。Grossi等[106]在2014年使用截尾观察法结合广义似然比准则进行小目标的统计决策。陈帅霖等[107]在2017年提出了使用小目标状态转移预测以及转移速度加权的方法有效地评估了目标的机动范围，根据获取的目标机动范围有效地增强了方法的检测效率。同一时期，Sun等[108]使用动态规划方法检测视频中目标的轨迹，并沿轨迹积累能量来增强目标，该方法能够明显地增强目标并适当抑制背景。2019年，Guo等[109]研究了一种基于并行计算的动态规划方法。在该方法中，首先利用多核处理器的并行计算功能，将计算分在几个核处理器上；其次，考虑到能量集成过程是有方向性的，该方法使用不同的CPU内核分别沿不同的方向和几个划分的搜索空间执行动态规划方法。该方法有效地提高了目标的检测效率和方法的操作效率。尽管基于动态规划的小目标检测方法具有良好检测性能，但是随着目标信噪比逐渐变低，此类方法的检测性能也随之下降。

1.3.2基于粒子滤波的弱小目标检测方法 近些年来，一些基于粒子滤波(particle filter)和最优贝叶斯估计的检测方法不断被提出。在小目标检测的过程中，这些方法首先分析被检测弱小目标的不同运动状态，并使用不同的粒子对应这些不同的状态。在多帧滤波后，判定粒子的状态并更新相关的粒子。最后，阈值化不同粒子的后验概率，并最终实现弱小目标的检测[110]。但是这种方法需要使用并更新大量的粒子，这直接导致计算量增大，进而引起方法的实时性变差。

自2001年，Salmond等[111]首次使用粒子滤波实现目标检测之后，这类方法得到了学者们的广泛关注[112-113]。国外学者们使用粒子滤波方法得到了一些在复杂运动状态[114]、目标强度未知[115]等问题上的研究成果。国内学者使用粒子滤波方法同样取得了许多成果。基于传统的粒子滤波，李翠芸等[116]在2009年提出了一种遗传粒子滤波方法，该方法基于进化思想，能够有效地处理检测方法中出现的粒子退化以及粒子贫乏等问题。2010年，王鑫等[117]基于特征融合的思路，设计了一种新颖的基于粒子滤波的小目标检测方法。该方法融合了目标的分形特征和灰度特征，有效地实现了对小目标的检测。2018年，李明杰等[118]设计了一种结合粒子滤波以及背景减除的新方法。该方法在不需要任何目标先验知识的情况下，使用粒子滤波和背景减除的方法有效地检测以及跟踪弱小目标。尽管基于粒子滤波的小目标检测方法具有十分良好的检测性能，但是由于在方法检测过程中需要对大量的粒子进行相关处理，这在一定程度上也增加了方法的计算复杂度，因此这类方法具有较差的实时性。

1.3.3基于三维匹配滤波器的弱小目标检测方法 最初的匹配滤波器是一种在通信系统中用于对被噪声污染信号进行检测的滤波器。在对小目标检测的过程中，三维匹配滤波具有和一维滤波器一样的原理。该方法在由两个空间维度和一个时间维度构成的三维空间中对小目标进行检测[119]。

这类方法对三维空间中目标所有可能的运动轨迹均设置相应的三维滤波器，并对滤波器获取的结果进行分析，选取输出信噪比最高的滤波器所对应的弱小目标作为整个方法的最终检测结果。然而，这类方法在小目标的检测过程中使用完全遍历的方式，因此对应的计算量非常大。

Reed等[119-120]首次在小目标检测领域使用三维匹配滤波器，该方法在检测小目标时对二维空间的匹配滤波和一维时间上的累积能量进行了结合，有效地实现了检测弱小目标。此外，Porat等[121]设计了一种基于频域中定向滤波的三维匹配滤波器，但该方法的局限性较大。在研究三维匹配滤波器方法的基础上，Kendall等[122]提出了一种对该方法延伸的速度滤波器的方法，但是这种方法需要满足小目标具有恒定速度的假设。在此基础上，Xiong等[123]基于三维匹配滤波器提出了一种能够检测匀加速直线运动小目标的方法。该方法在一定程度上扩大了三维匹配滤波器的应用范围。尽管改进的方法能够有效地降低方法的复杂度，但是由于这类方法在利用三维滤波器进行目标检测时采用的是完全遍历的搜索方式，因此计算量仍然很大。

1.3.4基于投影变换的弱小目标检测方法 基于投影变换的小目标检测方法是将被检测的小目标在三维空间中的运动轨迹转化到二维平面中实现对小目标检测。这类方法的主要思想是：首先，将三维空间中的待检测图像序列投影到由平面构成的二维空间中；然后在投影后的空间中搜索小目标的可能轨迹并在该轨迹上进行能量的累积；最后对所有可能轨迹积累的能量进行判定，最先达到阈值的轨迹被判定为小目标的轨迹[124]。

在基于投影变换的小目标检测方法中，有两类用于对比的传统投影方法：最大值投影方法和叠加投影方法。最大值投影方法对待检测图像上每个像素点对应的时域剖面求取最大值，然后遍历整张图像上每一个像素点后获取特征图像，最后在得到的特征图像上检测弱小目标轨迹。不同于最大值投影方法，叠加投影方法将最大值的运算替换为直接求和的运算。

1988年，Chu[124]在深入研究了基于投影变换的小目标检测方法后，提出一种最佳投影方法，最终通过与传统的叠加投影方法和最大投影方法的实验对比，证明了最佳投影方法能够有效地检测运动速度较慢的弱小目标。2003年，陈非等[125]在传统投影方法的基础上，设计了一种改进的基于投影变换的小目标检测方法。该方法首先使用形态学滤波的方法对连续多帧图像预处理，然后在组合帧中统计并分析小目标和红外图像背景的幅值分布特性，最终实现对小目标的检测。2011年，Moyer等[126]使用霍夫变换在序列图像的二维投影平面上实现小目标运动轨迹的检测。在Moyer等人研究思路的基础上，Sahin等[127]在2014年使用基于多维霍夫技术提取了小目标在三维空间中的轨迹。同一时期，Gong等[128]提出了一种相邻帧时间差异的标准化最大投影方法。该方法首先在相邻帧上建立各个分量的信号模型；之后，利用建立的信号模型，采用秩序法简化得到最优的检测器，以得到最大的投影算子；最后，通过对时间样本标准化，设计了相邻帧时间差异的标准化最大投影算子。该方法可以有效地去除杂波，实现目标的检测。2015年，Qin等[129]提出了一种有效的杂波背景抑制和小目标增强方法，该方法的主要思想是使用非下采样金字塔变换来分离主要的杂波背景，然后使用随机投影进一步抑制其他杂波背景并增强目标。2016年，刘峰等[130]在研究小目标检测过程中，首先使用特征三角形对红外图像进行配准，之后使用最大值投影变换的方法对序列图像进行处理，从而实现了对小目标的检测。由于基于投影变换的方法把小目标轨迹投影到了二维空间，投影的过程会丢失一些小目标的运动特征和能量，这导致很难有效地检测小目标的运动轨迹。

图2 管道滤波方法的示意图Figure 2 A diagrammatic sketch of pipeline filter method

1.3.5基于管道滤波的弱小目标检测方法 基于管道滤波的弱小目标检测方法是一种在时空域中实现滤波的方法，这类方法主要根据小目标在空间中的运动具有连续性的特征实现对弱小目标的检测[4]。其基本思想是在图像序列的第一帧图像中设置某个检测目标，并以该目标为中心在图像序列中建立一个沿时间轴t进行扩展的空间管道。该空间管道如图2中所示，其长度代表连续检测图像的帧数，其直径代表该管道的作用范围。当需要检测的弱小目标在建立的管道中出现次数达到预先设定的阈值时，即判定该检测目标为真实目标，否则将被认为是干扰[131-132]。

1）挤密桩。挤密桩是一种把带有管塞、活门或锥头的钢管压入或打入地下挤密土层形成孔，再向孔内投放灰土、砂石等填料成桩，通过对填料进行夯实处理，使成桩达到设计要求的成桩方法。挤密桩适用于杂填土、素土以及黄土地层的处理。不同种类的挤密桩的作用和特点不同，灰土、素土等挤密桩适用于处理地下水位以上的湿陷性黄土、素填土和杂填土等地基，可处理地基深度为5～20m；需要消除地基土的湿陷性时，应选用素土挤密桩法；以提高地基土的承载力或增强其水稳性为目的时，应选用灰土挤密桩法。应用时，可结合地基处理的要求进行选择，从而达到最佳处理效果。

当被检测的弱小目标在图像上移动很长的距离时，需要使用移动管道滤波的方法进行弱小目标检测。该方法的核心思想是：向滤波器中每输入一帧待检测的图像，就在预先构建的管道内检测目标，当检测不到目标的时候，继续使用上一帧图像使用的目标位置。当在管道中检测到目标时，若目标的位置不发生变化，则管道的位置也不改变；若目标的位置发生变化，则定义的位置变化权值加一，且此时的管道位置不发生变化，当位置变化权值超过预设的阈值时，相应地对管道的位置进行改变[133]。然而，当获取的红外图像序列的连续多帧中存在帧间抖动时，移动式管道滤波方法的检测的性能也会发生降低。为了处理帧间抖动问题，Wang等[134-135]在2015年提出了一种根据帧间块匹配获取帧间抖动量的方法，并设计了一种具有抗抖动性能的管道滤波方法。在此技术上，Dong等[136]在2017年提出一种结合视觉注意模型与抗振动管道过滤算法的小目标检测方法，该方法首先根据背景平滑度评估自动选择特定的模态以计算显着性图；然后根据设计的自动显著性处理策略提取高度可疑的目标；最后，为了消除外界干扰，采用了基于多帧杂波消除方法的抗振动管道滤波方法。这种方法可以提高对小目标检测的成功率和效率。之后，2019年张雅楠等[137]研究了一种使用管道滤波方法和局部峰值检测技术的小目标检测方法。该方法首先利用局部峰值检测技术对图像中的疑似目标进行提取，然后根据自适应域值去除疑似目标中的大部分干扰，最后使用管道滤波方法对残留的干扰进行清除，以实现准确地检测小目标。尽管有许多改进的管道方法被提出，但是当弱小目标的运动具有复杂多变的特征时，这类方法很难取得良好的检测性能[4]。

1.3.6基于能量累积的弱小目标检测方法 基于能量累积的弱小目标检测方法最初是在雷达检测领域中使用，后来被引入到光学系统中并取得了广泛的应用。由于弱小目标自身的信号强度比较小，使用直接检测的方法比较困难，因此使用基于能量累积的弱小目标检测方法可以有效地增强目标的能量，从而实现最终的检测。

基于能量累积的弱小目标检测方法中最关键的前提是能否沿着正确的弱小目标运动轨迹实现弱小目标的能量累积。因为在累积弱小目标能量的过程中，图像的信噪比只有在沿着正确的目标运动轨迹进行目标能量累积时才能获得有效的提升。在实际的场景中，由于远距离目标的运动会具有一定的连续性和规律性，同时在得到的图像序列中弱小目标也会有相同的特点和规律。根据这些特点和规律，有许多基于能量累积的弱小目标检测方法被提出。

图3 能量累积方法的示意图Figure 3 A diagrammatic sketch of energy accumulation method

图3为能量累积方法的示意图。如图3所示，序列图像构成三维空间，其中维度x和y表示被检测的弱小目标所处的位置，维度t则表示弱小目标所处的时间，即所处图像序列中的第t帧。

Zhang等[138]在2005年设计了一种具有代表性的基于能量累积的弱小目标检测方法。该方法结合投影方法，首先将连续多帧红外图像投影到二维空间中，然后在该空间中沿着弱小目标可能的4种运动方向对弱小目标的能量进行累积。这种方法只在4个运动方向上累积目标能量，因此能够有效地控制方法的计算量。但是，该方法在投影过程中很可能使信号较弱的目标被淹没，最终无法检测小目标。与上述方法类似，Pan等[139]在2014年提出了一种在图像信噪比为3时，仍能够有效检测小目标方法。但是该方法所面向的目标比较特殊，在图像中其位置是固定不变的。此外，马天磊等[140-141]在2015年提出了一种能够有效检测匀速运动小目标的方法。该方法首先对小目标的能量进行累积，该过程能够有效地提升信噪比；然后通过设计坐标空间和运动参数空间，并在两个空间中求极值实现对小目标位置和速度的检测。2016年，Ma等[142]在前面研究的基础上，提出了一种能够检测匀速运动以及匀加速直线运动小目标的方法。该方法首先对被检测的小目标建立运动空间以及位置空间，在此基础上实现能量累积，并得到新的图像序列，之后使用恒虚警率判决法在新的序列中得到准目标点，最终根据文中定义的体密度，得到位置空间产生的目标位置局部极值以及运动空间中产生的体密度局部极值，并根据局部极值判定准目标点是否是真实的目标点，将判定得到的目标点通过反演的方法在原图像序列中实现检测。但当图像背景中存在复杂的云杂波时，该方法的性能将会下降。为了有效地检测复杂云杂波背景下的弱小目标，Ren等[143]在2019年提出了一种基于三维协同滤波和空间反演(three-dimensional collaborative filtering and spatial inversion, 3DCFSI)的方法。该方法首先采用了基于三维协同滤波和差分计算的方法抑制复杂的背景云杂波。然后，设计了一种基于能量积累的方法来增强弱小目标。最后，根据恒定的虚警率判断和统计方法，通过基于运动参数的空间反演模型实现弱小目标的检测。尽管基于能量累积的弱小目标检测方法能够取得很好的检测效果，但是由于需要使用多帧图像，因此这类方法的实时性不是特别好。

除了前面介绍的几种基于多帧图像的弱小目标检测方法之外，还包括多假设检验方法、高阶相关方法、基于序列假设检验的方法、基于时间假设检验的方法等。此外，还有一些首先对单帧图像使用滤波或者变换的方法后，利用多帧图像上的时空信息实现弱小目标的多帧关联检测的方法，这类方法中典型的是首先在单帧图像上利用二维最小均方滤波和邻域灰度差(two-dimensional least mean square filter and gray scale difference, TDLMS+GSD)实现背景抑制和目标增强，然后利用多帧关联实现小目标的检测[144]。Wan等[145]提出了一种基于帧内和帧间操作的检测方法。该方法在空间域中使用最大中值滤波器对单帧图像进行处理，在频域中使用带通滤波器和平滑处理实现改善视觉显着分量；然后基于空间域和频域中虚警的来源不同，通过空间和强度标准提取单帧的候选目标；最后，根据目标和虚警的时空信息差异抑制虚警，提高小目标的检测率。此外，还有Zhang等[146]使用四元数离散余弦变换(quaternion discrete cosine transform, QDCT)对小目标进行时空增强，该方法有效地提高了小目标对比度并抑制背景杂波。

1.3.7基于多帧图像的弱小目标检测方法的总结 基于多帧图像的弱小目标检测方法在检测过程中，利用了图像序列中多帧图像的相关信息。因此，这类方法具有较高的检测性能，同时对图像中的噪声干扰具有一定的抑制能力。但是由于需要多帧图像用于检测小目标，因此，这类方法的计算量不可避免地增加，这为实际应用带来了一定的难度。

2 方法性能分析

为了对红外弱小目标检测方法的性能进行客观评价，常用的几个指标主要包括信杂比增益(signal to clutter ratio gain,GSCR)、背景抑制因子(background suppression factor,BSF)、信杂比(signal to clutter ratio,SCR)、对比度增益(contrast gain,CG)、正确检测概率(detection probability,PD)、虚警率(false alarm rate,PFA)和方法单次平均运行时间等[147-148]。

GSCR和BSF是小目标检测方法中最常用的指标。通常，GSCR和BSF值越高，就越容易检测到目标。其中GSCR用于表示经检测方法处理后对弱小目标信号增强的性能，该指标的数值越大，表示该检测方法对目标信号的增强性能越好[147-148]。GSCR被定义为GSCR=SCRout/SCRin，其中：SCRin是原始图像序列中图像的SCR；SCRout是经过处理后图像的SCR。

信杂比SCR被定义为

SCR=|μt-μb|/σb，

(1)

图4 小目标和其邻域的示意图Figure 4 A diagrammatic sketch of small target and its neighborhood

其中：μt表示弱小目标区域的平均像素值；μb是小目标邻域的平均像素值；σb表示小目标邻域的标准差。小目标和其邻域的示意图如图4所示，a和b分别表示目标区域的宽度和长度。目标邻域的面积是(a+2d)×(b+2d)，多个文献中设置a=b=3以及d=15[87-88,143,147，149]。

背景抑制因子BSF的定义为

BSF=Cin/Cout,

(2)

其中：Cin是原始图像序列中图像的标准差；Cout是经过检测方法处理后图像的标准差。

在式(1)和(2)中，获取GSCR和BSF的数值需要使用图像的标准差。当背景抑制效果特别好时，标准差的值可能接近零。这种情况下，GSCR和BSF这两个度量的值可以相应地变为无穷大。为了解决这个问题，另一种指标被用来评估目标的增强能力和背景杂波的抑制能力，即对比度增益CG，定义为CG=CONin/CONout，其中：CONin是原始图像序列中图像的对比(contrast,CON)；CONout是经过检测方法处理后图像的CON。CON被定义为CON=|μt-μb|。为了评价方法的检测性能，正确检测概率PD、虚警率PFA这两个指标分别被定义为PD=正确检测的目标数/总的真实目标数，PFA=错误检测的目标数/检测到的目标数量。

为了对比不同类别的小目标检测方法的性能，本文使用红外探测器在真实的云场景中获取5个连续的红外图像序列。红外探测器的相关参数如表1所示。此外，所有的红外图像均包括弱小目标以及复杂的背景，且图像的大小均为256 pixel×318 pixel。5个红外图像序列的详细说明如表2所示。这些红外图像序列的代表性图像如图5中第一行图像所示。所有实验均在4 GB RAM和1.5 GHz AMD A6-3420M APU处理器的计算机上进行，并且检测方法的代码在Matlab R2014b中实现。

表1 红外探测器参数Table 1 Parameters of IR detector

采用了基于目标特征的弱小目标检测方法： LoG方法[59]、LIG方法[62]、LCM方法[47]、MPCM方法[52]；基于背景特征的弱小目标检测方法：max-mean方法[63]、max-median方法[63]、DBM3D+GMMF方法[81]；基于图像数据结构的弱小目标检测方法：IPI方法[87]、SMSL方法[88]；基于多帧图像的弱小目标检测方法：3DCFSI方法[143]、QDCT方法[146]。

不同的弱小目标检测方法在5个实验图像序列的检测结果如图5所示。图5的第一行表示5个实验图像序列的代表帧。图5中红色矩形代表弱小目标。从图中可以看出，当目标的对比度较高且较大时，如红外图像序列1和序列3，所有的对比方法均能够有效地实现背景抑制以及目标信号增强。随着目标的对比度降低，且目标四周有较复杂的云场景时，如红外图像序列2和序列4，多帧图像的检测方法相比单帧的方法具有更好的背景抑制以及目标信号增强效果；单帧图像的检测方法中基于目标特征的LoG方法以及LIG方法能够具有较好的背景抑制和目标增强的效果，但是其他单帧方法如基于背景特征的、基于图像数据结构的方法均不能对背景杂波完全抑制，有相当一部分的残余背景杂波。随着目标的对比度变得非常低，且目标周围云场景变得异常复杂时，如红外图像序列5，此时单帧图像的检测方法均不能有效地抑制背景，且残余的背景杂波强度较大，很容易在检测弱小目标时产生虚警；多帧图像的检测方法由于利用了多帧图像的时空信息，相对单帧的方法具有较好的背景抑制和目标增强性能，能够有效地提升目标的信号强度以及降低背景杂波产生的干扰，但是QDCT方法中仍有少量强度较弱的杂波残余。

表2 5个红外图像序列的详细说明Table 2 Detailed description of five infrared image sequences

图5 5个实验图像序列的不同方法的检测结果Figure 5 Detection results of different methods for five experimental image sequences

为了进一步对比不同类别方法的性能，本文对11种检测方法的平均GSCR、平均BSF、平均CG的结果进行了统计，统计结果如表3和表4所示。从两个表中可以看出，基于多帧图像的检测方法的3个性能指标比大多数的基于单帧图像的检测方法要好。基于单帧图像的检测方法中基于图像数据结构方法的这3个性能指标在单帧方法中属于较好的，表明这类方法能够适用于不同的背景图像，并取得不错的背景抑制以及目标提升性能。

表3 5个实验图像序列中11种方法的平均GSCR和平均BSF的比较结果Table 3 The comparison results of mean GSCR and mean BSF of eleven methods in the five experimental image sequences

除了对不同检测方法的相关参数进行统计之外，本文对不同检测方法的单次平均运行时间也进行了统计，统计结果如表5所示。从表中可以看出基于单帧图像的检测方法中，DBM3D+GMMF方法的单次平均运行时间最长，LoG方法的单次平均运行时间最短；基于多帧图像的检测方法中，QDCT方法的单次平均运行时间较短，这是由于该方法只使用了相邻帧图像的时空信息，而3DCFSI则使用了9帧图像用于实现目标的检测，因此该方法消耗的时间较多。

对于不同方法的性能指标而言，由于各种方法中参数的设置及所处理红外图像具有不同的像素分布特征，均会对这些指标产生较大的影响，因此仅仅对这5种背景图像的结果进行统计的意义不大。综合相关文献的统计以及本文提供的数据，总体而言，基于多帧图像的检测方法由于充分利用了多帧图像的时空信息，当红外图像中的弱小目标具有不同的对比度、背景具有不同复杂程度的背景杂波和噪声时，均能够有效地抑制背景杂波，同时增强目标信号的强度，但是基于多帧图像的检测方法由于利用了多帧图像，因此相对而言单次平均运行时间较长。

表4 5个实验图像序列中11种方法的平均CG的比较结果Table 4 The comparison results of mean CG of eleven methods in the five experimental image sequences

表5 5个实验图像序列中11种方法的单次平均运行时间的比较结果Table 5 The comparison results of the single average running time of eleven methods in the five experimental image sequences 单位：s

3 结语

根据红外弱小目标检测方法的研究现状可知：要提出一种具有高稳定性、强鲁棒性以及适用于复杂环境的红外弱小目标检测方法，仍需国内外学者进行深入研究。在实际的场景中，红外探测系统在探测小目标时会受到外界复杂因素的影响，这些因素包括：不同的场景环境，例如天空、海面、建筑物等；不同的自然气象条件，例如天气、风速、气温、风向、太阳的辐射等。在这些干扰因素下，红外探测系统最终接收到的弱小目标信号强度更加微弱，在最终获取的图像中占有的像素特别少，并且目标没有结构以及相应的纹理信息，同时不断变化的背景和噪声的强度比较大，导致图像中目标很容易被淹没。这些干扰因素决定了许多传统的弱小目标检测方法仍需不断提升检测性能。综合来讲，现有的小目标检测方法仍面临着以下几个问题：

1) 尽管基于单帧图像的弱小目标检测方法具有复杂度低、执行效率高、实时性强、便于在硬件实现等优点，但随着目标信噪比的降低、图像背景越来越复杂，这类方法的虚警会变多，最终的检测性能会变差。

2) 尽管基于多帧图像的弱小目标检测方法具有抗干扰性强、能够有效对低信噪比的小目标进行检测的优点，但是这类方法需要使用多帧图像对弱小目标进行检测，因此这类方法的复杂度比较大。随着红外探测设备的升级，被处理的红外图像具有越来越大的分辨率，这给弱小目标检测方法带来了更大的运算量，最终检测方法的实时性也会越来越差。

可以预见，未来红外弱小目标检测技术的研究和发展趋势是：

1) 随着光学材料以及微电子相关技术的发展，红外图像获取系统的性能不断提升。这些性能更好的系统可以给检测方法提供更多可使用的图像信息，最终能够促进检测方法获取更准确的目标信息。

2) 弱小目标的多传感器融合检测和跟踪研究将会获得更多的关注。采用红外融合多波段探测技术，以及红外图像与雷达、可见光等多源复合探测技术可以有效地扩大红外探测系统的使用范围，提高弱小目标检测率的同时能够有效地降低检测方法的虚警率。

3) 随着科技的发展，用于处理弱小目标检测方法的硬件设备也在逐渐升级。这些设备能够有效地提高检测方法的处理速度，保证检测方法的实时性。

致谢特别感谢电子科技大学成像探测与智能感知实验室彭真明教授、王晓阳博士，电子科技大学光电系统工程实验室张萍副教授，北京航空航天大学图像处理中心张磊博士，重庆邮电大学通信与信息工程学院高陈强教授，周口师范学院韩金辉博士等提供的对比算法代码。