RBNSM：一种复杂背景下红外弱小目标检测新方法

蔺素珍，张海松，禄晓飞，李大威，李 毅

RBNSM：一种复杂背景下红外弱小目标检测新方法

蔺素珍1，张海松1，禄晓飞2，李大威3，李 毅2

（1. 中北大学 大数据学院，山西 太原 030051；2. 酒泉卫星发射中心，甘肃 酒泉 735305；3. 中北大学 电气与控制工程学院，山西 太原 030051）

弱小目标检测是红外探测与跟踪任务中的经典难题。针对复杂背景下红外弱小目标普遍存在检测率低、虚警率高的问题，提出一种基于区域双邻域显著图（Regional Bi-Neighborhood Saliency Map，RBNSM）的复杂背景红外弱小目标检测新方法。利用弱小目标的局部先验特性定义滑动窗口并划分为多个单元，计算中心单元前若干个最大灰度的均值来凸显弱目标；分别构建中心单元的相接邻域和相隔邻域并计算各自的灰度均值，进而，从不同方向上提取两邻域显著图并点乘二者以进一步抑制杂波背景、增强弱小目标；最后，通过自适应提取准确检测目标。多种典型红外复杂背景图像和SIRST数据集检测结果表明：与7种代表性方法相比，RBNSM在复杂背景下具有更好的检测性能与杂波抑制能力。

目标检测；红外弱小目标；邻域显著图；相接邻域；相隔邻域

0 引言

红外弱小目标检测是各种精确制导系统、安防系统和无人机巡检等系统面临的经典难题之一[1-3]。这里的弱小目标是指图像信杂比小于5[4]且目标尺寸在2×2～9×9像素之间[5]的目标，该类目标在空天目标和海面目标探测中极为常见。其检测难点在于：1）成像距离远，目标在图像中呈点状或近似点状，不仅缺乏形状、纹理和颜色特征信息而且极易于和噪点等混淆；2）空天和海面目标探测中普遍存在云层、水面波光等复杂背景，易导致较多误检；3）弱小目标与局部背景的对比度低，易造成漏检[6-7]。因此，上述难点为红外弱小目标检测带来了极大挑战。

目前，红外小目标检测方法分为模型驱动与数据驱动两种[7-9]。数据驱动法通过设计网络、训练模型和预测进行目标检测，代表性的网络模型有MdvsFA[10]、ACM[11]和DNANet[12]等。这些方法对特定对象效果较好，但大都使用人工合成数据集训练网络模型[13]，其结果是模型在真实复杂场景的效果难以保证。所以，模型驱动法依然是目前红外小目标检测的主要方法。模型驱动法又可分为多帧与单帧方法[13]。由于技术所限，红外成像仪还很难像可见光那样能高速成像，这就使得以“建立运动模型预测轨迹”为核心的多帧方法效果欠佳[14]。因此，具有鲁棒性的单帧方法更受关注。

从处理思路上看，单帧方法包含3种：首先是基于低秩和稀疏理论法，其核心是将小目标检测问题转化为优化求解问题[15]。这类方法一般可以有效分离目标和背景，但基于核范数和秩函数等求解[16-17]时存在异常像素值敏感、耗时较长等问题，并且对于复杂背景，易将角点等区域误检为目标，导致虚警及漏检[18]。其次是基于滤波的方法，使用如双边滤波等滤波技术来去除背景。该类方法对于均匀背景的抑制能力较好，但对如云层及建筑边缘等复杂背景的边缘抑制效果差，使得虚警增多。最后是基于人类视觉系统的方法，使用比值和差值等操作提取背景与目标的局部对比度（Local Contrast Method，LCM）[19-20]来增强目标。该类方法中多数研究者主要集中于改进局部对比度特征提取方法，如多尺度块局部对比度（Multiscale Patch-based Contrast Measure, MPCM）[21]、高提升多尺度局部对比度（High-Boost-Based Multiscale Local Contrast Measure, HBMLCM）[22]、相对局部对比度（Relative Local Contrast Measure, RLCM）[23]、基于局部能量因子的局部对比度（Local Energy Factor, LEF）[24]、基于三层窗的局部对比度方法（Tri-Layer Window Local Contrast Method，TLLCM）[25]及平均绝对灰度差分方法（Average Absolute Gray Difference, AAGD）[26]等。这些方法适用于变化平缓的红外背景，但对复杂背景，不仅无法去除高对比度的边缘，致使其误检率高，而且由于弱小目标与局部背景的对比度低，导致漏检率高。

为此，针对红外弱小目标检测在复杂背景下虚警率和漏检率高问题，提出一种基于区域双邻域显著图（Regional Bi-Neighborhood Saliency Map，RBNSM）的复杂背景下红外弱小目标检测方法。先定义区域双邻域并根据其特性，不仅利用了弱小目标与背景在不同方向上的差异信息，同时考虑了更多的局部信息，从而提取区域双邻域显著图；然后，点乘二者增大弱小目标与局部背景的差距，最后通过自适应提取技术实现复杂背景下红外弱小目标的高效准确检测。

1 基于区域双邻域显著图的红外小目标检测

复杂背景下的红外弱小目标检测存在以下几个不失一般性的事实：1）局部背景边缘与红外小目标特性不一致，前者具有各向异性，后者则相反；2）目标较弱，导致局部背景与目标的对比度低；3）增强目标应设计合理的对比度增强策略；4）显著图可能仍然存在杂波噪声。

针对这些事实，模型必须兼顾以下几方面：1）鉴于窗口中目标与背景在特征上的差异性，应将滤波窗口分为不同单元（cell）；2）使用弱目标中前若干个灰度最大值的均值作为目标区的均值有助于增大目标与局部背景的对比度；3）利用所提相接与相隔邻域的信息，不仅能够减弱单一单元作用，而且可以从更多方向上提取更加差异化的信息，从而确立目标边缘；4）点乘两显著图来进一步去除杂波噪声。所以，提出总体框架如图1所示。

1.1 cell创建

定义一个大小为×的滑动窗口并将该窗口细分为9个大小为×的cell，则＝3。假设中心单元cell0为目标区，cell1～8是局部背景区，具体如图2所示。

滑动窗口如此划分的原因是既考虑到不同方向上的差异信息又使窗口不过于复杂，从而影响时间效率。

1.2 cell亮度提取

1）cell0的显著亮度

为了增强目标亮度和简化计算，先对cell0中的像素值按降序排列，并计算前个值的均值，并用Max作为cell0的显著亮度：

式中：(x, y)表示滑窗中心点位置；当K值选取过小时，会引入较多虚警；当K值选取过大时，会使得目标缩小，甚至消失，导致漏检；因此经过多次试验选取K＝2，下文中将给出实验验证，Gj表示cell0中第j大的像素值（j＝1,2,…,K）。

图2 目标单元与背景单元分布

2）cell的池化亮度

为简化计算起见，所有cell的池化亮度分别用各单元灰度均值表示：

式中：G(,)代表第个cell的点(,)处的灰度值（＝0,1,…,8）

1.3 相接邻域构建

经图像处理领域的像素邻域概念启发，这里定义中心cell0相接邻域的集合为：

式中：(,)形式表示由、两个单元组成的cell0的相接邻域。

计算其均值：

式中：p(,)和q(,)为相接邻域对应单元的池化亮度。

相接邻域考虑相邻的两单元而非一个单元或三个单元是因为其能在考虑更多方向差异信息的同时利用更多的局部信息。

1.4 相隔邻域构建

定义中心cell0相隔邻域的集合为：

计算其均值：

式中：u(,)和v(,)为相隔邻域对应单元的池化亮度。

1.5 区域双邻域显著图提取

1）cell0相接邻域显著图提取（Adjacent Neighborhood Saliency Map, ANSM）

其由cell0的显著亮度Max(,)和相接邻域的均值a进行差平方计算得出：

当滑动窗口处于洞状背景时，cell0的池化亮度小于其它单元的池化亮度，但经公式(7)增强后会被误检为目标。因此，使用判断函数()来去除洞状背景：

式中：(×)如公式(9)所示：

小目标各向同性的性质使得(8)式所得结果均较大。因此，将结果最小值作为该点ANSM的输出值能够区分杂波背景与小目标：

2）cell0相隔邻域显著图提取（Spaced Neighborhood Saliency Map, SNSM）

类似(1)中，Max(,)和b的差分平方结果SNSM如下：

同理，将结果最小值作为该点SNSM的输出值，如公式(12)所示：

3）RBNSM计算

区域双邻域显著图RBNSM在点(,)处的值由公式(13)得出：

RBNSM(,)＝ANSM(,)×SNSM(,) (13)

由于滑动窗口逐像素对图像进行滤波，得到的是其中心点的新灰度值。因此无论滑动窗口中存在几个目标，都会根据设计的局部对比度增强策略及窗口的局部信息逐像素计算。

本方法为了权衡检测性能及时间效率，在仅利用灰度信息的情况下就能达到显著的检测效果。

1.6 目标自适应提取

如图1所示，原始红外图像经过RBNSM计算后得到的显著图的信杂比大大提升。此时，显著图中亮度最突出的部分即为目标。因此，使用自适应阈值分割法来提取出目标，阈值计算过程如公式(14)所示：

Th＝＋×(14)

式中：和代表RBNSM显著性图的均值和标准差。值选取将在下文实验中给出。

1.7 RBNSM适用性分析

当滑动窗口逐像素对图像进行滤波时，可能产生以下几种情况：

1）当滑窗处于目标中心区域时：只考虑目标区前最大灰度值使得Max(,)≥0(,)。局部背景区考虑相接邻域与相隔邻域，使得a(,)，b(,)均小于各自单独单元的亮度(,)，即Max(,)≫a(,)，Max(,)≫b(,)。据式(8)和(11)可知ANSM、SNSM值都较大。二者点乘会使RBNSM值更大。由此，目标中心区域被显著增强。

2）当滑窗处于均匀背景区域时：Max(,)≈a(,)，Max(,)≈b(,)，导致ANSM、SNSM以及RBNSM的值都趋于0。因此，均匀背景被抑制。

3）当滑窗处于高亮度背景边缘时：Max(,)值较大，并且由于边缘一般具有单边对称性，导致Max(,)≈max[a(,)]，Max(,)≈max[b(,)]，故ANSM、SNSM值都趋于0。点乘结果RBNSM值也趋于0，使得边缘强度响应被削弱。由此，高亮度复杂背景边缘也被抑制。

4）当滑窗处于目标边缘区域时：目标边缘区域的亮度值与局部背景更相近，因此目标区只考虑前最大灰度值就使得Max(,)≥0(,)。同时，a(,)和b(,)略小于各自单独单元的池化亮度(,)，从而ANSM、SNSM以及RBNSM的值均较大。因此，目标边缘区域也在一定程度上被增强。

2 实验及分析

2.1 实验设计与评价指标

为全面评估本方法，我们在多种不同场景的复杂红外图像以及SIRST公开数据集上[11]测试了本文方法与7种代表性方法。这些方法包括：AAGD[26]，PSTNN[17]，LEF[24]，TLLCM[25]，HBMLCM[22]，RLCM[23]和ACM[11]。其中，PSTNN是基于低秩和稀疏矩阵恢复的方法，ACM是基于深度学习的方法。同时，采用本领域常用的信杂比增益（Signal Clutter Ratio Gain，SCRG）、背景抑制因子（Background Suppression Factor，BSF）、接收者操作特性（Receiver Operating Characteristic, ROC）曲线以及时间消耗来衡量方法的检测性能。其中，SCRG用来评价目标增强的程度，BSF用来评价算法抑制背景的能力，ROC通过曲线下的面积（Area Under Curve，AUC）值来评价最终的检测效果[27]。SCRG和BSF值越大，目标增强效果与背景抑制效果越好。在ROC坐标空间中，曲线越接近左上角，则检测性能越好。

为了更好地平衡数据驱动方法和模型驱动方法，文献[11]提出了新的评价指标nIoU。

所有实验在Intel(R) Core(TM) i5-7200U CPU，12G内存的电脑上使用MATLAB R2019b编程进行。

2.2 参数设置

本文通过实验方法确定参数和。首先，在SIRST数据集上测试不同值对应的nIoU值。如表1所示，当值取2时，nIoU值达到最大，因此取值为2。然后，再用相同方法选取值。当值取2时，nIoU达到峰值，因此取值为2。后面所有实验均在该取值下完成。

表1 本方法在SIRST数据集上不同K值与l值的nIoU值

2.3 复杂背景下实验结果分析

2.3.1 定性分析

这里选取5种典型的红外复杂场景图像，通过展示8种方法得到的结果进行定性评价。测试图像的基本特征如表2所示。图3是测试结果。为便于排版，图3中所有图像缩放至同一大小，从上至下依次为：测试图像、原图三维图、各方法显著性图的三维图，目标用红色方框标出。

表2 测试图像基本特征

通过图3可看出，PSTNN和ACM方法未检测到图像b和c中的目标；HBMLCM和RLCM方法未检测到图像c中的目标。AAGD，LEF及TLLCM方法虽然检测到了目标，但同时存在大量背景杂波和噪声；而本方法则目标显著、背景抑制效果好并且基本无噪声引入。总之，本文方法明显好于其它方法。

2.3.2 定量分析

表3给出7种方法在5种不同的复杂红外场景图像下的SCRG、BSF及时间消耗值，所有最优值均用粗体标出。需要说明的是：由于ACM方法的输出为二值图，传统的SCRG与BSF指标不再适应，因此，这里未包括在内。

由表3可以看出：本文方法的SCRG和BSF均明显高于6种对比方法，值得一提的是对于图像b，本方法得到的SCRG值是其它方法中最大值的8.5倍，说明本文方法的目标增强能力显著强于对比方法；对于图像d，本方法得到的BSF值是其他方法最大值的5.6倍，说明本文方法的背景抑制能力极佳。在算法时间消耗方面，AAGD方法具有最佳的实时性；本方法与PSTNN方法所用时间相近，消耗时间远小于LEF，TLLCM和RLCM方法。考虑到我们的双邻域显著图模型有利于算法并行处理，所以本文方法的时间消耗有较大提升潜力。综合考虑以上3方面，本文方法的优势显而易见。

对于ROC曲线，7种方法的曲线如图4所示，子图(a)、(b)、(c)、(d)、(e)分别与前述的图像a、b、c、d、e相对应。从图4可以看出：在这5种红外场景中，本方法的ROC曲线均最接近左上角，且得到最大的AUC值，这表明本方法相较于其它对比检测方法，具有更好的检测性能。

2.4 鲁棒性分析

2.4.1 一般场景实验

为了验证本方法在一般红外场景下的检测能力，在SIRST数据集上进行了性能测试。SIRST数据集包含427张单帧红外场景图像。SCRG，BSF及时间消耗的平均值如表4所示。为了与深度学习方法对比，这里计算了8种方法在此数据集上的nIoU值。

由表4可知，本方法在SIRST公共数据集上的SCRG值与BSF值显著优于其它方法，表明本方法在一般红外场景下卓越的目标增强及背景抑制能力。对于nIoU值，本方法虽未取得最大值，但与最优值相差较小并远大于其它方法，说明本方法比深度学习方法有更好的检测性能。在时间消耗方面，本方法也基本满足实时性要求。

2.4.2 多尺度及多目标检测性能测试

为进一步验证本文方法的鲁棒性，这里针对不同尺度和不同数量目标进行了检测实验。

表3 5种不同场景红外图像的SCRG，BSF和时间消耗

表4 每种方法在SIRST数据集上的平均指标

1）多尺度目标检测

图5的目标尺寸从左至右依次为3×3、5×9、7×7、6×13和9×12。图中从上至下每行依次为红外原图、标签图和本方法结果图。结果表明本方法能稳定检出不同尺度的小目标。

图5 不同尺度目标的红外图像原图、标签图及本方法结果

2）多目标检测

图6从左至右的目标个数依次为2、4、6和6。对于这些目标，本方法均能尽数检出。特别地，图像(b)的中间两目标十分接近，本方法仍达到较好的检测效果，说明本方法具有一定的多目标检测能力。

综上，大量定性与定量实验证明：①本方法无论对于如建筑强边缘、白色斑块及弱目标被淹没等复杂背景或是一般红外场景，还是对于多尺度多目标检测，均效果显著，说明本方法具有良好的鲁棒性。②本方法经实验调优的参数，一经选定无需再对每一张图像调整参数即可获得较好的检测效果，说明本方法泛化性好，能够满足多种场景检测需要。

图6 多目标的红外图像原图、标签图及本方法检测结果

3 结论

本文提出了一种复杂背景下红外弱小目标检测新方法。其中，计算中心单元的前个灰度最大值能增大弱小目标对比度；提取两显著图时，将弱小目标在各个方向上的对比度最小值作为输出值，能有效抑制复杂背景；点乘操作可进一步去除杂波噪声。实验结果表明本方法在SCRG、BSF、ROC曲线、AUC值及nIoU值评价指标上，均取得了较好的结果，显示出本方法在复杂背景抑制及目标增强能力上的优越性。同时，本方法还具有一定的多尺度及多目标检测能力。由此可见，本方法是一种有效的复杂背景下红外弱小目标检测方法。下一阶段将重点进行算法优化和并行处理研究。

[1] GUAN X, ZHANG L, HUANG S, et al. Infrared small target detection via non-convex tensor rank surrogate joint local contrast energy[J]., 2020, 12(9): 1520.

[2] LU R, YANG Xiaogang, LI W, et al. Robust infrared small target detection via multidirectional derivative-based weighted contrast measure[J]., 2020, 1(1): 1-5.

[3] ZHANG L, LIN Z. Infrared small target detection based on anisotropic contrast filter[C]//20205th()., 2020: 70-73.

[4] SUN Y, YANG J, AN W. Infrared dim and small target detection via multiple subspace learning and spatial-temporal patch-tensor model[J]., 2020(99): 1-16.

[5] GAO C, MENG D, YANG Y, et al. Infrared patch-image model for small target detection in a single image[J]., 2013, 22(12): 4996-5009.

[6] 吴双忱, 左峥嵘. 基于深度卷积神经网络的红外小目标检测[J]. 红外与毫米波学报, 2019, 38(3): 371-380.

WU Shuangchen, ZUO Zhengrong. Small target detection in infrared images using deep convolutional neural networks[J]., 2019, 38(3): 371-380.

[7] DAI Y, WU Y, ZHOU F, et al. Attentional local contrast networks for infrared small target detection[J]., 2021(99): 1-12.

[8] LIN S, HAN Z, LI D, et al. Integrating model-and data-driven methods for synchronous adaptive multi-band image fusion[J]., 2020, 54: 145-160.

[9] 赵兴科, 李明磊, 张弓, 等. 基于显著图融合的无人机载热红外图像目标检测方法[J/OL]. 自动化学报: 1-15. [2021-07-02]. http://kns.cnki.net/kcms/detail/11.2109.tp.20200421.1108.003.html.

ZHAO Xingke, LI Minglei, ZHANG Gong, et al. Object Detection Method Based on Saliency Map Fusion for UAV-borne Thermal Images[J/OL]., 1-15. [2021-07-02]. http://kns.cnki.net/kcms/detail/11.2109.tp.20200421.1108.003.html.

[10] WANG H, ZHOU L, WANG L. Miss detection vs. false alarm: Adversarial learning for small object segmentation in infrared images[C]///CVF, 2019: 8509-8518.

[11] DAI Y, WU Y, ZHOU F, et al. Asymmetric contextual modulation for infrared small target detection[C]///(). 2021: 950-959.

[12] LI B, XIAO C, WANG L, et al. Dense Nested Attention Network for Infrared Small Target Detection[J/OL].:2 106.00487, 2021.

[13] ZHAO M, CHENG L, YANG X , et al. TBC-Net: A real-time detector for infrared small target detection using semantic constraint[J/OL]., 2019. https://arxiv.org/ abs/2001.05852.

[14] NIE Y, LI W, ZHAO M, et al. Infrared small target detection in image sequences based on temporal low-rank and sparse decomposition[C]//,, 2021: 11720A.

[15] 薛锡瑞, 黄树彩, 马佳顺, 等. 基于局部熵参考预处理的RPCA红外小目标检测[J]. 红外技术, 2021, 43(7): 649-657.

XUE Xirui, HUANG Shucai, MA Jiashun, et al. RPCA infrared small target detection based on local entropy reference in preprocessing[J]., 2021, 43(7): 649-657.

[16] ZHANG T, WU H, LIU Y, et al. Infrared small target detection based on non-convex optimization with lp-norm constraint[J]., 2019, 11(5): 559.

[17] ZHANG L, PENG Z. Infrared Small Target Detection Based on Partial Sum of the Tensor Nuclear Norm[J]., 2019, 11(4): 382.

[18] ZHANG Tianfang, PENG Zhenming, WU Hao, et al. Infrared small target detection via self-regularized weighted sparse model[J]., 2021, 420: 124-148.

[19] CHEN C L P, LI H, WEI Y, et al. A local contrast method for small infrared target detection[C]//, 2014, 52(1): 574-581. Doi: 10.1109/TGRS.2013. 2242477.

[20] 刘松涛, 刘振兴, 姜宁. 基于融合显著图和高效子窗口搜索的红外目标分割[J]. 自动化学报, 2018, 44(12): 2210−2221

LIU Songtao, LIU Zhenxing, JIANG Ning. Target segmentation of infrared image using fused saliency map and efficient subwindow search[J]., 2018, 44(12): 2210−2221

[21] WEI Y T, YOU X G, LI H. Multiscale patch-based contrast measure for small infrared target detection[J]., 2016, 58: 216-226.

[22] SHI Y F, WEI Y T, YAO H, et al. High-boost-based multiscale local contrast measure for infrared small target detection[J]., 2018, 15: 33-37.

[23] HAN JH, LIANG K, ZHOU B, et al. Infrared small target detection utilizing the multiscale relative local contrast measure[J]., 2018, 15: 612-616.

[24] XIA C, LI X, ZHAO L, et al. Infrared small target detection based on multiscale local contrast measure using local energy factor[J]., 2020, 17(1): 157-161.

[25] HAN J, Moradi S, Faramarzi I, et al. A local contrast method for infrared small-target detection utilizing a tri-layer window[J]., 2020, 17(10): 1822-1826

[26] DENG H, SUN X, LIU M, et al. Infrared small-target detection using multiscale gray difference weighted image entropy[J]., 2016, 52(1): 60-72.

[27] HUANG S, LIU Y, HE Y, et al. Structure-adaptive clutter suppression for infrared small target detection: chain-growth filtering[J]., 2020, 12(1): 47-69.

RBNSM: a New Method for Infrared Dim and Small Target Detection in Complex Backgrounds

LIN Suzhen1，ZHANG Haisong1，LU Xiaofei2，LI Dawei3，LI Yi2

(1. College of Big Data, North University of China, Taiyuan 030051, China;2. Jiuquan Satellite Launch Center, Jiuquan 735305, China;3. College of Electrical and Control Engineering, North University of China, Taiyuan 030051, China)

Infrared dim and small target (IRDST) detection is a longstanding and challenging problem in infrared search and track systems. To address the problems of a low detection rate and high false alarm rate for dim and small targets in complex backgrounds, a method is proposed for detecting IRDSTs using a regional bi-neighborhood saliency map (RBNSM). First, using the local a-priori property of the weak target, a sliding window is defined and divided into multiple cells before the mean value of the first maximum gray levels of the central cell is calculated to highlight the weak target. Then, the adjacent and spaced neighbors of the central cell are constructed and the mean value of their respective gray levels is calculated. Subsequently, the salient maps of the two neighbors are the extracted from different directions and multiplied point by point to further suppress the clutter background and enhance the weak target. Finally, the target is accurately detected by adaptive extraction. The detection results of various typical IR complex background images and SIRST datasets show that RBNSM has a better detection performance and clutter suppression ability in complex backgrounds than the seven representative methods.

target detection, infrared dim and small target, neighborhood saliency map, adjacent neighborhood, spaced neighborhood

TP751.1

A

1001-8891(2022)07-0667-09

2021-10-10；

2021-12-08.

蔺素珍（1966-），女，教授，博士，硕士生导师，主要从事图像处理、红外小目标检测和多波段图像融合领域研究。E-mail：lsz@nuc.edu.cn。

山西省自然科学基金项目（201901D111151）；中北大学第十七届研究生科技立项项目（20201737）。