采用三层模板局部差异度量的红外弱小目标检测

穆 靖，李伟华，饶俊民，李范鸣，卫 红

（1.中国科学院 红外探测与成像技术重点实验室，上海200083；2.中国科学院 上海技术物理研究所，上海200083；3.中国科学院大学，北京100049）

1 引 言

红外搜索跟踪（Infrared Search and Tracking，IRST）系统具有透雾能力强、隐蔽性好、可昼夜工作等优势［1］，在远距离目标探测中应用广泛。弱小目标检测作为IRST系统的关键技术之一，其检测结果的准确性直接决定了系统的探测性能［2］。在实际应用中，设备作用距离远导致目标成像面积小，缺乏形状和纹理信息［3］；此外，探测环境复杂多变使得图像信杂比低，包含复杂背景和高亮点噪声［4］。因此，实现复杂场景下的弱小目标检测，保证算法具有高检测率、低虚警率和低复杂度，仍是当前亟待解决的研究难点。

常见的红外弱小目标检测算法通常分为单帧检测与多帧检测两类。其中，多帧检测算法依赖于背景帧间一致和目标位置帧间连续的假设［5］。工程应用中，光电设备抖动或目标快速移动会导致场景和目标位置发生变化，难以建立相邻帧间的关联性，使得多帧检测算法的性能急剧下降。与多帧检测算法相比，单帧检测算法更能适应复杂场景的变化和目标运动的机动性［6］，因此应用更加广泛。

传统的单帧检测算法通常从背景抑制和目标增强两方面着手对弱小目标进行检测［7］。其中，基于空域滤波的算法利用背景的低频特性设计线性或非线性的滤波器实现背景抑制，如Tophat变换［8-9］、Max-mean/Max-median滤波［10］、高斯差分（Difference of Gaussian，DoG）滤波［11］等。此类算法易于实现，但需要明确目标尺寸这一先验信息且对背景中的强边缘和噪声敏感。依据人类视觉系统（Human Visual System，HVS）的对比度机制，局部对比度（Local Contrast Method，LCM）［12］及其改进算法［13-14］，根据目标及其邻域背景的灰度差异构造比值型和差值型对比度度量方式实现目标增强或背景抑制。Han等［15］提出比-差联合型局部相关对比度度量（Relative Local Contrast Measure，RLCM）算法，同时实现了目标增强与背景抑制。此类算法通常使用不同尺寸的滑动窗口遍历图像，以实现对不同大小目标的检测，但这种多尺度运算会破坏目标的原始尺寸。Wu等［16］将这一现象称为“膨胀效应”并提出了双邻域梯度算法（Double-Neighborhood Gradient Method，DNGM）。DNGM算法使用固定尺寸的三层滑动窗口实现对不同大小目标的检测，有效改善了膨胀效应且避免了多尺度运算导致的算法复杂度提升；但该算法仅实现了背景抑制，在复杂背景下仍具有较高的虚警率。文献［17］提出双层局部对比度机制（Double Layer Local Contrast Measure，DLLCM），通过计算对角灰度差实现背景抑制，该算法与DNGM算法存在相同的缺陷。基于图像数据结构的算法同时考虑了目标与背景的特性，如GAO Chenqiang［2］、DAI Yi-mian等［18］利用目标的稀疏性和背景的非局部自相关性，将弱小目标检测问题转化为稀疏矩阵与低秩矩阵的分解问题，可有效检测多种尺寸的目标并抑制背景，但此类算法复杂度高、实时性差。近年来，深度学习算法在目标检测、图像分割等诸多领域取得了革命性进展［19-20］，相关学者将它应用于红外弱小目标检测领域并提出基于卷积神经网络（Convolutional Neural Network，CNN）的检测算法。文献［21］提出基于特征融合的骨干网络CNN-MNET，可用于检测海天背景下的弱小目标。文献［22］引入空间注意力机制加强不同区域之间的相关性，实现了对复杂地面背景下的弱小目标检测。但此类算法需要大量训练数据，且模型参数量大，不利于工程实现。

针对现有算法的不足，本文提出基于三层模板的局部差异度量（Tri-layer Template Local Difference Measure，TTLDM）算法。首先，使用三层模板遍历图像，得到包含不同场景的局部图像；然后，根据目标在局部图像中灰度分布的差异性提出灰度差异（Gray Scale Difference，GSD）度 量 与 方 差 差 异（Variance Difference，VD）度量相结合的TTLDM算法并求得显著性图；最后，采用自适应阈值分割算法提取待检测目标。TTLDM算法同时实现了目标增强与背景抑制，只需使用单一尺寸的三层模板遍历一次原始图像即可得到显著性图。在大量真实数据上进行实验，结果表明，本文算法可以实现多种复杂场景下的弱小目标检测，相比于现有算法具有更高的检测率、更低的虚警率和更好的实时性。

2 算法原理

2.1 三层模板的构造

根据国际光学工程学会（International Society for Optical Engineering，SPIE）给出的定义，弱小目标所占的像素数应不超过图像总像素数的0.12%，即在一幅分辨率为256×256 pixel的图像中，弱小目标的尺寸不超过81 pixel［7］。由于在实际应用中，目标尺寸这一先验信息通常很难获取，因此LCM及其改进算法［12-14］采用多尺度度量机制实现对不同尺寸目标的检测。如图1所示，多尺度运算通常将滑动窗口划分为9个子块，然后分别令子块的尺寸为3×3，5×5，7×7，9×9，通过多次遍历原始图像得到多尺度局部对比度，最后取最大值得到最终的显著性图。

多尺度运算不仅提升了算法复杂度，而且增强了目标周围的背景区域，如图2（b）所示。当多个目标位置接近时，膨胀效应会引起邻近目标的显著性区域产生重叠，本文将这一现象称为“区域交叠”，如图2（b）圆圈所示。因此，为了避免区域交叠造成目标漏检及算法复杂度的增加，本文通过构造单一尺寸的三层模板，仅需从左至右、从上至下逐像素遍历一次图像即可得到最终的显著性图。如图3所示，该模板包含了内层、中间层和外层3部分。其中，内层的尺寸表示为K，中间层、外层的尺寸分别为内层尺寸的3倍和5倍。本文限定待检测弱小目标的尺寸介于2×2～9×9之间，因此当模板遍历至目标中心时，为保证模板包含完整的目标及其最近邻局域背景，K的取值应不小于3。

图3 三层模板示意图Fig.3 Schematic diagram of tri-layer template

2.2 灰度差异的计算

弱小目标通常表现为致密且均匀的区域［10］，与其所在局域背景间存在灰度差异，在局部图像中具有孤立性与显著性，如图4（a）所示。因此，在观察包含弱小目标的红外图像时，人类视觉系统可以快速并准确地定位出目标区域。由红外目标的辐射特性可知，目标的灰度值从中心向四周逐渐减小［23］，如图4（b）所示。因此，当弱小目标位于三层模板的中心时，模板各层包含的灰度均值由内至外依次递减。

图4 典型复杂背景下红外弱小目标图像Fig.4 Typical IR image with small target under complex background

根据上述分析，本文基于HVS的对比度机制及目标的辐射特性，利用模板三层区域的灰度均值构造GSD度量方式，用于得到候选目标区域，计算公式如下：

式中：Min，Mmid，Mout分别为内层、中间层、外层所含像素的灰度均值，由式（2）计算得到；N为区域包含的像素数；g为像素的灰度值；H(x)为阶跃函数，用于判断灰度差值的正负，其公式为：

根据局部图像的灰度分布特性将红外图像划分为不同类型的区域，包括平缓背景区域、弱小目标区域、高亮点噪声区域、目标附近区域、强边缘区域及杂波区域，如图4（a）所示。使用三层模板遍历原始图像，当模板遍历至目标区域时，如图5（b）所示，模板内层灰度均值大于中间层与外层的灰度均值，此时GSDT＞0；当模板遍历至目标附近区域时，如图5（d）所示，模板内层的灰度均值小于中间层和外层的灰度均值，此时GSDB＜0；当模板遍历至平缓背景时，如图5（a）所示，模板内层、中间层、外层的灰度均值接近，此时GSDB≈0；当模板遍历至高亮点噪声（Pixel Noise with High Brightness，PNHB）区域时，如图5（c）所示，由于点噪声仅占单个像素，其内层的灰度均值略大于中间层与外层的灰度均值，此时0＜GSDPNHB＜GSDT。

图5 三层模板遍历不同区域Fig.5 Different regions covered by tri-layer template

图6给出了使用三层模板遍历图像得到的GSD显著性图，可以看出，均匀背景、高亮点噪声及目标周围的背景均得到了抑制。但由于地表杂波和强边缘与目标具有相似的灰度显著性，因此仅使用GSD度量无法抑制背景中的杂波与边缘区域。为解决这一问题，本文提出方差差异度量算法进一步抑制复杂背景中的边缘与杂波。

图6 GSD显著性Fig.6 Saliency map of GSD

2.3 方差差异的计算

在概率论中，方差用于衡量随机变量的取值与其数学期望的偏离程度。若将图像灰度作为随机变量，则图像的方差可用于表征图像灰度的离散程度，方差越大说明图像灰度的离散程度越高，局部图像的灰度分布越不均匀，因此可使用方差对图像的均匀性进行定量描述。

从均匀性的角度对图5中包含不同区域的局部图像进行分析，可以看出不同区域的灰度分布在模板的不同分层内存在较大差异：平滑背景、点噪声区域的外层、中间层及内层均具有平坦的灰度分布；强边缘、杂波区域的外层、中间层及内层的灰度分布较为离散；目标区域的外层灰度分布更加均匀，但中间层及内层的灰度分布受目标的影响相对离散。

基于上述分析，本文利用包含不同背景和目标的局部图像灰度离散程度的差异性，构造VD度量方式用于进一步抑制强边缘与杂波，其计算公式如下：

式中：Vmid+in，Vout分别为中间层与内层所含像素、外层所含像素的灰度方差，可由式（5）计算得到；M为灰度均值，由式（2）计算得到；ε为常数，为了避免分母为0，本文令ε=1×10-5。

为了进一步说明VD度量方式对强边缘与杂波的抑制效果，分别对包含弱小目标、强边缘和杂波区域的局部图像的灰度分布进行分析。图7为包含不同区域的局部图像的灰度分布直方图，右上角为对应的局部图像。从图7中可以看出：当模板遍历至目标区域时，其内层与中间层受目标的影响灰度分布比较离散，而其外层灰度分布比 较 集 中，如 图7（a）和7（d）所 示，此 时VDmid+in＞VDout；当模板遍历至强边缘区域时，其内层与中间层所含像素、外层所含像素的灰度分布特征相似，如图7（b）和7（e）所示，此时VDmid+in≈VDout；当模板遍历至杂波区域时，由于与目标相比杂波的致密性较差，其外层所含像素的灰度分布受杂波影响较为离散，如图7（c）和7（f）所示，此时VDmid+in≈VDout。因此，VD度量方式可以较好地抑制复杂背景中的强边缘与杂波。图8为原始红外图像的VD显著性图，从图中可以看出，强边缘和杂波均得到抑制。

图7 不同区域的灰度分布直方图Fig.7 Histogram of gray distribution in different regions

图8 VD显著性Fig.8 Saliency map of VD

2.4 三层模板局部差异度量

本文提出TTLDM算法，利用目标与其局域背景的灰度差异性和局部图像的均匀性同时实现目标增强与背景抑制，其计算公式如下：

式中(i，j)为三层模板中心位置像素在原始图像中的坐标。

2.5 自适应阈值分割

TTLDM算法的完整流程如图9所示。由于在计算得到的TTLDM显著性图（Saliency Map，SM）中仍存在少许杂波，因此本文进一步采用自适应阈值分割算法提取待检测目标。分割阈值的计算公式如下：

图9 基于三层模板的局部差异度量算法流程Fig.9 Flowchart of TTLDM algorithm

式中：μTTLDM，δTTLDM分别为TTLDM显著图的均值与标准差；λ为超参数，其取值介于20～35之间。

3 实 验

3.1 实验数据与运行环境

本文采用Dai等［24］整理并发布的单帧红外弱小目标（Single-frame Infrared Small Target，SIRST）检测数据集及Han等［25-26］提供的单帧图像库对TTLDM算法的有效性进行验证。其中，SIRST数据集共包含427张图像、480个弱小目标，单帧图像库共包含25张图像、29个弱小目标。为避免场景重复，SIRST数据集和单帧图像库中的每张图像均是从包含不同场景的图像序列中抽取的一张具有代表性的图像。图10展示了9张选自SIRST数据集和单帧图像库的包含单个或多个目标的图像，图中方框内为弱小目标及其局部放大图。图10中每张图像所含目标及背景的特性如表1所示，其中信杂比（Signal to Clutter Ratio，SCR）的定义如下：

表1 图10中红外图像的特点T ab.1 Features of IR images shown in Fig.10

图10 SIRST数据集中不同背景下的红外图像Fig.10 Typical IR images from SIRST dataset with various backgrounds

式中：μt为目标的灰度均值；μb，σb分别为目标周围邻域的灰度均值和标准差。SCR用于衡量目标的显著性，SCR越大，目标越容易被检测到。

实验所使用的计算机配置为Intel（R）Core（TM）i7-7700HQ CPU@2.80 GHz，内存为16 GB；各个算法的运行环境为MATLAB 2018a且均在CPU上使用单线程运行。

3.2 算法评价指标

本文选用信杂比增益（Signal to Clutter Ratio Gain，SCRG）、背景抑制因子（Background Suppression Factor，BSF）、受试者工作特征（Receiver Operating Characteristic，ROC）曲线和运行时间4个指标对算法的性能进行定量评估。其中，SCRG用于评估算法增强目标的能力，其表达式为：

式中：Rin，Rout分别表示算法处理前后图像的信杂比。

BSF用于评估算法抑制背景的能力，其表达式为：

式中：σin，σout分别为算法处理前后图像中背景的灰度标准差。SCRG和BSF越大，说明算法对目标的增强能力和对复杂背景的抑制能力越强。

ROC［27］曲 线 以 虚 警 率（False-alarm Rate，FR）为横轴，以检测率（Probability of Detection，POD）为纵轴绘制而成。其中，检测率与虚警率的定义［28］如下：

式中：Nd为算法正确检测的目标数量；Tt为待检测图像中存在的真实目标的数量；Nf为被算法误检为目标的像素总数；Np为待检测红外图像所包含的像素总数。

3.3 模板尺寸的选取

根据2.1节所述三层模板的构造，理论上使用单一尺寸的三层模板遍历一次原始图像即可实现对不同大小的弱小目标的检测。为了比较K的取值对算法检测性能的影响，本文使用SIRST数据集对K的取值进行测试，当K分别取3，5，7，9时对本文算法的检测率与虚警率进行统计并绘制ROC曲线，如图11所示。由图11可以看出，当K=3时，算法具有更好的检测性能。

图11 K取不同值时的ROC曲线Fig.11 ROC curves for different K

据2.1节所述，红外弱小目标的尺寸介于2×2～9×9。图12分别列出了本文算法对尺寸分别为2×2，5×5，7×7，9×9的弱小目标的检测效果，其中模板尺寸K=3。可以看出，本文算法仅需使用单一尺寸的三层模板遍历一次图像即可检测出不同尺寸的目标。

图12 TTLDM算法对不同尺寸目标的检测效果Fig.12 Detection effect of TT LDM method on targets of different sizes

3.4 与现有算法的检测效果对比

为验证本文算法能够有效避免区域交叠，针对包含多个红外弱小目标的图像，将本文算法与LCM［12］，ILCM［13］，RLCM［15］3种 常 见 的 多 尺 度HVS算法进行对比，检测结果如图13所示。从图13中可以看出，LCM，ILCM，RLCM算法均破坏了目标的原始尺寸且伴随区域交叠现象，而本文算法可准确检测出所有弱小目标，且保留了目标的原始尺寸。

图13 不同算法对含多个红外弱小目标图像的检测结果Fig.13 Experimental results of different algorithms on IR image with multiple small targets

为进一步验证所提算法抑制复杂背景的有效性及优势，本文选用NWTH［9］，RIPT［18］，MLCM［12］，MPCM［14］，MRLCM［15］，TLLCM［25］，DNGM［16］，MLCM-LEF［29］8种 算 法 与 本 文 算 法的检测结果进行对比，各个算法的参数设置见表2。图14展示了各个算法对不同复杂背景下红外弱小目标图像的检测结果，包括显著性图及其三维特征，图中方框内为弱小目标及其局部放大图。从实验结果可以看出，NWTH，MRLCM算法无法抑制背景中的强杂波；RIPT算法对背景中的点噪声敏感，且当目标信杂比偏低时，会造成目标漏检，如图14（b3）和14（c3）所示；MLCM算法虽然增强了目标但无法抑制背景，且存在明显的膨胀效应；MPCM算法可有效抑制背景中的边缘但对暗孔洞噪声及杂波敏感，如图14（c5）和14（d5）所示；TTLCM算法对背景中的粒状噪声敏感，当目标的对比度偏低时会造成目标漏检，如图14（b7）和14（c7）所示；由于DNGM只做到了抑制背景而不能增强目标，因此当目标信杂比偏低时，该算法对复杂背景中的杂波敏感，如图14（a8）所示；MLCM-LEF算法对点噪声及与目标相似的杂波敏感，如图14（b9）和14（d9）所 示；与 其 他 算 法 相 比，TTLDM算法不仅能够有效抑制复杂背景，包括强边缘、高亮点噪声及杂波，而且实现了对低信杂比目标的增强。

图14 不同算法对包含不同复杂背景的红外弱小目标图像的检测结果Fig.14 Experimental results of different algorithms on IR images with various complex backgrounds

表2 不同算法的参数设置Tab.2 Detailed parameter settings for different methods

3.5 算法性能分析

为了对所提算法的性能进行定量评估，表3列出了SIRST数据集和单帧图像库经不同算法处理后得到的SCRG，BSF的平均值及不同算法处理单帧图像的平均运行时间。RIPT算法属于基于图像数据结构的单帧检测算法，计算分别得到一张目标图与一张背景图，使用所得目标图计算该算法的SCRG，BSF得到的数值为Inf，说明在该算法的目标图中，目标的局部背景区域得到了充分抑制。从表3可以看出，对于SIRST数据集，本文算法的SCRG与BSF数值最高，其中SCRG相较于其他算法的SCRG平均值提高了7.7倍，BSF相较于其他算法的BSF平均值提高了3.9倍；对于单帧图像库，本文算法的SCRG相较于其他算法的SCRG平均值提高了9.5倍，BSF相较于其他算法的平均值提高了3.5倍。此外，本文算法只需使用单一尺寸的三层模板遍历一次图像即可实现检测，因此相比于其他算法具有更好的实时性。

表3 不同算法的SCRG，BSF的平均值Tab.3 Means of SCRG，BSF of different algorithms

为了更直观地说明TTLDM算法的检测性能，本文对各个算法在SIRST数据集上的检测率和虚警率进行统计并绘制了ROC曲线，如图15所示。

从图15可以看出，本文算法的ROC曲线位于其他算法的ROC曲线的左上方，说明本文算法的检测性能更加稳定，总体上优于其他算法。

图15 SIRST数据集的ROC曲线Fig.15 ROC curves of SIRST dataset

4 结 论

本文提出了一种基于三层模板局部差异度量的单帧红外弱小目标检测算法，使用单一尺寸的三层模板遍历一次图像即可实现对多种尺寸的红外弱小目标的检测，不仅提高了检测的实时性，而且避免了多尺度运算导致的目标膨胀效应及区域交叠现象。为了增强目标并抑制不同类型的复杂背景，包括强边缘、高亮点噪声、杂波，本文充分利用弱小目标的辐射特性及局部图像的均匀性，提出了TTLDM算法。在公开数据集SIRST上进行测试，TTLDM算法的SCRG为449.75、BSF为464.81，相较于现有算法分别提高了7.7倍和3.9倍；此外，本文算法在SIRST数据集上的平均运行时间为10.9 ms/frame。实验结果和测试数据均验证了本文算法在检测性能及实时性上的优势。