基于视觉对比度机制的红外双极性小目标检测方法

徐小东朱 慧郝 忻陈文亮王向军∗

(1.天津大学精密测试技术及仪器国家重点实验室，天津 300072；2.天津大学微光机电系统技术教育部重点实验室，天津 300072)

红外小目标检测可应用于工业、精确制导、预警等领域，是图像处理领域的热点问题之一[1]。一方面，由于目标距离检测系统远，其成像面积占比小、无具体纹理特征信息，易受像素级的高亮度噪声和相似背景干扰；另一方面，由于防红外材料的发展和复杂环境的干扰，一些小目标通常呈现“双极性”的特点，即目标灰度高于或低于背景灰度，或部分高于而另一部分低于背景灰度。因此，红外双极性小目标的准确检测仍是一个关键和具有挑战性的课题，需要设计一种鲁棒性强的算法来检测该类目标[2]。此外，工程应用中需要较高的实时性，这也增加了检测难度。

现有的红外小目标检测方法一般可分为两类:基于单帧和基于序列的检测方法。序列检测方法需要更多目标和背景的先验信息，在实际应用中难以获得满意的性能。此外，序列检测的性能通常取决于单帧检测的结果[3]。鉴于这些特性，本文从单帧检测方向提出解决方法。传统单帧检测方法大多是基于滤波策略，如:顶帽变换(Top-Hat)[4]、最大均值/中值滤波器(Max-median/Max-median filter)[5]在假设背景一致性的前提下，抑制背景并增强目标；小波变换[6]以及基于非负约束变分模态分解(NVMD)[7]等方法依据小目标和背景的频率差异分离出背景和目标。该类方法优点是检测速率高，但只能在一定程度上检测出很明显的“双极性”目标，当目标的信杂比(SCR)较低时，检测效果会很差。

除滤波方法外，稀疏表示方法也常用于小目标检测。如Gao等人[8]提出红外图像块(IPI)模型，将目标－背景分离问题转化为低秩和稀疏矩阵分解的问题实现检测。Zhang等人[9]提出一种非凸秩逼近最小化与加权L1范数的红外弱小目标检测方法(NRAM)，可以很好地保留边缘特征并抑制背景。该类算法检测准确率高，但需要计算多次矩阵的分解迭代过程，耗时严重，难以满足工程需要。近几年，深度学习也逐渐用于红外小目标检测，但由于小目标缺乏特征，一般的模型难以用于该方向，因此还有待研究[10]。

近年来，基于人类视觉对比度机制(Human Visual System，HVS)的仿生学理论具备较好的检测性和实时性，引起了相关学者的广泛关注。在红外小目标图像中，小目标的亮度相对邻域存在较大差异，容易吸引人眼的视觉关注。基于此，Chen等人[11]首次提出局部对比度测量方法(Local Contrast Measure，LCM)，Han等人[12]提出改进的LCM(Improved Local Contrast Measure，ILCM)方法。后续有很多算法都基于此进行改进，但大多数算法都是依据“小目标亮度强于背景”的前提而改进，对于“双极性”目标并不具备检测能力，以潘胜达等人[13]提出的算法(Double-layer Local Contrast Measure，DLCM)为代表。Wei等人[14]引入多尺度块对比度测量方法(Multiscale patch-based contrast measure，MPCM)，可以同时检测亮目标和暗目标，但对复杂场景不鲁棒。后续有相关研究对此做出改进，如Qiu等人[15]提出尺度自适应的小目标检测方法。但相关方法无法有效抑制高亮度边缘，且对于不同大小的目标，该类算法需要使用不同大小的子窗进行遍历，实时性有待提升。

针对LCM算法在红外小目标呈现“双极性”或多极性的情况下适应能力不强的现象，本文在其基础上进行改进，研究了一种新的检测方法。通过中值滤波器预处理噪点后，采用双层滑动窗口结构，单次遍历图像完成不同尺度的小目标检测任务，降低了算法的时间复杂度；通过计算双层对角灰度差对比度的方法，在增强“双极性”目标的同时也能有效抑制背景和噪声；最后，利用自适应阈值分割的方法得到待检测的目标。经实验验证，可以克服LCM算法不能同时检测双极性小目标的不足，且降低了约40%的处理时长。

1 LCM算法原理

在人类视觉系统中，对比度是最重要的度量之一[16]，LCM算法依据当前尺度，采用滑动窗口逐像素遍历整幅图像获取显著图，窗口结构如图1所示。

图1 滑动窗口结构

滑动窗口将待检测区域分为9个子窗，中心子窗T表示目标区域，周围B1～B8八个子窗表示背景区域，每个子窗的平均灰度值为mT，m1～m8，定义为式(1):

式中:s为子窗尺寸，Pix(x，y)为第i个子窗中坐标(x，y)像素的灰度值。i＝T，1，2，…，8为子窗的序号。

为了描述目标与背景之间的强度差，LCM算法定义了中心窗与背景子窗i的局部对比度，定义式(2):

式中:i＝1，2，…，8，L0为中心窗口灰度最大值。当前像素相对其邻域的局部对比度定义为式(3):

式中:(x，y)为中心子窗T的中心像素坐标。当该滑动窗口在整幅图像上遍历一次后，得到当前尺度下的局部对比度显著图。在其余尺度下重复计算后，取最大响应值利用阈值分割即可提取出目标。

从其计算过程可看出，该算法虽然可以检测出“亮目标”，但仍有以下三点不足:①该算法使用中心子窗中的最大灰度值与周围背景作对比，当图像中存在高强度单像素噪声时，会有一定程度的误检，且不能同时检测双极性目标。②如图2所示，当场景中含有尖锐边缘或灰度分布类似高斯形状的干扰块时，检测的虚警率较高。③由于小目标尺度未知，需分别使用尺度因子为3×3、6×6、9×9的滑动子窗逐像素遍历整幅图像，将3个尺度下的最大响应值当做最终计算结果，时间复杂度高。

图2 LCM算法处理效果

2 本文双层滑动窗口检测算法

针对LCM算法的不足，首先采用中值滤波方法除掉图像中孤立的高强度像素噪点；设计了一种新型双层滑动窗口结构，以双重对角灰度差作为当前目标块与背景区域的对比度，并通过阈值分割得到检测结果。整体流程如图3。

图3 本文算法流程

2.1 红外双极性小目标成像特点分析

根据国际光学工程学会(SPIE)对红外弱小目标的定义，对于256×256的图像，成像尺寸小于总像素数的0.12%的目标为小目标[17]。LCM、DLCM算法的检测前提是:小目标灰度值高于邻域背景区域的灰度值。但在实际应用中，各国都相继开发出了很多防红外的材料[18]，导致该算法无法同时有效检测出目标。

由于“双极性”小目标的成像特性，会在像面中呈现中间高、四周低和中间低、四周高两类完全相反的矛盾形状，因此，不能使用匹配滤波器或是DOG(Difference of Gaussian)滤波器预处理图像以提升目标的信杂比。

其次，小目标的灰度分布与周围局部背景不同，背景除了边缘外一般属于连续区域，而噪点属于随机点，可采用中值滤波器预处理图像，以降低高强度电子噪声的影响。

2.2 双重局部对比度的计算

针对LCM不能同时检测双极性小目标和高时间复杂度的问题，本文研究了一种新的双层滑动窗口结构，采用双重对角灰度差的乘积代表当前目标图像块与周围背景间的对比度，逐像素遍历整幅图像后，即可得到每个像素的局部对比度。双层滑动窗口结构如图4。

图4 双层滑动窗口结构

该滑动窗口结构相对原LCM算法增加了一层外侧的8个子窗结构，一共为17个子窗，每个窗口大小为n×n个像素。虽然小目标尺寸未知，但其尺寸一般不超过9×9个像素，取n＝3。利用中心窗口T和内层窗口IB1～IB8配合检测小目标，利用中心窗口T和外层窗口OB1～OB8配合检测背景区域和大目标，并融合进对比度计算过程中以增强目标和抑制背景信息。

基于红外背景相似、分布连续的特点，“双极性”目标灰度相对周围区域有明显的对比度差异。在计算局部对比度部分，采用内层、外层双重对比度联合方式计算当前像素对应的图像块相对周围背景的对比度。

中心窗口T和内层窗口IB1～IB8之间的灰度差d(T，IBi)用于检测小目标，定义为式(4):

式中:mT代表中心窗口T内的灰度均值，mIBi代表内层窗口IBi内的灰度均值。

为了增强双极性小目标、抑制背景，以对角灰度差形式计算中心窗口和内层窗口之间的对比度DI，定义为式(5):

同时为了检测并增强不同尺度的小目标，引入中心窗口和外层窗口之间的对比度DO，定义为式(6):

式中:d(T，OBi)表示中心窗口与外层窗口之间的灰度差；mOBi代表外层窗口OBi内的灰度均值。

构建双重局部对比度OLCM为式(7):

七氟烷具有麻醉诱导快、对循环影响小、术后苏醒快等诸多优势，是外科全麻手术过程中一种重要的吸入型麻醉药物[7]。王建平等[8]研究证实，对大鼠采用七氟烷处理，可以明显减少炎症反应。此外，在进行Ivor-Lewis手术的过程中实施七氟烷麻醉，可以有效减少CRP、IL-6等炎症介质生成[9]。然而，现阶段临床上对七氟烷是否有助于减轻腹腔镜子宫肌瘤手术患者的炎症反应尚未明确[10]。

由于小目标相对背景常表现为中心突出、背景平缓的特点，当滑动窗口遍历目标和背景干扰物时会表现出不同的结果。

①对于双极性小目标，中心窗口与内、外层窗口计算得到的DI、DO显著大于零，得到的双重对比度OLCM能进一步增强目标。

②对于尺寸稍大的双极性小目标，DI稍大于零，但是DO显著大于零，得到的双重对比度OLCM也能进一步增强目标，即可检测出不同尺度的小目标。

③对于尖锐的边缘背景，由于其通常为单边对称形态，DI的计算结果小于零，导致最终的双重对比度数值为负数，从而可与目标做区分。

2.3 阈值分割自适应提取目标

经过前面两部分计算后，在得到的显著图中，目标所在区域的对比度将是最大值，在图中为一个尖峰；由于还存在背景等的干扰，显著图中会存在干扰尖峰，如图5所示。

为了方便、快捷的提取出待检测目标，本文选用的自适应分割阈值T表达式为式(8):

式中:μ为显著图的均值；δ为显著图的标准差；K通常取经验值3～5，为检测多个目标，K值可适当降低。

利用本文算法处理第三节中的六个序列，处理过程如图5所示。输入图像中，双极性小目标通常呈现低亮度特性，背景中常有高亮噪声、边缘像素的干扰。先引入中值滤波器预处理图像，降低高强度噪点的影响，平滑过渡边界；然后通过本文滑动窗口逐像素遍历图像，计算双重对角灰度差之积表示整幅图像的局部对比度显著图，可以起到抑制背景并增强目标的作用。

图5(a)、5(b)显示了本文算法利用该特殊窗口结构可以在单次遍历图像后，即可检测出尺寸分别为3×3、9×9的小目标，提升了算法的检测效率。图5(c)为海天交接的背景，从局部对比度显著图中可以看出边界处的对比度基本在0附近，算法可以很好抑制边界背景。图5(d)含有高亮度噪点和地面复杂背景，经过双重对比度计算后，可以抑制相关干扰物的影响。图5(e)为天空背景下的双目标图像，从得到的显著图中可以提取出两个目标的位置。

图5 本文算法检测过程示意图

3 实验结果及分析

为了检验本文方法的性能，采用处理器为Inter(R)Core(TM)i7－8750H CPU＠2.20GHz的计算机作为测试平台，编程环境为MATLAB R2018a。选用六个不同场景下的红外图像基准序列作为测试样本数据集，分别表示为:Sequence1～Sequence6。表1为六组视频序列的具体信息。

表1 六组视频序列的信息

序列1表示天空中信杂比低的情况下的亮目标；序列2表示有尖锐边缘、相似背景结构的复杂天空干扰下的亮目标；序列3表示复杂地面环境干扰下的亮目标；序列4表示复杂地面环境下的暗目标。

序列5表示海面背景下的暗目标；序列6表示天空背景下前半部分为暗目标，后半部分为亮目标的特殊拍摄序列。且上述每个序列中都存在小目标尺寸变化的情况。

3.1 多算法对比测试

本文选用6种典型算法进行比较。其中，Top-hat算法是基于传统空域滤波的代表算法；LCM、MPCM是基于视觉对比度机制(HVS)的经典算法，RLCM、DLCM是近期基于HVS类的代表算法。IPI是基于稀疏表示方向中可以同时检测双极性目标的方法。

从图6可知，在复杂天空、地面、海面背景下，Top-hat、LCM、RLCM、DLCM只能处理“亮目标”，处理后的图像仍含有一定的杂波。基于视觉对比度的算法:LCM、RLCM处理后的图像存在“块效应”；Top-hat算法相对抑制背景杂波的效果较好；基于稀疏表示的IPI算法可以检测双极性目标，但抑制背景的性能较差，易受背景噪声影响，且耗时严重，如Seq6图像过大，致使程序崩溃无法得出检测结果；MPCM算法虽然可同时检测两类目标，但是不能很好处理相似背景等干扰物；由于本文方法采用了双重对比度计算方式，可以有效抑制背景并同时检测出双极性小目标，在测试集中取得了较好的检测效果。整体来看，本文算法可以在未知目标相对背景亮度的前提下，检测出“双极性”小目标。

图6 算法对比测试结果

3.2 指标定量评价与分析

为了定量评价算法性能，引入信杂比增益(Signal to Clutter Ratio Gain，SCRG)、背景抑制因子(Background Suppression Factor，BSF)，正确检测概率(Probability of Detection，Pd)、虚警率(False Alarm Ratio，Fa PR)作为评价指标[14]。

信杂比增益SCRG定义为式(9):

式中:SCRIn和SCROut分别表示原图和处理后的图像的信杂比，定义为式(10):

式中:μT表示目标的平均灰度值；μB表示背景的平均灰度值；σB表示背景的灰度标准差。

背景抑制因子BSF定义为式(11):

式中:σIn、σOut分别表示输入及输出图像中背景的灰度标准差。

SCRG的值越大，表示算法增强目标对比度的性能越好；BSF的值越大，表示算法抑制背景干扰的效果越好。统计结果如表2所示。

表2 六组测试序列下不同算法的SCRG/BSF值

对于信杂比很低的目标(Seq1)而言，目标亮度弱，Top-hat和基于HVS算法的增强效果要弱于基于稀疏表示的算法；但对于有尖锐边缘、相似图像块干扰的背景而言(Seq2、3)，基于HVS的增强效果要强于另外两类算法。LCM算法处理后的图像存在“块效应”，会把相邻背景误认为是目标，抑制背景效果较弱。

IPI算法虽可以检测双极性目标，但是无法处理大图，且增强效果弱于HVS类。本文算法基于LCM改进，更易于检测出目标，相对LCM、MPCM算法的SCRG平均提高了12.6倍，BSF平均提高了3.7倍，且可以克服LCM、DLCM算法不能同时检测两类目标的缺点，显著增强双极性目标相对背景的对比度。

正确检测概率Pd和虚警率FaPR分别定义为式(12)、式(13):

为了更直观地比较所用算法性能，引入接受者操作特征(Receiver Operating Characteristic，ROC)曲线指标，以虚警率FaPR为横坐标，正确检测概率Pd为纵坐标绘图，曲线越靠近左上方，Pd值越大、FaPR越小，表示算法实际检测性能越好。

统计结果如图7所示，对于所给的六个序列，Top-hat的正确检测概率普遍低于其余算法。IPI算法可以检测双极性目标，但性能相对HVS类的算法低10%。在相同的虚警率情况下，本文算法的正确检测概率基本是最大的，在“亮目标”序列中，本文算法性能几乎与DLCM算法相同，优于其余五种算法，可以很好抑制序列Seq2、3的背景干扰；但在“暗目标”序列中，本文算法的正确检测概率要优于IPI和MPCM算法。

图7 不同图像序列下的算法ROC曲线

最后，测试本文算法的实时性。将上述算法处理单个序列时的平均单帧时长作为该序列的处理时间，如图8所示。Top-hat算法处理时间最短，但效果也最差；基于稀疏表示的IPI算法需要大量矩阵运算，实时性最差；基于HVS类算法的处理时长介于二者之间，本文算法的实时性优于其余四种基于HVS的算法，平均耗时仅为LCM、DLCM算法的60%，且相对“双极性”小目标有更好的鲁棒性，说明本文算法针对该应用背景具有更好的检测性能。

图8 不同图像序列下的算法平均用时(s/frame)

4 总结

针对检测红外“双极性”小目标的需求，本文在LCM算法基础上研究了一种基于双层滑动窗口结构的检测算法。利用中值滤波器预处理图像后，采用双重对角灰度差的乘积表示当前目标图块与周围背景图块之间的对比度，可有效抑制尖锐边缘像素和相似背景的干扰。此外，该窗口结构单次遍历图像即可解决多尺度小目标检测问题。在不同场景下的实验结果表明，本算法可克服LCM、DLCM、RLCM算法不能同时检测双极性小目标的不足，且检测效果优于上述及IPI、Top-hat算法。在检测亮目标时，相对LCM、DLCM降低了40%的处理时长，在相同虚警率下，正确检测概率平均高于LCM算法12.4%；在检测暗目标时，相对MPCM算法降低了40%的处理时长，在相同虚警率下，本算法正确检测概率平均高于MPCM算法17.6%。