采用视觉特征整合的红外弱小目标检测

赵尚男，王灵杰*，张 新，吴洪波,2

(1.中国科学院 长春光学精密机械与物理研究所 中国科学院光学系统先进制造技术重点实验室，吉林 长春 130033；2.中国科学院大学，北京 100049)

1 引 言

随着远距离红外光学系统的快速发展，红外目标检测与跟踪技术在交通、医疗、安防及军事等领域得到了广泛应用。

目前，红外目标检测与跟踪领域存在两个问题：目标弱小和背景复杂。当目标所占像素不超过图像总像素0.15%，且目标与背景的信噪比低于4dB时，目标则被视为弱小目标[1]。弱小目标与周围背景的对比度较低，不具备形状、纹理等特征，很难从复杂的背景中检测出来[2]；另一方面，由于烟雾、云层、海面、目标与载体的相对运动及人为因素的干扰，导致红外图像中出现噪声、模糊、阴影，从而使得红外背景杂波日益复杂[3-4]。

目前，基于常规的红外目标检测方法(如：空域滤波方法、小波变换方法、Top-hat变换、马尔科夫随机场法[5]、主成分分析法等)多数存在先验条件要求过多、虚警率高、计算复杂等问题[6-8]。例如：传统的基于小波变换的目标检测方法性能不稳定，且不能有效地抑制不同复杂背景杂波。而改进的基于小波变换的算法通常较为复杂，影响实时性。Top-hat变换方法的性能很大程度上依赖于选取的结构元素，通过对结构元素形状、大小的调整才可以检测不同类型的目标。

另一方面，随着神经科学及脑科学的发展，人类视觉系统(Human Visual System, HVS)在红外目标检测领域的应用取得了一系列成果，基于HVS机制(如：侧抑制、感受野、脉冲发放机制)的目标检测算法在提高红外目标检测算法的鲁棒性、背景杂波和噪声抑制能力等方面取得了明显进步[9-11]例如：2012年，Wang X等人提出一种基于视觉注意的红外弱小目标检测算法[12]。该算法采用高斯差分(Difference of Gaussian,DOG)滤波器计算显著图，而后通过“胜者为王”(Winner Take Au, WTA)竞争机制和“返回抑制”(Inhibition of Return, IOR)控制机制搜索提取出显著图中突出区域潜在的目标，该算法的鲁棒性较高，且检测概率可达到94.68%；2014年，Dong X等人提出一种基于三种人类视觉机制(包括对比机制、视觉注意和眼球微动机制)的红外小目标检测算法[13]。该算法在复杂背景下具有较好的抗噪性和较低的虚警率。2017年，张叶等提出了一种基于多特征、多尺度视觉显著性的目标检测方法，该方法利用了人眼对不同用大小的图像关注目标不同的特点对图像进行上下采样，而后同时对各尺度图像进行显著性检测，避免了目标漏检和检测重叠，该方法对目标检测的真正率达97.73%，虚警率为3.37%[14]。2018年，Yuwen C 提出了一种基于人眼视觉注意的目标检测方法，基于视觉对比机制和Pop-out 效应，设计了一种可进行加权调节尺度的局部对比测量方法，将弱小目标从复杂背景中提取出来，实验获得的平均背景抑制因子为30.82，信杂比增益为7.06，但其每帧图像的平均处理时间为19.21 s[15]。尽管上述算法在强杂波背景下的红外弱小目标检测方面取得了一定的进展，但仍存在一些问题，包括：对复杂背景的抑制能力不足，算法过于复杂等。

考虑到人类视觉信息处理具有既平行又串行的特点，同时视觉信息的整合机制是个多级同步的过程，在人脑视觉系统中，视觉信息被分为形状、空间频率、方向和对比度等特征，在分别进行平行处理后，属于同一物体的各种视觉特征再被整合在一起进行加工，从而形成完整的视知觉[16]。该机制使得HVS具有极强的目标检测与识别处理能力，在复杂背景下可迅速分辨出感兴趣的目标，可为红外弱小目标检测问题提供崭新的思路。

因此，为了提高弱小目标检测算法的检测性能和稳定性，将人类视觉特征整合机制应用了到红外目标检测领域，并建立了基于特征整合的信息处理模型。文中详细给出了弱小目标检测算法的理论模型和计算步骤，并进行了仿真对比实验，证明了算法的有效性。

2 基于特征整合的信息处理模型

1980年Treisman在Neisser理论的基础上提出特征整合理论(Feature Integration Theory, FIT)，该理论认为注意由预注意和集中注意两个阶段构成，预注意阶段将视觉场景按照颜色、方向、空间频率、亮度等特征进行分解，形成不同的特征图(Feature Map, FM)，该阶段并不能识别对象，只是对不同特征进行并行处理[17]。集中注意阶段也称为特征整合阶段，该阶段将特征进行整合，集成为对象，其中特征显著的位置成为视觉注意的位置。

在特征整合理论的基础上，建立了一种基于特征整合的信息处理模型，如图1所示。首先，对输入的视觉场景信息进行初级信息处理，初步检测出目标。其中，初级信息处理的方法可为HVS对视觉信息的加工方法，如利用感受野、侧抑制、同步脉冲方法机制等进行目标的初步检测。而后，对于初级信息处理后的场景进行特征分解，提取出场景的结构信息、亮度信息、对比度信息等空域特征和场景的高频信息、低频信息等频域特征。最后，对各通道获得的特征信息进行特征整合，从而输出带有显著目标的场景。

图1 基于特征整合的信息处理模型Fig.1 Information processing model based on visual feature integration

3 算法设计

3.1 基于感受野的初级信息处理

在人类视觉系统HVS中，神经元上对于不同刺激所产生响应的区域称为感受野(RF, Receptive Field)。感受野分为同心圆式对称型感受野、简单细胞感受野及复杂细胞感受野，其中，位于视觉通路中的视网膜和侧膝体上的感受野是同心圆式对称型感受野。同心圆式对称型感受野分为on-中心型和off-中心型感受野，其中on-中心型视网膜神经节细胞感受野模型的中心机制是兴奋性的，且作用相对较强，具有更高的峰敏感度，而周边机制是抑制性的，作用相对较弱，但作用面积更大。off-中心型视网膜神经节细胞的感受野模型则与此相反。不论哪种类型的同心圆型感受野模型，其中心机制和周边机制的方向是相反的，故是相减的关系。同心圆式对称型感受野位于视觉通路的开端，可对外界场景信息进行初步的感知，具有抑制背景杂波和突出目标的功能。

1965年，Rodieck提出使用髙斯差分模型即DOG模型来模拟同心圆式对称型感受野，DOG模型的表达式为：

DOG(x,y,σ1,σ2)=

(1)

其中σ1和σ2为高斯函数的均方差。σ1和σ2分别决定了低截止频率flow和高截止频率fhigh。

感受野模型对图像的处理过程可通过卷积滤波过程实现，DOG模型可视为带通滤波器，利用卷积模板对图像各像素点进行滤波，滤波处理过程为：

R(x,y)=DOG(x,y)*I(x,y)=

(2)

其中：DOG(x,y)为DOG滤波器，I(x,y)为输入图像的灰度分布，R(x,y) 为输出图像的灰度分布。

3.2 特征分解与特征整合

根据建立的基于特征整合的信息处理模型，在进行初级信息处理后进行特征分解，在空域和频域通道分别分解出弱小目标的结构特征和高频分量特征。在空域通道，利用图像信息构造二阶微分Hessian矩阵，计算Hessian矩阵的直迹与行列式进行局部极值的判定，进而提取出含有弱小目标的结构分量特征；在频域通道，利用小波变换对图像频域进行二级分解，进而提取出含有弱小目标的高频分量特征。

在空域通道中，利用获得初级信息处理后的图像，根据其像素信息构造二阶微分Hessian矩阵，如公式(3)所示：

(3)

式中：Dxx(x,y)为水平方向的二阶微分算子，Dyy(x,y)为垂直方向的二阶微分算子，Dxy(x,y)为45°方向的二阶微分算子。

而后，计算Hessian矩阵的直迹Tr_H与行列式Det_H，如公式(4)所示：

(4)

式中λ1和λ2是Hessian矩阵的特征值。

根据Dxx(x,y)和Det_H可进行局部极值的判定：若Det_H>0且Dxx(x0,y0)<0，则点(x0,y0)为局部极大值点，即图像中的点目标；若Det_H>0且Dxx(x0,y0)>0，则该(x0,y0)为局部极小值点；若Det_H<0，则该(x0,y0)为鞍点；若Det_H<0，则点(x0,y0)为临界点。

最后，利用公式(5)提取出含有弱小目标的结构分量特征。

Q(x,y)=

(5)

式中Q(x,y)是结构分量特征图像的灰度值。

在频域通道中，利用获得初级信息处理后的图像，利用小波变换对该图像的频域进行二级分解，分解后该图像的小波变换系数向量包括：一个近似系数矩阵和两组行、列、对角线细节系数矩阵，其中近似系数矩阵代表图像的低频背景部分，行、列、对角线细节系数矩阵代表图像的高频部分。而后，将小波变换系数向量中的近似系数矩阵设为0，再计算小波变换系数向量的反变换，取其绝对值，从而获得含有弱小目标的高频分量特征图像F(x,y)。

由于在空域和频域通道中被判定为背景的图像灰度值都已置为0，因此，接下来采用点乘的方式将结构分量特征图像Q(x,y)和频域分量特征图像F(x,y)整合为输出图像Out(x,y)，从而将两个通道中的背景进一步去除，降低检测结果的虚警率，换言之，只有在两个通道中均被判定为弱小目标的像素值才可被保留下来，进而达到通过结合各通道的不同特征实现增强目标、抑制背景的效果，其特征整合过程如公式(6)所示。

Out(x,y)=Q(x,y)·F(x,y),

(6)

式中：Q(x,y)表示在空域通道中获得的结构分量特征图像，F(x,y)表示在频域通道中获得的含有弱小目标的高频分量特征图像，Out(x,y)表示将空域通道与频域通道的分量特征整合后的输出图像。

3.3 算法流程

图2 算法流程Fig.2 Process of proposed method

提出的一种基于视觉特征整合的弱小目标检测算法的主要思路是：首先，利用视网膜神经节细胞感受野的数学模型DOG对红外图像进行初级信息处理，初步检测出弱小目标。而后，进行特征分解，分为空域和频域通道并行处理，分别提取出含有弱小目标的结构特征和高频分量特征。最后，将空域通道与频域通道的分量特征整合，提取出复杂背景下的弱小目标。算法总体流程如图2所示。

根据图2，算法的具体步骤如下：

步骤1：利用DOG模型进行初级信息处理。

首先根据公式(1)建立DOG滤波器模板，而后利用滤波模板根据公式(2)对图像进行卷积滤波处理。为了降低计算量，利用如公式(7)所示的DOG带通滤波器对原始图像进行卷积处理。

S(i,j)=|Iflow(i,j)-Ifhigh(i,j)|,

(7)

其中flow和fhigh分别为DOG滤波器的低通和高通模板。

为了增强显著域，flow设为很低，为均值滤波模板，fhigh设为很高，同时，考虑到频率很大的噪声需要被消除，fhigh为5×5的高斯核，flow和fhigh的滤波模板如公式(8)所示。

(8)

步骤2：特征分解。

将初级信息处理后的原始图像进行特征分解，在空域和频域通道分别分解出弱小目标的结构特征和高频分量特征。

步骤2.1:在空域通道，利用图像信息根据公式(3)构造二阶微分Hessian矩阵，根据公式(4)计算Hessian矩阵的直迹与行列式，而后再利用公式(5)进行局部极值的判定，进而提取出含有弱小目标的结构分量特征；

步骤2.2:在频域通道，利用‘sym’小波，对图像频域进行二级分解，将小波变换系数向量中的近似系数矩阵设为0，再计算小波变换系数向量的反变换，取其绝对值，从而获得含有弱小目标的高频分量特征图像F(x,y)，从而提取出含有弱小目标的高频分量特征。

步骤3：将空域通道与频域通道的分量特征整合。

将所述步骤2.1获得的含有弱小目标的结构分量特征图像和步骤2.2获得的含有弱小目标的高频分量特征图像进行点乘，如公式(6)所示。

4 实验结果

4.1 实验方法

本实验的硬件平台为台式计算机，CPU主频为2.7 GHz，内存4 GB，软件平台为MATLAB 2017a，实验对象是：弱小目标。选取6幅带有复杂背景、噪声及不规则干扰的单帧红外图像作为测试对象，如图4第1列所示。表1是原始图像的基本信息，可以看出本实验中的原始图像均满足复杂背景和弱小目标的要求，即：目标尺寸小于总像素的0.15%，信噪比小于4 dB以及对比度小于15%。

表1 实验中原始图像的基本信息

采用信杂比增益(SCRG, Signal to Clutters Ratio Gain)和背景抑制系数(BSF, Background Suppression Factor)作为算法性能的评价参数。其中，信杂比增益定义为处理后的输出图像信杂比与输入图像信杂比的比值，其表达式如公式(9)所示。

(9)

式中Rsci和Rsco分别表示输入和输出图像的信杂比。信杂比的表达式如公式(10)所示:

(10)

式中：T为目标的灰度值，B为整幅图像的灰度平均值，δ为图像的平均方差。

背景抑制因子反映算法对背景的抑制程度，其表达式如公式(11)所示：

(11)

其中Cin，Cout分别代表输入、输出图像的标准差。

此外，绘制ROC曲线(Receiver Operation Characteristic，ROC)测试输出结果的检测概率。ROC曲线的横轴为负正类率(False Postive Rate，FPR)，即虚警率；纵轴为真正类率(True Postive Rate，TPR)，即检测概率。

在实验中，将所提出的算法与形态学(Top-hat)算法，Max-mean算法，Max-median算法，TDLMS算法及Shi′s算法[18]进行了比较，其中前3种方法是常用来评估新算法的经典算法，TDLMS算法具有很好的背景抑制能力，Shi′s算法为基于HVS侧抑制机制的目标检测算法。

为了获得红外目标检测应用下的最佳性能，本实验中每种算法的参数设定如下：Top-hat算法的结构元素大小为12×12；Max-mean和Max-median算法的滤波尺寸为9×9[19]；TDLMS算法的步长和滤波窗口设置为：0.5×10-7和5×5[20]。

4.2 实验结果

图3显示了输入场景信息经过基于特征整合的信息处理模型的处理结果，从输入视觉场景和显著目标的图像信息和三维灰度信息可以看出，视觉场景信息经初级信息处理后，可初步提取出目标，但会残余大量背景杂波及噪声；而后，再经过空域结构特征和高频信息特征提取，再将其进行整合，可输出显著目标。该模型可通过初级信息处理、空域频域特征提取与整合的处理机制将复杂背景中的弱小目标提取出来，且背景杂波得到了较好地抑制。

图3 基于特征整合模型的处理结果Fig.3 Processing results based on visual feature integration model

图4中显示了不同算法的检测结果图像，同时，图5是相应的SCRG和BSF结果，图6是相应的ROC曲线。从图4第2列的结果可以看出，Top-hat算法对复杂背景的抑制效果较好，但在目标亮度十分微弱时(图4(e)～图4(f))，目标增强效果较差；根据第3列和第4列可以看出，与Max-mean和Max-median法相比，所提出的方法具有较强的增强目标和抑制背景能力；根据图4第5列，TDLMS的检测结果通常会具有较好的背景抑制能力，然而由于TDLMS算法的检测效果严重依赖于算法中的权值矩阵的步长，因此当背景十分复杂时(图4(a)～图(b))检测结果会残留较多的背景杂波。根据第6列，Shi′s可以在复杂背景下较好地提取小目标。然而，当原始图像有大量的噪声时如图4(a)～图(b)和图4(d)，检测结果会残留大量的噪声。根据第7列，由于提出的算法利用DOG滤波器初步检测出目标后，分为空域和频域两个通道分别提取出含有弱小目标的结构特征和高频分量特征并整合输出，从而使得弱小目标从复杂的背景中准确提取出来，并且检测结果杂波和噪声相对较少。

图5为不同算法弱小目标检测结果的SCRG和BSF，根据图5的实验结果，提出的算法相比于其他5种对比算法在图4(a)～图4(f)中获得了最高的SCRG和BSF。同时，Shi′s算法在图5(a)～图5(d)中的SCRG和BSF高于提出的算法，说明当原始图像具有较少的噪声时Shi′s算法可以在复杂背景下提取出弱小目标。然而，如图5(a)～图5(b)和图5(d)当原始图像存在较多的噪声时，Shi′s算法的SCRG和BSF明显降低。

图4 原图和不同方法的目标检测结果Fig.4 Original images and target detection results of different methods

图5 不同方法弱小目标检测结果的SCRG 和BSFFig.5 SCRG and BSF of dim small target detection results of different methods

另一方面，根据图6的ROC曲线图，在虚警率Pf为10-3的情况下，提出的算法与Top-hat算法、Max-mean算法、Max-median算法、TDLMS算法、Shi′s算法的平均检测概率分别为：95.17%，63.50%，39.17%，17.08%，51.67%，74.33%。可以看出，提出的基于自适应感受野及侧抑制的红外目标检测算法的检测概率Pd最高，其次依次是Shi′s算法，Top-hat算法和TDLMS算法，Max-mean 和Max-median算法在相同虚警率下低于其他算法。

图6 不同方法弱小目标检测结果的ROC曲线Fig.6 ROC curves of dim small target detection results of different methods

5 结 论

针对复杂背景下的弱小目标检测问题，利用人眼视觉系统的特征整合机制，提出了一种基于视觉特征整合的目标检测算法。首先，利用视网膜神经节细胞感受野的数学模型DOG对红外图像进行初级信息处理，初步检测出弱小目标。而后，分为空域和频域两个通道分别提取出含有弱小目标的结构特征和高频分量特征。最后，将空域通道与频域通道的分量特征整合，提取出复杂背景下的弱小目标。对比实验结果表明，相比于形态学方法、Max-mean，Max-median，TDLMS，Shi′s方法，提出的算法具有较强的背景抑制和目标增强能力，当虚警率为10-3时，平均检测概率为95.17%，基本满足了弱小目标检测的要求。