基于GCF-SB视觉注意模型的红外目标检测算法*

王枫宁， 宋 勇*， 赵宇飞， 杨 昕， 张子烁

0 引 言

复杂背景红外图像具有对比度较低、目标边缘模糊等特点.同时，背景噪声可能导致红外图像中局部区域的灰度值高于目标区域，从而使显著性目标检测精度发生下降[1].上述因素导致红外图像的目标显著性检测成为一项具有挑战性的任务[2-3].

目前，显著性目标检测算法可分为经典显著性目标检测算法和基于深度学习的显著性目标检测算法两类[4].其中，经典显著性目标检测算法主要包括3种类型：(1)具有内部线索的基于块的模型[5]；(2)具有内部线索的基于区域的模型[6]；(3)具有外部线索的模型[7].此类算法首先确定图像的显著图，然后将其从图像中分割出来，从而实现显著图检测.此外，基于深度学习的显著性目标检测算法[8]利用了卷积神经网络多层次和多尺度的特性，无需任何先验知识即可准确获取显著性目标.此类算法主要分为两类：(1)基于经典卷积网络的模型[9]；(2)基于完全卷积网络的模型[10].

然而，上述两类算法多数针对可见光图像，在处理红外图像时，易受噪声影响而出现误检，导致检测精度下降[11].针对上述问题，虽然一些研究者提出了专门针对红外图像的显著性目标检测算法，但存在不同程度的局限性.其中，文献[12]提出了一种局部对比度测量算法(local contrast measure, LCM).该算法将图像划分为小块，并通过计算每个小块与周围块之间的对比度来检测目标位置，然而该算法的计算量较大；文献[13]提出了一种基于红外显著性的舰船检测算法，该算法可以较好地检测舰船目标，但对除舰船以外的目标，该算法的检测能力有限，不具有普适性；文献[14]提出了一种基于方向显著性的算法，该算法分别利用Facet模型和傅里叶变换的相位谱(phase spectrum of fourier transform, PFT)计算二阶有向导数(second-order directional derivative, SODD)特征图和方向显著性特征图，最后通过融合两个特征图计算目标总的显著性特征图.该算法虽具有较好的目标检测能力，但当显著区域的信噪比较低时，其性能会降低.

另一方面，视觉注意机制可使人脑快速找到感兴趣的区域并获得有用的信息[15]，具有突出显著目标等特性，在显著性目标检测领域具有突出优势.已有的视觉注意模型可分为两类.一类是基于特征提取的视觉注意模型，包括Itti视觉注意模型[16]和基于图的视觉显著性(graph-based visual saliency, GBVS)模型[17]等.其中，Itti模型首先按不同特征通道和不同尺度提取输入图像的显著图，然后将这些显著图融合，得到最终显著图；GBVS模型则在获取显著图的过程中引入了马尔可夫链，并采用了数学计算方法.另一类是基于数学计算的视觉注意模型.如Achanta 等[18]提出的基于全分辨率的视觉注意模型，该模型通过计算图像区域相对于邻域不同比例的局部对比度获得显著性特征图；HOU等[19]提出的基于频谱残差(spectral residuals, SR)的视觉注意模型，该模型通过在频域中执行傅立叶逆变换获得显著性特征图.需要说明的是，上述视觉注意模型虽具有目标增强和背景抑制能力，但其主要根据可见光图像的颜色特征和形状特征进行处理.对于具有复杂背景和低对比度的红外图像，上述模型的检测精度难以保证.

基于上述分析，本论文提出了一种基于灰度对比度特征-相似性贝叶斯(gray & contrast features-similarity-based Bayes, GCF-SB)模型的红外显著性目标检测算法，该算法包括特征提取层和概率估层.其中，特征提取层主要利用GCF模型实现初级显著图检测.利用灰度特征通道和对比度特征通道分别提取输入图像的灰度和对比度特征，然后通过特征融合得到输入图像的初级显著图；概率估计层主要利用SB模型实现最终显著图检测.首先根据特征提取层获得的初级显著图分别计算目标和背景的先验概率和似然函数，然后利用贝叶斯公式计算最终显著图，实现图像的显著性目标检测.实验结果表明，与SUN，FS，SeR，LC，RC，RST和DS等7种对比算法相比，所提出算法可有效降低红外图像噪声、增强对比度，具有较高的目标检测精度和鲁棒性.

1 GCF-SB视觉注意模型

图1为本论文所建立的GCF-SB模型的流程图，包括特征提取层和概率估计层两个层级.

在特征提取层，主要通过GCF模型得到图像的初级显著图.其中，灰度特征提取采用均值漂移(Mean-shift)方法实现，根据图像的灰度分布，通过均值漂移对图像的像素点进行分类，将输入红外图像分割成不同灰度等级的区域，同时保持各分割区域中的内部细节[20]，实现输入图像的灰度特征提取；对比度特征提取采用侧抑制网络(lateral inhibition network)方法实现，通过侧抑制模板对输入图像进行滤波，可增强图像的对比度、抑制背景噪声并突出边缘等，实现输入图像的对比度特征提取；提取图像的灰度和对比度特征图后，将两个特征图相乘，进行特征融合，实现输入图像的初级显著图提取.

在概率估计层，主要通过SB模型实现最终显著图检测.首先，根据特征提取层获得的初级显著图计算图像中目标和背景部分的先验概率和似然函数，然后利用贝叶斯公式计算最终显著图，得到输入图像的显著性目标检测结果.另一方面，利用贝叶斯公式计算图像的显著图具有计算量小、结果直观等优势.然而，常规贝叶斯公式通常基于经验知识进行先验概率的计算，对于背景复杂、对比度较低的图像，其显著图计算的准确性较低.针对这一问题，本论文根据特征提取层中获得的初级显著图(而非经验知识)计算先验概率，从而提高了显著图计算的准确性.

2 基于GCF-SB视觉注意模型的红外显著性目标检测算法

2.1 GCF模型

如图2所示，GCF模型主要包括灰度特征提取、对比度特征提取和特征融合.在灰度特征提取和对比度特征提取中分别采用均值漂移法和侧抑制法.Meanshift方法可以将红外图像分割成多个不同灰度级的区域，同时很好地保留了图像的内部细节，LI方法可以有效地增强目标边缘.将上述方法相结合，有利于抑制背景噪声，突出目标.

图2 GCF模型显著图检测示意图Fig.2 Schematic diagram of GCF model

2.1.1 灰度特征提取

利用均值漂移方法提取图像的灰度特征，即根据图像的灰度分布对图像中的像素点进行归类.对于输入图像中的任一像素点A，首先找到该像素点的类标签和相应的类中心B，然后将像素点A的灰度值赋为B的灰度值，即Ag=Bg.其中，Ag和Bg分别表示像素点A和B的灰度值.

搜索一个像素点的类中心需要经过多次迭代，单次迭代过程如下：

在第k+1次迭代中，类中心像素点的位置为

(1)

(2)

当相邻两次迭代结果的类中心位置不变或类中心的灰度变化值在给定阈值之内时，搜索将停止，具体的条件如下：

(3)

或

(4)

然后，将像素点(x,y)的灰度值赋为其类中心的灰度值Bg(x,y)，即可获得灰度特征图，即

G(x,y)=Bg(x,y).

2.1.2 对比度特征提取

侧抑制网络具有增强对比度、抑制背景并突出边缘等特性，可用于图像的对比度特征提取.所提出算法通过模板卷积核L对输入图像进行滤波获得对比度特征图，公式如下：

(5)

其中，I(x,y)是输入图像，C(x,y)是由侧抑制网络模板L滤波后的图像，即对比度特征图，侧抑制网络模板L为

2.1.3 特征融合

分别在两个通道内进行灰度特征提取和对比度特征提取，获得输入图像的灰度特征图G(x,y)和对比度特征图C(x,y).然后，将这两个特征图相乘，得到初级显著图F(x,y)：

F(x,y)=G(x,y)×C(x,y)

(6)

2.2 SB模型

基于双层视觉注意模型的面目标检测算法的概率估计层进行最终显著图检测.首先，根据特征提取层获得的初级显著图计算先验概率和似然函数，然后利用贝叶斯公式计算最终显著图，实现输入图像的目标检测.显著图检测的具体流程如图3所示.

图3 SB模型显著图检测示意图Fig.3 Schematic diagram of SB model

2.2.1 先验概率的计算

在输入图像中，任一像素点A均有两个先验概率，即该像素点属于目标的先验概率P(T)和该像素点属于背景的先验概率P(B)，分别表示该像素点为目标或背景的概率估计.

如图3所示，对于像素点属于目标的先验概率P(T)的计算，首先从初级显著图中提取特征点S1,S2,…，SN，其中N为特征点的数量；然后通过计算像素点A和N个特征点S1,S2,…，SN之间的平均相似度，用以确定像素点A属于目标的先验概率P(T).其中，平均相似度的计算综合考虑了当前像素点与特征点之间的灰度距离和空间距离，有利于提高先验概率计算结果的准确性.像素点属于目标先验概率P(T)的计算公式为：

(7)

式中，Dgray(A,Si)和Dspatial(A,Si)分别表示像素点A与第i个特征点Si之间的灰度距离和空间距离.特别地，当Dgray(A,Si)+Dspatial(A,Si)=0时，令1/(Dgray(A,Si)+Dspatial(A,Si))=1.Dgray(A,Si)和Dspatial(A,Si)由式(8)计算

(8)

在输入图像中，任一像素点只能属于目标或背景，因此像素点属于背景的先验概率P(B)为

P(B)=1-P(T).

2.2.2 似然函数的计算

与先验概率类似，对于任一像素点A，其似然函数也有两种类型，分别为P(A|T)和P(A|B).

P(A|T)表示在已知目标区域的情况下像素点A属于目标的概率.如图3所示，首先，根据初级显著图得到输入图像的估计目标区域；然后，搜索估计目标区域中灰度值为该区域所有灰度值中位数的像素点Tmd；最后，计算像素点A和Tmd之间的相似度，得到像素点A的目标似然函数P(A|T).同样地，A和Tmd之间的相似度计算考虑了其灰度距离和空间距离.P(A|T)的计算公式如下

(9)

式中，Dgray(A,Tmd)和Dspatial(A,Tmd)分别表示像素点A与灰度值为估计目标区域中所有像素的灰度值中位数的像素点Tmd之间的灰度距离和空间距离，计算方式如下

(10)

P(A|B)表示在已知背景区域的情况下像素点A属于背景的概率.类似地，首先，根据初级显著图获得输入图像的估计背景区域；然后，搜索估计背景区域中灰度值为该区域所有灰度值中位数的像素点Bmd；最后，计算像素点A和Bmd之间的相似度，得到像素点A的背景似然函数P(A|B).考虑到图像中的背景区域通常比较分散，在计算像素点A和Bmd之间的相似度时，仅考虑像素点A和Bmd之间的灰度距离，而未考虑空间距离，即

(11)

其中，Dgray(A,Bmd)表示像素点A与估计背景区域中灰度值中位数像素点Bmd之间的灰度距离.

2.2.1 最终显著图计算

利用两个先验概率P(T)、P(B)和两个似然函数P(A|T)、P(A|B)，利用贝叶斯公式计算像素点A属于目标的概率P(T|A)，如下式：

(12)

按照上述步骤处理图像中每个像素点，得到图像中各像素点属于目标的概率分布，即为输入图像的最终显著图.

3 实验及结果

选择SUN[21]，FS[22]，SeR[23]，LC[24]，RC[25]，RST[26]和DS[27]七种算法作为对比算法，与所提出的基于双层视觉注意模型的面目标检测算法进行对比实验.采用受试者工作特性(receiver operating characteristic, ROC)曲线[28]对算法的目标检测性能进行评估，ROC曲线可直观地显示不同虚警率(false positive rate, FPR)下对应的检测率(true positive rate, TPR)值.同时，利用ROC曲线对应的曲线下面积(area under curve, AUC)值[29]对目标检测性能进行定量评估，AUC值为ROC曲线所覆盖的区域面积，即在坐标轴中处于曲线下方部分的面积.

利用所提出算法和7种对比算法对八幅实验图像进行目标检测，得到如图4所示结果.

图4 典型复杂背景图像的目标检测对比结果Fig.4 IR saliency detection results of eight methods

如图4所示，7种对比算法中，SUN能够检测到目标的位置，然而其检测结果的轮廓较为模糊，且丢失了内部细节；FS仅能检测到部分图像中目标的轮廓；SeR仅能检测到部分图像中目标的大致位置，且噪声抑制能力较弱；LC的结果相对较好，但是噪声抑制能力同样较弱；RC、RST和DS算法的检测性能相对较好，然而仅对部分图像具有较好的检测效果(如RC对图像(h)、RST对图像(e)和DS对图像(c)，(f)，(g)，(h)的检测结果较差).所提出的基于DL视觉注意模型的面目标检测算法不仅可以有效地降低噪声并增强图像对比度，而且可以保留完整的目标轮廓，总体性能优于7种对比算法.

图5为7种对比算法和所提出算法对8幅实验图像的面目标检测结果进行评估得到的ROC曲线图，表1所示为对应的AUC值.

图5 基于典型复杂背景图像的ROC曲线对比结果Fig.5 ROC curves of the eight methods

表1 基于典型复杂背景图像实验结果的AUC值Tab.1 AUC values of the proposed and comparison methods

为了验证所提出算法的鲁棒性，本论文采用公共数据集进行了对比实验.选择来自 OTCBVS Benchmark Dataset Collection中的3个红外图像数据集作为实验对象，包括 Dataset 01: OSU Thermal Pedestrian Database，Dataset 05: Terravic Motion IR Database(部分使用)和Dataset 06: Terravic Weapon IR Database.表2中列出了这3个数据集的详细信息.

表2 实验所用数据集信息Tab.2 Details of three datasets in the experiment

图6示出了8种方法对来自上述数据集的4个代表性图像的检测结果，如图6所示，7种对比算法中，SUN和SeR能够检测到红外目标的大致位置，然而检测结果的轮廓模糊；FS仅能检测到部分图像中目标的部分轮廓，检测效果较差；LC和RC的检测结果相对较好，但噪声抑制能力比较弱；RST和DS的检测性能不稳定.所提出的基于GCF-SB模型的红外显著性目标检测算法不仅能有效降低噪声、增强对比度，而且可以保留目标轮廓的完整性，总体性能优于7种对比算法.

图6 基于数据集的显著性目标检测对比结果Fig.6 IR saliency detection results of eight methods of theexperiment using datasets

图7和表3是相应的接收机工作特性(ROC)曲线和曲线下面积(AUC)值.

图7 基于数据集的ROC曲线对比结果Fig.7 ROC curves of the eight methods based on the three datasets

表3 基于数据集实验结果的AUC值Tab.3 AUC values of the proposed and comparison methods of the experiment using datasets

由图7和表3同样可看出：对于所有实验图像，FS算法的AUC值都很小，平均值仅为0.5918；LC、RC、RST和DS算法的AUC值不稳定，对于图像(b)，LC、RC和DS的AUC值仅为0.6341、0.5664和0.7935，对于图像(c)和(h)，RST的AUC值仅为0.7551；SUN和SeR算法的性能相对较好，且AUC值稳定在较高水平，分别为0.8611和0.9674.相比七种对比算法，所提出的算法具有最高的平均AUC值(0.9729).同时，对于所有的实验图像，所提出算法得到的AUC值均处于较高水平.

4 结 论

本论文提出了一种基于GCF-SB视觉注意模型的红外显著性目标检测算法.该算法通过GCF模型进行图像的初级显著图提取，输入图像在灰度通道和对比度通道中并行处理，得到输入图像的灰度特征图和对比度特征图，然后通过特征融合获得初级显著图；通过SB模型提取图像的最终显著图，根据初级显著图计算目标部分和背景部分的先验概率和似然函数，然后利用贝叶斯公式计算最终显著图，从而实现图像的目标检测.实验结果表明，所提出算法不仅能突出目标轮廓，抑制背景杂波，而且能保持目标轮廓的完整性，最终实现高检测精度和鲁棒性的红外显著性目标检测.