复杂场景下的猫眼目标快速识别方法

陈文龙,张来线，孙华燕，郭惠超，王明乾

(1.航天工程大学 电子与光学工程系， 北京 101416； 2.航天工程大学 研究生院， 北京 101416)

1 引言

目前军事，生活中常用的光电装备由于其光学系统对入射光线有很强的原路返回特性，这种特性称为“猫眼”效应，具有该效应的光电目标称为猫眼目标。猫眼目标识别是一个重要的问题，其广泛应用于无源光学系统的识别，目前在反侦察、反狙击、酒店反窃视等安保应用领域中都发挥着很重要的作用。在复杂场景中检测猫眼目标存在着诸多难点，如行人走动、背景变化、光照变化等，使得背景中存在大量噪声，这种情形下检测猫眼目标十分困难，误报率很高。国内外针对这一技术难题进行了大量研究与探索。

目前，利用激光主动探测技术识别猫眼目标是热门的研究领域，也是主要探测手段之一。相比国内，国外在此领域研究起步很早，已经研制了多种成熟的光电探测设备。如英国研制的ELLIPSE反狙击手激光检测设备，法国的SLD系列的狙击手探测装置。在国内，同兰娟等根据猫眼目标的特征提出基于圆度和偏心度识别方法；李丽等提出的猫眼目标快速识别方法与任熙明等人提出的形频对偶准则方法相比虽然提高了算法速度，减少了算法所需的图像数量，但识别速度仍然比较长。针对复杂场景的识别问题，王兴宾等提出的基于视觉显著性的猫眼目标识别方法与王喆堃等提出的基于OFSD配准算法的猫眼目标识别方法在算法速度和精度上有所提升，但都只能识别一个真实目标。基于传统的图像处理算法识别猫眼目标有其局限性，在算法精度和速度上难以平衡。随着近年来深度学习的不断完善发展，陆续有学者使用卷积神经网络来检测猫眼目标，如柯学结合了机器学习和深度学习方法识别隐蔽相机，Liu等提出利用分类网络检测室内微型相机，但是他们在检测速度和检测距离上有所缺陷难以得到应用。关键问题是由于猫眼目标在图像中所占像素过少的原因，仅利用深度学习目标检测算法识别猫眼目标效果较差，而传统图像处理算法由于其局限性又难以兼并速度与精度。如何在复杂环境下准确剔除假目标，并快速稳定识别真实目标是一个急需解决的问题。

因此针对上述问题，本文中利用了猫眼目标的显著性特征与孪生网络的相似性检测原理，通过传统图像处理方法与深度学习方法相结合的思路提升算法精度与检测速度。相比于传统图像处理方法，该方法大大减少了检测时间，同时也提升了识别准确率，该方法可满足实际复杂场景中的实时性检测。

2 本文算法

本文算法流程如图1所示。先对主被动图像进行图像预处理得到差分图像，然后使用显著性检测方法来增强差分图像中的猫眼目标；通过阈值分割在显著图中找出候选区域并将该区域返回差分图像，对其候选区域使用综合形状度量值进一步判别得到候选目标区域；最后，利用本文中改进的基于SKNet21的孪生网络对差分图像中的候选目标区域进行猫眼目标识别，提取真实的猫眼目标。

3 改进的孪生网络

3.1 孪生网络与猫眼目标识别的联系

孪生网络简单来说，是用神经网络来判别2个输入的相似程度，输出为相似度数值。例如它将2个图像分别输入到2个卷积神经网络中，通过Loss的计算，可以比较出2个图像的相似程度。对于猫眼目标识别任务来说，计算图像中候选目标区域与猫眼目标的相似程度可以判断该区域是否为真实目标，这与传统的猫眼目标识别问题类似，为解决猫眼目标识别问题提供了新的思路与途径。

图1 本文算法流程框图

3.2 基于全卷积残差网络模块的孪生网络

本文中采用的网络模块结构如图2所示，该网络借鉴了一种改进的残差网络，即SKNet。其模型可以根据输入信息的多尺度自适应地调整感受野的大小并选择对分类有效的感受野捕捉到的信息。

图2 SKNet模块结构示意图

表1 SKNet21网络结构

为了达到算法处理的快速高效，同时降低网络参数与计算量，本文中将SKNet模块构建成21层，即SKNet21,孪生网络结构如图3所示。网络采用3通道的候选目标区域作为输入，输入大小为105×105，经过2个SKNet21网络后，将得到的2个多维特征展开成一维向量，将这2个一维向量进行相减再进行绝对值求和，相当于求取了2个特征向量插值的1范数。接着对其结果进行2次全连接，全连接的输出为一个神经元，最后对其结果取Sigmoid，使其值在0～1，代表2个输入图片的相似程度。网络预测推理时，输入与分别是猫眼目标样本与差分图像中的候选目标区域。

图3 本文孪生网络结构框图

4 图像预处理及显著性区域检测

4.1 图像预处理

为了尽可能消除图像噪声，需对实验采集的原始主动和被动图像进行形态学处理，而Tophat变换可以起到抑制背景且增强目标的作用。由于猫眼目标的形状并不是严格的圆形结构，因此本文中进行形态学处理时选取椭圆形状的结构元素。

设经预处理后的主被动图像分别为和，其灰度图像尺寸大小为×，设是主动图像与被动图像的平均灰度差，如式(1)所示：

(1)

采用图像差分方法消除主被动图像的背景平均灰度差过大的影响，图像差分运算如下式：

=-(+)

(2)

4.2 图像显著性检测

差分图像中存在少许的虚警点，这些虚警点主要来自于图像背景中的斑点状强噪声和强边缘特征。因此，为了抑制这些难以去除的虚警，降低其对猫眼目标识别的影响，有必要引入图像显著性特征检测。由于图像背景复杂多样，但经过图像差分后的猫眼目标在图像里非常显著，即猫眼目标与局部邻域之间具有较高的对比度，从而具备显著性。

在众多的显著性检测方法中，光谱残差(spectral residual,SR)方法具有较低的计算复杂度，无需先验知识就能进行显著性检测。SR方法可以很好的滤除背景中的冗余，保留并突显目标。因此，该方法能使猫眼目标在图像中得到进一步增强，本文中简要表示采用PFT计算显著性区域的过程，公式如下：

A(f)=R([(,)])

(3)

()=I([(,)])

(4)

=log(())

(5)

()=()-()*()

(6)

(,)=(,)*[exp(()+())]

(7)

式中，(,)表示差分图像，[·]和[·]分别为傅里叶变换和傅里叶逆变换，R和I分别是取傅里叶变换的振幅和相位，()和()分别为幅值和相位，()为幅值()的对数谱，()为谱残差，()和(,)分别为二维的均值滤波器和高斯低通滤波器(=15)，为了突显及保留目标的形状轮廓，其滤波器大小分别为3×3和5×5，为显著图。

4.3 猫眼目标特征判别

在得到显著图后，先对显著性区域进行粗检测。为了防止阈值过高导致候选区域出现过度分割、猫眼目标特征不明显的情况，将阈值设置为160，该阈值也能减少后续识别的可疑区域。最后，把以粗候选区域为中心的20×20区域作为候选区域。对于猫眼目标来说，仅是判断灰度值是否足够大还不够，还要看其候选区域是否符合猫眼目标的其他光学特性。除了猫眼目标的亮度特性外，反射光斑的形状也具有鲜明的特征。它在图像中的表现为实心且近似圆形，可以依据反射光斑的这种形状特征判别真实目标。猫眼目标的形状特征选取综合形状度量值作为判别准则，只需对显著图中的全部候选区域进行圆形度的计算，计算时间增加很少，可忽略不计。本文圆形度的计算公式如下：

(8)

式中，为等效直径，是面积与轮廓面积相等的圆的直径，为轮廓的面积，其中，的计算公式如下：

(9)

则本文综合形状度量值的计算公式如下：

=|-1|

(10)

当候选区域中的轮廓形状为理想的圆形时，综合形状度量值的理想值应为0。经实验证明，在计算时，的值应设为030，小于等于该值即可视为是候选目标区域。最后，使用本文提出的孪生网络对差分图像中的候选目标区域判别，提取真实猫眼目标。

5 实验结果及分析

5.1 猫眼目标图像数据集

对每次实验采集到的每个场景的猫眼目标区域进行裁剪，裁剪的目标图像总数为6 850，同时也在所有主动图像中裁剪出各种虚假目标样本图像13 000张，裁剪大小为20×20。为了丰富数据样本，根据猫眼目标的特性构建猫眼目标样本，在所有场景的被动图像中随机裁剪出大小为20×20的背景图像用以构造猫眼目标图像，为了使构造的目标图像更具真实性，限定了裁剪的背景图像的平均灰度，范围在[80,120]。当目标与成像探测器距离较远时，其辐射特性接近一个点源，在图像中呈类高斯状，可以用一个二维高斯函数来模拟，如式(11)所示：

(11)

图4 部分猫眼目标图像

5.2 实验设置及评估指标

搭建了文献[6]的猫眼目标探测激光成像系统采集主被动图像。图5为探测系统结构框图，其中包括一个CCD工业相机，一个波长为532 nm的激光器，工业相机所采集的图像尺寸大小为640×480。利用构建的猫眼目标数据集对网络进行训练，数据集总共26 000张图像，包含猫眼目标图像和虚假目标图像，随机选取20 800张作为训练集，5 200张作为测试集。实验使用开源框架pytorch构建基于SKNet21的孪生网络，实验环境是Inter(R)Core(TM)i7-9700F CPU@3.00 GHz，GPU内存为12GB 的GTX TITIAN XP，系统内存为64GB的Windows10操作系统。网络训练采用带动量的SGD优化器，交叉熵损失函数BCELoss，动量设置为0.9，初始学习率设为0.001，每隔10代下降到原来的0.92，每次学习的训练样本为30，总共迭代80代。训练结束后，将评估结果最好的一次作为最终模型保存。实验测试平台为Windows10操作系统，CPU为Inter(R)Core(TM)i5-7300U CPU@2.71 GHz，运行内存为8 GB的笔记本电脑。

图5 猫眼目标激光成像探测系统结构框图

准确率和虚警率是评估猫眼目标识别方法性能的重要指标，用于评价算法的检测能力，二者定义为：

(12)

式中:表示检测到的真实目标数量，表示所有真实目标的总数，表示检测到的虚假目标数量，表示所有测试图像中检出目标的总数。

5.3 图像预处理

使用本文方法对原始图像预处理的实验结果如图6所示，图6(a)中的猫眼目标用红色方框标记。从图中可以观察出，经过预处理后，图6(b)中的猫眼目标相对于背景来说仍然显著，而图中大部分背景已经被抑制，其背景灰度值很低。这说明了使用图像预处理能很好的增大猫眼目标的对比度，同时有效减少了一些假目标区域。

图6 图像预处理实验结果

5.4 有无显著性检测分析

为了评估图像显著性检测机制在本文算法中的作用，在有无显著性检测方法的情况下对本文算法的检测性能进行了评估。

检测性能参数如表2所示，结果表明，在不含显著性检测方法下，检测率和误报率都更高。这是由于猫眼目标特征判别时容易将差分图像中的斑点状强噪声和强边缘特征等误识别为猫眼目标进而造成虚警，而显著性检测方法有利于对这些虚警进行有效抑制。显著性检测结果如图7(b)所示，从图中可以看出，猫眼目标在图像中被显著增强，同时背景被有效抑制，这说明本文方法的有效性。

表2 有无显著性检测时的检测性能参数

5.5 网络结构分析

为了验证本文网络中SKNet模块相比其他模块的优劣，实验中选择了ResNet、SENet、以及Res2Net一共3个模块，并分别构建相对应的孪生网络进行训练，将保存下来的模型结合本文所提的识别方法分别对260帧主被动图像进行测试，并分别比较其准确率、误报率以及运行速度和模型大小。

图7 显著性检测结果图

检测性能参数如表3所示，从表3可看出，虽然SE-ResNet21网络的检测率很高，但是它的检测时间最长且模型最大，并不适合实时性检测和模型部署应用，而本文采用的SKNet21对于猫眼目标的检测性能较好，在保证高检测率的同时模型最小，运行速度最快，误报率最低，其各方面表现都较好。

表3 不同网络结构的检测性能参数

5.6 不同算法的检测结果和性能比较

为了测试所提出方法的检测性能，对所提方法进行验证，并与文献[8]方法进行了比较。实验的图像是在2种不同条件的典型场景下采集的。在猫眼目标附近增加了具有高反射率的贴纸作为干扰并随猫眼目标一起被激光照射，所有图片均在早上、中午和黄昏拍摄的，检测设备与目标之间的距离在2个场景的距离分别约为80 m和130 m。

本文方法与文献[8]方法的检测结果如图8所示，图8(a1)和图8(a2)是在不同背景下，其中图8(a2)是在动态背景下。2个场景分别是在树林中和有行人和汽车的过道上，其中(a1)(a2)是2幅含有猫眼目标的原始主动图像，(b1)(b2)是基于本文方法的目标识别结果图，(c1)(c2)是基于文献[8]方法的目标识别结果图，红色矩形框标记的为最后识别出来的目标。

从图8(c1)(c2)中可以看出，在无法完全滤除干扰目标时，文献[8]的方法无法正确识别出猫眼目标，而且在图像中出现2个猫眼目标时，该方法只能识别出一个目标；通过图8(b1)可以看出，本文提出的方法不仅能滤除掉绝大部分的虚假目标，且对于无法去除的高反射率的虚假目标，通过猫眼目标特征判别以及本文提出的孪生网络可以很好地识别出真实猫眼目标。图8(b2)的结果说明了本文方法不仅可以很准确识别动态背景下的真实目标，而且能识别场景中的多个目标。

图8 本文方法与文献[8]方法检测结果图Fig.8 Comparison results between Ref.[8]and our method

为了定量评价，进一步证明本文方法的优越性，选取了260张主被动图像帧序列进行测试。将本文方法与文献[8]方法以及文献[12]的方法进行检测性能对比，如表4所示。结果表明，本文方法能在复杂场景下具有更高的准确率和较低的误报率，而测试多轮该图像帧序列后，在2张主被动图像的处理上平均用时约为0.26 s，远快于文献[8]方法。此外，从表4中可看出本文方法也比文献[12]90.37%的准确率要高。

表4 3种方法的检测性能参数

6 结论

本文提出并验证了基于孪生网络与视觉显著性的猫眼目标识别方法，主要包括图像预处理、显著性检测与孪生网络判别等步骤。实验结果表明，本文方法能有效对背景进行抑制，使用孪生网络能排除图像中的高反射率虚假目标，本文方法准确率较高，在复杂环境中能够准确识别出多个猫眼目标，识别速度更快，能够满足实时性要求。本文方法将猫眼目标识别问题与孪生网络联系在一起，提供了新的思路与途径，也克服了在激光主动探测系统中使用深度学习方法的局限性。在未来研究中，可以针对硬件部署对网络结构与算法进行优化设计，并可以就卷积神经网络与传统检测算法的结合展开研究。