机载复杂场景下的低虚警红外目标检测

2022-01-20杨德振喻松林冯进军李江勇王礼贺

光学精密工程 2022年1期

杨德振喻松林*冯进军李江勇王礼贺

机载复杂场景下的低虚警红外目标检测

杨德振1，2，喻松林1*，冯进军2，李江勇1，王礼贺1

（1.华北光电技术研究所，北京 100015；2.北京真空电子技术研究所，北京 100015）

机载红外光电探测系统进行下视复杂场景目标探测时，地面虚警干扰源同弱小目标在空间分布上一致，传统算法会导致大量虚警。因此，提出一种基于运动目标特征的多维度特征关联检测算法。该算法首先对复杂场景进行特征点检测，引入基于相对速高比的跳帧机制，对经过图像配准的帧间图像进行差分处理检出候选目标。同时，结合基于核相关滤波的目标相似度方法进行多维多帧关联，进一步抑制虚警并确认目标。实验结果表明，在载机速高比大于30 mrad/s、系统帧时小于10 ms的机载环境下，该算法的平均检测率达到99.13%，虚警率降至105。该方法在多种机载复杂场景下得到验证，适合流水并行运算操作，满足工程实践需求。

目标检测；机载环境；运动目标特征；核相关滤波；虚警抑制；并行流水操作

1 引　言

近年来，红外目标检测在机载电子领域的作用愈加突出。机载场景下目标分辨率低，可利用特征少，而且应用场景复杂多变，尤其是下视对地目标探测中，背景中涵盖山川、海面、建筑等辐射源，复杂云层背景边缘等，背景信息干扰大，极易产生虚警［1］。在军事领域最大限度地抑制虚警，提供精确目标信息，才能实现复杂环境下的“先敌发现、先敌打击”。因此，实现机载复杂场景下的低虚警有效探测成为红外目标探测领域的研究重点。

近年来涌现出几类优秀的目标检测算法，Top-Hat［2］形态学滤波目标检测是通过形态学特征进行卷积运算，提取潜在目标并抑制背景；基于低秩稀疏红外块图像［3］（IPI）的弱小目标检测算法将目标检测转换成低秩恢复和稀疏矩阵优化的数学问题；显著性局部对比度［4］（LCM）的算法是通过计算图像局部对比度来获取显著性区域，采用多尺度对比度提升检测的鲁棒性；基于相位相关差分相乘［5］（PC-DM）的运动目标检测方法，采用求互功率谱的反傅里叶变换极值来估计帧间偏移量，多帧差分图像相乘得出目标位置。以上红外弱小目标检测算法均能较好地检测目标，然而在抑制复杂背景的虚警能力方面，Top-Hat形态学滤波和LCM无法区分地面亮斑和弱目标的差异，极易产生虚警；基于IPI模型的目标检测算法在将每个图像块矢量化为一列像素的过程中，像素间的结构信息丢失导致难以准确估计目标；PC-DM虽然采用帧间相消去除复杂背景杂波，但相邻帧差分没有考虑目标的机动特性，目标的不规则运动容易导致差分结果失效，进而产生虚警。针对下视常见的虚警干扰源，结合地面和云层虚警源在相邻帧的空间一致性，即相对移动较固定的特点，本文基于载机与目标机的相对速高比引入跳帧机制，采用运动目标模型提取候选目标，结合多维度特征关联确定目标的方法进行低虚警红外目标检测。

2 弱小目标和背景干扰源分析

机载环境下视的典型背景多为复杂背景，复杂场景及传统目标检测算法的实现结果如图1所示。

图1　传统算法的目标检测效果

根据国际光学工程学会（SPIE）的定义，目标尺寸占用整幅图像尺寸在0.1%左右［6］、目标图像对比度占整幅图像（16位）对比度大约为0.15%即为弱小目标。背景干扰源又称为虚警源，信号处理领域常用杂波来定量地表征这些背景干扰对目标探测性能的影响。图2为几类典型虚警源与弱小目标的灰度分布，虚警源包括地面高亮背景与辐射源、复杂云层的背景边缘和系统盲闪元。

图2　弱小目标与常见虚警源灰度分布比较

众所周知，弱小目标的空间分布灰度函数近似为高斯分布。从图2可以看出，典型的地面虚警源也符合类高斯分布，而传统目标检测算法主要利用目标辐射灰度分布特性或者几何特性来分类并提取目标，采用的方法包括基于空域、频域、形态学的滤波、背景估计、人类视觉系统（HVS）、卷积神经网络等［7］。然而在下视对地复杂场景下，以上方法在抑制虚警上的表现往往差强人意。针对军事快速移动目标的特殊性，本文从目标运动模型出发，采用跳帧差分检测的方式进行目标预提取，以达到抑制地面大量自辐射和反射虚警源的目的。

3 关键算法

本文提出的红外弱小目标检测主要包括目标分割和目标关联两大部分，具体流程见图3。针对机载环境的载机运动和目标机运动特性，本文首先对局部区域进行Harris［8］角点检测提取背景特征点，同时引入基于载机、目标机相对速高比的跳帧机制进行帧间差分，接着基于KLT［9］光流法进行前后序列帧图像的背景匹配，结合Ostu对图像进行阈值分割得出潜在目标及其位置、大小、图像模板等前景信息。在目标关联部分，引入多帧关联，并采用CSK相似度［10］、目标尺度、速度度量等多维度特征进行目标关联。随着关联数量的增多，移动目标的置信度越来越大，关联数量达到特性阈值的潜在目标为极可能目标，最后经过盲元剔除算法最终输出目标信息。

图3　红外弱小目标检测算法流程

3.1　目标分割

目标分割算法的目的是从图像中将疑似目标从背景中分割出来，在经过二值化处理后获取潜在目标区域的信息。本文提出的算法先采用基于Harris的角点检测方法进行多点校正，接着利用KLT光流法确定帧间背景图像偏移量。为了在载机做大机动动作、光电探测设备摆扫和目标机前后帧间静止或者缓慢运动时防止固定帧差法失效［11］，采用基于相对速高比的跳帧机制进行背景差分。利用改进的三帧差分法对经过偏移量补偿的帧序列进行做差求与，消除差分图像移动弱小目标区域的“空洞”和“鬼影”现象［12］。最后，结合形态学滤波与Ostu算法进行自适应阈值分割得出目标前景信息。

311基于相对速高比的差分跳帧机制

帧差法对帧序列中连续的两帧或者多帧图像进行逐像素做差，提取差分图像的极值点，一般就能检测出移动目标［13］。而机载环境下，载机和目标机都有极强的运动性，导致目标在红外焦平面的像移速度不确定，采用固定间隔的帧差无法有效提取运动目标。针对这一问题和算法的实时性要求，本文提出了基于相对速高比的差分跳帧机制。跳帧机制根据载机和目标机的空间关系和目标运动特性来动态确定前后差分图像的帧差数。跳帧机制的引入有如下优点：

（1）隔帧或者隔多帧检测，差分对象为当前帧与前某一帧，可降低算法的实时性要求；

（2）在预处理阶段对噪声多的帧跳过，不执行差分和后续关联，可提升算法速度与关联效率；

（3）结合机载环境和系统伺服信息对算法进行帧差调整，可提升图像匹配的成功率进而提高算法的自适应性。

本算法提出的跳帧机制结合了红外探测系统成像机理和目标相对运动模型，经过分析，影响图像匹配的因素有：红外探测系统载机的速高比、载机与目标机的相对速高比，红外探测系统的摆扫速度、焦距、像元尺寸和系统帧频，以及探测目标尺寸和移动目标的速度［14］。

考虑下视高速移动目标在像面上的移动速度，有：

即：

结合实际导航数据，带入载机速高比、系统帧时、红外焦平面像元参数，可自适应地切换差分跳帧值。图4为载机进行大机动瞬间连续帧序列算法的预处理结果。通过本研究采用的跳帧机制与固定跳帧帧差法的效果对比可以发现，固定跳帧帧差法的差分结果出现很多虚警，而且差分后目标消失；基于相对速高比的差分跳帧法能有效提取高速运动目标区域，同时最大限度地抑制虚警。

312改进的Harris角点检测

由Harris角点检测［15］定义，首先采用高斯窗在图像上平移，计算平移后像素灰度值的变化程度，得到：

其中矩阵为：

Harris角点检测通过对比矩阵的两个特征值，当两个特征值都大于阈值则认为图像在这一点上的灰度和曲率均有较大变化，即为角点。令为角点响应值：

（1）针对Harris角点检测在噪声中敏感的缺陷，在角点检测之前预先进行了图像降噪处理。

（2）为提高运算速度，采用LOCOCO［16］算法减少工作量，引入积分图像减少高斯梯度和角点响应值的计算；引入图像块最大值替代在非极大值抑制（NMS）中逐点排序；每帧图像仅提取20个角点。

（3）为了避免在跟踪阶段对目标区域进行角点匹配和减少杂散光成像干扰，并进一步提高运算速度，只针对特定区域进行角点检测。

角点检测结果是选取特征最强的多个角点，一旦找到当前帧图像的多个角点就进行差分操作，得出机体运动和系统抖动引起的光流偏移量。

313基于KLT光流法的图像配准

KLT光流算法［17］是光流法领域经典的目标跟踪算法，常用于绘制运动目标的跟踪轨迹，本设计采用KLT光流法获取前后帧下视背景的偏移量。采用光流法有三个假设前提：

（1）背景特征点的亮度恒定；

（2）特征点的运动偏移矢量足够小；

（3）背景中的点具有空间一致性。

这里介绍Lucas和Kanade［18］的KLT光流法的原理：假定光通量在相邻帧中对相同特征点具有恒定强度，利用一阶近似泰勒级数展开，有：

其中：

在算法实现中，为进一步提升算法速率，本研究引入了三层金字塔下采样方法来减少遍历时间；针对偏移量为小数的情况，采用线性双插值算法在行列像素上逼近。

3.2　目标关联

高帧频红外探测器的一个帧频周期往往只有几毫秒，除了快速移动的弱小目标，其他干扰源因为空间关系固定几乎不会有位移，在场景校正时已经对其进行剔除。常用的目标关联方法有灰度和显著性的相似度、基于目标形状特征、基于空间坐标的关联度等方法。本文采用的目标关联算法将近年来兴起的CSK目标跟踪算法［19］应用到目标关联中。

321基于核相关的CSK目标相似度判定

弱小目标在相邻帧或者临近帧具备目标尺度不变性，基于速高比的跳帧机制保证了临近帧目标位移量为当前帧目标的检测邻域。因此，采用基于核相关滤波的目标关联算法能有效保证目标检测的稳健度。信号处理中常利用卷积实现离散信号的傅里叶变换，CSK核相关滤波算法结合岭回归，采用循环移位矩阵对角化将图像从空间域转换到频域进行运算，在保证检测和跟踪精度的前提下降低了运算复杂度，便于硬件实现。

322基于多维度特征的目标关联

传统的目标关联算法需要同时满足多个条件才符合目标关联度的判定，类似于分类中的多层决策树，通过训练获取最优分类器阈值。然而，将算法设计成多个阶段实现会降低低虚警检测的鲁棒性，一旦一个阶段有错误会影响最终的虚警抑制性能。因机载环境背景变化迅速、目标机机动性能高、太阳光照剧烈等因素影响，多个特征可能会存在突变，本文采用多维度特征关联的方法，结合目标帧间位移量、目标尺寸和基于CSK核相关滤波的目标相似度作为判定准则。

假设相似度为最终目标判定标准，则：

经过以上步骤，算法实现了前后帧目标关联。为实现低虚警，引入了多帧关联算法，将本帧预选目标与之前多帧目标进行关联，当关联数大于阈值，在排除盲元的前提下则确信为本帧图像的目标。

4 实验结果与分析

本文采用所提低虚警红外目标检测方法对机载下视复杂场景序列进行仿真；在两个红外数据集上，同其他优秀红外目标检测算法进行定性和定量的比较分析。

4.1　低虚警目标检测方法实现结果

本文提出的下视复杂背景弱小目标检测算法各分模块的预处理结果，如图5所示。首先，对经过跳帧机制选取的前后帧滤波图像进行Harris［9］角点检测，通过背景特征点进行匹配得出前后帧偏移量，角点检测结果如图5（a1）和图5（a2）所示；图5（b）是前后帧图像场景校正后的差分结果，理论上差分图像除了目标位移部位外其他像素点均为零值，但因受光照与大气扰动、系统光学串扰、探测器暗电流噪声和图像配准误差等因素的影响，差分图像存在起伏杂波；针对移动目标差分后的正负偶子特性采用三帧差分算法，结合形态学和Ostu进行杂波抑制，结果如图5（c）所示；图5（d）展示了多帧目标关联原理；基于CSK目标相似度计算得出的检测结果如图5（e）所示。仿真结果可以看出，本算法能准确检测出目标并有效抑制虚警。

图5　本文算法关键模块预处理结果

4.2　低虚警目标检测方法对比与分析

国内外弱小目标检测大多采用网上开源数据集进行仿真和分析，但开源红外小目标数据集与实际机载试飞中采集的下视对地数据差异较大。为有效解决机载环境下存在的对地虚警问题，同时对提出的算法进行全面客观地评估，这里分别对5个开源红外小目标序列和实际采集数据进行了仿真验证，选取基于低秩稀疏的红外块图像（IPI）、基于Top-Hat形态学滤波、基于显著性的局部对比度（LCM）等近年来红外弱小目标检测领域的优秀算法进行比较［21］。

图6　基于红外小目标开源图像的算法结果对比

对上述几种算法在红外小目标开源序列进行了仿真复现，结果如图6所示。可以看出，开源红外序列背景杂波较少，信杂比较高，在开源的序列场景下，除了LCM算法在海天交接场景（序列2）出现漏检，其他算法均能有效检出目标。

然而，本文旨在研究机载复杂背景环境下低虚警目标的探测方法，目前国内外研究中虚警率最高、虚警抑制难度最大的就是对地下视的复杂场景目标检测，显然红外小目标开源图像序列的背景不在这一范畴内。为验证本文算法的性能，从实际机载红外探测系统获取的大量数据中挑选多组典型复杂背景视频建立数据集并进行测试，选取序列涵盖了多种复杂背景、多个红外波段、目标尺度变化、载机机动、不同速高比等场景，直观的复杂场景高虚警序列如图7所示，具体参数见表1。其中序列1，2，3，4为下视对地背景，序列5，6为下视对空云背景。为了表征抑制虚警难度，图中展示了基于时空卷积神经网络［22］的红外目标检测算法的硬件实现效果。

基于上述构建的机载红外目标数据集，分别采用本文设计的算法与基于Top-Hat形态学滤波、基于低秩稀疏的红外块图像（IPI）、基于显著性的局部对比度（LCM）、基于广义结构张量（GST）的弱小目标检测算法对实验结果进行定量分析；为了进一步显示所提的算法与其他差分算法的区别，同时引用基于相位相关和差分相乘（PCDM）的红外目标检测方法进行对比。

图7　机载下的红外高虚警序列集示例

评价指标有背景抑制因子BSF、局部信杂比增益SCRg［23］、检测率D和虚警率fa［24］。需要说明的是，每个序列样本量为表1中的帧数，以下图表计算的参量是红外高虚警序列集的每一个连续帧系列的统计平均值，因差分算法经过形态学滤波抑制杂波效果显著，统计时为方便量化，当本算法的背景抑制因子出现无穷大的情况则按照次优值统计，虚警率的统计标准为每十万帧出现虚警的个数的均数。

表2为不同算法在机载红外高虚警序列集的抑制因子BSF，表3为不同算法在机载红外高虚警序列集的局部信杂比增益SCRg。可以看出，本文提出的算法在绝大部分验证集中表现优异，能抑制背景杂波干扰，显著提高目标信杂比。

表1机载红外复杂背景数据集

Tab.1　Complex background airborne infrared data set

表2不同算法背景抑制因子（BSF）对比

Tab.2　Comparison of BSF of different algorithms

图8为不同算法在机载红外高虚警序列集的检测率D。分析可知，本文算法在前5个序列集的检测率最优；序列6的检测率下降到92.13%，是因为光电系统在大范围搜索过程中云层背景变化，出现了短暂无云干净背景，难以提取背景特征点；序列3和序列5受太阳辐射的影响和探测器动态响应调整，出现暗目标，Top-Hat、LCM、IPI等算法的鲁棒性不足，基于差分的算法则不受影响。

图9展示了不同算法在机载红外高虚警序列集的虚警率fa。显然，相比于其他算法在下视复杂背景动辄上千的虚警个数，本文提出算法的虚警个数始终保持在个位数，虚警率小于105。同时，两种基于背景差分的弱小目标检测算法在下视对地复杂背景下抑制虚警的能力更强，但基于相位相关的背景差分算法在载机出现大机动时的自适应性能不佳，出现大量虚警。

表3不同算法局部信杂比增益（SCRg）对比

Tab.3　Comparison of SCRg of different algorithms

图8　不同算法的检测率对比

图9　不同算法的虚警率对比

5 结　论

本文针对机载环境下视复杂场景下红外弱小目标检测虚警率高的问题，提出了基于运动目标模型的低虚警红外目标检测方法。通过基于相对速高比的跳帧帧差方法、改进的Harris角点检测、基于KLT光流法的图像配准得到抑制地面杂波虚警的预选目标；通过基于核相关滤波的CSK相似度判定，结合多维度特征关联和多帧关联，在保证检测率的前提下，对地面亮斑、复杂云层背景边缘和杂波噪声等典型虚警源进行抑制。仿真结果和飞行实验数据表明，所提出的方法在机载红外高虚警序列集性能最优，在不同机载环境、多种复杂背景下仍能有效检测出红外弱小目标，平均检测率达到99.23%，虚警率降至105。本文算法在JFM7VX690T现场可编程门阵列与FT-M6678多核数字信号处理器的国产平台框架下实现硬件移植，满足高帧频的应用需求，为机载环境下低虚警红外弱小目标检测提供了一种新思路。

［1］ DONG L L， WANG B， ZHAO M，. Robust infrared maritime target detection based on visual attention and spatiotemporal filtering［J］.， 2017， 55（5）： 3037-3050.

［2］ MARVASTI F S， MOSAVI M R， NASIRI M. Flying small target detection in IR images based on adaptive toggle operator［J］.， 2018， 12（4）： 527-534.

［3］ GAO C Q， MENG D Y， YANG Y，. Infrared patch-image model for small target detection in a single image［J］.， 2013， 22（12）： 4996-5009.

［4］ CHEN C L P， LI H， WEI Y T，. A local contrast method for small infrared target detection［J］.， 2014， 52（1）： 574-581.

［5］周许超，屠大维，陈勇，等. 基于相位相关和差分相乘的动态背景下运动目标检测［J］. 仪器仪表学报， 2010， 31（5）： 980-983.

ZHOU X CH， TU D W， CHEN Y，. Moving object detection under dynamic background based on phase-correlation and differential multiplication［J］.， 2010， 31（5）： 980-983. （in Chinese）

［6］ BAI X Z， ZHOU F G. Analysis of new top-hat transformation and the application for infrared dim small target detection［J］.， 2010， 43（6）： 2145-2156.

［7］范丽丽，赵宏伟，赵浩宇，等. 基于深度卷积神经网络的目标检测研究综述［J］. 光学精密工程， 2020， 28（5）： 1152-1164.

FAN L L， ZHAO H W， ZHAO H Y，. Survey of target detection based on deep convolutional neural networks［J］.， 2020， 28（5）： 1152-1164. （in Chinese）

［8］ Shi J B， Tomasi C. Good Features to Track［C］. 1994June 21-23， 1994： 593-600.

［9］ HE Q F， CHEN W J， ZOU D P，. A novel framework for UAV returning based on FPGA［J］.

［10］ HENRIQUES J F， CASEIRO R， MARTINS P，. Exploiting the circulant structure of tracking-by-detection with kernels［C］.12：12， 2012： 702-715.

［11］ PRASAD D K， PRASATH C K， RAJAN D，. Object detection in a maritime environment： performance evaluation of background subtraction methods［J］.， 2019， 20（5）： 1787-1802.

［12］ LIU L， CHAI G H， QU Z. Moving target detection based on improved ghost suppression and adaptive visual background extraction［J］.， 2021， 28（3）： 747-759.

［13］王梅，屠大维，周许超. SIFT特征匹配和差分相乘融合的运动目标检测［J］. 光学精密工程， 2011， 19（4）： 892-899.

WANG M， TU D W， ZHOU X CH. Moving object detection by combining SIFT and differential multiplication［J］.， 2011， 19（4）： 892-899. （in Chinese）

［14］张玉欣. 基于面阵CCD的速高比计研究［D］. 北京：中国科学院大学， 2011.

ZHANG Y X.［D］. Beijing： University of Chinese Academy of Sciences， 2011. （in Chinese）

［15］ LI Y S， LI Z Z， ZHANG C，. Infrared maritime dim small target detection based on spatiotemporal cues and directional morphological filtering［J］.， 2021， 115： 103657.

［16］ MAINALI P， YANG Q， LAFRUIT G，. Robust low complexity corner detector［J］.， 2011， 21（4）： 435-445.

［17］ TOMASI C， KANADE T. Shape and motion from image streams： a factorization method［J］.， 1993， 90（21）： 9795-9802.

［18］ TOMASI C. Detection and tracking of point features［J］.， 1991， 91（21）： 9795-9802.

［19］吴燕茹，程咏梅，赵永强，等. 基于核Rayleigh商二次相关滤波器的红外目标检测［J］. 红外与毫米波学报， 2011， 30（2）： 142-148.

WU Y R， CHENG Y M， ZHAO Y Q，. Infrared target detection using kernel Rayleigh quotient quadratic correlation filter［J］.， 2011， 30（2）： 142-148. （in Chinese）

［20］ HENRIQUES J F， CASEIRO R， MARTINS P，. High-speed tracking with kernelized correlation filters［J］.， 2015， 37（3）： 583-596.

［21］ YANG L， YANG J， YANG K. Adaptive detection for infrared small target under sea-sky complex background［J］.， 2004， 40（17）： 1083-1085.

［22］ LI M ， LIN Z P， FAN J P，. Point target detection based on deep spatial tem poral convolution neural network［J］.， 2021， 40（1）： 122-132.

［23］ ZHANG X Y， DING Q H， LUO H B，. Infrared small target detection based on directional zero-crossing measure［J］.， 2017， 87： 113-123.

［24］鞠默然，罗海波，刘广琦，等. 采用空间注意力机制的红外弱小目标检测网络［J］. 光学精密工程， 2021， 29（4）： 843-853.

JU M R， LUO H B， LIU G Q，. Infrared dim and small target detection network based on spatial attention mechanism［J］.， 2021， 29（4）： 843-853. （in Chinese）

Low false alarm infrared target detection in airborne complex scenes

YANG Dezhen1，2，YU Songlin1*，FENG Jinjun2，LI Jiangyong1，WANG Lihe1

（1，100015，；2，100015，），：8511

When an infrared photoelectric detection system detects a target in a complex airborne scene， the spatial distribution of the ground false alarm interference source is consistent with the spatial distribution of the small dim target. Therefore， a multi-dimensional feature association detection algorithm based on moving target features was proposed herein. First， feature points were detected in complex scenes， and a frame skipping mechanism based on the relative velocity-height ratio was introduced. Candidate targets were detected by inter-frame image difference after image registration. Simultaneously， multi-dimension and multi-frame correlations based on the kernel correlation filter were used to suppress false alarms. In an airborne environment where the vehicle speed-to-height ratio is greater than 30 mrad/s and frame time is less than 10 ms， the average detection rate of this algorithm is 99.13%， and the false alarm rate is 10-5. This method was verified in various complex scenarios. In addition， it is suitable for pipeline parallel operation and meets the engineering needs.

target detection； airborne environment； moving target features； kernelized correlation filtering； false alarm suppression； pipeline parallel operation

TP391

10.37188/OPE.20223001.0096

1004-924X（2022）01-0096-12

2021-04-30；

2021-07-07.

国家863高技术研究发展计划资助项目（No.2013AA7031066B）；军委科技委基础加强基金资助项目（No.2019JCJQZD33600）

杨德振（1988），男，广东汕头人，博士研究生，2011年于东北大学获得学士学位，2016年于电子科学研究院获得硕士学位，主要从事数模混合集成电路设计、弱信号提取及图像处理的研究。E-mail：yangdezhen88@126.com