基于红外压缩成像的点目标跟踪方法研究

李少毅 梁 爽 张 凯 董敏周 闫 杰

1 引言

天基红外探测系统随着性能不断提高，面临着需求更大规格与多功能探测器、大视场与高分辨率成像系统及高性能图像处理系统的问题。目前在国外，压缩成像（Compressive Imaging, CI）技术相关研究已经取得一定的进展，包括单像素相机[1]、压缩超光谱成像[2,3]、压缩编码孔径光谱仪[4]及红外压缩编码孔径成像技术等[5,6]，这对于解决传统成像系统高分辨率与大视场矛盾的问题提供了一种途径，其压缩采样的思想也对根本解决那些要求大规模探测器和数据传输、处理任务的应用问题带来希望。此外，对于压缩成像目标跟踪问题，虽然在国外结合传统成像体制和压缩感知方法，已发展了一些新的目标检测与跟踪方法，如文献[7]提出将压缩感知用于背景差分，并利用更少的测量重构前景来检测目标，并实现多视角检测与跟踪；文献[8-10]提出利用稀疏表示和压缩感知方法提取目标模板或特征，再进行目标检测或跟踪。但是直接从低维压缩测量中实现目标检测、跟踪任务的研究在国内外尚未查到相关文献。因此有必要研究基于红外压缩成像的目标跟踪方法，并分析红外压缩成像技术在高轨天基红外预警中的应用性。

本文利用Hadamard测量矩阵构建红外压缩成像系统，提出一种可直接从压缩前景图像中解码获得目标空间位置信息，并结合概率数据关联与Kalman滤波算法的杂波环境目标跟踪方法。理论分析和仿真实验结果表明，该方法能从低维压缩测量中正确解码目标位置信息实现有效跟踪，并确保在一定性能要求下，既减小探测器规模，又提高目标跟踪算法的处理速度。

2 压缩成像系统模型

2.1 压缩成像测量模型

文献[11,12]中分析总结了几种典型结构的压缩成像系统实现形式，但是这些系统结构在执行图像重构算法时均要求将2维图像1维矢量化，这对于大规格图像的存储和重构运算将难以实现，必须采用其它的如分块方法进行处理。本文提出如图1所示的压缩成像系统，采用单孔径、焦平面阵列（Focal Plane Array, FPA）及编码掩模/模板，故可称FPA压缩成像。该系统结构基于“按列处理”思想，只需一次测量便可获得所需测量值yM×N，固定掩模由ΦM×N表示，也即测量矩阵，对于一个2维场景可由2维矩阵xN×N表示，其测量模型为

图1 FPA压缩成像系统结构示意图

2.2 压缩域到空间域映射模型

由图1可知，该系统结构只在某一维度上产生削减，即可降低探测器在某一维度上的规模。同时，为了直接从低维压缩成像测量数据中解码目标空间位置信息，本文将建立从压缩域到空间域的映射关系，如图2所示，这样参与图像处理规模直接减少了 /M N。该映射模型的建立分为两步：

首先，确定列位置信息。由图1可知，一个实际2维空间2

图2 压缩域到空间域映射示意图

R，可划分成NN×个像素点，假设目标点位于（）i,j像素点，其所在列记为jx，压缩成像系统测量矩阵每一列记为iφ,1M×维列向量，压缩测量y，其每一列记为jy, 1M× 维列向量。于是目标所在列的压缩测量为由此可知，目标在压缩域与实际空间的列位置信息在压缩测量后是保持不变的，故假定目标所在列背景的压缩测量为,bjy ，经压缩背景差分处理，然后求压缩域差分量的2ℓ距离，根据Cauchy-Schwarz不等式可得

由于压缩测量矩阵的正交性，故： Φ2=,λ1为ΦHΦ的最大特征值，且 xd,j中大部分元素接近 0，只有目标所在像素点位置灰度变化剧烈，则可将式（3）写为

于是判断目标在压缩域哪一列出现的阈值条件可表示为

式中，c的取值在实验中确定。

其次，确定行位置信息。对于按列差分图像进行如下运算：

式中，Φ ' =ΦHΦ，对于正则化的Hadamard测量矩阵，矩阵Φ'的对角线值全为1，其余元素全是接近于 0的小量，经过运算基本保留了 x 中的d,j信息，于是通过合适的阈值将可以等价地从中判断 xd,j的目标行位置信息。对 xˆp求l2距离，再根据Cauchy-Schwarz不等式可得

3 自适应压缩背景差分

由2.2节可知该方法：（1）解码目标空间位置信息是基于压缩背景差分图像；（2）解码目标占单个像素。为了研究该方法能否应用于天基红外探测，有必要先分析该应用中的场景及目标成像特性。高轨天基预警卫星一般运行在地球同步轨道，距离地球表面约 3 .6 × 1 04km。一般地，对于一个光学成像系统，焦距1 m，探测器为512×512规格，像元大小为30 μm，对应地面分辨率近似1 km。也就是说，在此情况或者系统指标有所提高的情况下，中远程弹道导弹助推段尾焰在红外探测器上成像也只占一个或几个像素。此外，距离地球表面20 km以下被云层覆盖，故探测器大部分像素为云层背景。假定卫星上探测器成像速率为 2帧/s，图像中每个像素代表面积为 1 km2，导弹目标被探测到时速度大约为4 ～ 8 km/s，故在成像面上其运动速度为2～4像素/帧（假设目标运动方向与像平面平行，实际上目标运动方向与像平面之间有夹角，且短时内夹角几乎不变，则像平面上目标运动速度为目标空间速度在像平面上的投影，即小于目标空间速度）。同时，假定云层最大漂移速度为50 m/s，故其在像平面上的运动速度为0.025像素/帧，即可近似认为图像背景是静止的或缓变的。综上所述，由压缩传感理论可知重构差分图像比背景和场景图像所需的采样测量将更少[13]，即此应用中的差分图像比背景和当前图像更稀疏，可适用于压缩感知方法。本文提出的压缩背景差分方法利用压缩域高斯背景建模，并利用当前压缩测量和估计压缩背景之差获得压缩前景，从而结合压缩域到空间域映射关系解码前景的压缩测量位置等信息，无需重构前景图像以实现运动目标检测。

3.1 压缩域Gauss背景建模方法

对于压缩成像测量，每一个压缩测量值 （ ）Y x',y'是测量矩阵第x'行与原图像第y'列的乘积，即原图像某列的线性组合，由高斯分布性质，对压缩域每一个测量值建立高斯模型：

式中，N（⋅）表示高斯概率密度函数， ai为测量系数，μi为高斯模型的均值，为高斯模型的协方差。因此，假设每一个背景的压缩测量服从高斯分布是合理的，可表示为

式中， yb,i为用于学习训练的多幅背景图像 yb,i的压缩测量值，i = 1 ,2,… , T ,xb是这些背景图像的均值，均值 yb=Φxb,σ2为常量方差。当场景因包含不属于背景模型的目标而发生变化时，获得压缩测量yt=Φxt。通常，这里xd= xt-xb在空间域是稀疏的，即前景目标比背景图像更稀疏，因此可对压缩差分测量建立高斯模型：

式中，dμ为均值。当背景中包含一些小变化和噪声时，对背景b,iy与by之差求2ℓ距离：

由中心极限定理，当 30M＞ 时，式（11）的求和可近似服从高斯分布，即

当场景图像中包含前景目标时，同样有

对于1/M ≪1，可得到：1 + 1 / M ≈ e xp（1/ M ），故由式（12）可以进一步得到

于是，式（11）可近似为

式中，bgμ,分别为均值和方差，可通过最大似然法估计，其中方差不依赖于测量附加噪声。同样地，式（13）可被近似为

对于假定目标很小的情况，μt与μbg是不同的，而σt2与应该有相同的数量级。为了检测是否有目标出现，利用一个简单的阈值测试作为最优检测器，来比较两个具有近似方差的高斯分布。这里使用背景的标准差的常数倍作为阈值，如果满足规则：

就认为有一个目标出现。这里，D一般可取2.5，对于其它模型参数更新可利用式（18）：

3.2 改进的压缩域高斯背景建模方法

利用高斯背景建模方法对背景和前景进行分类，但是为了能适应光照变化等因素影响，将上述分类规则作为Surendra方法的判断条件，可表示为

式中，α是更新率。这样，便利用了Surendra方法的特点，能够适应更复杂的环境变化（如光照的变化和目标的突然消失等）。此外，本文假定目标成像只占单个像素，但是该方法对于多像素目标也是适用的，只需将属于不同目标的像素进行分类合并，然后通过求同一目标的所有像素坐标形心最终确定目标位置。因此，本文利用自适应压缩域高斯背景建模算法和压缩域到空间域的位置映射关系模型，实现了一种无需重构图像且直接基于低维压缩测量的运动目标检测方法。

4 压缩成像目标跟踪

实际中背景环境由于具有很大的随机性，将不可避免地产生测量噪声和背景杂波，因此如何解决杂波环境中的压缩成像目标跟踪问题对压缩成像技术的应用显得尤为重要。本文利用压缩感知运动目标检测算法，并结合典型数据关联与Kalman滤波方法，形成解决压缩成像目标跟踪问题的完整算法。为了更准确地描述杂波环境中的系统状态空间和观测模型，可采用

（1）压缩背景差分。利用压缩成像获得视频序列{ yt|t = 1,2,… , N }和自适应混合Surendra和Gauss背景建模方法，求取背景 yb，并获得压缩前景图像yd= yt-yb；

（2）空间域目标位置信息解码。利用压缩域到空间域的位置映射关系模型，解码所有目标和杂波的空间位置坐标（Px, Py） ，作为Kalman滤波器的观测输入，这一步实质是将目标位置信息从压缩域映射到实际空间域；

（3）JPDAKalman滤波多目标跟踪。首先，根据假设的目标运动模型初始化系统参数矩阵；然后，结合 Kalman滤波的预测方程，利用式（21）设置跟踪门：d2（zk）≤γ，对落入跟踪门量测作为候选量测，并利用式（22）产生观测矩阵Ω。

式中， zk为k时刻的测量， ˆzk为当前时刻的预测，vk=zk-zˆk表示滤波器的残差，即新息， Sk=+R为vk的协方差矩阵。ωi,j表示k时刻第i个量测是否落入目标j的跟踪门之内，以1,0分别表示这两种可能事件。依据Ω穷举所有可行联合事件，产生互联矩阵k（θl），利用式（23）计算后验概率，再利用式（24）计算关联概率。

5 仿真与分析

利用一段100帧512×512分辨率图像序列进行实验，其背景为真实天空背景红外图像，该图像序列平均信噪比4.7 dB，仿真条件：Matlab7.0,CPU:i5-3470@3.2 Hz。首先，取压缩采样比M/N=0.5（探测器规模256×512），选取Hadamard测量矩阵及DCT基作为稀疏变换矩阵，根据测量模型获得压缩测量数据。其次，使用压缩背景差分法求出第60帧与背景图像的差分图像，采用 OMP算法重构出背景和前景图像，如图3所示，方框内标记重构目标，从图中可看出，压缩差分图像包含了目标信息，并能据此重构出目标，且差分图像更稀疏，这与文中的分析是一致的。但是恢复的图像质量受重构算法影响，因此不能有效反映背景模型的准确性。

图 4（a）是第 40，第 50 帧原始图像；图 4（b）采用文中自适应压缩背景差分算法后，得到的压缩测量前景，从图中可看出，压缩测量中包含了目标的运动变化信息，并集中在少数列中，这与压缩域到空间域映射模型中的分析一致；图 4（c）利用压缩域到空间域映射模型，直接从压缩测量前景中解码目标位置信息，并利用 MATLAB以解码后目标位置为中心，用方框自动标记。利用100帧实际场景图像序列的压缩测量数据执行运动目标检测算法，通过100次Monte Carlo实验，结果表明，文中方法能正确地检测出多目标空间位置信息，并满足一定实时性要求，检测算法运行平均帧时为0.1473 s。

图 5（a）是杂波环境中多目标轨迹仿真，首先根据CV模型在原始图像序列中添加目标1，目标2，目标3且以不同速度做匀速运动，速度分别为2.8像素/帧、3.6像素/帧、 2.8- 像素/帧，并于每时刻添加服从高斯分布杂波点各50个，然后根据测量模型获得压缩测量数据，其中“+”符号表示目标 1在杂波环境中的运动，“*”符号表示目标2在杂波环境中的运动，“o” 符号表示目标3在杂波环境中的运动。图 5（b）利用压缩测量数据执行 CI-JPDAKF算法对杂波环境下多目标进行跟踪，得到目标 1，目标 2，目标 3跟踪轨迹，从图 5（c）中可以看出 3个运动目标的均方跟踪误差都能快速收敛到1个像素以内。通过100次Monte Carlo实验，结果表明，文中提出的压缩成像点目标跟踪方法，能较好地跟踪目标，且跟踪算法运行平均帧时0.1873 s。

图3 压缩背景差分后重构背景和前景

图4 压缩成像运动目标检测仿真结果

图5 压缩成像多目标运动仿真与跟踪结果

表1 传统成像与压缩成像单点目标跟踪耗时对比

表1对比了不同探测器规模（即不同压缩采样比）下的压缩成像单跟踪算法CI-NNKF, CI-PDAKF和512×512探测器传统成像下的单目标跟踪算法计算耗时，从图中可看出，在压缩采样比为0.1875时，计算效率较传统成像方式提高了3倍，并能满足检测、跟踪等功能的实现。显然，这个规律对于多目标情况也适用。这是由于差分图像所具有的空间稀疏性更高，从而重构其所需要的压缩测量次数更少，即压缩采样比或者探测器规模更小。

6 结束语

本文利用Hadamard测量矩阵构建红外压缩成像系统和建立的压缩域到空间域的映射关系模型，提出一种利用低维压缩测量数据且无需重构任何图像的目标检测、跟踪方法。理论分析和实验结果表明，该方法能从低维压缩测量中正确解码出目标空间位置信息和实现有效跟踪，不仅有效地减小了对探测器规模的需求，而且提高了计算效率。这对于应用压缩成像技术解决那些需求大规格探测器、大容量图像数据传输、处理应用的问题具有相当的吸引力，如天基红外预警应用领域。

[1] Takhar D, Laska J N, Wakin M B, et al.. A new compressive imaging camera architecture using optical-domain compression[C]. Proceedings of SPIE 6065 Computational Imaging IV, San Jose, USA, 2006: 606509.

[2] August Y, Vachman C, Rivenson Y, et al.. Compressive hyperspectral imaging by random separable projections in both the spatial and the spectral domains[J]. Applied Optics,2013, 52（10）: D46-D54.

[3] Kuiteing S K, Coluccia G, Barducci A, et al.. Compressive hyperspectral imaging using progressive total variation[C].Proceedings of IEEE International Conference on Acoustics,Speech and Signal Processing, Florence, Italy, 2014:7794-7798.

[4] Wagadarikar A, John R, Willett R, et al.. Single disperser design for coded aperture snapshot spectral imaging[J].Applied Optics, 2008, 47（10）: B44-B51.

[5] Slinger C W, Gilholm K, Gordon N, et al.. Adaptive coded aperture imaging in the infrared: towards a practical implementation[C]. Proceedings of SPIE Adaptive Coded Aperture Imaging and Non-imaging Sensors II, San Diego,USA, 2008: 709609.

[6] Mahalanobis A, Reyner C, Patel H, et al.. IR performance study of an adaptive coded aperture “diffractive imaging”system employing MEMS “eyelid shutter” technologies[C].Proceedings of SPIE Adaptive Coded Aperture Imaging and Non-Imaging Sensors, San Diego, USA, 2007: 67140D.

[7] Cevher V, Sankaranarayanan A, Duarte M F, et al..Compressive Sensing for Background Subtraction[M]. Berlin:Springer, 2008: 155-168.

[8] Mei X and Ling H. Robust visual tracking and vehicle classification via sparse representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33（11）:2259-2272.

[9] Li H, Shen C, and Shi Q. Real-time visual tracking using compressive sensing[C]. Proceedings of 24th IEEE Conference on Computer Vision and Pattern Recognition（CVPR）, Providence, USA, 2011: 1305-1312.

[10] Shujuan G, Insuk K, and Seong T J. Sparse representation based target detection in frared image[J]. International Journal of Energy, Information and Communications, 2013,4（6）: 21-28.

[11] Neifeld M A and Ke J. Optical architectures for compressive imaging[J]. Applied Optics, 2007, 46（22）: 5293-5303.

[12] Willett R M, Marcia R F, and Nichols J M. Compressed sensing for practical optical imaging systems: a tutorial[J].Optical Engineering, 2011, 50（7）: 072601.

[13] Hayashi K, Nagahara M, and Tanaka T. A user,s guide to compressed sensing for communications systems[J]. IEICE Transactions on Communications, 2013, 96（3）: 685-712.

[14] Keil K H and Hupfer W. Simulation of signal and data processing for a pair of GEO IR sensors[C]. Preoceedings of SPIE Signal and Data Processing of Small Targets, San Diego,USA, 2007: 1-12.

[15] Aziz A M. A new nearest-neighbor association approach based on fuzzy clustering[J]. Aerospace Science and Technology, 2013, 26（1）: 87-97.

[16] Dallil A, Oussalah M, and Ouldali A. Sensor fusion and target tracking using evidential data association[J]. IEEE Sensors Journal, 2013, 13（1）: 285-293.

[17] 李正周, 金钢, 董能力. 基于改进概率数据关联滤波的红外小运动目标跟踪[J]. 电子与信息学报, 2008, 30（4）: 954-956.Li Zheng-zhou, Jin Gang, and Dong Neng-li. A novel method for tracking and recognizing infrared dim and small moving target based on modified probabilistic data associating filter[J]. Journal of Electronics & Information Technology,2008, 30（4）: 954-956.

[18] Habtemariam B, Tharmarasa R, Thayaparan T, et al.. A multiple-detection joint probabilistic data association filter[J].IEEE Journal of Selected Topics in Signal Processing, 2013,7（3）: 461-471.