基于冗余字典的多特征压缩感知目标跟踪算法

朱甦， 薄煜明， 何亮

(1.南京理工大学 自动化学院， 江苏 南京 210094; 2.南京理工大学 紫金学院 电子信息与光电技术学院, 江苏 南京 210046)

基于冗余字典的多特征压缩感知目标跟踪算法

朱甦1，2， 薄煜明1， 何亮1

(1.南京理工大学 自动化学院， 江苏 南京 210094; 2.南京理工大学 紫金学院 电子信息与光电技术学院, 江苏 南京 210046)

针对多特征压缩感知算法中，要求信号稀疏表示的基是一个正交矩阵的问题，提出了提取红外与可见光的多特征目标构造冗余字典子空间下的稀疏表示，分析了压缩感知算法中感知矩阵的选择和稀疏信号的重构。根据对信号稀疏表示的重构，提出粒子滤波框架下基于冗余字典的多特征压缩感知跟踪方法，能够自动检测复杂场景中出现的动态目标。实验结果表明，与其他经典算法相比，该算法在光照变化、相似外形的干扰目标遮挡等复杂场景中具有更好的鲁棒性及实时性。

信息处理技术； 冗余字典； 压缩感知； 粒子滤波； 目标跟踪

0 引言

光电跟踪系统作为一种新型无源跟踪装备，其特点是采用光电传感器探测和跟踪目标,在复杂背景下迅速、可靠地提取目标影像，配合激光测距设备建立目标运动航迹，实现对目标连续稳定的状态估计和滤波，为各类火控系统实施火力打击提供精确解算的射击诸元信息[1]。因此对目标跟踪算法的稳定性和鲁棒性提出了更高的要求。2004年Candes等[2]提出压缩感知理论，根据原信号的稀疏性，以远小于Nyqusit频率的随机采样获取原信号的离散样本，并通过重构算法构造出具有原信号特性的降维信号，并在2012年前后将压缩感知算法引入目标跟踪所形成的基于压缩感知的跟踪算法。Mei等[3]提出L1跟踪器，把之前帧目标图像看成一组目标模板和琐碎模板的稀疏表示，然后基于粒子滤波(PF)框架下进行目标跟踪。在应对一定的实时复杂场景下与均值漂移(MS)等算法相比其具有更好的跟踪性能。但该算法对于每个粒子均需要求解l1范数平方最小化，数据计算量较大；Li等[4]提出实时压缩感知跟踪(RTCST)算法，在L1跟踪器的基础上进行了改进，利用感知矩阵压缩采样目标图像，与L1跟踪器相比提高了跟踪速度，并且减少了计算复杂度，但处理光照强度发生突变时跟踪效果不好。

跟踪目标的表述形式与跟踪算法有着密不可分的关联。研究表明，多特征方法比单一特征具有更好的鲁棒性[5-6]。可见光传感器具有分辨率高、成本低的特点，但其性能易受光照变化、阴影等因素的影响。而红外传感器的成像依赖于物体的辐射，对光照和阴影变化具有鲁棒性，但信噪比低，在明暗对比强烈处存在光晕现象等缺点[7]。将这两种传感器结合用于图像序列的目标跟踪，可以降低跟踪难度，扩大跟踪系统的应用范围，增强跟踪系统的稳定性和跟踪精度，提高跟踪算法的鲁棒性。Zhao等[8]利用可见光图像的颜色、纹理特征和红外图像的灰度特征，结合MS算法和水平集曲线演化算法，提出红外与可见光双通道目标跟踪(IVDT)算法跟踪视频图像；Fabrizio等[9]利用红外强度和边缘线索作为目标特征模板，基于PF框架下进行行人目标的跟踪；He等[10]提取红外与可见光图像的目标特征构成模板词典并稀疏表示，设计了加速多特征压缩感知跟踪(A-MFCST)算法，在处理遮挡和光照突变的复杂场景时具有较好的实时性和鲁棒性。

以上算法对信号的稀疏表示均有一定的要求，即要求信号稀疏表示的基是一个正交矩阵,常见的稀疏表示基有傅里叶变换(FT)、离散余弦变换(DCT)及小波变换(Wavelet)等。如上述提到的L1跟踪器、A-MFCST等算法中直接将目标图像构成词典，但对于部分复杂背景下目标的识别和区分贡献并不大。因此本文算法主要创新点体现在进行了冗余词典的扩展，用字典的超完备冗余函数系统取代原来的基函数，尽可能符合被逼近信号的结构，并且其构成可以没有任何限制，提出一种基于冗余字典的多特征压缩感知目标跟踪(RD-MCST)算法。首先提取可见光和红外图像的多特征目标构造冗余字典子空间下的稀疏表示，分析压缩感知算法中感知矩阵的选择和稀疏信号的重构，以减少数据采样值，节省硬件资源；其次根据对信号稀疏表示的重构，评估PF框架下的粒子相似度。该算法能够自动检测复杂场景中出现的动态目标，满足实时性的要求；最后在大量实验测试序列中，与其他非常优秀的跟踪算法相比，本文算法在光照变化、相似外形的干扰目标遮挡等复杂场景中具有更好的鲁棒性、实时性及适用范围。

1 相关工作

1.1 PF跟踪框架

PF[11]提供了一种基于蒙特卡洛方法的离散贝叶斯迭代估计方法。一般对动态时变系统描述为

(1)

式中：xk表示k时刻的系统状态；yk表示k时刻的观测序列；υk、ωk分别为独立同分布的系统噪声和观测噪声序列。

(2)

式中：δ(g)表示Dirac函数。

(3)

(4)

1.2 压缩感知

对提取的目标特征进行表示。假设信号x∈RN，能够用一组基Ψ=[ψ1,ψ2，…，ψN]线性表示。

(5)

式中：s是N×1的系数向量。如果系数si仅有k个非零，则称信号x在基Ψ上是稀疏的，Ψ为信号x的稀疏基或稀疏字典。对x的测量可以表示为

y=Φx,

(6)

式中：Φ∈Rm×n是测量矩阵；y∈Rm×1是测量值。由于m

y=Φx=ΦΨs=Θs,

(7)

式中：Θ=ΦΨ是m

(8)

(8)式的最优化问题可以通过基于l1范数的最优化方法求解目标信号x，那么信号也能够重建[12]。

2 基于冗余字典的多特征压缩感知目标跟踪算法

2.1 特征提取

考虑红外与可见光图像特性，本文特征提取的具体方法如下：选取红外与可见光双通道图像的纹理特征、颜色特征以及边缘特征，其中纹理特征即目标可见光与红外图像的局部二值模式(LBP)特征，颜色特征采用了红外图像的灰度直方图，以及可见光图像的色调、饱和度、明度(HSV)直方图，边缘特征使用边缘方向直方图描述。

2.1.1 颜色直方图和灰度直方图

图像的直方图对目标进行建模是最常见的方法。但相似颜色分布的目标不容易区分，容易导致误追踪。为了解决这个问题，本文采用核函数的直方图来进行表示。设{xi}(i=1,2,…，m)是目标图像，有m个点构成，y是目标图像的中心点，则目标图像的核函数直方图可以表示为

(9)

(10)

图像的直方图特征不具有空间信息，所以对于旋转、缩放和平移具有不变性。

2.1.2 LBP特征

LBP特征是纹理分类问题上常用的特征。首先将检测窗口切分为小的区块(比如每个区块16像素×16像素)，然后对区块中的每个像素x0，与其8个领域像素{xi},i=0,…,7进行比较，如果中心像素大于某领域，则设为1，否则设为0. 像素x0的LBP值计算为

(11)

而后对每个区块计算直方图并归一化，然后串联所有区块的直方图，就得到了当前检测窗口的特征向量。

2.1.3 边缘特征

边缘方向直方图中对目标区域图像I的每个像素I(x,y)计算其梯度幅值g(x,y)和梯度方向d(x,y)：

(12)

将边缘方向角0°～360°量化成36级的角度直方图，统计对应角度的像素梯度幅值，归一化之后就得到边缘方向直方图。

在L1跟踪器算法[3]中跟踪目标u可以表示为

(13)

式中：I=[i1,…,in]∈Rd×d为琐碎模板，-I、I为d×d的单位矩阵；a=(a1,a2,…,an)T∈Rn为目标模板系数向量；e+∈Rd,e-∈Rd称为正、负琐碎系数向量；B=[T,I,-I]表示所有的模板集合。

由于红外和可见光图像中特征的互补性，可将(13)式改进为

(14)

式中：I是反映噪声与遮挡的模板集合；e′为相应的噪声模板集的系数；D是模板集，或称为词典；c′是目标的系数向量。

模板初始化得到词典D列数比行数多，不是一个正交矩阵，而是一个冗余字典。

2.2 感知矩阵的选择和稀疏信号的重构

假设信号x∈Rn在冗余词典D∈Rn×d下的表示为

x=De,

(15)

e=D*x为稀疏系数，同时将测量值y∈Rm×1记为

y=Ax+σ,

(16)

式中：σ表示测量噪声；A是感知矩阵。

此时词典D是任意矩阵，不一定正交，词典D中的列向量之间可能存在关联性，难以找到一个足够小的有限等距性质(RIP)常数使感知矩阵满足RIP性质。因此为获得此情况下信号的重构，需要研究新的环境下感知矩阵的选取条件。Candes等[13]给出了冗余词典下RIP性质的定义(定义1)。

定义1 令Σl表示由词典D的所有l列张成的子空间的集合，如果对于任意的υ∈Σs，均存在常数δs，使得感知矩阵A满足：

(17)

则称矩阵A满足D-RIP性质。

将测量值y中恢复原信号x可以表示为

(18)

(19)

式中：M0和M1是仅与δ2s相关的常数；(D*x)s表示由D*x前s个最大元素组成的向量。

根据Haltmeier等[14]提出：令K:U→V表示从希尔伯特空间U和V之间的有界投影，μ是原信号，μ*是相应的去噪信号，υδ=Kμ,υδ∈V是μ通过K在V上的投影，假设噪声有上界δ，那么可以得到‖υδ-Kμ*‖≤δ. 另外，记D={φω:ω∈Ω}为希尔伯特空间U上的一个字典构成的空间，信号μ在这个字典上的分解构成一个集合ΦTμ={〈φω,μ〉ω∈Ω}，那么，(18)式等价于：

min‖ΦTμ‖1, s.t. ‖Kμ-υδ‖≤δ.

(20)

若上述假定成立，且带噪声的信号υδ∈V满足‖υδ-Kμ*‖≤δ，则下述结果成立：

‖μδ-μ*‖≤c1δ,

(21)

本文算法采用了高斯随机矩阵作为投影矩阵K. 由于目标在特征词典下是近似稀疏的，所以(14)式中的词典D定义了一个希尔伯特空间上的框架，信号的恢复可以采用(20)式进行求解。本文算法采用了信号空间的压缩采样匹配追踪(CoSaMP)算法[15]进行求解。

2.3 算法步骤

卢志文：我比较提倡教育家办学。教育应该由懂教育的人办，改革学校行政化管理模式，取消学校的行政级别。公办学校本质上是“教育局办学”，学校办学自主权的获得源于体制；民办学校中，学校的办学制度是一种法律，校长作为经理进行考察。中国经济的繁荣奇迹，是从解放企业和企业家开始的，中国教育的繁荣也将从解放学校和校长开始。只有每个细节都被激活了，机体的生命力才会旺盛。体制是一种结构，变革体制是以结构谋功能，结构决定性质，性质决定功用，所以体制创新是一种结构创新，尽管都是碳原子，但彼此的组合方式不同，形成的物质也千差万别。

1) 初始化ΦD的每一列；

4)提取红外帧与可见光帧的特征建立观测矩阵xi=[pir(yi),pvl(yi)]T，根据冗余字典得到测量值yi=Φxi+σ；

5)使用CoSaMP算法求解得到s；

6)计算残差ri=‖yi-Dst‖2；

7)得到观测相似度li=exp (-λri)；

11)更新目标模板集T；

输出：跟踪目标g；更新目标动态状态sk；更新目标模板集T.

2.4 目标模板更新

(22)

图1 实验1测试序列在不同方法下部分图像帧的跟踪结果Fig.1 Tracking results of some image frames in test sequence of Experiment 1

5)标准化模板T每列数据；

输出：更新模板集D=[T,I].

3 实验验证

为了测试本文跟踪算法的有效性，与基于PF的自适应多线索跟踪(AMPF)算法[16]和IVDT算法进行比较，采用同一特征，使用实际拍摄的多个可见光和红外视频序列进行对比测试。视频序列来源于国际电气和电子工程师协会OTCBVS WS Series Bench基准数据集中Dataset 03彩色热量数据库，传感器参数:红外传感器为Raytheon PalmIR 250D，可见光传感器为Sony TRV87 Handycam；红外图像为8位灰度表示，大小为320像素×240像素;可见光图像为24位彩色表示，大小为320像素×240像素。

实验中初始目标在第1帧中手动选取。图1给出了实验1测试序列在同一场景不同方法下部分图像帧的跟踪结果，对象为行人。从结果中可以看出，当目标行人从背景车辆边经过的时候，AMPF算法的跟踪结果漂移到了背景车辆的前轮上。造成这一问题的是目标行人在可见光中的颜色与红外帧中的灰度均与车辆前轮的区域相似，AMPF算法中图像的特征提取并不是十分合理。

实验2对另一个更复杂场景的测试序列进行跟踪，对象仍为行人，场景变化包括阴影、遮挡、光照变化和类目标干扰(指其他行人干扰)，参与对比的方法与实验1相同，图2给出了实验2测试序列在不同方法下部分图像帧的跟踪结果。在230帧中目标行人与阴影区背景混为一体，但目标行人在可见光帧中与背景混淆，在红外帧中清晰可辨。3种算法均能较好地处理这一场景。270帧的跟踪结果表明3种算法均有一定的处理光照变化的能力，但是在322帧中目标行人经过前进方向的第1个路灯的时候，AMPF算法的跟踪结果发生了漂移，并在接下来的视频帧中错误的跟踪了第1个路灯，明显AMPF算法处理遮挡能力不足。第374帧的跟踪结果显示当目标行人经过前进方向的第2个路灯时IVDT算法跟踪失败。因为这一场景中第2个路灯对目标形成遮挡，在红外与可见光中，该路灯在外观和形态上均与目标相似，且遮挡区域较大，IVDT算法在处理大面积遮挡问题时跟踪效果不好。以上算法跟踪失败主要原因在于采用的特征存在强相关性，对目标跟踪进行了干扰。相比之下，本文算法全程均能获得较为鲁棒和精确的跟踪结果。

图2 实验2测试序列在不同方法下部分图像帧的跟踪结果Fig.2 Tracking results of some image frames in test sequence of Experiment 2

为了综合评估算法的性能，表1列举了本文算法与前面提到的几种稀疏性目标跟踪算法在实验1和实验2中各运行10次的平均运行速度，处理速度以每秒帧数的形式表示。算法的实现是基于Windows操作系统，运用MATLAB仿真软件编程实现，计算机配置为Inter(R) Core(TM)i5-4200UCPU,1.60 GHz,2.00 GB内存。

表1 4种算法速度比较Tab.1 Comparison of computational speeds of four algorithms 帧/s

结果表明，较之AMPF算法和IVDT算法，本文算法具有更高的平均处理速度，但是与A-MFCST算法相比，由于本文算法需要构造冗余字典，运行速度上受到了一定的影响。

4 结论

本文提出了一种基于冗余字典的多特征压缩感知目标跟踪算法，将跟踪目标建模为由目标区域红外与可见光帧特征组成的冗余词典子空间下的稀疏表示，由于该稀疏表示不再基于紧致框架，在冗余词典下对信号稀疏采样需要感知矩阵满足D-RIP性质，其次，由于此时信号稀疏分解表达式是欠定的，因此采用信号空间的CoSaMP算法。实验结果表明，本文算法能够获得更加鲁棒和精确的跟踪结果。后续工作针对不同算法如何优化冗余词典构成及信号的重构方式，再做进一步研究。

References)

[1] 张合，江小华. 目标探测与识别技术[M]. 北京：北京理工大学出版社，2015:1-5. ZHANG He, JIANG Xiao-hua. Target detection and recognition technology[M]. Beijing:Beijing Institute of Technology Press,2015:1-5. (in Chinese)

[2] Candes E, Romberg J, Tao T. Robust uncertainty principles: exact signal reconstruction from highly incomplete frequency information[J].IEEE Transactions on Information Theory, 2006, 52(1): 489-509.

[3] Mei X, Ling H.Robust visual tracking usingl1minimization[C]∥2009 IEEE 12th International Conference on Computer Vision. Kyoto:IEEE, 2009: 1436-1443.

[4] Li H, Shen C, Shi Q. Real-time visual tracking using compressive sensing[C]∥ IEEE Conference on Computer Vision & Pattern Recognition. Providence, US:IEEE,2012:1305-1312.

[5] Li Y, Zhu J. A scale adaptive kernel correlation filter tracker with feature integration[C]∥ European Conference on Computer Vision. Zurich:IEEE,2014: 254-265.

[6] 王丽佳，贾松敏，李秀智，等. 分块多特征目标描述子的移动机器人目标跟踪[J]. 控制与决策，2016,31(2)：337-342. WANG Li-jia, JIA Song-min, LI Xiu-zhi, et al. Person tracking for robot using patches-based-multi-cues representation[J]. Control and Decision, 2016,31(2):337-342. (in Chinese)

[7] 赵高鹏，薄煜明，陈益. 多特征提取的红外与可见光目标跟踪方法[J]. 兵工学报，2011,32(4):445-451. ZHAO Gao-peng, BO Yu-ming, CHEN Yi. A method for tracking object in infrared and visible image based on multiple features[J]. Acta Armamentarii, 2011,32(4):445-451. (in Chinese)

[8] Zhao G P, Bo Y M, Ying M F. An object tracking methods based on infrared and visible dual-channel video [J]. Journal of Electronics & Information Technology, 2012, 34(3): 529-534.

[9] Lamberti F, Sanna A, Paravati G, et al. IVF3: exploiting intensity variation function for high-performance pedestrian tracking in forward-looking infrared imagery[J]. Optical Engineering, 2014, 53(2):42-45.

[10] He L, Bo Y, Zhao G. Accelerated multi-feature based compressive sensing tracking[J]. Infrared Physics & Technology, 2015, 71:424-431.

[11] Nummiaro K, Koller-Meier E, Gool L V. An adaptive color-based particle filter[J]. Image & Vision Computing, 2003, 21(1):99-110.

[12] Feng L, Lum K Y, Chen B M, et al. Development of a vision-based ground target detection and tracking system for a small unmannedhelicopter [J]. Science in China Series F: Information Sciences, 2009, 52(11): 2201-2215.

[13] Candès E J, Eldar Y C, Needell D, et al. Compressed sensing with coherent and redundant dictionaries[J]. Applied & Computational Harmonic Analysis, 2010, 31(1):59-73.

[14] Haltmeier M. Stable signal reconstruction vial(1)-minimization in redundant, non-tight frames[J]. IEEE Transactions on Signal Processing, 2013, 61(2):420-426.

[15] Davenport M A, Needell D, Wakin M B. Signal space CoSaMP for sparse recovery with redundant dictionaries[J]. IEEE Transactions on Information Theory, 2013, 59(10):6820-6829.

[16] Dou J F, Li J X. Robust visual tracking base on adaptively multi-feature fusion and particle filter[J]. Optik-International Journal for Light and Electron Optics, 2014, 125(5):1680-1686.

Multi-feature Compressive Sensing Target Tracking AlgorithmBased on Redundant Dictionary

ZHU Su1， 2, BO Yu-ming1, HE Liang1

(1.School of Automation, Nanjing University of Science and Technology, Nanjing 210094, Jiangsu, China;2.School of Electronic Information and Optoelectronic Technology, Zijin College, Nanjing University of Science andTechnology, Nanjing 210046, Jiangsu, China)

In consideration that the basis of signal sparse representation is an orthogonal matrix in the multi-feature compressed sensing algorithm, the multi-features of infrared and visible images are extracted to construct a sparse representation in a subspace of redundant dictionary, and the selection of sensing matrix and the reconstruction of sparse signal in the algorithm are analyzed. A redundant dictionary-based target tracking algorithm of multi-feature compressed sensing in the framework of particle filter is proposed by reconstructing the signal sparse representation, which can automatically detect dynamic targets in complex environment. Experimental results show that, compared with other classical algorithms, the proposed algorithm has better robustness and real-time in complex environment like illumination change and interference object occlusion.

information processing technology; redundant dictionary; compressive sensing; particle filter; target tracking

2016-10-24

国家自然科学基金项目(U1330133)

朱甦(1982—), 女, 讲师，博士研究生。E-mail: 14988817@qq.com

薄煜明(1965—)，男，教授，博士生导师。E-mail:byming@njust.edu.cn

TP391.413

A

1000-1093(2017)06-1140-07

10.3969/j.issn.1000-1093.2017.06.013