综合颜色和小波纹理特征的免疫粒子滤波视觉跟踪

韩华，丁永生，2，郝矿荣，2

(1.东华大学信息科学与技术学院，上海 201620;2.数字化纺织服装技术教育部工程研究中心，上海 201620)

综合颜色和小波纹理特征的免疫粒子滤波视觉跟踪

韩华1，丁永生1，2，郝矿荣1，2

(1.东华大学信息科学与技术学院，上海 201620;2.数字化纺织服装技术教育部工程研究中心，上海 201620)

针对标准粒子滤波视觉跟踪时的缺陷，尤其是其“样贫”和目标特征不明显等问题，提出了结合小波纹理特征的免疫粒子滤波算法.小波纹理特征的加入，使得单纯依靠颜色特征不能很好适应环境变化的情况得到了改善.同时通过加入免疫优化算法，提高了粒子的多样性，尤其是在发生遮挡时减少了“样贫”的影响.通过实验验证了所提算法的有效性和鲁棒性.与基于单一特征的跟踪方法相比，该算法能稳健地实现对复杂场景下目标的跟踪.

粒子滤波;免疫粒子滤波;小波纹理特征;相似性度量;视觉跟踪

从20世纪90年代以来，基于粒子滤波的视觉跟踪算法研究一直是视觉跟踪的研究热点.近年来，依据序列图像对感兴趣区域进行持续跟踪问题引起了人们的广泛关注.目前视频跟踪的难点在于:1)由于复杂背景的影响，在目标运动区域提取方面缺乏有效的手段;2)由于目标被障碍物遮挡的影响，使测量数据出现断续现象;3)密集目标的轨迹交叉跟踪问题.针对上述问题，Isard和Blake在1998年提出了Condensation目标轮廓跟踪方法［1］，并将其应用到视觉跟踪.该方法用统计自回归过程对目标的运动进行建模，将系统状态先验密度作为建议分布，并利用目标轮廓线的概率分布作为样本的观测密度.Nummiaro等［2］提出了利用颜色特征的粒子滤波视觉跟踪方法，采用核函数直方图建立目标的颜色概率密度分布模型，并以此建立样本的观测似然函数.为了提高粒子滤波视觉跟踪方法的稳健性，Isard等提出了基于重要采样算法的视觉跟踪方法，在每帧跟踪中，首先从整个图像进行全局的肤色检测，然后从检测到肤色的区域进行采样［1］.另外，单一的颜色特征往往不能全面地描述目标的真实特征，而颜色、纹理、形状等特征对不同的环境有不同的鲁棒性.田卉等［3］在颜色特征的基础上又增加了小波纹理特征对目标进行描述，以增加目标跟踪的准确性.样贫是粒子滤波为克服粒子退化而引入重采样过程时带来的，样贫会严重影响粒子对目标状态的描述能力.为此文中通过免疫优化的策略来解决重采样带来的样贫问题，在重采样之前加入免疫优化算法可以增加粒子多样性，增加有效粒子数.

1 免疫粒子滤波

1.1 粒子滤波

粒子滤波算法是一种基于序贯重要性采样的，非线性、非高斯的滤波方法，是指通过寻找一组在状态空间中不断传递的随机样本，对概率密度函数P(xk|Z1∶k)进行估计，获得状态最小方差的估计过程.这些样本被称为“粒子”，随着粒子数量的增加，粒子的概率密度函数将逐渐逼近状态的概率密度，粒子滤波估计也便达到了最优贝叶斯估计的效果.通常，对动态时变系统描述如下:

式中:Xk∈表示k时刻系统状态，Zk∈表示测量，Uk、Vk分别为独立同分布的系统噪声和观测噪声.Bayes意义下，许多非线性问题的数值解需由高维积分才能得到，而基于随机采样运算的 Monte Carlo方法可将高维积分转化为有限样本的求和［4］.假设目标状态Xk服从一阶Markov过程，状态Xk与量测序列Zk独立，X0的先验分布为p(X0).从p(X0∶k|Z1∶k)中随机抽取N个独立同分布的样本{Xi0∶k;i=1，2，…，N}，则状态后验概率密度(PDF)可以由经验分布逼近为［5］

在实际中，由于p(Xk|Z1∶k)可能是多变量、非标准概率分布，通常无法直接从状态的PDF直接采样，这样就需要借助采样算法［5］.重要性函数是指概率分布与p(Xk|Z1∶k)相同，且概率密度分布q(X0∶k|Z1∶k) 已知，容易被采样的分布.从重要性函数q(X0∶k|Z1∶k) 中随机抽取N个样本{;i=1，2，…，N}，则状态的PDF可用求取加权和的形式来逼近［4］:

粒子滤波算法主要包括3个步骤:1)粒子采样，从建议分布中随机抽取一组新的粒子;2)粒子权值计算，根据观测概率分布和贝叶斯公式计算各个粒子的权值;3)状态估计输出;4)重采样，重采样是为了避免退化现象.在标准粒子滤波中，经常出现的退化现象表现为:经过多次递推运算后，除了少数粒子外，多数粒子的权值可忽略不计，从而使大量运算浪费在几乎不起作用的粒子的更新上，甚至最后只剩下一个权值很大的有效粒子，从而产生一个退化分布［6］，最终导致许多状态更新对估计不起作用，有效粒子数定义为［7－8］

由式(2)可以看出，Neff很难计算，所以有效粒子数可用其近似值计算:

很明显，一个或几个有效粒子是不能近似状态的概率分布的.通常，避免退化现象的方法有3种:1)增加粒子数量，但是粒子数量的增加会导致计算复杂度增加;2)选取有效的建议分布，经典的采样策略有拒绝采样法、重要性采样法和马尔可夫－蒙特卡洛采样法.近年来，人们对粒子滤波采样方法进行了广泛的改进研究，但是Liu和Chen［9］指出这些改进的方法都基本依赖于这3种经典采样策略理论，因此对采样策略的改进很难有较大的突破;3)重采样，重采样法就是在权值计算后引入重采样.重采样对粒子集{，}进行重新采样，权值大的粒子被多次抽取，而权值小的粒子被随机剔除［6］.虽然重采样可以消除权值小的粒子在粒子滤波中的影响，但是同时又引入了新的负面问题，那就是“样贫”.这是因为重采样将高权值的粒子过度复制，有效粒子数减少，从而导致新粒子集的信息容量降低，经过若干次递推计算后，有效粒子几乎被耗尽.而免疫粒子滤波方法可以用来解决重采样带来的“样贫”问题，具体通过在重采样之前加入交叉、变异等操作，使得粒子集向新的区域扩散，从而保证了粒子集的多样性.

1.2 免疫粒子滤波

免疫优化是受生物免疫机制的启发而形成的一种新型的算法，它模拟了生物免疫系统产生抗体抵御外来入侵抗原的自适应能力，实现了入侵抗原识别、多样抗体生成、自我调节、免疫记忆等功能.生物免疫系统虽然复杂，但是其呈现出来的抵御抗原的自适应能力确实十分明显的.将外来侵犯的抗原和免疫系统产生的抗体分别与实际求解问题的目标函数和问题的候选解相对应，即被跟踪目标的状态与抗原相对应，粒子与抗体相对应.免疫优化算法模拟了免疫系统的抗体多样性保持机制，实现了免疫系统的自我调节功能，即利用抗体的浓度选择机制，实现对抗体的促进和抑制作用，保持抗体的多样性.抗体的选择概率pi由适应度概率pfi和浓度抑制概率pdi2部分组成，具体如下所示［10］:

式中:α和β分别为调节常数;N为抗体总数，Ci为抗体浓度，即相似抗体所占比重;F(·)为抗体适应度函数，Ci、F(·)分别如下所示.

式中:抗体间亲和度采用Euclidean距离评价.考虑进化只能向着适应度函数值增大的方向进行，因此适应度函数可构造成状态估计与真实状态之间均方根误差的倒数，即

免疫优化粒子滤波充分运用抗体浓度促进与抑制、交叉、变异、记忆等免疫算法的机制，不仅能够保证高权值的粒子仍能够添加到记忆单元，还能够调节抗体的浓度，而且高频变异和粒子交叉能使原有的粒子集发散开来，从而获得新的粒子，这些新的粒子是增加原有粒子集多样性的保障.

2 多种目标特征的综合

由于视频中运动目标含有的信息量非常大，因此基于单特征的跟踪方法往往不能完全描述目标的特征.为了提高跟踪算法的有效性，通常需要综合多种特征共同描述目标.因此，在运用传统加权颜色直方图描述目标的同时，采用基于小波的图像纹理特征描述.

2.1 颜色特征描述

假设将视频目标的颜色分布离散化为B级(RGB空间一般取B=8×8×8)，颜色量化函数b(lm):R2→{1，2，…，B}，表示把位置lm处的像素颜色值量化并将其分配到颜色分布相应的颜色级.因此，对于视频目标状态X，其颜色分布定义为［2］

式中:l表示视频目标的中心(x，y)，由目标X确定;M表示目标区域的总像素数;表示目标区域的大小;k(·)表示核函数(一般选高斯核函数);δ(·)为Kronecker Deita函数;C为归一化常数，且

对于视频目标观测概率分布的计算，在视频跟踪的初始帧选定参考目标Xc，利用上述方法建立参考目标的颜色分布{q(u)}u=1，2，…，B.在第k帧，设视频目标状态Xk的第i个采样所对应的图像区域颜色分布为{p(u)}u=1，2，…，B，样本表示视频目标在第k帧的一假定状态.于是，样本与参考目标Xc的相似性度量可利用其颜色分布的相似性度量建立，在此用Bhattacharyya系数来建立，且 Bhattacharyya系数定义为［11］

则样本与参考目标Xc的相似性度量可定义为

式中:Dc(p，q)成为Bhattacharyya距离.

2.2 小波纹理特征描述

纹理描述了图像区域的统计特性和全局特征，具有旋转不变性和较强的抗噪能力.在此采用二维旋转复合小波在12个不同方向上提取图像纹理特征.二维旋转复合滤波结合了二叉树旋转复合小波滤波器(DT－RCWF)和二叉树复合小波滤波器(DTCWF)［12］.

对图像利用DT－RCWF和 DT－CWF进行3级分解，提取能量特征和标准差特征分别为:

式中:Wmn(i，j)表示第m级n方向小波分解子带中像素为(i，j)的灰度值;M×N表示小波分解子带的大小;μmn表示m级n方向小波分解子带的灰度均值，则图像的纹理相似度可定义为

2.3 目标观测模型

目标的观测量由颜色观测量和纹理观测量两部分组成.颜色观测量可表示为

式中:λc为控制参数，pc(|)值越大，则候选目标与目标模板颜色越接近，候选目标为真实目标的可能性也越大.

纹理观测量可表示为

式中:λT为控制参数.通常单一特征不足以表达目标的真实特征，综合多种特征可以实现各特征间信息互补，提高视频跟踪的鲁棒性.因此在X时刻下，由式(3)、(4)可将目标X的后验概率表示为

将式(5)代入式(1)即可求得每个粒子的权值，如下所示:

3 算法描述

综上，将该算法流程总结如下:

5)适应度计算;

6)记忆单元更新，用当前种群中适应度高的抗体替换记忆单元中适应度低的抗体，否则将当前种群中适应度高的抗体直接加入记忆单元，为保持抗体多样性，在替换时必须替换与加入抗体亲和度最高的原有抗体;

7)抗体浓度的促进与抑制，若当前种群中抗体的浓度高则减少其选择概率，反之，则增高;

8)交叉运算;

9)变异运算;

10)循环6)～9)，直到全局误差ek≤ε，将记忆单元作为新的粒子集;

11)重采样;

12)令k=k+1，返回2)，对新的粒子集进行采样.

4 实验结果与分析

为了验证所提出算法的跟踪效果，将该算法用于实际监控场景中目标的跟踪.其中既有与目标颜色相近的背景的干扰，还有来自具有相似颜色特征的干扰目标的遮挡.实验证明，本文提出的算法，在这2种情况的干扰下仍能保持良好的跟踪效果.

图1是基于颜色特征的标准粒子滤波对该场景目标的跟踪情况.从图中可以看到在刚开始的时候，粒子滤波算法可以很好地跟踪到目标，但是当目标经过与其有相似颜色特征的楼梯口时，标准粒子滤波对目标的跟踪有了偏差.另外当后面的人经过目标时，由于发生了遮挡，使得算法最终丢失了目标.

图1 标准粒子滤波颜色特征跟踪结果Fig.1 Color tracking results of standard particle filter

图2是标准粒子滤波基于颜色和小波纹理特征的目标跟踪结果［3］.从图中可以看出，由于结合了小波纹理特征，使得目标的特征信息更加全面，因此在第115帧前后，对于有相似颜色的背景的干扰，算法的跟踪效果有了改善.但是，当发生遮挡时，标准粒子滤波的跟踪效果依然不理想，最后还是丢失了目标.

图2 标准粒子滤波颜色、小波纹理特征跟踪结果Fig.2 Color and texture tracking results of standard particle filter

图2中目标最终仍丢失最主要的原因是当发生遮挡时，粒子主要集中在遮挡人身上，从而使其丢失了目标的特征.为改善这种状况，尝试采用免疫优化算法来增加粒子的多样性，消除“样贫”的影响，使得当遮挡发生时，粒子可以在扩展的领域采样，这样就增加了目标特征被采样的几率，最终提高了跟踪的鲁棒性.图3是免疫粒子滤波基于颜色和小波纹理特征，对同一目标跟踪的结果.可以看出，提出的算法不仅能克服背景的干扰，而且对于遮挡情况也能很好地解决.

图3 免疫粒子滤波颜色、小波纹理特征跟踪结果Fig.3 Color and texture tracking results of immune particle filter

5 结束语

通过仿真实验看到，标准粒子滤波在有相似颜色背景和遮挡干扰的情况下，跟踪结果并不理想.而本文提出的算法，1)充分利用了颜色和图像的小波纹理特征来描述目标，使得在跟踪信息不全时仍能取得较好的跟踪效果;2)对于粒子滤波固有的“样贫”问题，采用免疫优化算法来增加粒子的多样性，增加粒子采样区域，使得目标被采样的几率增大.实验证明提出的算法对复杂环境下目标的跟踪更加稳健.

［1］ISARD M，BLAKE A.Condensation－conditional density propagation for visual tracking［J］.International Journal of Computer Vision，1998，29(1):5－28.

［2］NUMMIARO K，KOLLER－MEIER E，Van GOOL L.An adaptive color－based particle filter［J］.Image and Vision Computing，2003，21(1):99－110.

［3］田卉，沈庭芝，赵三元，等.综合颜色和纹理特征的粒子滤波人脸跟踪算法［J］.北京理工大学学报，2010，30(4):469－473.

TIAN Hui，SHEN Tingzhi，ZHAO Sanyuan，et al.Face tracking algorithm combing color and texture features based on particle filter［J］.Transactions of Beijing Institute of Technology，2010，30(4):469－473.

［4］SCHONFELD H K.Fast object tracking using adaptive block matching［J］.IEEE Transactions on Multimedia，2005，7(5):853－859.

［5］QU W，SCHONFELD D.Real－time distributed multi－object tracking using multiple interactive trackers and a magneticinertia potential model［J］.IEEE Transactions on Multimedia，2007，9(3):511－519.

［6］ARULAMPALAM M S，MASKELL S，GORDON N，et al.A tutorial on particle filters for online nonlinear/non－Gaussian Bayesian tracking［J］.IEEE Transactions on Signal Processing，2002，50(2):174－188.

［7］LIU J S.Metropolized independent sampling with comparison to rejection sampling and importance sampling［J］.Statistics and Computing，1996，6(2):113－119.

［8］KONG A，LIU J S，WONG W H.Sequential imputations and Bayesian missing data problems［J］.Journal of the A－merican Statistical Association，1994，89(425):278－288.

［9］LIU J S，CHEN R，Sequential Monte carlo Methods for dynamic systems［J］.Journal of the American Statistical Association，1998(93):1032－1044.

［10］丁永生，刘宝，任立红，等.基于生物网络的智能控制与优化［M］.北京:科学出版社，2010，1:63－69.

［11］HUANG S J.Enhancement of thermal unit commitment using immune algorithms based optimization approaches［J］.International Journal of Electrical Power ＆ Energy Systems，1999，21(4):245－252.

［12］MANESH K P K，BISWAS B N，Chatterji.Texture image retrieval using new rotated complex wavelet filters［J］.IEEE Transactions on Systems，Man and Cybernetics，2005，35(6):1168－1178.

韩华，女，1983年生，博士研究生，主要研究方向为智能视频处理.

丁永生，男，1967年生，教授，博士生导师，主要研究方向为智能系统、网络智能、DNA计算、人工免疫系统、生物网络结构、智能机器人、生物信息学、数字化纺织服装、智能决策与分析等.

郝矿荣，女，1964年生，教授，博士生导师，主要研究方向为机器视觉、模式识别、智能机器人、智能控制等.

An immune particle filter video tracking method based on color and wavelet texture

HAN Hua1，DING Yongsheng1，2，HAO Kuangrong1，2

(1.College of Information Sciences and Technology，Donghua University，Shanghai 201620，China;2.Engineering Research Center of Digitized Textile＆ Fashion Technology，Ministry of Education，Shanghai 201620，China)

Focusing on the drawbacks of standard particle filters in visual tracking，a new immune particle filter was proposed based on color and wavelet texture feature to avoid“sample impoverishment”and incomplete feature.Since the wavelet feature was added，the poor performance of only one feature was improved when the environment changed.In addition，the proposed immune optimization algorithm improved the diversity of particles，especially the decline of the impact of sample impoverishment when occlusion occurs.At last，the effectiveness and robustness of the proposed method was verified by experiments.In contrast to the single feature tracking method，the proposed method can track targets with complex backgrounds more steadily.

particle filter;immune particle filter;wavelet texture;similarity measurement

TP277

A

1673－4785(2011)04－0289－06

10.3969/j.issn.1673－4785.2011.04.002

2010－12－08.

国家自然科学基金重点资助项目(61134009);国家自然科学基金资助项目(60975059，60775052);国家ITER计划国内配套研究资助项目(2010GB108004);教育部高等学校博士学科点专项科研基金资助项目(20090075110002);上海市优秀学术带头人计划资助项目(11XD1400100);上海市科学技术委员会重点基础研究资助项目(10JC1400200，09JC1400900);上海市科学技术委员会技术标准专项资助项目(10DZ0506500).

丁永生.E－mail:ysding@dhu.edu.cn.