多特征融合的图像目标跟踪方法

王智军, 王建华

(1.赤峰学院计算机与信息工程学院，内蒙古 赤峰 024000； 2.白求恩医务士官学校，石家庄 050081)

多特征融合的图像目标跟踪方法

王智军1, 王建华2

(1.赤峰学院计算机与信息工程学院，内蒙古 赤峰 024000； 2.白求恩医务士官学校，石家庄 050081)

图像目标主要的两个特征是颜色特征和形状特征，为提高跟踪的准确性和鲁棒性，提出融合图像目标颜色和形状的多特征融合跟踪新方法。采用基于HSV空间的空间颜色概率直方图模型，以及灰度变换后的Hu不变矩模型，分别进行实时目标跟踪，然后采用自适应加权方法，完成图像目标最终跟踪位置的确定。经实验测试，该方法对图像目标受到复杂背景干扰，以及颜色变化、尺度变换以及亮度变化等情况都具有很强的鲁棒性，同时增强跟踪效果，提高了跟踪的有效率。

运动目标跟踪； 图像跟踪； 特征融合； 颜色直方图模型； Hu不变矩； 相似性度量； 背景干扰

0 引言

在视频监控、国防、人工智能、目标识别、智能交通系统等应用场合中，对运动目标的跟踪一直是热点问题，而图像中包含着丰富的时空信息，针对图像目标的跟踪[1-2]也是学者们非常关注的现实问题。运动目标跟踪通常是在状态空间中进行[3-4]，目标的运动呈现出某种特定的物理规律，再结合一定的预测方法，来实现对运动目标的实时跟踪。但是图像目标与一般目标也有着很大的不同，比如，运动规律性弱，目标形态变化大，拍摄时受光照、角度、焦距影响大，目标机动性强等。这些特点使得图像目标跟踪成为当前研究中很有挑战性的一个难点问题。目前通常的做法是用目标的某一种突出特征，比如颜色或者形状特征[5-7]，通过特征匹配完成目标跟踪。颜色模型方面，由于HSV空间比RGB颜色空间更符合人眼视觉感知，算法计算简单、维数少，能大大提高模型表达的计算效率，因此，现在多在HSV颜色空间上对目标颜色直方图建模。而对于形状特征模型，由于其经常出现在图像区域特征明显且背景颜色单一的场景中，多采用基于Hu不变矩[8]的区域描述符描述图像形状特征。这是因为Hu不变矩具有平移、旋转、尺度不变性，矩幅值反映物体的形状，所以采用Hu不变矩可以准确描述图像的形状特征。但是，在图像帧颜色背景复杂的情况下，如果单纯使用颜色或者形状特征，进行运动图像目标跟踪均具有一定的片面性和局限性。也有学者通过融合颜色和形状两种特征对图像目标进行建模，但是主要应用于图像检索[9]、目标检测[10]方面，同时还有学者融合了纹理特征[11]进行多特征的目标检测等研究。

本文融合了上述两种特征跟踪运动图像目标，对颜色特征和形状特征分别赋予相应的线性权重大小，权值代表了它们与目标模板的相似程度。然后设计了跟踪程序，通过两个不同的图像集实验，证明了多特征融合后的目标跟踪要比仅使用某一个特征的跟踪效果好，并针对不同的参数进行了跟踪有效率实验，结果证明效果更好。

1 颜色特征的图像跟踪

颜色是图像目标的一个常用的表现特征。在颜色的表示方法上，首先选择合适的颜色空间，然后在此空间内，选择表达目标颜色特征的具体方法，最后设计在不同图像帧之间的目标跟踪算法。本文采用符合人眼视觉特性的HSV空间，目标表达模型选择空间颜色统计直方图[10]，这是一种基于统计的颜色特征描述方法，能够增加目标的空间表达能力。具体方法是：1) 建立目标模板,将图像目标由传统的RGB颜色空间转换成HSV颜色空间,然后根据人类视觉特性进行非均匀量化采样，将目标的颜色量化为K个等级，按照目标各个像素的颜色分布建立目标颜色直方图模板。建立HSV空间直方图的基本方法为:设一幅M×N的图片I，定义pi={(xi,yi)∈I|i∈Bi,i=1,2,…,K}为Bi中像素集合，其中,Bi为第i维颜色表达，则颜色直方图是每一维中的像素占总像素的比率，即Hi=|pi|/(M×N),|pi|表示集合pi中像素的数量，由此得到K维的目标颜色特征；2) 建立候选区域，跟踪目标,根据前一帧目标位置，确定候选区域，转换成HSV空间，建立候选区域的颜色直方图模型，与目标模板进行巴氏距离计算，选择最接近的候选区域作为目标的新位置,迭代进行，实现连续跟踪。迭代方法选用Mean Shift跟踪算法[12]。Mean Shift跟踪算法最早由FUKUNAGA等人[13]提出，是一种概率密度梯度函数的估计，迭代收敛到相似性函数的局部极大值点。COMANICIU[12]首先将Mean Shift跟踪算法应用于目标跟踪领域，用颜色直方图分布建立目标模型。此算法进行局部性质的穷尽搜索，具有很强的实时性能,具体迭代算法见参考文献[12]。

2 形状特征的图像跟踪

形状是图像中的另外一种常见特征，很多物体都有明显的外廓形状特征。目标的形状特征主要表现在它的边缘上，因此有很多形状特征是采用边缘检测的方法得到的。常用的边缘检测算法有Canny方法、Sobel方法、Prewitt方法、Laplacian方法和LOG方法。检测出边缘后，还要对边缘进行特征描述，形成描述算子，常见的有Hu不变矩算子[8]。利用普通几何矩或者中心矩可以对目标物体进行形状特征表示，但是这样的表示无法同时具备平移、旋转和尺度不变性。如果利用归一化中心矩构造形状算子，则可以同时满足平移、旋转和尺度的不变性。Hu不变矩算子由HU首次提出，是一种用于图像识别的矩理论，它利用归一化的中心矩，计算得到7个矩不变量，并且证明了这些矩的不变性质。Hu不变矩是用二阶矩和三阶矩的不同组合构造形状特征算子，忽略了图像的细节，以避免受到过多细节信息的干扰。在7个Hu不变矩中，M2对于目标物体的形状描述最好，而且能够保持对于目标的平移、旋转和尺度不变性。现在多利用M2矩进行图像目标的特征提取。

M2不变矩算子利用二阶归一化中心矩μpq构造

(1)

利用M2不变矩进行图像目标跟踪的具体方法是：1) 建立目标模板，并进行灰度化，计算目标模板的M2值;2) 建立候选区域,根据前一帧目标位置确定候选区域，转换成灰度图像，计算候选区域的M2值与目标模板进行欧氏距离计算，选择最接近的候选区域作为目标的新位置。

3 多特征融合的跟踪新算法

颜色和形状都仅能反映图像某一个方面的特征，目标在单一特征上的相似并不能完全体现出目标候选区域与目标模板整体上的相似，利用多特征融合跟踪能够避免单一特征跟踪的局限性。在融合跟踪之前需要采用高斯归一化的方法对颜色特征和形状特征各自的相似性度量进行特征间的归一化。

融合跟踪新算法的具体步骤如下：

1) 在跟踪之前建立目标的HSV颜色模板和M2形状模板。

(2)

(3)

5) 继续跟踪下一帧图像k=k+1。直至结束。

一帧图像的跟踪流程见图1所示。

图1 一帧图像的跟踪流程图Fig.1 Flow chart of tracking a frame of image

4 实验结果及分析

实验在两种不同的图像数据集上进行，图像集I是Girl数据集，有500帧图像，图像像素大小为128×96，目标像素大小为32×46；图像集II是Crossing数据集，有45帧，图像像素大小为360×240，目标像素大小为18×51。数据集中的图像目标选择HSV颜色空间特征，分割成72维，特征算子为颜色概率直方图模型，迭代方法采用Mean Shift收敛方法。形状特征选择Hu不变矩算子，迭代方法采用局部区域最小值寻优方法。然后对两种数据集中的目标分别进行了单一颜色特征、单一形状特征、融合特征的跟踪效果评估。数据集中目标的真值是由手工标注获取的。检验指标采用每一帧的跟踪误差和整体跟踪有效率，跟踪误差为每一帧图像中目标跟踪位置X与真值Xtruth之间的欧氏距离，定义为

E(X)=[(X-Xtruth)×(X-Xtruth)T]1/2。

(4)

跟踪有效率Poverlap是指，跟踪窗口(A+C)与真值窗口(B+C)的重叠率[14]，一般需要大于0.25,定义为

Poverlap=C/(A+B+C) 。

(5)

式(5)中各符号含义及其关系如图2所示。

图2 跟踪有效率示意图Fig.2 Tracking effectiveness

图像集I的跟踪效果如图3所示。从图3中可以看出，在目标颜色与周围背景颜色相差很大时，颜色特征跟踪算法可以很好地跟踪到目标，但是在第90帧，当目标颜色分布与周围背景相差较小时，此时目标正在转头，颜色特征跟踪算法失败；而在第23帧，当目标周围的背景变得复杂时，目标的形状特征不太突出，形状特征跟踪算法[8]跟踪出现较大误差；本文算法融合了两种特征，能够很好地排除背景干扰，所以在这些情况下仍然能够保持一个很好的跟踪效果。

图3 图像集I上新算法的跟踪效果Fig.3 Tracking results for Dataset I

跟踪误差比较如图4所示，横轴为图像帧序号，纵轴为像素数目。

图4 数据集I上算法的跟踪误差比较Fig.4 Comparison of tracking errors in Dataset I

跟踪有效性见表1，表1中是跟踪有效的图像帧数和占比率。

图像集II的跟踪效果如图5所示。跟踪误差比较如图6所示，横轴为图像帧序号，纵轴为像素数目。

表1 数据集I的跟踪有效性指标比较

图5 图像集II上新算法的跟踪效果Fig.5 Tracking results for Dataset II

图6 数据集II上算法的跟踪误差比较Fig.6 Comparison of tracking errors in Dataset II

图像集II的目标特点与图像集I不同。从图中可以看出，目标颜色和形状特征与周围背景都有一定对比度，因此，两种算法独立跟踪时，表现都还不错。但是，从第35帧左右开始时，目标受到背景中出现的机动车的干扰，基于单一特征的跟踪算法效果受到影响。而本文算法融合了两种特征，在跟踪过程中，仍能够增强跟踪效果，提高跟踪的有效性指标见表2，表2中是跟踪有效的图像帧数和占比率。

表2 数据集II的跟踪有效性指标比较

5 总结

融合算法在处理前景与背景颜色相似、前景被遮挡等情况时较单一特征跟踪算法效果好，但是当跟踪背景较简单的情况中，融合算法跟踪效果略差于单一特征跟踪效果。因此在实际应用时，可先使用单一特征跟踪目标，当检测到目标的单一特征发生变化时，利用本文融合算法跟踪目标，待跟踪稳定后，可转而使用颜色或形状特征继续跟踪目标，这样在整个跟踪过程中，既能够稳定跟踪目标，又能够保持很好的准确性。

图像目标具有很强的机动性，由于受到拍摄时光线变化、背景干扰、尺度变化等因素的影响，目标的形态经常会发生很大改变,这些给图像目标的跟踪带来了很大的难度。图像的颜色和形状均是跟踪过程中常用的外在特征，人们经常使用这两个特征跟踪图像目标。但是，仅用一种特征跟踪运动图像目标，存在一定的局限性，融合这两种特征，自适应分配每一种特征的权值，形成一种新的融合跟踪算法，能够克服各自的局限性，成功跟踪图像目标，两种不同的图像集的跟踪实验表明，融合跟踪算法能够很好地排除背景干扰，增强跟踪效果，同时提高跟踪有效性指标。

[1] 施滢,高建坡,崔杰,等.分块多特征自适应融合的多目标视觉跟踪[J].传感器与微系统, 2015,34(9):128-131.

[2] 宋敏,张蓉竹,孙年春.红外与微光融合图像目标侦察系统设计[J].光学与光电技术,2014,12(6):40-44.

[3] 权义萍,杨道业.基于视频检测的卡尔曼滤波车辆跟踪算法及行为分析[J].北京工业大学学报,2014,40(7):1110-1113.

[4] 崔诵祺,安建平,王爱华.机动目标模型匹配卡尔曼滤波载波跟踪算法[J].系统工程与电子技术,2014,36(2):376-381.

[5] 高晶,孙继银,吴昆,等.基于形状特征的红外目标检测方法[J].激光与红外,2013,43(1):49-53.

[6] 王番,梁建,赵海见,等.基于形状特征的线状地物提取方法研究[J].影像技术,2014,26(1):50-51，46.

[7] 闫利,赵展,谢洪.一种基于形状特征的高分辨率影像飞机提取方法[J].遥感信息,2013,28(6):3-6.

[8] HU M K.Visual pattern recognition by moment invariances[J].IRE Transaction on Information Theory,1962,8(2):179-187.

[9] 张金朋,方千山.融合颜色分割与形状特征的交通标志检测[J].微型机与应用,2015,34(11):83-85.

[10] 曹磊,范彩霞,辛华,等.基于局部特征的多摄像机间目标识别方法[J].计算机仿真,2014,31(9):252-255,281.

[11] 袁渊，丁胜，徐新.基于颜色与纹理特征的安防视频遮挡树叶检测[J].计算机工程与设计,2016,37(6):1549-1554.

[12] COMANICIU D,MEER P.Mean Shift:a robust approach toward feature space analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):603-619.

[13] FUKUNAGA K,HOSTETLER L.The estimation of the gradient of a density function,with applications in pattern recognition[J].IEEE Transactions on Information Theory,1975,21(1):32-40.

[14] KALAL Z,MATAS J,MIKOLAJCZYK K.P-N learning:bootstrapping binary classifiers by structural constraints[C]//Computer Vision and Pattern Recognition,IEEE, 2009:49-56.

AMulti-featureFusionAlgorithmforMovingTargetTrackingofImageSequences

WANG Zhi-jun1, WANG Jian-hua2

(1.The College of Computer and Information Engineering,Chifeng University,Chifeng 024000,China;2.Bethune Medical College,Shijiazhuang 050081,China)

Color and shape are the two main features of an image target.In order to improve tracking accuracy and robustness,a new multi-feature fusion tracking algorithm fusing color and shape features of the image target is put forward.The histogram model of space color probability based on HSV space,and the Hu invariant moment model after the gray-scale transformation are adopted respectively for real-time target tracking.And then an adaptive weighted method is adopted to confirm the final tracking location of the image target.Two experiments demonstrate that the proposed method has very strong robustness under the circumstances of complex background interference and to the change of color,scale and brightness.At the same time,the algorithm improves the tracking results and the effective rate of tracking.

moving target tracking; image tracking; feature fusion; color histogram model; Hu invariant moment; similarity measurement; background interference

王智军，王建华.多特征融合的图像目标跟踪方法[J].电光与控制，2017，24( 11) : 49-52，57.WANG Z J，WANG J H.A multi-feature fusion algorithm for moving target tracking of image sequences[J].Electronics Optics & Control，2017，24( 11) : 49-52，57．

2016-12-19

2017-01-16

王智军(1972 —),男，内蒙古赤峰人，硕士，副教授，研究方向为计算机视觉。

TP391

A

10.3969/j.issn.1671-637X.2017.11.010