尺度自适应的HLBP纹理特征目标跟踪算法

杜静雯，黄 山

(1.四川大学 电气信息学院，四川 成都 610065；2.四川大学 计算机学院，四川 成都 610065)

0 引 言

针对传统Meanshift[1]目标跟踪算法在跟踪过程中无法根据目标的大小来自适应改变跟踪框的大小问题，许多学者提出了大量的改进算法。文献[2]用增量试探法来实现跟踪窗自适应，其构建的跟踪框是线性变化的，具有一定的局限性。文献[3]利用矩估计和巴氏系数来估计目标的真实尺度。文献[4]对图像进行视觉显著性检测，结合像素归属度确定目标区域并构建自适应核函数，来实现尺度自适应。文献[5]使用了改进的三帧差分法与传统均值漂移跟踪算法相结合，在目标模板与候选模板巴氏系数小于一定阈值时进行了模板更新，但尺度自适应的灵敏性不高。文献[6]采用了五帧差分法结合改进的Meanshift算法进行跟踪，虽然可以较为完整地检测出运动目标，但却没有实现尺度自适应，而且算法复杂度升高，实时性较差。文献[7]结合帧差法与canny算子提取目标轮廓来更新核函数带宽和跟踪窗，可以得到很好的跟踪效果。文献[5,7]虽然能够实现尺度自适应，但却不适用于多个运动目标存在的场景。

本文提出一种尺度自适应的均值漂移跟踪算法，为了改善传统均值漂移算法跟踪准确度低的缺点，本文将HLBP[8]特征运用到Meanshift框架中进行跟踪，该算法计算复杂度低，实时性高。

1 Meanshift跟踪算法[9]

1.1 初始帧的目标模型

(1)

(2)

(3)

1.2 当前帧的候选模型

(4)

(5)

(6)

1.3 相似性度量函数

选择巴氏相关系数来表征目标模型与候选模型之间的相似度，计算方法为式(7)。ρ即为巴氏系数的值

(7)

1.4 目标定位

式(8)中ωi为权值，式(9)中z即为每次搜索得到的跟踪框新位置，且g(x)=-k′(x)。 使巴氏系数取值最大的z即为当前帧目标的最终定位

(8)

(9)

2 基于阈值自适应HLBP纹理特征的Meanshift目标跟踪算法

2.1 阈值自适应的HLBP纹理特征

HLBP纹理特征是文献[8]中提出来的，该特征的计算结合了Haar特征和LBP纹理特征各自的计算方法，二者优势互补，有着更好的纹理表达能力。HLBP的8组编码模式如图1所示，其中的阈值是固定阈值，受人为因素影响较大，本文以模板均值作为阈值T，按式(10)计算，W(x,y)、Mi的含义以及HLBP纹理特征的详细计算过程可查阅文献[8]

(10)

图1 HLBP特征编码模式

2.2 基于HLBP纹理特征的均值漂移算法流程

(1)将初始帧中手动选择的矩形框内的图片转化为灰度图，以便于提取LBP特征，之后的每一帧在处理前都将重复这一过程。

(3)读取视频下一帧，并保存上一帧搜索的目标质心位置x，以上一帧的矩形框中心位置来初始化当前帧矩形框的位置y0。

(9)当循环停止的时候，此时的z就是目标的最终位置，当前帧的搜索结束，返回(3)，继续进行下一帧的搜索。

3 尺度自适应

3.1 形态学膨胀与腐蚀[10]

为了得到完整的运动目标，本文算法中用到了腐蚀和膨胀等形态学运算，比如对二值化图像进行处理，填补目标内部的空洞以及消除物体与物体的粘连，以此来更好地获取目标。

(1)膨胀

设A和B是二维整数控件Z2中的集合，A被B膨胀定义为式(11)，其中B成为结构元素，运算如图2所示

(11)

图2 膨胀

(2)腐蚀

A被B膨胀定义为式(12)，运算如图3所示

A⊖B={z|(B)z⊆A}

(12)

图3 腐蚀

3.2 最大类间方差法[11]

本文中对每一帧图像进行分割并二值化处理，使用最大类间方差法获得该帧图像的最优阈值，其理论如下所述：假设一幅灰度图，高为H，宽为W，I(x,y)表示图上某像素点的灰度值。若阈值为T，大于T的像素点有N0个，小于T的像素点有N1个，则图像被分为目标和背景两部分，按式(13)～式(20)进行计算

(13)

(14)

(15)

(16)

u=w0×u0+w1×u1

(17)

σ2=w0×(u0-u)2+w1×(u1-u)2

(18)

把式(17)带入式(18)得到类间方差的计算公式如下

σ2=w0×w1×(u0-u1)2

(19)

被分割的两个区域的方差达到最大时被认为是最佳分离状态，由此对应的阈值T为

T=max(σ2)

(20)

式(13)～式(18)中，w0为目标像素点与整幅图总像素点的比值，w1为背景像素点与整幅图总像素点的比值，u0为目标像素点的平均灰度值，u1为背景像素点的平均灰度值，u为图像像素点总体的平均灰度值，σ2即为方差，σ2越大，说明在阈值T的分割下目标与背景差别越明显，利用式(20)求出令σ2最大的阈值T，作为分割图像前景和背景的阈值。

3.3 区域生长法[12]

本文采用区域生长法以确定运动目标的大小，进而实时更新跟踪窗的大小，其基本思想是从一个像素点出发，按一定的生长准则，把其邻域中与之具有相同性质的像素点集合起来形成新的区域，再以这些合并进来的新的像素点为种子点继续进行上面的操作，进而实现目标的提取。

3.4 尺度自适应流程

3.4.1 获取完整运动目标

由于帧差法获得的残差图像会出现检测出两个目标或者重影的情况，为此本文结合最大类间方差法获得的二值图，对二者进行“与”运算，以此来消除重影，最后获得的图经过形态学处理，即可得到当前帧中完整的运动目标。图4从左到右依次为原图、原图经过帧差法以及形态学处理得到的图、原图经过最大类间方差法分割以及形态学处理得到的图以及二者“与”运算得到的结果图。

图4 获取目标示例图

3.4.2 跟踪框的自适应

假设帧差法得到的图为G(x,y)，最大类间方差法得到的图为S(x,y)，则进行区域生长的源图为V(x,y)，三者关系如式(21)

V(x,y)=G(x,y)∩S(x,y)

(21)

具体流程：

(1)在图像V(x,y)中，以基于HLBP特征的Meanshift跟踪算法搜索获得的运动目标的中心点(x0,y0)作为初始种子点(也即跟踪框的中心点)；

(2)以(x0,y0)为中心，判断其8邻域像素点 (x,y)，如果点(x,y)满足生长准则，将(x,y)与(x0,y0)合并(在同一区域内)，同时将(x,y)压入堆栈；

(3)判断堆栈是否为空，若不空则从堆栈中取出一个像素，把它当作(x0,y0)，返回到(2)，否则执行(4)；

(4)当堆栈为空时，生长结束，即运动目标已经找到。

本文中因为是在二值图像上进行的区域生长，所以生长准则为灰度值255，大于255的为运动目标，小于255的为背景。

进行了区域生长之后，即可通过计算获得目标的真实质心以及面积，用该面积来修正跟踪框的大小及质心，以此来实现尺度自适应。由于两帧之间目标的尺度不会发生大面积变化，所以为了防止目标与别的运动物体挨得近的情况下导致检测出来的目标面积增大，也为了防止检测错误，在更新跟踪框之前，要判断当前帧所得到的目标面积与上一帧的目标面积的比值，若大于1.5或小于0.5，则表明所得到的目标面积有误，不对搜索框进行修改。

3.4.3 本文算法流程(如图5所示)

图5 本文算法流程

4 实验结果及分析

4.1 实验一

所选测试视频序列的帧高度为240，帧宽度为320。选取的跟踪目标为朝着摄像头方向运动的行人，且视频中目标行人处于匀速行走的状态。实验平台选择的是Visual Studio 2010和opencv2.4.9版本，编程语言使用的是C/C++。

图6为3种算法针对目标尺度逐渐变大情况下的部分实验图，每幅图底部标示着对应的帧数。从图中可以看出，传统Meanshift算法跟踪效果最为不理想，在233帧之后就已跟丢目标，而自适应阈值HLBP纹理特征的Meanshift算法跟踪效果稳定，明显优于传统目标跟踪算法，虽然未达到尺度自适应，但跟踪框的中心依旧在目标身上，这就为本文算法奠定了基础。从3幅图的比较结果来看，本文算法跟踪框能随目标尺度的变大而变大，几乎达到了最小外界矩形的状态，使得跟踪更加稳定，背景因素的影响降到了最低，使得跟踪准确度得到了很大提高。

图6 运动目标跟踪结果对比

为了进一步分析，我们使用目标实际位置与跟踪框位置之间的欧氏距离来衡量跟踪误差，并通过OriginPro绘图软件进行绘制，绘制结果如图7所示。可以看出本文算法的跟踪误差几乎为0，基于自适应阈值HLBP纹理特征的Meanshift算法跟踪误差虽然在很小的范围内上下波动，但依旧可以达到稳定的跟踪，相比之下，传统方法的误差呈发散趋势，后期完全丢失了目标。实验说明本文算法可以准确的跟踪目标，并且尺度自适应的效果也很好。

图7 3种算法跟踪误差

4.2 实验二

所选测试视频序列帧高度为240，帧宽度为320。选取的跟踪目标为高速公路上朝着远离摄像头方向快速运动的车辆，相比于实验一，实验二特意选取了背景中有多个运动目标的视频，相比于文献[2]和文献[7]只适用于单目标的情况，本文算法更具实用性。实验平台和编程语言的选择同实验一。

由于传统Meanshift目标跟踪算法难以跟踪快速移动目标，所以选取了STC跟踪算法来进行比较。图8为3种算法针对目标尺度逐渐变小情况下的部分实验图。从图中可以看出，自适应阈值HLBP纹理特征的Meanshift算法与STC算法的跟踪效果不相上下，都可以稳定地跟踪目标，二者的均未实现尺度自适应，这也说明了结合HLBP纹理特征的Meanshift算法可以跟踪快速移动的物体。从3幅图的比较结果来看，本文算法在目标快速移动的情况下可以准确而稳定的跟踪，且跟踪框能随目标尺度的变小而变小，几乎达到了最小外界矩形的状态，使得跟踪更加稳定。

图8 运动目标跟踪结果对比

实验二的误差如图9所示。可以看出本文算法的跟踪误差相对于其它两种算法来说很小，也更稳定，虽然后期出现了小的波动，但很快又收敛于0。实验说明本文算法在目标快速运动的情况下可以稳定地跟踪目标，并且尺度自适应的效果也非常好。

图9 3种算法跟踪误差

5 结束语

本文提出了一种尺度自适应的目标跟踪算法，利用阈值自适应HLBP纹理特征的Meanshift算法在目标慢速或快速运动的情况下可以稳定跟踪的优点，结合帧差法和最大类间方法差法以及形态学处理得到二值化目标区域来实现跟踪框大小以及位置的修正，为了防止检测到的目标大小出现错误导致跟踪失败，加入了面积判断机制来增强算法的鲁棒性，该算法计算复杂度较低，跟踪结果准确，对目标尺度变化适应性强。