基于运动信息与Hog特征的伪装色移动目标跟踪

侯文迪，王 宁，李金屏

1.济南大学 信息科学与工程学院，济南 250022

2.山东省网络环境智能计算技术重点实验室，济南 250022

基于运动信息与Hog特征的伪装色移动目标跟踪

侯文迪1，2，王 宁1，2，李金屏1，2

1.济南大学 信息科学与工程学院，济南 250022

2.山东省网络环境智能计算技术重点实验室，济南 250022

1 引言

运动目标跟踪是计算机视觉领域的研究热点之一，它在视频监控、人机交互、智能交通等领域都有广泛的应用[1]。运动目标跟踪主要是在连续的视频帧序列中实时地找到感兴趣的运动目标，获取目标的位置、速度以及形态等特征。

动态背景下运动目标的检测与跟踪是视频监控领域中的研究热点之一，其中具有伪装色的运动目标检测和跟踪是一个难点。针对动态背景下的运动目标检测，高斯混合模型[2]（GMM）是一个好的选择，但伪装色目标[3-5]的颜色、形态等特征与背景极其相似，造成目标与背景的模型基本重合，因此GMM不适合解决伪装色目标的问题。目前为止，关于伪装色运动目标检测和跟踪的研究甚少。文献[3]分析了复杂背景下伪装色运动目标所经历区域的像素颜色变化规律，当规律呈现异常时判定存在运动目标。文献[4-5]分析目标与背景运动规律的差别，采用光流法检测伪装色目标。虽然有若干方法检测伪装色目标，但是尚未开展系统的跟踪工作。目前常用的跟踪方法如meanshift[6-7]、camshift[8]、粒子滤波[9]等都是借助颜色直方图信息展开目标跟踪，也不简单适用于解决伪装色目标跟踪问题，如文献[7]利用meanshift算法对简单背景下伪装目标跟踪，取得了一定的效果但是计算比较复杂，且当背景复杂时没有做相应的研究。

本文在伪装色目标检测工作完成的基础上，基于目标结构化特征提出一种基于金字塔光流法[10-12]与Hog特征[13]的伪装色目标跟踪方法。首先采用图像金字塔光流法计算目标区域的运动主方向以及运动矢量的模值范围；其次依据灰度特征、Hog特征将目标区域沿着运动主方向在速度模值范围内进行匹配，搜寻最佳的匹配位置。具体流程如图1所示。

图1 系统流程图

2 金字塔光流计算

经典的光流计算复杂度较高，本文选取图像金字塔光流法计算运动光流场，此算法仅仅需要对角点位置计算光流，可以大大降低计算复杂度，提高检测效率。

2.1 Harris角点检测

Harris角点检测[14]是一种稳定、高效的角点检测算法，它基于图像梯度信息计算每个像素的自相关矩阵M且定义像素的响应函数R：

式中：Ix、Iy、Ixy分别为图像在 X、Y、XY混合方向的梯度，G(s)为高斯模板，*为卷积运算，det(M)为矩阵行列式，tr(M)为矩阵的迹。M的特征值代表自相关函数的一阶曲率，若两个特征值都较大，则此点为角点，即响应函数R的局部极值对应的即为角点。k为权值系数，本文取值为0.04。

2.2 金字塔光流算法

目前，由Lunas-Kanade提出的基于微分度量的LK光流算法的精确度以及稳定性都较高，在运动目标的检测上得到了广泛的应用，然而LK光流法的一个致命缺陷是针对运动量较大的目标检测率不高，适合于小灰度模式的检测，而金字塔光流法恰恰弥补了这一缺陷。该算法的核心思想是获取一个图像金字塔序列，具体做法为：原图像作为金字塔的底层（0层），然后依次采样形成相邻的高层（n层），原图经过依次采样形成的高层图像中目标像素运动量依次降低，假设原图像相邻帧间目标像素运动量为D，则n层相邻帧间目标像素运动量d为：

一般情况下3≤n≤5，此时最高层上目标运动量达到亚像素级，满足光流法灰度守恒条件，可以直接按照LK算法直接计算n层上的光流运动场，进而由最高层速度Vn反向依次迭代至最低层V0。金字塔光流法图像分层以及速度迭代过程如图2所示。

图2 金字塔分层以及速度迭代图

图中，Vi(0，1，…，n)与ΔVi(0，1，…，n)分别代表第i层光流估计值以及光流计算值，Vn的初值为0。

2.3 区域速度矢量获取

针对目标跟踪而言，假定首帧视频图像中已经完成了目标检测[3-5]。对于一个完整的运动目标来说，在一个间隔较小的视频图像序列中，目标的运动矢量相对稳定（运动方向上尤其显著）。因此在计算出图像的光流场之后，可以量化目标区域的速度矢量值，计算出能代表目标区域运动的主方向以及在该方向上的速度模值范围。具体步骤如下：

（1）计算目标区域光流点的运动方向，同时把可能的运动方向（0～360°）以20°为间隔进行量化，本文量化在数组B里，式（4）中dx、dy分别代表相邻帧光流点在X、Y方向的偏移量，当θ的值确定之后，B[θ/20]的个数加1。

（2）获取目标的运动主方向（B中元素个数最多的角度），计算该方向下光流点在X方向移动的最大值、最小值，设运动主方向角度为φ，计算maxdx、mindx可由公式（5）表示：

式中取光流特征点的绝对位移|dx|进行运算，消除特征点位移X分量方向的影响、确保maxdx、mindx为真正的最大值、最小值，方便后续匹配。

3 Hog特征提取

Hog的本质是图像局部区域灰度梯度的统计信息，能够较好地描述目标边缘轮廓信息。针对运动目标而言，在一个相对较短的时间间隔内，目标的形态结构是稳定的。因此本文提取目标的Hog特征作为调整目标区域的依据。Hog特征提取的过程如下（假定目标模板大小为h×w）：

（1）初始图像灰度化，且使用中心对称算子[-1，0，1]分别进行水平、垂直梯度计算。

（2）目标区域模板划分单元，每一个单元为8×8。设模板的单元个数为m×n，其中，m=w/8，n=h/8，如图3。同时统计每一个单元的梯度直方图hi（本文在统计Hog特征的时候都以20°划分一个角度区间，则此时每个hi是一9维向量），梯度直方图的获取与区域速度主方向获取相似。

图3 Hog特征向量示意图

（3）相邻四个单元组合成一个块，本文中的块重叠率为0.5，如图3所示。则目标区域的块个数为(m-1)× (n-1)，同时把四个单元内的hi串联起来形成一36维向量，为消除光线等其他噪声的影响，对每一个块的36维向量作归一化处理形成Hi。

（4）将各个块内的向量串联组合起来，形成一个(m-1)×(n-1)×36维的向量H，H为目标区域Hog特征。

4 跟踪过程

在视频序列更新的过程中，目标区域也发生着实时的变化。但在一个较短的时间间隔内，视频序列中目标区域的运动保持稳定且其边缘结构也不会发生太大的变化，在本文中即目标的速度以及灰度、Hog特征是稳定的，因此目标跟踪成功的关键在于如何根据目标的特征从视频帧中快速地匹配目标。

模板匹配即将目标模板在待搜索图像内滑动，用指定的相似性匹配算法准则计算模板区域在待搜索图像中对应重叠区域的相似度，进而找到最佳匹配的位置。本文中用到的相似准则为：

式中，H1、H2分别描述目标区域模板与待匹配区域的特征向量，ρ的值越小，表示两个特征越相似，反之，两个区域的差别越大。本文中，用式（8）描述总体特征的匹配度。其中，ρ1、ρ2分别表示区域灰度特征与Hog特征的相似匹配度，w的范围为0～1。

为了快速找到目标的最佳匹配位置，本文采取二分法的思想搜寻目标区域，该思想源于二分查找算法，即在目标区域沿着运动主方向采取一定的步长进行匹配时，依据匹配值的大小动态调整匹配步长进行匹配，具体变化如公式（9）表示：

式中：V1，V2为两次匹配相对上帧位置的步长且初值为mindx，maxdx，d1、d2分别表示步长为V1、V2位移处的匹配值，V的变化随着匹配值d的大小而改变。相邻帧之间按照上述规则进行匹配，直至d1与d2差别在0.1以内即找到最准确的匹配位置。

5 实验结果分析

为验证算法的有效性，本文采取三组具有代表性视频序列（蚂蚁在树干上运动、迷彩服随人手在灌木丛中运动、冬青树枝随着人手运动的视频序列）进行实验，实验测试的视频背景复杂且发生着相对平缓的变化。图4给出视频序列光流场以及目标运动主方向的效果图，图5给出视频序列中目标的跟踪效果示意图。

图4中，红色部分为视频图像序列的运动光流矢量（针对光流矢量本文均放大5倍显示），黄色箭头直观地描述目标区域的运动主方向，可以看出目标区域的运动主方向可以准确获取，为后续二分匹配提供了准确的方向匹配依据。

图5分别显示视频序列中目标的跟踪效果。图5（a）中的蚂蚁，其自身颜色与树干非常接近但其边缘纹理结构与树干差别很大，且其特征保持稳定，针对该视频序列本文算法可以完成准确的跟踪。图5（b）中的迷彩服，其颜色幅度跨度大，反映在图像中表现为其边缘纹理信息与背景反差较大，且迷彩服在一个短时间内可以看做刚性物体即没有形变，因此迷彩服在整个视频系列上都可以完成准确的跟踪。然而针对于图5（c）中的冬青树枝而言，该视频背景也是冬青树枝，即目标与背景的颜色信息类似，但是该目标边缘纹理信息丰富且保持稳定，由图5（c）中可以看出其发生了一些微小的形变，但就整个视频序列而言可以保持一个稳定的跟踪。由实验结果可以得出本文提出的算法适用于平缓变化的视频序列中，颜色跨度较大或者纹理结构较为明显的伪装色运动目标。

图4 光流运动场运动主方向结果图

图5 本文跟踪算法部分跟踪

6 结论

针对伪装色运动目标的跟踪问题，本文提出了一种基于图像金字塔光流计算与灰度、Hog特征匹配的综合跟踪算法。首先基于目标与背景在运动规律差别的基础上，采取金字塔光流算法计算光流场，提取目标区域的运动主方向以及速度大小范围；其次将目标区域沿着运动主方向在速度大小范围内进行二分法匹配，根据匹配值的大小动态调整匹配位移的大小，进而获取目标区域的精确位置。这种算法可以减小匹配的次数、提高匹配的效率。实验结果表明，针对背景平缓变化的视频序列、颜色色调范围较大或者边缘结构较为明显的伪装色目标，本文提出的算法可以有效跟踪。下一步的工作重点将着重对物体有效特征进一步提取，例如结构化的纹理特征提取与分类[15]并致力解决视频背景变化比较剧烈时伪装色目标的检测与跟踪。

[1]Yilmaz A，Javed O，Shah M.Object tracking：a survey[J]. ACM Journal of Computing Surveys，2006，38（4）：1-45.

[2]Sun Y，Yuan B.Hierarchical GMM to handle sharp changes in moving object detection[J].Electronics Letters，2004，40（13）：801-802.

[3]李金屏，李倩.基于Laws能量和变化频次的伪装色移动目标检测[J].中国体视学与图像分析，2011，16（1）：18-23.

[4]Yin Jianqin，Han Yanbin，Hou Wendi，et al.Detection of the mobile object with camouflage color based on optical flow[J].Procedia Engineering，2011，15：2201-2205.

[5]侯文迪，李建，李金屏.基于局部微分光流与拓扑一致性的伪装色移动目标检测[C]//第16届中国图象图形会议论文集，2012：630-634.

[6]Li Jinping，Li Qijuan，Yin Jianqin.Real-time tracking by combining level set and meanshift[J].Journal of Information&Computational Science，2008，5（2）：829-836.

[7]颜佳，吴敏渊，陈淑珍，等.基于Meanshift算法的伪装目标跟踪[J].光电工程，2009，36（2）：11-15.

[8]Wang Zhaowen，Yang Xiaokang，Xu Yi.Camshift guided particle filter for visual tracking[J].Pattern Recognition Letters，2009，30：407-413.

[9]Vaswani N，Rathi Y，Yezzi A，et al.Deform PF-MT：particle filter with mode tracker for tracking nonaffine contour deformations[J].IEEE Transactions on Image Processing，2010，19（4）：841-857.

[10]Bruhn A，Weickert J，Schnörr C.Lucas/Kanade meets Horn/ Schunck：combining local and global optic flow methods[J]. International Journal of Computer Vision，2005，61（3）：211-231.

[11]Kameda Y，Imiya A，Sakai T.Hierarchical properties of multi-resolution optical flow computation[C]//Lecture Notes in Computer Science，2012，7584：576-585.

[12]江志军，易华蓉.一种基于图像金字塔光流的特征跟踪方法[J].武汉大学学报：信息科学版，2007，32（8）：680-683.

[13]Deniz O，Bueno G，Salito J，et al.Face recognition using histograms of oriented gradients[J].Pattern Recognition Letters，2011，32（12）：1598-1603.

[14]Sipiran I，Bustos B.A robust 3D interest points detector based on harris operator[C]//Eurographics Workshop on 3-D Object Retrieval，2010：7-14.

[15]韩延彬，尹建芹，李金屏.基于图元旋转不变性和相位统计信息的LBP算法在纹理分类中的研究[J].计算机学报，2011，34（3）：583-592.

HOU Wendi1，2,WANG Ning1，2,LI Jinping1，2

1.School of Information Science and Engineering,University of Jinan,Jinan 250022,China
2.Shandong Provincial Key Laboratory of Network Based Intelligent Computing,Jinan 250022,China

In order to track the camouflaged moving object under complex background,a method based on multi-resolution optical flow and Histograms of Oriented Gradients（HOG）is proposed.The speed vector range of object is obtained by using the multi-resolution optical flow.The gray feature and HOG feature of object area are used to construct the feature vector, which is a standard of bipartite matching in the range of speed value along the main direction of object,and then the object area is obtained accurately.The experimental results demonstrate the proposed approach is effective to track the camouflaged moving object in slowly changing background when the color of camouflaged object changes greatly or the moving object has obvious edge structure.

camouflage;moving object tracking;multi-resolution optical flow;Histograms of Oriented Gradients（Hog）

针对复杂背景下伪装色运动目标的跟踪问题，提出一种基于运动信息与梯度方向直方图的跟踪方法。通过金字塔光流法获取视频序列中目标运动矢量范围；利用目标区域的灰度特征以及Hog特征构建特征向量，沿着运动主方向在速度大小范围内进行二分法匹配，进而确定目标的准确位置。实验结果表明，针对平缓变化的视频序列，对于颜色色调范围较大或者边缘结构较为明显的伪装色运动目标具有良好的跟踪效果。

伪装色；运动目标跟踪；金字塔光流法；梯度方向直方图

A

TP391

10.3778/j.issn.1002-8331.1305-0150

HOU Wendi,WANG Ning,LI Jinping.Camouflaged moving object tracking algorithm based on motion information and Hog feature.Computer Engineering and Applications,2014,50（24）：187-190.

国家自然科学基金（No.60873089）；山东省高等学校科技计划（No.J12LN19）。

侯文迪（1988—），女，硕士在读，研究领域为机器视觉；王宁（1988—），女，硕士在读，研究领域为机器视觉；李金屏（1968—），男，博士，教授，研究领域为机器视觉、图像处理。E-mail：houwendi_19881205@163.com

2013-05-14

2013-06-30

1002-8331（2014）24-0187-04

CNKI网络优先出版：2013-09-04，http∶//www.cnki.net/kcms/detail/11.2127.TP.20130904.1344.016.html