面向无人机影像的目标特征跟踪方法研究

张 辰，赵红颖，钱 旭



面向无人机影像的目标特征跟踪方法研究

张 辰1，赵红颖2，钱 旭3

（1.北京航空航天大学图像中心，北京 100191；2.北京大学遥感与地理信息系统研究所，北京 100871；3.中国矿业大学机电与信息工程学院，北京 100083）

提出了一种面向无人机视频影像的目标特征跟踪模型，首先根据目标检测结果在目标感兴趣区域中采用Shi-Tomasi算法进行角点检测，提取目标特征角点并在跟踪过程中对特征角点进行实时更新以保证角点数量满足跟踪条件，最后通过金字塔Lucas-Kanade算法对目标特征进行跟踪。实验结果表明，该模型鲁棒性强且易于实现，在获得良好跟踪效果的同时可满足实时处理要求。

目标跟踪；特征提取；Shi-Tomasi角点检测；Lucas-Kanade算法

0 引言

无人驾驶飞机（unmanned aerial vehicle，UAV）是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，简称无人机。无人机视频影像是无人机在高速飞行中获取的航拍视频图像序列。作为视频图像处理中的关键技术，针对无人机视频影像的视觉跟踪技术在诸如航空摄影与摄像技术、航空测绘、气象学、环境监测、农业和林业、自然灾害与危机管理、土木工程、交通监视、执法与安保应用等军事、民用及科研领域中都具有重要的研究意义和应用价值。2014年8月3日云南鲁甸发生6.5级地震后，武警部队首次将四旋翼无人机应用于震后救灾，无人机在极其恶劣的环境下完成航拍任务，由为合理分配救援力量、确定救灾重点、选择救援路线、畅通指挥系统、搜救转移受灾群众提供高效准确的信息参考，大幅提高了黄金72h期间的搜救效率。

目前，视觉跟踪方法可分为基于区域的跟踪、基于特征的跟踪、基于变形模板的跟踪和基于模型的跟踪这几大类，其中比较常用数学方法有卡尔曼滤波器、Mean Shift、粒子滤波器、动态贝叶斯网络等[1-2]。由于无人机平台的特殊性，在对由无人机所获取的视频影像进行处理和分析的过程中，面临的主要问题包括背景信息复杂、目标特征不明确、图像质量低、画面严重抖动等，因此直接将传统的跟踪模型直接应用于无人机视频数据通常无法获得理想的跟踪效果。

在针对无人机影像的跟踪系统中，视觉跟踪的工作流程可根据无人机视频影像的特点分为视频稳像预处理[3]、目标检测[4-6]、特征提取和目标跟踪这几个步骤。本文重点针对无人机影像的目标特征提取及跟踪方法开展研究，建立了一套面向无人机视频影像的目标特征跟踪模型，采用Shi-Tomasi算法在目标感兴趣区域内提取角点并确定地面目标特征，再利用金字塔Lucas-Kanade算法实现对目标特征的跟踪。模型根据目标姿态的变化对目标特征角点进行实时更新，并结合经典的特征跟踪算法，在满足实时处理要求的同时，有效提高了无人机视频影像目标跟踪过程中目标特征变化以及局部遮挡时的鲁棒性及稳定性。

1 目标特征提取

1.1 角点的检测

角点是数字图像中的一种重要局部特征，通过在无人机视频图像中检测角点，可在保留图像中重要特征信息的同时大幅减少信息数据量，有效提高计算速度。角点并没有唯一的表述方式，目前，人们普遍将角点认定为图像边缘曲线上曲率极大值的点或图像中亮度变化剧烈的点。其中，Harris角点检测算法[7-8]是目前最为常用的角点检测算法之一。其工作原理是寻找图像边缘曲线中曲率极大值的点，对于一个灰度图像，将窗口在中移动，计算出图像中的灰度变化，用公式表示为：

式中：(,)表示窗口在图像中的坐标为(,)；(,)是图像中(,)的灰度值；(＋,＋)是窗口在在(,)时这一坐标的灰度值。由于角点是灰度值变化最大的点，因此需要求得(,)的最大值，对其进行泰勒展开：

将公式(2)展开可得：

设一个2×2的矩阵，使得：

因此，(,)可以表达为矩阵形式：

设1、2为矩阵两个特征值，将定义为角点响应函数，且：

＝12－(1＋2)2(6)

设定某一阈值与进行比较，当大于该阈值时，则判定该点为角点。

本文采用的角点检测算法是Shi-Tomasi角点检测算法[9]。Shi-Tomasi算法在Harris算法的基础上，将定义为两个特征值中的较小值：

＝min(12) (7)

若大于某一预先设定的阈值min，则判定该点为强角点。在很多情况下，使用Shi-Tomasi算法检测角点会获得更好的效果。

1.2 目标特征的选取

目标特征选取是影响目标跟踪效果的关键因素，本文中的目标特征选取的基本流程如图1所示。根据已检测出的地面目标位置，首先选定目标的最小矩形边界为感兴趣区域，并在原始图像所对应的感兴趣区域中检测角点；若在该区域中所检测到的角点数量无法满足跟踪条件，则采取迭代选点的策略，即在对已检测出的角点进行跟踪的同时，在下一帧目标检测结果图像的感兴趣区域中继续检测新的角点，直到感兴趣区域中的角点数量满足跟踪条件；最后确定出最能体现出目标运动状态的一组角点并对这组角点进行跟踪，即实现目标跟踪。

图1 目标特征选取流程图

其中，本文在特征选取中采用的角点选取策略如图2所示。其中矩形区域为目标检测后确定的感兴趣区域，椭圆形区域为目标的实际位置，黑色点为一些最靠近感兴趣区域边缘的角点，由于感兴趣区域中不仅包括目标，而且还有一部分背景噪声（阴影部分），这些角点的所在位置很可能是在这部分区域，因此，这些点不能作为之后跟踪过程中的特征角点。最终选取的最能体现出目标运动状态的一组角点为图中的空心点，由这些角点所确定的最小矩形边界（虚线矩形框）为由这组点所确定出的目标位置。

图2 目标特征角点选取示意图

而该策略的另外一个规则可描述为跟踪过程中特征角点的替换更新。在相邻帧无人机视频图像的目标感兴趣区域中，角点的相对位置并不是完全静止的，特别是在目标遇到遮挡、形变、亮度变化的情况时，位置关系很可能发生改变。为了保证目标位置的准确性，应对特征角点进行实时更新。图2(a)和图2(b)为视频图像序列中两幅相邻图像示意图，角点1和角点3的位置在新一帧图像中运动到了感兴趣区域边缘，此时确定目标最小矩形边界的特征角点由角点2和角点4取而代之。在此基础上，可以根据角点检测结果进一步计算，得到目标的质心坐标，实现对目标位置的精确检测。设质心的坐标为(,)，计算公式如下：

式中：(,)为角点的坐标；为角点数目。

2 Lucas-Kanade跟踪算法

2.1 Lucas-Kanade算法原理

在对所选取特征角点进行跟踪的过程中，本文以Lucas-Kanade跟踪算法为理论基础实现目标跟踪。Lucas-Kanade算法是计算机视觉领域中一种广泛使用的光流估算差分方法，目的是通过计算稀疏光流实现对目标特征的跟踪，计算复杂度低，且具备良好的跟踪精度。一般情况下，采用Lucas-Kanade算法实现目标跟踪需同时满足亮度恒定、时间连续、空间一致这3个条件[10]。

亮度恒定指图像中目标区域的像素在帧间运动时不随时间发生明显变化，对于灰度图像，即被跟踪目标的灰度值在相邻帧间不变。亮度恒定的公式可被表示为：

(,)≡(((),)＝((＋d),＋d) (9)

即被跟踪目标的像素灰度值不随时间变化而变化：

时间连续指两个相邻帧图像中的内容位移很小，图像内容随时间缓慢变化。在实际应用中表现为时间变化相对于图像运动的比例足够小，即目标在相邻帧间的运动比较小。

空间一致是指在同一场景中，同一表面上邻近的点具有相似的运动，在图像平面中的投影也在邻近区域。Lucas-Kanade算法基于图像内容在相邻两帧图像间点的邻域内大致不变的这一假设，假定光流方程适用于在以点为中心窗口内的所有像素，局部图像光流矢量(V,V)需满足以下等式：

式中：q是窗口中的像素；I(q)、I(q)、I(q)是图像相对于点(,)和时间的偏微分。令：

(AA)可逆时，方程的解可进一步表示为：

跟踪窗口中心在图像的角点区域时，(AA)具有两个线性无关的特征向量，即(AA)满秩，使得(AA)可逆，因此这些角点是可用于Lucas-Kanade跟踪算法的良好特征点。

2.2 金字塔Lucas-Kanade特征点跟踪算法

对于大多数30Hz以下的视频图像序列，特别是无人机视频数据，漂移、晃动等大而不连贯的运动是普遍存在的，因此无人机视频数据往往无法满足上述条件。将图像金字塔与Lucas-Kanade算法结合可以解决这一问题[11]。

金字塔Lucas-Kanade算法的计算原理如图3所示，对于两幅连续图像当图像和，设I是金字塔第层图像，其中0是金字塔第0层原始图像，0中的特征点(,)在第层图像中表示为p(/2,/2)。使用Lucas-Kanade算法计算此点在J中所对应的位置p(,)＋d(,)，其中d为角点在第层中的平移量。设g为第层中的光流猜测值，得到金字塔层间的光流传递结果，以这一光流值作为其下一层的光流计算的初值，对图像金字塔上采样，重复这一过程，直至第0层估计出最终的光流计算结果。由于图像金字塔按照由粗至精方式计算，误差会随着层数的降低而增加，因此不宜设置过大，一般取2≤≤4。

3 实验结果与分析

3.1 仿真平台及实验数据

本论文中实仿真实验硬件平台为PC台式计算机，配置如下：

CPU：Intel Pentium CPU G860 DualCore 3.00GHz

内存：8.00GB RAM

显卡：NVIDIA GeForce GT640 (2048 MB)

操作系统：Microsoft Windows 7 Ultimate 64-bit

本文中设计的跟踪模型基于Visual Studio 2010平台实现，其中的部分函数调用于OpenCV计算机视觉库。实验数据为一段MP4格式无人机仿真视频，具体参数如下：

格式：MPEG-4

帧率（fps）：29.93

画面尺寸（像素）：1280×720

码率（kbps）：8373

时间长度（ms）：12430

图3 金字塔Lucas-Kanade算法计算原理

Fig.3 Principle of pyramid Lucas-Kanade algorithm

3.2 实验方法及仿真效果

仿真实验的算法流程可以分为特征检测和目标跟踪两个阶段，首先利用文献[6]中的目标检测方法确定目标感兴趣区域，在此区域内检测角点并进行特征选取，检测结果如图4所示。可以看出，检测到的角点数目随视频图像序列的播放而增加，当达到一定数目后，利用本文提出的选点规则确定出目标的最小矩形边界和目标质心。

确定目标区域后，使用金字塔Lucas-Kanade算法对特征角点进行跟踪，目标位置由目标感兴趣区域中的特征角点所确定，跟踪效果如图5所示。其中图5(a)中所采用的跟踪模型仅对初始特征角点进行跟踪，并且在跟踪过程中并未进行特征角点实时更新，图5(b)中为采用本文跟踪模型后的跟踪效果。

在目标特征确定后，利用本章算法进行目标跟踪所耗费的时长约15ms/帧，可以满足30fps以下视频图像序列的实时处理要求。

4 结论

本文提出一种面向无人机视频影像的目标特征跟踪方法，采用Shi-Tomasi算法在目标感兴趣区域中检测角点，根据检测结果提取目标特征，同时在跟踪过程中对特征角点进行实时更新，最终通过金字塔Lucas-Kanade算法实现对目标特征的跟踪。实验结果表明，利用该模型对目标特征进行跟踪可在获得良好跟踪效果的同时满足实时处理要求。

图4 目标特征选取效果图

Fig.4 Results of object features selecting

图5 目标跟踪效果对比

Fig.5 Results of object tracking

[1] Hu Weiming, TAN Tieniu, WANG Liang, et al. A survey on visual surveillance of object motion and behaviors[J].,,, 2004, 32(3): 334-352.

[2] 杨戈, 刘宏. 视觉跟踪算法综述[J]. 智能系统学报, 2010, 5(2): 95-105.

[3] 赵红颖, 金宏, 熊经武, 等. 电子稳像技术概述[J]. 光学精密工程, 2001, 9(4): 353-359.

[4] 江友谊, 余瑞星, 宋军艳, 等. 基于ICM的局部不变特征提取方法[J]. 红外技术, 2012, 34(3): 177-180.

[5] Ferrari V, Jurie F, Schmid C. From images to shape models for object detection[J]., 2010, 87(3): 284-303.

[6] 张辰, 赵红颖, 钱旭. 直方图反向投影多目标检测优化算法[J]. 计算机系统应用, 2014(2): 178-182, 218.

[7] Harris C, Stephens M. A combined corner and edge detector[C]//, 1988: 147-151.

[8] 罗刚, 张云峰. 应用角点匹配实现目标跟踪[J].中国光学, 2009, 2(6): 477-481.

[9] Shi J, Tomasi C. Good Features to Track[C]//, 1994: 593-600.

[10] Bradski G R, Kaehler A.:[M]. O'Reilly Media, Incorporated, 2008.

[11] 江志军, 易华蓉. 一种基于图像金字塔光流的特征跟踪方法[J]. 武汉大学学报:信息科学版, 2007(8): 680-683.

Research on Object Feature Tracking Method Oriented to UAV Images

ZHANG Chen1，ZHAO Hong-ying2，QIAN Xu3

（1.，，100191，；2.，，100871，；3.，，100083，）

An object feature tracking model oriented to UAV images is proposed. Firstly, corners in the region of interest which determined based on the object detection result are detected by Shi-Tomasi corner detection method. Feature corners are extracted and updated in real-time to assure the quantity of the detected features meet the tracking requirement. Finally, the pyramid Lucas-Kanade algorithm is used to track object features. The simulation results show that the proposed model is easily implemented and has good robustness. Besides, it performs well in object tracking and the real-time requirement can be fulfilled.

object tracking，feature extraction，Shi-Tomasi corner detection，Lucas-Kanade algorithm

TP751

A

1001-8891(2015)03-0224-05

2014-08-16；

2014-09-18.

张辰（1988-），男，博士研究生，主要研究方向为数字图像处理，计算机视觉。