航拍视频中基于特征匹配的全局运动估计

宋 宇， 李 嵩， 游海龙， 翁新武

（长春工业大学 计算机科学与工程学院，吉林 长春 130012）

0 引 言

动态背景下目标检测技术是机器视觉领域中一个非常重要的课题，同时也是机器视觉系统关键的底层技术，目的是通过运用机器视觉和图像处理等理论方法从运动的背景图像中提取有兴趣的目标，更进一步对兴趣目标的位置信息和姿态信息实现快速实时的检测［1］。

在通常的视频图像序列中，视频图像一般由前景图像和背景图像组成，其中的摄像机自身位置参数变化导致整个图像变化可以看做是背景图像运动，即所谓的全局运动，而由于所拍摄场景中物体运动导致的图像变化可以看作为前景图像运动，即所谓的局部运动。在实际的工程应用中，能够正确的在视频序列中区分全局运动和局部运动，并且分别对其进行处理有着非常重要的意义，如视频压缩、场景分析、运动目标检测和分割等［2］。

对于航拍图像，在目标运动的同时，由于摄像机运载平台也在运动，造成拍摄场景不断变化，从而形成动态背景，因此需要进行运动补偿。为了弥补由于摄像机运动造成的背景全局性运动对以后目标检测和跟踪带来的影响，文中采取了基于特征匹配的全局运动估计方法。该方法的基本思路是先建立摄像机运动模型，通过对摄像机模型进行全局运动估计，得出摄像机全局运动参数运用到摄像机全局运动补偿之中，使得由摄像机运动引起的背景运动得到补偿，补偿后的图像序列可以认为是重建的静态的背景序列，之后就可以用常规静态方法来检测出兴趣目标了。

全局运动估计是指对视频序列中造成背景运动的摄像机运动进行估计，目的就是要从视频序列中找出造成全局运动的摄像机运动规律，从而将动态序列间的背景对准消除，检测出前景目标［3］。不管是直接分析造成背景图像变化的摄像机运动规则，还是对前景图像进行检测和跟踪，全局运动估计都是进行处理的基础。

1 基于六参数的全局运动估计

为了便于对序列图像进行运动估计，通常要对景物运动提出一些假设或者约束条件，即对运动建模。常用的模型包括非参数模型和参数模型两种。非参数模型通常要对运动场施加某种约束（如平滑约束），然后进行运动估计。例如光流法、块匹配法、像素递归法等就属于此类。参数模型法是通过对景物运动建模来描述景物的三维运动与其在图像平面上的正交或透视投影的二维运动之间的关系。这种模型通常用一组参数表示，运动估计就是估计出这些参数。全局运动是由摄像机的运动引起的，因此和摄像机的结构与运动（平移、旋转、缩放等）密切相关，因此，特别适合用参数模型加以描述，于是文中采取了基于参数模型的全局运动估计。

一般参数模型的参数越多全局运动的估计越精确，但其计算量也越大，虽然八参数透视模型能够更好地描述摄像机的运动，但它的计算复杂度相对于六参数仿射模型更大，而且想要对连续帧间的摄像机运动参数进行叠加，所造成的累积误差也更加严重，不适合在航拍视频中的实时性。当场景中物体的相对深度变化和摄像机的缩放幅度都接近于0时，六参数仿射模型能很好地表示摄像机的旋转、缩放以及位移运动。而四参数的模型只适用于平移等简单的运动中，虽然计算简单但仍不能很好地适用于航拍的大环境中。所以，文中放弃一般采用的能够精确检测跟踪却缺乏实时性的八参数模型，而是选取六参数仿射模型对帧间场景变化的摄像机进行建模。

1.1 求解全局运动参数

摄像机的运动状态主要包括平移、旋转和缩放等，我们用仿射模型来近似表示［4］。介于准确性和运算复杂度的折衷考虑，采用六参数仿射模型，如下式：

式中：（a1，a2，a3，a4，t1，t2）——摄像机的旋转和缩放运动；

（t1，t2）——摄像机的平移运动；

其中F＝（q1，q2，…，qN）T，

求解六参数仿射模型只需3个匹配点对就可以，但求解的点数过少会使计算结果不准确，所以文中对大量冗余匹配点对采用最小二乘法求解。

1.2 特征点的选取与匹配

对于运动估计，从光流场的角度可以大概分为3种情况：基于像素的方法、基于块的方法和基于特征的方法［5］。在这些方法中，基于特征的方法是通过选取图像中具有代表性的特征（点特征、直线特征、块特征、轮廓特征、边缘特征等），通过图像的配准获取图像间的变换关系，从而完成目标图像模型的参数求解。基于特征的运动估计方法能更好地反映出运动物体的物理结构特征，同时，因为只选取特征信息而非大量的图像灰度信息，所以计算量会大大减少。

基于特征的运动估计方法主要有两个步骤，即特征的提取与特征的匹配。首先对相邻帧间图像进行特征提取，接着采用一定的约束条件完成特征匹配，由匹配好的特征对计算出运动相关参数，完成运动估计。在这里假设同一个物体的相同特征在两幅图像中都能出现并被检测出来。由映射关系即可计算出摄像机的运动参数，从而将待处理图像变换到参考图像的坐标系，这样便消除了摄像机的运动，使得两幅图像还原在相同的背景下，方便后续的继续处理。

1.2.1 角点简介

特征提取是计算机视觉研究中一个重要的环节，而且角点作为图像的一个重要特征，决定了图像中目标的形状，因此在目标描述、运动估计、图像匹配、识别与跟踪等领域，角点特征都具有非常重要的意义［6］。角点指的是图像中物体梯度变换比较明显的点。用于角点检测的方法有很多，大致可以分为两种［7］：一种是先对图像进行边缘检测，然后再提取角点；另一种是在灰度图像中直接提取角点特征。文中采用Harris算法进行角点检测，Harris角点的提取方法有以下几方面的优点：

1）Haris算子包含图像中的每个点，能够提取均匀合理的特征点；

2）因为在Harris算子的最后一步存在对局部极值点的排序操作，所以可以按需要提取特征点的数目；

3）由于计算公式中只有一阶导数被涉及到，所以计算简单且对摄像机的姿态变化及噪声、光照变化影响等不敏感。

1.2.2 角点算法

1988年，C.Harris和M.J.Stephens在Moravec算法［8］的基础上提出了一种基于信号的点特征提取算子——Harris检测算子。它的基本思想就是首先计算像素所在位置梯度构成的自相关矩阵M，然后由矩阵M的特征值大小来检测角点。通过分析M的两个特征值，可能有以下3种结果：

1）在光滑区域，各个方向上的灰度变化很小；

2）在物体边缘，与边缘平行方向上灰度变化很小，但在与边缘垂直方向上变化很大；

3）对于图像中的角点，则在各个方向上灰度变化值都很剧烈。

Harris算子的计算公式如下：

式中：gx，gy——分别为x和y方向上的梯度；

G（˜s）——高斯模板；

R——每个像素点的兴趣值；

det——矩阵的行列式；

trace——矩阵的迹；

k——默认常数，一般取0.04～0.06。

设定阈值τ，若R＞τ，则将此像素点判定为角点，反之则不是。

1.2.3 实验结果

Harris新模型算法和传统Moravec算法提取特征点结果如图1所示。

图1 Harris新模型算法和传统Moravec算法提取特征点结果

图1 （a）为Harris新模型算法提取特征点的结果，由图中可以看出，提取的特征点可靠性不错。图1（b）是传统的Moravec算法提取特征点的结果，计算过程易于实现，但提取的特征点较少，有用的信息不多，抗干扰能力较弱。所以，选择把可靠的Harris特征点对代入参数模型中，即可求得参数，为接下来的补偿工作奠定了坚实基础。

2 全 局 运 动 补 偿［9－10］

在求得最优化运动模型参数后，对于全局运动的补偿和运动对象的检出就比较简单了。首先，用得到的最优全局运动参数对第K帧进行全局运动补偿，即把（xi，yi）坐标修改成（），然后将得到的像素灰度值再和第K＋1帧的对应位置像素fk＋1＝（xi，yi）进行差分运算，便得到了经过全局运动补偿后的差分图像：

该差分图像就是已经消除了背景运动（全局运动）影响的前景图像，也就是运动对象。如果把运动对象的边界叠加到第K＋1帧图像上，便得到了静止背景和运动对象的分割结果。所以，全局运动的补偿和运动对象检测以及序列图像分割是密不可分的。

3 结 语

由摄像机与背景的相对运动引起的全局运动增加了运动目标检测与跟踪的难度。为了消除全局运动的影响，采用角点特征匹配的方法来计算全局运动参量。首先计算图像的角点特征，在其相邻帧中找到与之匹配的像素点，计算两帧图像中匹配的位置变化。此变化即为全局运动参量。用此参量对图像进行匹配，消除全局运动的影响。实验证明，文中所用的方法能够很好地计算出全局运动参数，且能实现实时、准确的图像补偿。

［1］ 贾云得.机器视觉［M］.北京：科学出版社，2002.

［2］ 王维合，王宏志，赵兰英.运动目标检测跟踪方法研究［J］.长春工业大学学报：自然科学版，2007，28（4）：411－414.

［3］ Beymer D，Konolig K.Real－time tracking of multiple people using continuous detection［C］／／Proc.International Conference on Computer Vision.2007.

［4］ 李王伟，雷蕴奇.基于图像匹配的运动背景补偿方法［J］.福建电脑，2006（3）：92－93.

［5］ 黄新生，杨庆伟，王亦平，等.图像序列运动估计技术综述［J］.计算机仿真，2008，25（5）：180－183.

［6］ 王德超，涂亚庆，张铁楠.一种多尺度Harris角点检测方法［J］.计 算 机 应 用 软 件，2008，25（12）：242－243.

［7］ 范秋凤，杨国胜，王应军，等.Freeman链码角点和面积比角点检测的比较研究［J］.计算机工程与应用，2005，10（15）：219－121.

［8］ Moravec H P.Towards automatic visual obstacle avoidance［C］／／Proceeding of the 5th International Joint Conference on Artificial Intelligence.Cambridge，USA：Cambridge，MA，2005：584－589.

［9］ 杨文明.时空联合的视频对象分割［D］：［博士学位论文］.杭州：浙江大学，2006.

［10］ 张光玉.视频对象分割算法研究［D］：［博士学位论文］.成都：电子科技大学，2006.