基于相位相关的快速亚像素全局运动估计

李颖娟，纪　明，贺峻峰，马爱秋，杨　萌

（西安应用光学研究所，西安　710065）

基于相位相关的快速亚像素全局运动估计

李颖娟，纪明，贺峻峰，马爱秋，杨萌

（西安应用光学研究所，西安710065）

为了实现亚像素级图像快速全局运动估计，提出了一种基于相位相关的快速亚像素全局运动估计方法。首先对待计算的两幅图像进行下采样并计算整像素级的全局运动矢量，然后选取两幅图像重叠的部分进行插值，再计算亚像素级的全局运动矢量。最后，将整像素级和亚像素级的计算结果进行加权计算，得出亚像素级的全局运动位移。实验结果表明，文中算法对噪声影响、光照变化和局部遮挡具有较好的鲁棒性，同时能够有效地提高运动估计的精确性和计算效率。

亚像素，全局运动估计，下采样，相位相关，矩阵Fourier变换

0　引言

机载、舰载和空间成像系统对目标成像时，会由于平台的运动、颤振及姿态变化等使相机在曝光时待成像物体与感光元件间存在相对运动，导致视频图像抖动。视频图像抖动在光电稳瞄系统中会导致成像系统不能精确锁定目标。在光电系统中，图像全局运动主要是由于某些不确定因素（如光电平台的抖动）导致摄像机抖动引起的，可以通过图像处理的方法估计全局运动矢量，进而估算出光电平台的抖动量来。

全局运动估计技术可以用于获得视频序列中相邻两帧图像之间的整体运动情况。全局运动估计的性能严重影响着图像稳定系统的性能表现。首先，全局运动估计的准确性和精度直接决定了系统的图像稳定质量。其次，由于全局运动估计部分的计算量占用绝大部分系统计算量，所以全局运动估计的速度决定了稳像系统的实时处理能力。本文提出了一种简单快速的亚像速全局运动估计方法，该方法只提取两幅图像互功率谱中的相位信息，减少了对图像内容的依赖，具有较强的抗干扰能力，是目前广泛使用的运动估计方法［1-4］。

1　基于相位相关的全局运动估计原理

视频图像一般是由前景和背景构成，前景是指感兴趣的运动目标，背景是指周围的环境。如果在拍摄过程中由于某种原因导致摄像机发生了运动，而感兴趣的目标没有动，那么视频图像序列中会产生背景运动，在图像中占有较大的像素比例，形成图像序列的全局运动。

全局运动估计由整像素全局运动估计和亚像素全局运动估计两部分组成。整像素全局运动估计是以直接采样图像为基础，对图像间的整像素级的全局运动矢量进行估计；亚像素全局运动估计则首先通过插值估算出图像中非直接采样点（亚像素点）的值，以此为基础，在已知整像素全局运动矢量的基础上进一步估计亚像素全局运动矢量。

首先按照计算出的整像素偏移将检测图像进行平移，然后选取两帧图像整像素重叠的部分进行插值，插值后的图像再进行傅立叶变换，计算两帧图像在频域的互相关谱后，对互相关谱进行傅立叶逆变换，计算最大值的坐标点可得到亚像素级平移配准参数。文中方法兼顾了傅立叶变换良好的时频特性，在计算过程中忽略了与所关心区域无关的信息，减少了存储需求和运算量，获得较高的计算精度。由于本算法对于互相关谱的计算采用了幅度归一化处理，因此，对随机噪声和光照变化具有较强的鲁棒性。

相位相关主要是基于傅里叶变换中的平移定理，根据文献［2］可知：当图像之间发生平移时，傅立叶变换幅值不变，互功率谱的相位等于两个图像的相位差，通过求解归一化的互功率谱的傅立叶逆变换，得到二维冲激函数，其坐标位置给出了两个图像之间的位移量［2］。

假设f（x，y）和g（x，y）是两幅存在平移变换（x0，y0）关系的图像，满足

它们对应的傅里叶变换分别为F（u，v）和G（u，v），则有

那么这两幅图像间的互功率谱为

式中：G*为G的复共轭，|F·G|表示F·G的幅值谱。傅里叶变换的平移定理保证了图像间的互功率谱相位等于图像间的相位差。在频域中对P（u，v）进行傅里叶逆变换，那么将在（x0，y0）处取得单位脉冲函数：

其中，F-1（·）表示取反傅立叶变换，除了在（x0，y0）处存在脉冲函数δ（·）外，在其他地方几乎为0，因此，可用于测量两幅图像间的平移量。由于在式（3）中采用了归一化处理，因此，该算法具有抗噪声抗干扰的良好特性。从原理上说归一化后能降低光照变化对配准精度的影响［2］。

2　整像素全局运动估计

本文所使用的全局运动估计方法是在整像素全局运动估计阶段对待计算的两幅图像进行降低分辨率采样，采样后的图像进行相位相关估计能够减少参与运算的像素点数，从而达到降低计算复杂度的目的。与选择子图像的做法相比，均匀下采样的过程使得各部分图像内容等比例的缩小，因此，不会对相位相关估计的运动估计范围和抗干扰能力产生影响。

如果以两帧256×256大小的图像为例，对这两帧图像进行1/2采样得到128×l28大小的图像。降低分辨率后的图像与四块64×64大小的子图像在进行相位相关估计时的计算复杂度相同，但是由于下采样后的图像每个像素点代表原始图像中的两个像素，因此，其最大运动估计范围是（±64，±64）×2，即（±128，±128）。所以下采样后相位相关估计的运动估计范围不变。此外，由于均匀下采样时局部运动物体与背景图像等比例缩小，因此，利用下采样后的图像进行相位相关估计也不会存在抗干扰能力下降，估计不准确的问题。整像素全局运动估计的流程如图1所示。

图1　整像素运动估计

首先对参考图像和检测图像进行采样得到f'（x，y）和g'（x，y），这样会减小图像的尺寸，降低快速傅里叶变换的计算量和计算速度，然后再对两幅图像分别进行快速傅里叶变换得到F（u，v）和G（u，v），按照式（3）计算互功率谱，再进行反傅立叶变换，对反傅立叶变换的图像搜索最大值，最后的得到两幅图像的全局位移值。

3　局部相位相关实现亚像素全局矢量计算

目前广泛应用的运动估计方法主要有时域和频域两种实现方式［3-4］。时域的实现方法通常是将待匹配图像分成M×N个匹配块，然后对这些匹配块，按照一定的匹配准则，和参考图像进行匹配，最终计算出两幅图像的全局运动矢量来［5］。与时域实现方法相比较，基于频域的全局运动估计方法具有适用范围广、抗干扰能力强等优点，因而更加适合于图像稳定应用。但在具体实施时，频域全局运动估计方法需要依据傅里叶变换的平移特性，通过比较视频序列中相邻两帧图像频谱的相位关系得到时域中图像间的全局运动情况。这一过程中存在时域与频域之间的傅立叶变换过程，计算量随着图像大小的变化增长较快。相对于频域全局运动估计方法而言，基于时域的计算方法方式不仅运算复杂度提高，而且随着亚像素精度的增加，存储量也成指数级增长，因此，很难满足存储和计算资源有限的硬件应用环境的实际需求［6-7］。

基于相位相关的快速亚像素全局运动估计是一种优化的基于频域的计算方法。该方法的流程如图2所示，首先根据整像素全局运动矢量估计的结果将检测图像平移（Delta_mx，Delta_my）使两幅图像在整像素上的位移相同。然后分别选取两幅图像重合的部分fsub（x，y）和gsub（x，y）。对fsub（x，y）和gsub（x，y）两幅子图像分别进行n倍插值，插之后得到f'sub（x，y）和g'sub（x，y）。最插之后的两幅子图像再进行快速傅里叶变换得到Fsub（u，v）和Gsub（u，v）。对二者按照式（3）进行相位互相关运算，得到频域的相位相关信息，对该信息进行反傅里叶变换，得到基于时域的相位互相关脉冲函数，搜索该函数最大值所在的位置，即可得到两幅子图像的全局亚像素位移矢量的运动估计值来。结合此前计算得到的两幅图像的整像素全局位移矢量按照式（5）进行计算，可以得出两幅图像的亚像素全局位移矢量值来。

4　实验

图2　亚像素运动估计流程

算法仿真是在双核、具有2GB RAM的2.2GHz CPU计算机环境下、利用MATLAB 2007b软件完成的。相机抖动引起了图像序列的全局运动，是一个连续的模拟量。但是实际工程中由于相机的采样速度限制，导致图像序的每一帧之间会存在亚像素级平移。由于本次实验中上采样倍数取为2，故平移量的检测精度应达到0.5像素。实验采用系统自带的图像进行计算，设定两幅图像理想平移量为Δ= （207，51），对其进行1/2下采样后得到两幅图像如图3（a），图3（b）。那么两幅图像的理想平移量为Δ=（103.5，25.5）。首先采用上采样方法获取整像素级平移图像，计算出位移矢量为Δ=（101，25），计算结果如图3所示，本次计算时间为：2.208 0 s，

图3　原始图像

对理想平移后的图像分别添加信噪比（SNR=5 dB）、均值为0的高斯白噪声，结果见下页图4。从图4的计算结果可以看出，图像被噪声干扰后，互相关谱的噪声也增加，当图像被干扰到一定程度后，噪声和峰值会分辨不出来。相位相关法有一定的抗噪能力，但是如果图像被污染严重，会导致两幅图像的全局运动矢量分辨不出来，所以如果要保证计算结果的正确性，还应该进行降噪处理。

图4　添加噪声后的图像

图5是两幅图像被部分遮挡后的计算效果，两幅图像虽然被部分遮挡了，但是两幅图像的全局运动矢量变化关系还在，而基于相位相关的运动估计方法是基于频域的处理方法，待计算图像被部分遮挡后不会改变全局的相位信息，所以基于相位相关的频域全局运动矢量计算方法具有一定的容错性。在计算的时候发现图像被局部遮挡后出现了多个峰值，但并不会影响最大值的位置。

图5　局部被遮挡后的图像

图6是选取两幅图像整像素重叠的部分进行插值后计算得到的亚像素全局位移矢量的结果。按照式（8）计算得到两幅图像的亚像素位全局位移矢量为Δ=（103.5，25.5），本次计算耗时：3.769 5 s。结合前面的下采样计算整像素运动矢量的耗时，得出本文的方法计算亚像素全局运动矢量耗时约6 s。如果直接对参考图像和待检测图像进行插值计算亚像素的全局运动矢量，为了得到和本文的方法相同精度的全局运动矢量，经计算需耗时约25.784 8 s，大约是文中方法的4倍多。

图6　两幅图像重合的部分插值后的亚像素位移矢量

5　结论

本文提出了一种基于相位相关和下采样的亚像素全局运动矢量估计算法，该算法在计算精度、计算效率、抗噪性能和容错性方面均优于现有的基于时域的亚像素运动估计方法。与选择子图像的做法相比，本文的算法对噪声影响、光照变化和局部遮挡具有较好的鲁棒性，同时能够有效地提高运动估计的精确性和计算效率，计算效率提高4倍多。与文献［2］提到的采用粗定位和细定位的方法相比，本文的算法由于在粗定位阶段对图像进行了降低分辨率采样，所以计算精度更快些。该算法可以广泛应用于光电平台稳定、遥感探测、医学成像及计算机视觉等等需要获取高精度的相机抖动参数及进行精密图像配准的领域。该算法能在基于FPGA的硬件平台上实现，由于FPGA内部是并行处理的，所以计算效率高，适用范围广。

［1］王彩玲，程勇，赵春霞，等.局部相位相关用于图像亚像素级配准技术研究［J］.中国图象图形学报，2011，16（3）：427-432.

［2］周武，胡跃明.基于相位相关和重采样的亚像素图像配准算法［J］.华南理工大学学报（自然科学版）2010，38（10）：68-73.

［3］黎俊，彭启民，范植华.亚像素级图像配准算法研究［J］.中国图象图形学报，2008，13（11）：2070-2075.

［4］余应淮，王锦荣.高精度亚像素全局运动估计的上采样梯度互相关算法［J］.中国图象图形学报，2012，17（12）：1492-1499.

［5］杨水清，张路.一种改进的相机全局运动估计方法［J］.激光与红外，2009，39（6）：660-664.

［6］FIENUP J R.Invirant errormetrics for image reconstruction ［J］.App lied Op tics，1997，36（32）：8352-8357.

［7］ MANUEL G S，SAMUEL T.Thurman，James R Fienup. Efficient subpixel image registration algorithms［J］.Optics Letters，2008，33（2）：156-158.

Fast Sub-pixel Global Motion Estimation Based on Phase Correlation

LI Ying-juan，JI Ming，HE Jun-feng，MA Ai-qiu，YANG Meng
（Xi'an Institute of Applied Optics，Xi'an 710065，China）

Proposed in this paper is a fast sub-pixel algorithm based on phase correlation and image down-sampling for sub-pixel global motion estimation.First，down-sampling of the two images，then the pixel-level global motion vector of two images calculated.Then chooses the repeated area of the two images and interpolated them，the global motion estimation of sub-pixel-level is achieved. Finally，weighted calculate the results of pixel-level and sub-pixel-level，the global motion displacement of sub-pixel-level of the two images will be calculated out.Experimental results show that the proposed algorithm has good robustness to noise，illumination and partial occlusion，and can effectively improve the accuracy and efficiency of motion estimation.

Sub-pixel，global motion estimation，down-sampling，phase correlation，matrix Fourier transform

TP391

A

1002-0640（2016）07-0148-04

2015-06-01

2015-07-03

李颖娟（1981-），女，陕西户县人，硕士，高级工程师。研究方向：图像处理技术及控制技术研究。