运动背景下的帧间稳像技术

武治国，韩广良，王明佳

(中国科学院长春光学精密机械与物理研究所，吉林长春130033)

1 引言

帧间稳像技术的研究始于20世纪80年代中期。帧间稳像是集电子学、计算机、图像识别等技术于一体，直接确定图像序列帧间映射关系的新一代序列图像稳定技术。在光电探测、目标跟踪、侦察等任务中，根据传感器架设的平台不同，目标识别跟踪所采集的实时图像序列可分为2种类型:静止背景和运动背景。静止背景是当传感器处于相对静止的状态时采集的图像，如摄像头固定的视频监控。运动背景是当传感器处于运动的状态时采集的图像，如车载设备、转台扫描探测等［1-2］。对于静止背景和简单运动背景下的目标检测识别，可采用帧间差分或直接根据目标特征计算。对于复杂运动背景下的变化目标提取，则通常采用帧间稳像和配准，然后对处理后的图像检测不同帧间的目标特征来识别目标。

帧间稳像是通过检测并补偿图像帧间运动矢量来减缓甚至消除图像序列的抖动。帧间稳像包括2 个步骤［3］:运动估计和运动补偿［4］。运动估计是帧间稳像的核心，其目的是检测出由图像运动导致的帧间全局运动矢量。目前有很多种运动矢量估计方法，如位平面法［5］、块匹配法［6］和特征点法等。这些方法均不同程度地舍弃了一部分灰度信息。由于在精度、运行速度、图像特征位置选取等方面的原因，这些方法有其应用的局限性［7，12-15］。本文提出了一种有效的带运动矢量修正的灰度投影运动估计算法，该算法分块计算当前帧与参考帧之间的运动矢量，然后对各运动矢量根据分块区域的相关性置信度求取加权帧间运动位移。实验表明:本文方法可实现更高的稳定精度，有效提高了图像补偿质量。

2 运动矢量估计

摄像机运动会使固定背景采集时视频图像序列产生全局运动，运动矢量估计就是要计算背景在图像各帧中x、y方向的偏移量，其原理如图1所示。其中图1(a)为第k帧，图1(b)为第k+1帧。

图1 运动矢量估计原理图Fig.1 Principle diagram of motion estimation

假设黑色圆形为图像背景中的固定物体，在图1(a)中第k帧物体以左上角为原点的坐标是(x，y)，图1(b)中第k+1帧物体的坐标是(m，n)，则物体在第k+1帧中位置相对第k帧横轴方向位移为m－x，纵轴方向为n－y。

2.1 投影算法原理

灰度投影就是将输入图像序列中的每一帧图像的二维灰度信息映射成2个独立的一维投影序列，其行、列灰度投影可分别由下式表示［7-9］:

式中:m，n分别是图像的宽度，高度;Gk(x)为第k帧图像第x列所有像素灰度值之和;Gk(y)表示第k帧图像第y行所有像素灰度值之和;Gk(x，y)为第k帧图像上(x，y)处的像素灰度值。图2(a)是分辨率为768 pixel×576 pixel的8 bit灰度图像，图2(b)、(c)为运用式(1)对图1(a)进行行、列投影的曲线图，其中横坐标为行/列号，纵坐标为像素灰度值之和。

图2 图像灰度投影示意图Fig.2 Projection schemes of image gray

2.2 投影相关计算

为了得到当前帧相对于在x、y方向上的位移，分别对当前帧和参考帧的行、列投影曲线计算相关度。由于帧间在某一方向的全局运动，当前帧的边沿图像仍未移入参考帧，因此需要选择合适的投影区域大小作为相关计算的参数。一方面，投影区域大小需要考虑帧间像素的运动速度，保证所选择的区域在参考帧中存在对应区域。另一方面，投影选择区域应足够大，保证灰度变化等级以充分反映该区域与参考帧相应位置的相关程度［10］。

设参考帧为m帧，当前帧为m+k帧，m帧的第i行灰度投影为Gm(i)，m+k帧的第i行灰度投影为Gm+k(i)，进行互相关运算的计算公式为［11］:式中:j为位移矢量相对于参考帧在一侧的搜索宽度，w的取值范围为1到2j+1。令wmin为C(w)取得最小值时的w值，则第m+k帧图像相对于m帧在垂直方向的位移矢量为:式中:dy为正时表示m+k帧相对于m帧向上运动了个像素，为负时则表明向下运动了个像素。同样的方法可求得水平方向的位移矢量，根据得到的水平方向和垂直方向的位移矢量反向运动相应大小的像素距离，便可得到稳向后的图像。

图3(a)为参考帧图像，(b)为当前帧图像。在列投影曲线中取中心位置左右各100 pixel做匹配量计算，图像分辨率为768 pixel×576 pixel。图3(d)为列投影相关曲线，(c)为稳向后的结果图像。

图3(a)和(b)为相邻两帧图像，以前一帧为参考图像，下一帧为当前图像，计算列相关程度如图3(d)所示，得到水平方向运动矢量dx=0。利用求出的运动矢量对当前图像进行运动补偿，得到配准图像如图3(c)所示。

图3 全局灰度投影稳像处理Fig.3 Image stabilization processing of global gray projection

2.3 运动矢量分块检索

由于图像相邻帧中运动目标可能造成图像整体投影分布局部变动，这种变动会造成背景运动检测误差，导致稳像失败。因此，本文引入局部投影分布，采用分块检索策略。这种方法可以使运动目标造成的影响只作用在其中的若干个局部分块上，而其他分块不受此影响，从而尽可能地保证稳像的准确性。

将当前帧行、列投影曲线分成几部分，分别将每一部分与参考帧行、列投影曲线进行互相关计算，得到基于局部投影的运动矢量集合，然后从得到的运动矢量集合中选取有效像素偏移量。设计算得到的运动矢量集合为{L1…Ln}，平均运动矢量为，则有效像素偏移量满足公式:其中，T为像素偏移量差异阈值，该值与图像运动速度相关。

设得到m个有效像素偏移量，由于各分块区域灰度变化差异及图像曝光等原因，m个偏移量可能不相等。以分块区域的相关置信度为权系数衡量参数，计算m个偏移量的加权运动矢量值作为最终的图像偏移量。置信度越大，说明图像对应区域匹配程度越高，权值越大;相反，权值越小。置信度计算公式为:

式中:G(n)为参考帧图像行或列灰度投影;G'(n+i)为当前帧图像偏移距离为i的行或列的灰度投影。

将各置信度与平均置信度差异程度的倒数作为加权运动矢量的权值，则第j块权值求取公式为:

则某一方向的加权运动矢量d'为:

根据上述公式计算得到的每帧图像水平方向的加权运动矢量结果如表1所示。

表1 加权运动矢量Tab.1 Weighted motion vectors

3 仿真实验结果

为验证算法的精度及稳像效果，采用转台实时采集运动背景图像进行运动补偿处理。实验在双核2.4 GHz，内存2 G，带有标准视频采集卡的工控机上进行，操作系统为 Windows XP，用VC 6.0实现。

以相邻10帧图像为例，采用上述算法实验。本文根据实际背景特点分别将行、列投影曲线分成7部分，由于第1、7部分为边沿部分，取中间5部分计算相关性。参考帧为当前帧的上一帧图像，下表为分块对列投影计算结果。

表2 分块列投影计算结果Tab.2 Computational results of columns of blocks

采用均方根误差(RMSE)衡量本文算法的性能。均方根误差反映2帧图像对应位置的逼近程度，可以体现2帧图像的相似程度。图4表示全局运动矢量和分块运动矢量计算后的RMSE比较结果，其中横坐标为帧号，纵坐标为RMSE误差。从图中可以看出分块检测后的运动背景补偿图像RMSE有了明显提高。

图4 稳像后图像RMSEs的比较Fig.4 Comparison of RMSEs after image stabilization

实验验证表明:本文所采用技术相比于传统的稳像技术稳像效果更好，是一种亚像素精度的稳像技术。

4 结论

本文着重对帧间运动背景补偿技术进行了讨论，提出了带修正的运动矢量估计方法。通过局部灰度投影分布，采用分块检索策略计算像素偏移量。然后，以相似度作为权值系数，计算精确帧间图像运动偏移量。实验证明:该方法有效提高了图像运动补偿精度，均方根误差下降了31%，与参考帧相似性程度更加接近。

［1］赵红颖，晏磊，熊经武.舰船图像序列电子稳定算法的研究［J］.光学 精密工程，2003，11(6):602-606.ZHAO H Y，YAN L，XIONG J W.Image composition based on EIS model［J］.Opt.Precision Eng.，2003，11(6):602-606.(in Chinese)

［2］罗诗途，王艳玲，张玘，等.车载图像跟踪系统中电子稳像算法的研究［J］.光学 精密工程，2003，13(1):95-103.LUO SH T，WANG Y L，ZHANG Q，et al.Electronic image stabilizing algorithm for image tracking system on vehicle［J］.Opt.Precision Eng.，2003，13(1):95-103.(in Chinese)

［3］彭健，贾彦茹，汪佩.基于电子稳像的视频序列抖动处理技术［J］.现代显示，2010，112(5):84-87.PENG J，JIA Y R，WANG P.Jitter processing of video sequence based on electronic image stabilization［J］.Advanced Display，2010，112(5):84-87.(in Chinese)

［4］朱娟娟，郭宝龙.一种运动载体摄像的自适应稳像系统［J］.光电子·激光，2007，18(1):108-112.ZHU J J，GUO B L.Adaptive video stabilization system for camera on moving vehicle［J］.J.Optoelectronics·Laser，2007，18(1):108-112.(in Chinese)

［5］KO S J，LEE S H，LEE K H.Digital image stabilizing algorithms based on bit-plane matching［J］.IEEE T.Consu.Electr.，1998，44(3):617-622.

［6］孙辉，李志强，孙丽娜，等.基于相位相关的亚像素配准技术及其在电子稳像中的应用［J］.中国光学与应用光学，2010，3(5):480-485.SUN H，LI ZH Q，SUN L N，et al..Sub-pixel registration based on phase correlation and its application to electronic image stabilization［J］.Chinese J.Opt.Appl.Opt.，2010，3(5):480-485.(in Chinese)

［7］王小鹏，成亮，晏鑫，等.基于灰度投影和宏块线性搜索的电子稳像［J］.兰州交通大学学报，2009，28(4):90-93.WANG X P，CHENG L，YAN X，et al.Electronic image stabilization based on gray projection and block line searching［J］.J.Lanzhou Jiaotong University，2009，28(4):90-93.(in Chinese)

［8］任航，张涛.基于灰度投影法运动估计的成像CCD平移补偿法［J］.激光与红外，2009，39(6):665-668.REN H，ZHANG T.Motion compensation by moving the imaging CCD based on the gray projection algorithm estimation［J］.Laser＆Infrared，2009，39(6):665-668.(in Chinese)

［9］周亚军，王翔，苏享，等.快速灰度投影稳像算法研究［J］.兵工自动化，2009，28(8):88-90.ZH0U Y J，WANG X，SU X，et al..Research on fast gray projection algorithm for image stabilization［J］.Ordnance Industry Automation，2009，28(8):88-90.(in Chinese)

［10］李计添，何永强，陈财森，等.一种基于灰度投影算法的车载电子稳像方法［J］.红外技术，2010，32(6):328-332.LI J T，HE Y Q，CHEN C S，et al..A method of vehicle-bone electronic image stabilization based on gray projection algorithm［J］.Infrared Technol.，2010，32(6):328-332.(in Chinese)

［11］汪小勇，李奇，徐之海，等.用于实时数字稳像的灰度投影算法研究［J］.光子学报，2006，35(8):1268-1271.WANG X Y，LI Q，XU ZH H，et al..Real-time digital linage stabilization system based on gray projection algorithm［J］.Acta Photonica Sinica，2006，35(8):1268-1271.(in Chinese)

［12］Zhang F，Wang X T，XU X G，et al..Electronic image stabilization algorithm based on fixed-lag smooth filtering［J］.Optoelectronics Lett.，2007，3(4):308-311.

［13］URHAN O，ERTTIRK S.Single sub-image matching based low complexity motion estimation for digital image stabilization using constrained one-bit transform［J］.IEEE T.Consu.Electr.，2006，52(4):1275-1279.

［14］XU L D，LIN X G.Digital image stabilization based on circular block matching［J］.IEEE T.Consu.Electr.，2006，52(2):566-574.

［15］OHYUN K，BYUNGDEOK N，JOONKI P.Binary edge based adaptive motion correction for accurate and robust digital image stabilization［J］.Lecture Notes in Computer Science，2006，4319(1):1142-1149.