改进的灰度投影电子稳像算法

游春芝,陈光喜

(桂林电子科技大学数学与计算科学学院,广西桂林 541004)

改进的灰度投影电子稳像算法

游春芝,陈光喜

(桂林电子科技大学数学与计算科学学院,广西桂林 541004)

针对灰度投影算法在稳像时用时较长的问题,提出一种快速三点搜索算法。在不影响稳像效果的前提下,对图像进行分区,用改进的算法进行灰度投影的矢量求解,并运用均值滤波得到全局运动矢量,实现运动补偿。实验结果表明,该算法计算的峰值信噪比(PSNR)与传统的灰度投影算法比相差小于0.5 dB,但时间却减少了21.8 ms。

灰度投影算法;运动估计;三点搜索

随着监控舰船摄影、摄像机等的广泛应用,人们对于视频图像清晰度的要求也越来越高。然而,在相机对景物进行长时间的拍摄时,会出现一些意外的抖动,使图像变得模糊不清,造成了观察人员的不便,因此,对抖动视频图像进行稳像处理十分重要。目前,常用的稳像处理方法为电子稳像技术[1-5],它是一种新型的稳像技术,利用数学图像处理方法直接对视频图像进行处理,从而确定图像序列的帧间运动矢量并进行补偿。电子稳像算法众多,如块匹配算法[2-3]、位平面匹配算法[4-5]、投影算法[6-8]等。其中,投影算法直接利用图像的灰度变化进行稳像,具有精度高、性能稳定等优点,已广泛应用于科研实践。传统的投影算法采用全局搜索算法寻找最佳匹配点,计算量大,耗时长。为了减少全局搜索带来的巨大计算量,通过分析投影相关曲线的特点,提出一种在分区的基础上,应用快速三点搜索算法寻找最佳的匹配点,达到快速稳像的目的。

1 灰度投影算法

灰度投影算法利用图像灰度变化的特征获取帧间运动矢量,对投影曲线做一次相关运算,求得矢量后,再通过运动补偿达到稳像效果。其算法通常可分为3步:灰度映射、投影滤波、相关运算。

1.1 灰度映射

将参考帧与当前帧图像经过直方图均衡化预处理后,通过灰度映射投影为2个独立的一维投影序列。参考帧的列投影和行投影公式分别为:

其中:fk-1(i,j)为第k-1帧图像,即参考帧在(i,j)点处的灰度值;m为搜索范围;fk-1()j、fk-1()i分别为第k-1帧图像的第j列与第i行的灰度投影值。

1.2 投影滤波

图像在发生偏移时,其边缘信息存在一些小的变化,使得投影波形在边缘处产生一定影响,导致互相关运算中的峰值发生偏移,因而采用余弦滤波解决这个问题。通过滤波器进行滤波,可去除图像边缘信息的影响,完整地保留中心区域信息,从而减小了边界信息对互相关峰值的影响。

1.3 相关运算

将当前帧图像行列投影与参考帧图像的行列投影作相关运算,相关曲线的峰值即为偏移值。以列相关运算为例进行说明,

式中:fk(j)、fk-1(j)分别为第k帧、第k-1帧的第j列灰度投影值;c(i)为相关运算值,其最小值Imin即为最小投影相关值所对应的位置,故纵向偏移量为Imin。将抖动的图像反向移动即可得到稳定的图像。同理,可得到行灰度投影曲线。

2 改进的灰度投影算法

传统的灰度投影算法需对所有点进行搜索,从而导致计算量大,耗时较多。此外,该算法一般是对整幅图像进行灰度投影运算,但当场景中存在局部的运动物体时,就会对算法精度产生很大影响。针对上述问题,提出一种基于分块的灰度投影法,其算法流程如图1所示。

图1 快速三点算法流程图Fig.1 Flow chart of fast three-point search

2.1 快速三点搜索法

通过分析投影相关曲线特点可知,相关曲线一般以单峰的光滑曲线呈现,且曲线相关值先单调下降,到达谷底时最小,然后相关函数值开始递增。基于函数求极值的方法,只要求出函数在某点处导数符号发生变化,拐点即为所要找的点。在算法中,只要沿着相关值减少的方向搜索,当值突然变大时,此点就是极值点,即当前匹配点(match point current,简称MPC)。基于此,提出一种快速的三点搜索投影算法,此算法搜索MPC点的步骤如下:

1)以i=0为中心,计算该点与左右相隔2像素位置处的灰度投影相关值,比较并判断,若MPC点在中心位置,则转到3),否则,转到2);

2)以MPC点为中心,继续计算左右间隔2像素位置处的灰度投影相关值,比较并判断,若新的MPC点在中心位置处,则转到3),否则,继续2);

3)以上次的MPC点为中心,计算左右间隔1像素位置的投影相关值。

在运算时间和运算量上,快速三点搜索具有很大优势。对于一个水平和垂直方向为40个像素的图像,当运动偏移量较小时,如运动偏移量为2,其总搜索点数为6个点,而全搜索需要搜索80个点。当运动偏移适中时,如运动偏移量为10,只需搜索点数为10个点,比全搜索降低了87.5%。当运动偏移量较大时,运动偏移量为-28,总搜索点数为18个点,比全搜索降低了77.5%。从运算精度考虑,改进算法与传统算法相差小于0.5 dB。

2.2 实验结果及分析

为了测试改进算法的有效性,选取连续的2帧图像为实验对象,如图2所示。图2为一段手持摄像机拍摄视频中选取的任意2帧相邻图像,其图像大小为480×600像素。图2(a)为前一时刻参考帧图像,图中框图部分标注选取的4个子区域,大小为100× 150像素;图2(b)为当前帧图像。

图2 改进的灰度投影稳像方法Fig.2 Improved gray projection image stabilization method

图3为行、列投影曲线。先对当前帧和参考帧进行直方图均衡处理,然后对各子区域进行行列投影,并用快速三点搜索算法进行相关运算,求得各子区域的运动矢量,最后采用中值滤波,得到全局运动矢量。图4为改进的快速搜索算法在4个区域求得的运动矢量。

对4个区域矢量求平均值,得全局运动矢量为(u=7,v=-10),表示当前帧相对于参考帧向上移动了10个像素,向右移动了7个像素。通过运动补偿得到稳像帧如图5(a)所示,图5(b)为未稳像时的差值图像,图5(c)为稳像后的差值图。改进算法的全局运动矢量与全局搜索投影算法所得运动矢量基本保持一致。

图3 行、列投影曲线Fig.3 Line and column projection curve

图4 各区域运动矢量Fig.4 The regional motion vectors

为了进一步说明改进算法的准确性和实时性,选取连续20帧图像进行帧间运动矢量检测。其检测范围为±20像素,子区域尺寸均为100×150像素。分别采用传统投影算法(PA)和改进的快速三点搜索算法,检测帧间的运动偏移矢量。其检测时间是平均每帧所需花费的时间,采用峰值信噪比准则衡量各算法检测精度。

图5 改进算法稳定后的图像Fig.5 The stabilized image used by improved method

测试的全局运动估计时间和精度结果如表1所示,改进的算法峰值信噪比相差小于0.5 dB,而时间上显示出明显的优势。可见,改进的快速搜索算法检测视频帧间的平移运动达到实时检测的效果。

表1 全局运动估计时间和精度Tab.1 Global motion estimation time and accuracy

3 结束语

快速三点搜索算法虽然比传统的灰度投影算法更能满足实时处理,然而在使用时存在一定的局限性:1)拍摄图像的灰度信息变化不明显,图像帧间运动局限于平移,而对于旋转运动的效果不明显;2)图像4个角不能存在运动目标,否则4个区域的运动矢量均不准确,从而无法提取准确的全局运动矢量,影响稳像效果。

[1] 赵红颖,金宏,熊经武.电子稳像技术概述[J].光学与精密工程,2001,8(4):353-359.

[2] 朱娟娟.电子稳向理论及其应用研究[D].西安:西安电子科技大学,2009:55-62.

[3] 张怡.基于块匹配的电子图像稳定系统[D].哈尔滨:哈尔滨工程大学,2004:21-23.

[4] 王旸.基于块匹配的电子图像稳定算法[J].咸阳师范学院学报,2006,21(4):36-38.

[5] Erturk S.Digital image stabilization with subimage phase correlation based global motion estimation[J]. IEEE Transaction Consmuer Eeleortnics,2003,49(4): 1320-1325.

[6] 孙辉.快速灰度投影算法及其在电子稳像中的应用[J].光学精密工程,2007,15(3):412-416.

[7] 张国栋,王明泉,郭栋.基于灰度投影算法的实时电子稳像研究[J].微电子学与计算机,2010,27(10):53-56.

[8] 吕高杰,车宏,赵龙,等.一种鲁棒性强的电子稳像方法[J].电光与控制,2010,17(1):57-60.

编辑:梁王欢

An improved gray projection algorithm of electronic image stabilization

You Chunzhi,Chen Guangxi
(School of Mathematics and Computational Science,Guilin University of Electronic Technology,Guilin 541004,China)

Aiming at the gray projection algorithm for image stabilization with a relatively long time question,a new algorithm based on three-point search is proposed.The image is divided into several blocks without affecting the image stabilization effect,the algorithm is used for solving gray projection vector.Finally,the global motion vector is obtained by using the mean filter,the motion compensation is achieved.The experimental results show that the PSNR is less than 0.5 dB by the proposed algorithm than the traditional gray projection algorithm,however the time is reduce by 21.8 ms.

gray projection algorithm;motion estimation;three-point search

TP391.14

A

1673-808X(2015)02-0152-04

2014-11-03

广西自然科学基金(2013GXNSFCAA019330);广西可信软件重点实验室基金(kx201213);广西教育厅科研项目(2013YB086)

陈光喜(1971—),男,四川金堂人,教授,博士,研究方向为信号安全、智能软件与算法、符号计算。E-mail:123726408@qq.com

游春芝,陈光喜.改进的灰度投影电子稳像算法[J].桂林电子科技大学学报,2015,35(2):152-155.