基于亚像素模糊检测的Wiener对运动模糊图像复原方法*
2016-11-16顾国华田宗浩吴海兵田欣
顾国华,田宗浩,吴海兵,田欣
(1.解放军陆军军官学院,合肥230031;2.安徽广播电视台,合肥230061)
基于亚像素模糊检测的Wiener对运动模糊图像复原方法*
顾国华1,田宗浩1,吴海兵1,田欣2
(1.解放军陆军军官学院,合肥230031;2.安徽广播电视台,合肥230061)
在图像获取中由于目标运动、拍摄条件等原因,容易产生剧烈的运动模糊,难以辨认。针对运动模糊点扩散函数、信噪比不知的情况下,对传统Wiener进行了创新和实践,探讨了基于亚像素的模糊方向与深度检测和递推迭代的自适应Wiener滤波对运动图像的复原方法。该方法首先对图像进行任一方向的亚像素进行模糊运动方向计算并确认,而后解算模糊尺度。采用先验信噪比进行预设,并迭代推算得出最优值。实验表明,该方法在对拍摄的模糊图像处理能获得较理想的效果。
亚像素,运动模糊,信噪比,Wiener,复原
0 引言
由于现实环境的局限和成像任务的严峻性,常常难以达到理想的拍摄成像条件。如环境的噪声干扰、大气扰动、设备与目标的相对运动、成像系统相差等因素的影响,使图像在获取、存储、传输的过程中,产生一定程度的退化,特别是由于目标的运动状况难以掌握时,往往产生剧烈的运动模糊,使得最终获取的图像效果明显变差,表现为模糊、失真,难以辨认。因此,为了恢复出真实(或接近真实)的原始图像,须对图像进行复原。
目前,在假设造成图像模糊的原因确切已知的情况下,可以准确地计算噪声参数和点扩散参数,利用多种方法进行图像的恢复,例如逆滤波法、维纳滤波法、最小线性二乘法、小波变化反卷积法和Bayes复原算法等。图像复原的经典算法一般都是在点扩散函数PSF(Point Spread Function)已知的情况下进行的。国内外许多专家和学者针对模糊图像的复原方法作了大量的研究。不少研究者提出了模糊图像二次维纳滤波复原方法,如Sunghyun[1]提出使用预先估计的散焦PSF集合进行自动对焦;LIU[2]、Hu[3]提出通过先验知识估计原图像的初始估值,用这些新获得的信息构成改进的维纳滤波器对退化图像进行第2次滤波;这些方法主要针对离焦模糊图像进行处理。也有少部分学者研究过其他的维纳滤波器的模型改进的复原方法,如Edmund[4]提出通过增强对应频率波段的方法复原散焦图像;Sun[5]建立线性空间不变的模糊模型,构建点扩散函数和光学传递函数(PSF)再估计原始图像;Liu[6]利用模糊图像的梯度图像估计散焦半径的初值,使用最小二乘和最优搜索方法确定模糊半径;Si7等利用倒谱分析的方法定量估计PSF,采用了耦合梯度保真算法;Li[8]、Zhou[9]探讨了采用独立分量分析、改进的霍夫变换检测点扩散参数的方法。以上的途径和方法计算量大,容易产生发散性,中间处理过程不易加入人工判别,导致处理计算量大,精度不够,处理效果不佳。
1 基本模型
滤波器m(x,y)的频域为
式中,H*(u,v)为退化系统传递函数H(u,v)的复共轭,由式(2)可得恢复图像的傅里叶变换为
维纳滤波的关键是要知道原图像和噪声的功率谱,实际中却往往是未知的,为了在数值处理上简便,用某一常数K来代替,传递函数转化为
2 模糊方向与深度检测
通过以上分析,得知在大多数情况下维纳滤波复原法都可以获得满意的结果,但是在信噪比比较低的情况下,往往不能获得满意的效果。实际中,图像信噪比不知或信噪比很低情况时有发生,维纳滤波使用被大大限制,为了改善其使用范围和复原效果,必须对维纳滤波基本模型进行改进和升级。
本文的思想是,首先研究运动图像的亚像素模糊方向检测及深度解算,然后再进行维纳滤波复原。
2.1模糊方向鉴别及运动角度解算
由图像信息可知,模糊图像点扩散函数是其图像复原的关键。为了概略直观了解图像的模糊方向,首先对原图像(图1)进行边缘检测(分别采用prewitt算子、roberts算子),处理图像如图2,图3所示。
图像边缘的运动轨迹如图4曲线所示,其中g(i,j)为原始点,g(i',j')为该点运动后的位置。
图1 运动模糊
图2 prewitt算子边缘检测
图3 roberts算子边缘检测
对于一幅运动模糊图像而言,在其模糊方向上(某一角度),其相邻单位距离上的像素的下标值不一定为整数。为了求取该方向上的方向微分,引入亚像素的概念。Yitzhaky[11]提出了单方向上,在角度0°≤α≤45°的亚像素的线性插值方法。方向亚像素由相邻的2个像素得到,设相邻像素点的距离为1个单位,则由上图可知,可得到
图4 亚像素双线性插值示意图
由此Yitzhaky思想的方法进行扩展,可推算得出45°≤a≤180°时的方向亚像素。然而,Yitzhaky方法提出了利用线性插值技术处理亚像素的计算算法,但没有考虑到行(或列)方向上像素变化信息,只参考了行(或列)方向上的2个像素点,计算结果的精度和适用性不足。为了改善Yitzhaky方法的性能,使其计算结果更精确,适用性更强,采用增加参考像素点的方式进行双线性(行和列方向上)插值。如图4所示,将亚像素定在以g(i,j)为圆心,以单位1为半径的圆周上,其方向角为α。首先在行方向上进行插值求出g1和g2,然后在列方向上插值求出g(i',j')[α]。
当0°≤α≤90°时,在行方向I上由g(i-1,j)和g(i-1,j+1)两像素点插值得出:
在行方向II上由g(i,j)和g(i,j+1)两像素点插值得出:
由g1和g2两点在列方向上线性插值得
同理,可求得当90°≤α≤180°时的插值。
以上计算完单个像素的方向微分后,就可计算整幅图像的方向微分,整幅图像的α角度的方向微分定义为图像中所有像素点方向微分的绝对值之和。
亚像素g(i',j')运动估计MSE值可表示为:
针对图像的特征,计算图像在各个方向上的微分并比较找出最小值min(Δg[α]),该值对应的角度α即为处理图像的运动模糊方向。
2.2模糊运动深度估算
检测完模糊角度α后,可对图像进行旋转,将模糊方向转化为水平向右的方向,采用列相邻像素差分运算
逐行计算自相关函数,第j行含有n个像素的自相关函数为:
计算自相关函数的均值,画出自相关差分曲线图[12]。由于自相关函数取向关于y轴对称,而运动模糊后的图像则在距零点一定距离的位置出现找出极值点,计算出该距离,即为模糊尺度。
2.3K值迭代解算
前文已经求出模糊角度和模糊方向,将其带入传递函数即可得到点扩散函数。因此,接下来需求取K值[13]。通常,K值采用经验值或通过人机对话手工调节,前者虽然简单但复原效果不佳,后者复原效果要好一些,但非常繁琐,也得不到最准确的参数值。本文探讨一种自动估计K值的方法。
由于根据光学图像难以计算上式2项频谱,因此探讨采用后验估算法[3]来求取。
光学侦察的图像是随时空变化的,在局部小尺度上是平稳的,但在大尺度上则不是。针对这种现实情况,对K值估计算法进行了改进。首先根据维纳滤波的基本原理采用经验K值对图像进行解算,得出Pf0(u,v)值,然后对模糊图像进行合适的滤波处理,对滤波后的图像粗略计算Pn0(u,v)的值,两值求解后,得到K0,然后求出E0=‖f-fˆ‖2的值,并绘制K0-E0曲线。并以K0为中心,设定相应的步长、间隔,进行循环解算,得到一系列K-E曲线。对该曲线求导解出极小值点,此时的K即为最优值。
3 处理实施流程
根据前文的思想和算法,可归纳其处理实施流程如下:①分析图像特点并采用不同方法进行边缘检测初步判断其模糊方向;②运用双线性插值法计算图像中所有像素点微分,以一定步长(精度)搜索计算不同角度方向上的微分和,比较得出最小微分和及模糊角度α;③若②计算的精度不够,则调小步长,按②再次计算最小微分和及模糊角度;④将图像旋转α后,采用自相关间距法解算图像模糊深度;⑤根据先验理论拟出信噪比K0进行第一次维纳滤波,得到一个虚拟原始图像f1及其像素值;⑥对该f1进行分析去噪预处理得到图像f2,进而得到K值的大致取值范围,将f1-f2认为是噪声;⑦利用原始图像f0和f2进行拟算得到信噪比K1的初始值,然后设定步长l、步数n,并根据实际情况以10(或1/10)为倍数进行调整幅度;⑧根据步长、步数进入循环,并形成递推迭代,计算对应的Ei(i≥2),并绘制Ei-Ki系列曲线,并对E求导。得出导数为0时,即可求出最优Ki值。
4 实验效果
为了检验方法的可行性和效果,在对运动图像(某战斗机和汽车)的模糊方向检测后,对迭代效果进行实验,得出同一方向下的1~3次迭代情况如图6~图8所示。
对于战斗机的运动图像经计算,其信息熵见表1。
表1 迭代图像信息熵
为了检验本文算法对噪声的处理效果,对原图进行加噪后如图9所示,采用最小二乘法处理效果如图10所示,经典Wiener处理效果如图11所示,本文方法处理效果如图12所示;图像处理质量比较见表2。
表2 图像处理质量比较
图5 原图
图61 次迭代图
图72 次迭代图
图83 次迭代图
图9 原图加噪图
图10 最小二乘法处理图
图11 经典Wiener处理图
图12 本文方法处理图
5 结论
在传统的维纳滤波中,用某一常量来代替fn(u,v)/f0(u,v),对于模糊不强的图像,能使恢复的图像趋于平滑,但同时大大降低图像的恢复质量。本文采用双线性插值对模糊方向进行检测,运用自相关间距法解算模糊深度,为PSF函数的拟合推算奠定了基础;采用递推迭代计算对K值不断优化计算,得出最优值,克服了传统维纳滤波平滑带来的影响和二次滤波的不精确性以及多次滤波的发散性,准确度比较高,计算速度快,细节丢失少。
[1]SUNGHUN H,KIMAN K,JEONGHO S.Real-time digital auto-focusing using a priori estimated set of PSFs[C]//SPIE,2004,5297:66-77.
[2]刘晓辉,郭成安,胡家升.惯性约束聚变中环孔编码图像恢复的改进维纳滤波方法「J].光学学报,2004,24(8):1045-1050.
[3]胡小平,陈国良,毛征宇,等.离焦模糊图像的维纳滤波复原研究[J].仪器仪表学报,2007,28(3):479-482.
[4]EDMUND Y L.Digital restoration of defocus images in the wavelet domain[J].Applied Optics,2002,41(23):4806-4811.
[5]张采芳,田岩,柳健,等.运动模糊图像点扩展函数的自动识别方法[J].红外与激光工程,2007,36(2):248-251.
[6]LIU K,QUAN J,YANG J Y,et al.Identification and restoration of image with out-of-focus blurs[C]//SPIE,1991,1567:720-728.
[7]石明珠,许廷发,张坤.运动成像混合模糊的全变分图像复原[J].光学精密工程,2011,19(8):1973-1981.
[8]李鸿燕,郝润芳.基于维纳滤波和快速独立分量分析的有噪混合图像盲分离[J].计算机应用研究,2007,24(10):164-166.
[9]周玉,彭召意.运动模糊图像的维纳滤波复原研究[J].计算机工程与运用,2009,45(19):181-183.
[10]于成波.数字图像处理及MATLAB实现[M].重庆:重庆大学出版社,2003:181-190.
[11]邓泽峰.图像复原技术研究及应用[D].武汉:华中科技大学,2007:41-44.
[12]邸慧,于起峰.基于自相关的匀速运动模糊尺度参数识别[J].国防科技大学学报,2006,28(5):123-125.
[13]张荩尹,李波,姚春莲.基于最优位置计算的快速亚像素运动估计[J].计算机学报,2005,28(9):1543-1544.
Study on Restoration Methods for Motion Blurred Image Based on Sub-Pixel Blur Detection on Wiener Filtering
GU Guo-hua1,TIANZong-hao1,WU Hai-bing1,TIANXin2
(1.Army Officer Academy,Hefei 230031,China;2.Anhui Broadcast and Television Station,Hefei 230061,China)
As influenced by many factors within image acquisition,especially when the target movement status is difficult to obtain,the photography equipment jitter,often produce severe motion blur,it is difficult to identified.The paper aim at innovate traditional Wiener made and practice,when motion function blur and SNR unknown;discuss the Wiener filter for motion image restoration method based on the sub-pixel direction detection and depth.The method first,judge the sub-pixel direction of motion and calculate as well as confirm,and then calculate the fuzzy scale.Empirical SNR is adapt to preinstall,and trans-iterative calculate the optimal value.Experiment results shows that after restoration the blurred motion fighter image is achieved the desired effect.
motionimage,SNR iterative,Wiener,restoration
TP391
A
1002-0640(2016)10-0138-04
2015-08-01
2015-09-06
中国博士后科学基金资助项目(201306253)
顾国华(1981-),男,江西九江人,讲师,在读博士。研究方向:模式识别和智能检测。