单幅图像运动模糊参数估计
2015-09-12朱建国樊桂花刘智超
朱建国,樊桂花,刘智超
(装备学院研究生管理大队,北京 101416)
图像复原作为数字图像处理技术的重要分支之一,其主要目的是尽可能地恢复数字图像获取过程中的降质或退化。实际拍摄获得的图像往往因为目标与相机之间的相对运动而导致局部相邻像素加权平均[1-3],使获得图像严重偏离真实图像,将这种图像降质称为图像的运动模糊。为了从一幅运动模糊图像中获得原始图像,必须利用有限的先验知识从模糊图像中抽取出图像的退化信息,从而反向推导估计出原始图像。
近年来,出现了很多模糊参数的估计方法。M.Cannon等[1]通过对匀速直线运动模糊图像频谱图的分析,证明了条纹方向与运动方向垂直这一特性;陈前荣等[4]通过Hough变换的方法检测条纹方向,从而获得模糊角度的估计值,但是准确性有待提高;Krahmer等[5]利用Radon变换的最大熵进行模糊方向鉴别,但是对45°角的估计值存在较大误差;李秀怡等[6]通过Radon变换求标准差的方法估计模糊角度,但是对存在噪声的模糊图像估计存在较大误差;乐翔、庞涛等[7-8]也利用Radon变换的方法估计运动模糊图像的模糊角度,但是并未实际考虑图像的模糊长度;谢伟等[9]提出了一种基于倒频谱的匀速直线运动模糊PSF估计的方法,利用倒频谱具有双负峰值的特性计算运动模糊图像的模糊方向和模糊长度,但是模糊方向估计上存在一定误差;倪时金等[10]利用Radon变换和倒频谱估计的方法估计运动模糊参数,对获得的倒频谱图进行直方图均衡化和亮度变换以提高检测精度,但是参数估计精度有待提高;谢飞等[11]利用Radon变换估计模糊角度和求倒频谱的方法估计喊噪声图像模糊长度,但是其主要针对仿真图像进行分析;石明珠等[12]将梯度倒谱引入模糊估计领域,利用相位恢复策略复原了点扩展函数的相位信息,实现了点扩展函数的快速估计。
以上模糊参数的估计方法或者只估计单一的模糊参数,未考虑全部2个模糊参数,或者同时估计2个参数,但是参数估计精度有待提高。本文主要针对相机实际拍摄图像的点扩展函数模糊参数估计问题,对点扩展函数的模糊角度和模糊长度分别进行估计,利用改进的Radon变换的方法估计模糊角度,利用改进的梯度倒谱的方法估计模糊长度,并通过R-L(Richardson-Lucy)迭代复原[2]的方法验证算法的有效性。
1 基于Radon变换的模糊角度估计
1.1 Radon 变换原理
图像处理中的Radon变换主要是指图像沿某一指定方向做投影的方法。某一角度函数 f(x,y)沿任意角度可表示为
式(1)中所代表的含义是函数 f(x,y)在θ上的投影。在图像处理中,可以理解为图像函数 f(x,y)的坐标轴逆时针旋转角度θ,并对x'进行投影,对获得累加值顺时针旋转角度θ,获得了图像在θ角度的Radon变换。如图1所示。
图1 Radon变换示意图
本文正是利用Radon变换对运动模糊图像频谱的每一个方向进行投影,在运动方向上会得到积分的最大值,其所对应的角度就是运动模糊图像的模糊角度。
1.2 基于Radon变换的改进的运动模糊方向鉴别
真实相机拍摄获得图像,由于CCD尺寸问题导致图像四周边缘被截断,这破坏了边缘的卷积关系,成像的不完全卷积最终导致经中心化的频谱中央存在十字亮线,严重影响模糊方向鉴别精度。
为了尽量仿真真实模糊情况,使模拟图像中出现十字亮线,在Matlab中,将滤波函数imfilter中的“Boundary Options”设为除“circular”之外的值,本文设定为“replicate”,同时将“Output Size Options”设为“same”,则所得模糊图像就会出现十字亮线[7]。
本文以Lena512图像为例,运动模糊长度为20,角度为60°,按照上述方法生成模糊图像及其频谱,如图2所示。
图2 仿真真实模糊图像及其频谱
对上述图像进行模糊方向估计,得到其对应的幅度谱后,对其进行如图3所示分块操作。
图3 幅度谱图分块示意图
按照上一小节流程最终获得模糊图像幅度谱的1/4块,根据求出的中央十字亮线宽度,对取出的1/4块进行水平和垂直2个方向裁剪,切除十字中央亮条纹,其结果如图4所示。
图4 裁剪前后幅度图对比
当模糊长度较小时,比如模糊长度为5pixel,暗条纹数目较少,中心主瓣变宽,所取得块中暗条纹数目极少,其余部分较亮,若此时进行Radon变换,结果误差会很大,本文对此种情况进行了分析,当获得块灰度均值大于130时,应对其进行反色处理。图5是在模糊长度为5,模糊方向为60°时的幅度谱中取出的1/4块,未对其做反色处理时,模糊角度估计值为 55.03°,反色处理后结果为 62.1°。
本文在Radon变换的基础上提出了一种新的模糊方向鉴别算法,有效克服了自然图像受十字亮线影响而导致的模糊方向鉴别算法失效问题,同时提高了模糊方向鉴别精度,算法具体步骤如下。
设图像为f(x,y),图像尺寸为M×N,则:
1)计算图像f(x,y)的幅度谱|G(u,v)|,并将其原点位置移到中心位置,仍以|G(u,v)|表示。
2)对|G(u,v)|取对数,B=log(|G(u,v)|+1),压缩其动态范围。
3)对B进行二值化操作,以3×3邻域求均值作为动态阈值,大于该阈值点赋255值,小于阈值点赋0值,结果矩阵用C表示;
4)将矩阵C划分为4等分,取右上角部分进行处理,求取中央十字亮条纹宽度。以求十字亮条纹水平宽度为例,计算每行前4个像素和,检测第一个和大于510时,即前3个像素均为255时,认为是第一条亮条纹;当模糊长度值较小时,则认为仅当每行前4个像素均为255时为第一条亮条纹,假设第一条亮条纹为第i行,则十字亮条纹水平宽度m=M-2i+2,同理可得垂直宽度n=N-2j+2。比较m和n的大小,取其中最大的作为边界裁剪尺度。
5)仍旧将二值化矩阵划分为4块,计算每一块的灰度值的均值,取最大均值所对应的1/4块作为待处理部分。这样操作的目的是选出明暗条纹对比最明显的块,即sinc函数主瓣所在的块。
6)运动模糊尺度较小时,设定阈值T,当取出部分的灰度均值大于T,则对其进行反色处理,使亮暗线相互转化以提高检测精度。
7)利用Radon变换将3)中能获得的结果进行1~179度投影,初始投影间隔为1,获取其极大值,由文献[6-8]可知,利用Radon变换检测到的角度误差,一般不会超过5°,由此在粗估计角度的基础上,在其模糊长度范围内取0.01°间隔进行投影。
图5 反色处理
2 基于梯度倒频谱的模糊长度估计
2.1 倒谱的基本原理
倒频谱指一幅图像f(x,y)的傅里叶变换的模值取对数后的逆傅里叶变换,其定义最初由Rom提出[13]
工程应用中一般取如下形式
式中:F-1表示逆傅里叶变换;G(u,v)为图像f(x,y)的傅里叶变换。忽略噪声影响,将式G(u,v)=F(u,v)H(u,v)带入式(2)可得
式中:Cf和Ch分别为原始图像和点扩展函数的倒频谱。可以看出,通过倒频谱变换,模糊图像在倒频谱域被分解为原始图像和点扩展函数的倒频谱之和,频域的卷积运算变为倒频谱域的加法运算。
为了更加清晰地显示倒谱的性质,本文利用Matlab仿真生成了一个中心像素灰度为100、其余灰度为0的40×40像素的图像,对其加模糊长度为20,角度为45°的运动模糊。其倒频谱的三维图如图6所示。
图6 倒频谱的三维图像
如图6所示,运动模糊图像在其倒频谱域范围内,图像信息被分为2部分,高频成分代表原始图像特性,低频成分代表点扩展函数的特性,即模糊特性,由文献[12]中可知,倒频谱图的2个负峰值间的距离即是模糊长度的2倍,2个负峰值点连线与水平方向的夹角即为运动模糊角度。
此外,倒频谱还有许多与图像处理有关的[12],列表如下:
1)将二维卷积运算变为加法运算
2)等角度旋转性
若在极坐标系内存在 g(r,θ)=Cg(r,γ)则
该性质指g旋转一个角度后求倒谱与其倒谱旋转相同角度的结果相同。
3)原点对称性
如果g(x,y)是实函数,其对应的倒谱关于原点对称
4)周期性
倒谱的以上性质,对于本文提出的基于倒谱的模糊长度估计算法提供了理论依据
2.2 基于梯度倒频谱的改进的模糊长度提取算法
本文中降质模型对应的模糊核,即卷积运算中的点扩展函数h(x,y)是相机相对于目标的运动,这是一个随机的过程,因此其所对应对的二维PSF具有稀疏性和随机性。倒频谱不受成像过程中的随机性影响[12],对相对运动的随机性不敏感,因此,通过求模糊图像的倒频谱能够有效分离出PSF信息。如图7所示。
图7 图像倒谱分析
如图7所示,图7(a)图从左至右依次为原始图像倒谱模值图、原始图像梯度倒谱模值图,图7(b)图从左至右为模糊图像倒谱模值图、模糊图像梯度倒谱模值图以及真实的点扩展函数倒谱模值图。由图像上可以看出,梯度倒谱模值图背景要比图像倒谱模值图干净很多,通过与真实PSF图像倒谱模值图对比发现,图像梯度倒谱模值图只滤除了图像信息,成功剥离出模糊图像的点扩展函数信息。因此,通过模糊图像的梯度倒谱来估计模糊参数理论上要优于传统的根据模糊图像来估计模糊参数的方法。即在点扩展函数的辨识领域,图像的梯度信息相比于图像自身,提供了更多的有效信息。拉普拉斯算子被称为边界提取算子,其各项同性和平移不变的性质,在边界提取中具有很好的效果,本文选用八邻域算子[1,1,1,1,-8,1;1,1,1]。算法流程如下:
1)利用拉普拉斯算子,求模糊图像梯度,得到梯度图像g(x,y)。
2)通过式4求梯度图像倒谱Cg(p,q),将原点转移至图像中心并求其模值,用real(Cg(p,q))表示。
3)对上步获得的real(Cg(p,q))进行阈值分割,并二值化。本文首先将梯度倒谱模值中大于0的所有像素点赋0值,得到新的矩阵A,寻找到A中的最小值,以最小值0.85倍为阈值进行二值化,定位图像中的关于图像中心对称的两点。
4)上步获得的2个两点即为2个对称的负峰值(p1,q1)和(p2,q2)位置,则模糊长度为两点间直线距离的一半,模糊长度由以下公式计算
当只检测到一个点(p,q)时,模糊长度为该点与中心像素之间的直线距离,假设图像尺寸为M×M时,模糊长度计算公式为
具体流程图如图8所示。
图8 基于梯度倒谱的模糊长度估计流程
按照上述步骤获得图像的模糊长度估计,由图9(b)中可以看出,直接在图像的频率倒谱模值图中提取图像负峰值位置,由于图像亮度过低且彼此间难以分辨,很难实现。利用本文提出的模糊图像梯度倒谱二值化方法,得到如图9(c)所示图像,背景十分干净,很容易获得图像的2个负峰值,根据上文公式就可以获得图像模糊长度。
图9 模糊长度提取的梯度倒谱图
3 仿真实验
3.1 仿真实验分析
为检验本文算法的有效性,对Lena512图像进行仿真实验,实验结果分别与文献[7]和文献[10]的参数估计值进行对比分析,本文方法获得的模糊参数及对比文献的参考数据列表如表1~表4所示,对实际估计值保留一位小数。
表1 本文Lena512图像模糊角度估计值 (°)
表2 文献0Lena512模糊方向估计值 (°)
表3 本文Lena512模糊长度估计值 (°)
表4 文献[10]中Lena512模糊长度估计值 (°)
从表1~表4的数据分析可以看出:
1)本文算法整体上是有效的,模糊角度误差范围大多小于1°,且可以最小鉴别5°的模糊角度,模糊长度鉴别误差基本在1个像素以内,绝大部分误差小于0.5像素,整体模糊参数估计精度随模糊尺度的增加,当模糊尺度超过50像素以后,模糊长度鉴别精度开始下降,超过60像素以后,模糊长度和模糊方向鉴别误差急剧增大,本文认为其估计值失效。
2)由表1和表2对比可以发现,本文算法模糊角度估计精度在0°~1°之间,但存在个别值误差超过1°,远优于文献[10]中的误差精度。此外,本文算法的探测极限角度为5°,且误差一般不超过1°,而文献[7]中的极限探测角度为10°,并存在一定误差。
3)由表3和表4对以发现,本文模糊长度估计最大估计误差不足2个像素,有效估计模糊长度范围为5~60像素,仿真结果远优于文献0中结果。
3.2 实拍图像分析
图10原图尺寸为4096×4096图像,目标静止,通过移动相机获得全局模糊图像,通过截图获得目标区域大小为800×800,利用本文算法获得模糊参数分别为33.0253和39.64°,利用R-L迭代复原算法迭代30次获得实际复原图像,纹理信息基本清晰。图11为实拍玩具汽车运动模糊图像,原图尺寸为2160×4096,截取目标区域大小为189×399,本文算法估测结果为18.1324 和 27.64°,利用 R-L 迭代复原算法迭代10次获得实际复原图像,整体视觉效果需要进一步改进,但是车轮信息基本清晰。
图10 实拍运动模糊图像复原
图11 实拍运动模糊图像复原
4 结论
运动模糊参数估计是运动模糊图像复原的关键步骤之一,本文提出了一种检测出中央十字亮线宽度的方法,在此基础上,通过对模糊图像的幅度谱进行分块裁剪边缘的方法,滤除了图像不完全卷积造成的边缘截断效应对模糊参数估计的影响,利用Radon变换的方法实现了图像的模糊角度估计。在模糊长度估计方面,本文利用梯度倒谱不受原始图像信息干扰的特点,通过查找在梯度倒谱模值图中查找负峰值的方法估计图像的模糊长度,取得了较高的鉴别精度。在模糊参数估计的基础上,对实际拍摄图像的模糊参数进行检测,通过R-L迭代复原的方法获得复原图像,进一步验证了算法的有效性。
针对实际图像的模糊复原,今后的主要工作为:一是提高模糊角度估计的准确性,尤其是针对实际图像的中央十字亮线估计方法,如何在模糊图像尺寸较小时,本文中央十字亮线宽度检测误差较大;二是有躁图像的模糊长度估计问题,如何在噪声干扰下准确提取出负峰值点。
[1]张良培,沈焕峰.图像超分辨率重建[M].北京:科学出版社,2012:35-35.
[2]邓泽峰.图形复原技术研究及应用[M].武汉:华中科技大学,2007.
[3]Cannon M.Blind deconvolution of spatially invariant image blurs with phase[J].IEEE Trans Acoust Speech Signal Process,1976,ASSP 24(1):58-63.
[4]陈前荣,陆启生,成礼智.运动模糊图像的运动模糊参数鉴别[J].国防科技大学学报,2004,26(1):41-45.
[5]Krahmer F,Lin Y,McAdoo B,et al.Blind image deconvolution:motion blur estimation[R].Technical Report,Institude of Mathematics and its Application,University of Minnesota,2006.
[6]李秀怡,黄继风.基于Radon变换的运动模糊方向精确估计[J].计算机科学与工程,2008,30(9):51-53.
[7]乐翔,程建,李民.一种改进的基于Radon变换的运动模糊图像参数估计方法[J].红外与激光工程,2011,40(5):963-969.
[8]庞涛,李小平.基于Radon变换的运动模糊图像参数估计[J].科学技术与工程,2010,10(22):5551-5554.
[9]谢伟,秦前清.基于倒频谱的运动模糊图像PSF参数估计[J].武汉大学学报,2008,33(2):128-131.
[10]倪时金,李星野,吴婷婷.运动模糊图像的PSF参数辨识[J].计算机工程与应用,2013,49(6):152-155.
[11]谢飞,车宏,蔡猛,等.一种基于倒频谱鉴别模糊参数的图像复原算法[J].电光与控制,2011,18(7):49-54.
[12]石明珠,许廷发,梁炯,等.单幅模糊图像点扩展函数估计的梯度倒谱分析方法研究[J].物理学报,2013,62(17):174204-1-11.
[13]Rom R.On the cepstrum of two-dimensional function[J].IEEE Transactions on Information theory,1975,21(2):214-217.