多视点模糊图像复原方法研究

洪汉玉，章秀华，范 艳，邓哲煜，曹太腾，张天序

(1. 武汉工程大学 电气信息学院， 图像处理与智能控制研究所，武汉 430205；2. 华中科技大学 自动化学院， 图像识别与人工智能研究所，武汉 430074)〗

多视点模糊图像复原方法研究

洪汉玉1，章秀华1，范 艳1，邓哲煜1，曹太腾1，张天序2

(1. 武汉工程大学 电气信息学院， 图像处理与智能控制研究所，武汉 430205；2. 华中科技大学 自动化学院， 图像识别与人工智能研究所，武汉 430074)〗

提出了基于多视点图像模糊核估计的复原方法.先给出了一种基于正则化保PSF路径的模糊核估计算法，将各向异性正则化方法引入模糊核估计的迭代过程中，在此基础上，为了降低噪声和保护图像边缘，又给出了基于保边缘的最大似然估计多视点去模糊方法.建立了多视点图像PSF路径之间的关系模型，确保多视点图像特征点对应关系.估计了两视点图像的PSF路径后，利用PSF路径对应关系，计算了其它视点图像的PSF路径.当获得所有视点图像的PSF路径和模糊核后，利用最大似然估计去模糊方法，得到了多视点去模糊图像.实验结果表明:该方法对多视点图像复原效果好，提高了三维重建精度.

多视点；运动模糊；点扩散函数；图像复原

近年来，人们对多视点系统和三维重建越来越感兴趣并取得了重要进展.我们注意到，当目标运动时，捕获的多视点图像通常是模糊的，导致目前的三维重建算法不能准确地重建目标.因此多视点图像去模糊方法的研究是必要的.这也成为了多视点三维重建的瓶颈技术问题.目前三维重建算法假定目标没有任何运动.当目标有运动时，会导致图像模糊，影响三维重建精度.

目前的运动去模糊方法主要集中于单视点图像的去模糊.多视点图像去模糊面临许多难题，模糊核或者说点扩散函数(PSFs)在各个视点图像中是不相同的，各个视点图像的去模糊结果都会影响整个目标的三维重建.当模糊核和原图像都未知时，模糊核估计是首要的.运动去模糊的主要难点在于精确估计模糊核.Joshi等[1]提出利用锐化边缘预测法从单个模糊图像中估计点扩展函数，该算法利用预测值与观测值来求解点扩展函数.如果能从模糊输入图中很好地预测出锐化图像，则可以估计出模糊核.然而，输入图像的纹理使得锐化图像及模糊核的大小难以预测，相应的点扩展函数不能被很好的估计.Fergus[2]提出一种利用图像梯度分布统计特性来逼近原图像的变分贝叶斯方法.这种方法能有效地对图像去模糊并可估计复杂的模糊核，但需要人为控制核的大小.其它的一些去模糊算法也被提了出来[3,4]，从单张模糊图像中估计PSF非常困难.

对于多帧图像的去模糊，Cho等[5]提出了从相同场景的多帧图像中去除非均匀运动模糊的方法.Yuan等[6]提出利用模糊/噪声估计模糊核和减少噪声的去模糊方法.Chen等[7]通过引入鲁棒的代价函数和一系列先验核知识来对两幅图像进行去模糊.利用多帧图像去模糊方法可以得到较好的效果，但多帧图像去模糊方法要求原始场景完全相同，因而限制了其应用.

为了解决这些问题，本文先提出了一种基于正则化保PSF路径的单视点图像模糊核估计算法，在估计出的单视点模糊图像PSF基础上，建立多视点图像的PSF路径之间的关系，估计出其中两个视点图像的PSF路径关系式，并利用这个关系式来计算和优化其它视点图像的PSF路径，最后对多视点图像进行去模糊和三维重建.

1 单视点模糊核估计和去模糊

图1为多视点图像的立体视觉成像系统.当目标在短曝光时间内从A运动到B，对应的投影点也从ai运动到bi.由于成像面视角不同，运动投影轨迹aibi在各个成像面上的长度和方向都不相同.

各视点图像可以表示为：

gi(x,y)=hi(x,y)⊗fi(x,y)+ni(x,y),

(1)

其中gi(x,y)为各视点的观测图像，hi(x,y)为对应视图的模糊核，fi(x,y)为各视点的原清晰投影图像，ni(x,y)为各视点模糊图像所含的噪声，⊗表示二维离散卷积，下标i为各视点序号.

1.1 基于正则化的单视点模糊核估计

在进行多视点图像去模糊之前需要估计单视点模糊核.单视点图像盲目估计模糊核可以阐述为将下面的代价函数最小化：

J(f,h)=‖h(x,y)⊗f(x,y)-g(x,y)‖2+λ1J(h)+λ2J(f),

(2)

其中第一项是数据项，后两项是模糊核和模糊图像的两个正则化项.

二次正则化导致大梯度惩罚过重[8]，产生总体过平滑现象[9].为了解决这一问题, 我们采用各向异性正则化方法并使实际代价函数最小化：

(3)

其中φh(·)和φf(·)为模糊核梯度及图像梯度的各向异性正则化系数，h(i,k)=h(i)-h(k)，h(k)是点扩散函数支撑域上当前点的邻域值.

一般要求对大梯度进行较轻的平滑而对小梯度进行较重的平滑处理[11, 12]，本文采用下列各向异性正则化函数：

φh(t)=t2/(1+t2),φf(t)=lg(1+t2).

(4)

式中，将两个函数αh(t)、αf(t)格式统一写为：

α(t)=1/(1+t2)w,w=1,2,…

(5)

图2显示了不同w时α(t)的曲线，其对小梯度进行较重的惩罚而对大梯度惩罚较轻或不惩罚.

对式(4)进行交替极小化，可以得到 ：

(6)

(7)

通过采用交替迭代方法，求解式(6)和式(7)中的h和f，得到单视点模糊图像的PSF.

实际的运动模糊核是一条单像素宽的直线段或光滑曲线段.为使上述估计方法得到的PSF满足要求，本文采用空间滤波器来抑制PSF支持域中的一些小值，然后通过对比候选的模糊核点的值和校验它是否与前一个的模糊核点在方向上一致来查找最大点和选择当前模糊核8邻域里的下一个点来精确细化模糊核，从而得到单像素宽的PSF路径.

1.2 基于最大似然估计的单视点去模糊

通过上一步骤，估计出模糊核后，我们采用一种改进的最大似然估计算法来进行单视点图像去模糊处理.

原始图像定义为{f(x),x∈X,f(x)≥0}，PSF定义为{h(y|x),y∈Y,x∈X}，i(y)表示y像素点的灰度值，我们有：

(8)

假定噪声n(y)服从泊松分布并且独立.对其取对数，并省略常数项，我们可以得到对数似然函数为:

(9)

合并图像差异最小化准则函数：

(10)

可以得到 ：

LP(f,h)=L(f,h)+ηΦ(f).

(11)

(12)

对式(11)求关于f (x)的偏微分并令其等于0，有 ：

(13)

(14)

(15)

1.3 R算法和ML算法的结合

本文提出的盲目去模糊正则化算法(即R算法)可以更严密的估计出PSF路径.提出的最大似然估计算法(即ML 算法)可以更好的恢复图像并且它可以允许PSF有一定的误差.所以，我们用R算法来估计PSF，用ML算法来去模糊.

2 多视点模糊核估计和去模糊

2.1 多视点图像PSF路径关系的建立

假设[P]表示投影矩阵，(xyz1)表示一个均匀的三维坐标，(uv1)表示一个均匀的二维坐标，那么 (xyz1) 和(uv1)的关系可以用式(16)表示：

(16)

其中d 是空间点的深度.矩阵[P]由相机参数矩阵[K]*[R t]来确定，而相机参数矩阵已经在多视点相机标定过程中被计算出来.

点(x,y,z)对点(u,v,d)有一个单一的对应值，反之亦然，式(16)可以重新整理为：

(17)

其中矩阵[B]是矩阵[P]3×3的逆矩阵，有：

(18)

(19)

(20)

其中：

(21)

从根本上说，每个PSF的值仅仅与各视点的运动投影轨迹有关，它们是：

psfi=h(Δu(i),Δv(i)),
psfj=h(Δu(j),Δv(j)).

(22)

(23)

其中(r0，r1，r2)由式(21)计算得出，但式(21)中参数i必须用参数n代替.

psfn=h(Δu(n),Δv(n)).

2.2 多视点图像去模糊

建立多视点图像PSF路径关系后，我们可以对多视点模糊图像进行联合去模糊，从而获得特征点能够保持关系对应的清晰图像，从而提高三维重建精度.多视点去模糊及三维重建主要流程见图3.

3 实验结果与分析

实验1单视点模糊图像的PSF估计及去模糊处理.图4(a)为模糊图像，图 4(b)，(c)和(d)为分别用 Fish’s[12]，Joshi’s[1]和我们的算法对图4(a)进行去模糊后的结果.图 4(e)，(f)和(g)分别为Fish’s，Joshi’s和我们算法估计得到的模糊核的二维和三维显示，其中左下框为二维的PSF路径.通过对比，可以看出我们的算法具有更好的去模糊效果.

实验2 多视点图像去模糊处理.图5为对15个不同视点套娃模型模糊图像进行去模糊和三维处理的结果.由于篇幅所限，此处只选取了其中的第1，4，5，6，9共5个视点的图像进行显示.图5(a)为第1，4，5，6，9共5个视点的模糊图像，图5(b)为图5(a)对应的各视点去模糊图像.图5(c)，5(d)和5(e)分别为15个视点无模糊图像，模糊图像和多视点去模糊图像的三维重建结果.从图5(d)我们可以看到物体的三维表面有许多噪声，并且有一些错误的结构形成和延伸.对比图5(e)和5(d)，去模糊后的三维表面的噪声被极大地降低.与图5(c)对比，我们看到由去模糊后图像重建的物体三维表面基本将物体重建出来，只是表面不如原始图像重建表面平滑.

实验3 多视点去模糊图像的保边缘效果验证.图6为对16个不同视点卡通模型模糊图像进行去模糊和三维处理的结果.本文在此只选取了其中的第1，2，5，9，10共5个视点的图像进行显示.图6(a)为第1，2，5，9，10共5个视点的模糊图像，图6(b)为图6(a)对应的各视点去模糊图像.图6(c)，6(d)和6(e)分别为16个视点无模糊图像、模糊图像和多视点去模糊图像的三维重建结果.对比图6(c)，6(d)，6(e)三维模型的边缘，可以看出图6(e)重建结果良好，这表明我们的多视点去模糊算法对于边缘保留是有效的.从实验结果可以看出我们提出的多视点去模糊算法对于三维重建的质量有明显的改善.

4 结语

本文提出了多视点去模糊方法.建立了多视点图像的PSF路径关系，只要估计出两个视点的PSF路径，其它视点的PSF路径就可以利用路径关系模型计算出来，进而去除所有视点模糊.实验结果表明，本文提出的多视点去模糊方法对于三维重建表面质量有着明显的改善.下一步的工作主要通过最优化的方法得到更精确的多视点PSF路径，获取较完整的多视点模糊图像复原信息，进一步提高三维重建质量.

[1] Joshi N, Szeliski R, Kriegman D J. PSF estimation using sharp edge prediction[C]//IEEE. Conference on Computer Vision & Pattern Recognition.New Jersey: CVPR, 2008: 1-8.

[2] Fergus R, Singh B,Hertzmann A,et al. Removing camera shake from a single photograph[J]. ACM Transsaction on Graphics (SIGGRAPH), 2006, 25(3): 787-794 .

[3] Jia J. Single image motion deblurring using transparency [C]//IEEE. Conference on Computer Vision & Pattern Recognition.New Jersey: CVPR, 2007: 1-8.

[4] Cai J,Ji H, Liu C, et al. Blind motion deblurring from a single image using sparse approximation[C]//IEEE. Conference on Computer Vision & Pattern Recognition. New Jersey: CVPR, 2009:104-111.

[5] Cho S, Matsushita Y, Lee S. Removing Non-Uniform Motion Blur from Images[C]//IEEE. Proceedings / IEEE International Conference on Computer Vision.New Jersey: IEEE International Conference on Computer Vision, 2007:1-8.

[6] Yuan L, Sun J, Quan L,et al. Image deblurring with blurred/noisy image pairs[J]. ACM Trans on Graphics (SIGGRAPH), 2007, 26(3): 204-213.

[7] Chen J,Yuan L, Tang C K, et al. Robust dual motion deblurring[C]//IEEE. Conference on Computer Vision & Pattern Recognition. New Jersey: CVPR, 2008:1-8.

[8] Park C, Kang M G. Noise-adaptive edge-preserving image restoration algorithm[J]. Opt Eng, 2000, 39(12): 3124-3136.

[9] Charbonnier P,Blanc-Feraud L, Aubert G,et al. Deterministic edge-preserving regularization in computed imaging[J]. IEEE Trans on Image Processing, 1997, 6(2):298-311.

[10] Geman D, Reynolds G. Constrained restoration and the recovery of discontinuities[J]. IEEE Trans Pattern Anal Machine Intell, 1992, 14(3): 367-383.

[11] Delaney A H, Bresler Y. Globally convergent edge-preserving regularized reconstruction: an application to limited-angle tomography[J]. IEEE Trans Image Process, 1998, 7(2): 204-221.

[12] Fish D,Brinicombe A,Pike E,et al.Blind deconvolution by means of the Richardson-Lucy algorithm[J]. Journal of the Optical Society of America A, 1994, 12(1):58-65.

Research on Restoration Method of Multiview Blur Images

Hong Hanyu1，Zhang Xiuhua1，Fan Yan1，Deng Zheyu1，Cao Taiteng1，Zhang Tianxu2

(1 Institute for Image Processing and Intelligent Control, School of Electrical Information Engineering，Wuhan Institute of Technology, Wuhan 430205, China；2 Institute for Pattern Recognition and Artificial Intelligence，School of Automation ，Huazhong University of Science and Technology，Wuhan 430074, China)

For the restoration of multi-view blur image, the problem of exact estimation for each multi view image blur kernel is needed to be solved. So a restoration method based on multi view blur kernel estimation is proposed. Firstly a blur kernel estimation algorithm based on regularized with PSF path preserved is proposed, the anisotropy regularized method is introduced into the iteration process of the blur kernel estimation. On this basis, to reduce the noise and preserve the image edge, a multi view deblurring method based on maximum likelihood estimation with edge preserving is introduced. The relation model of PSF path for multi view image is built. Once the PSF path of two view images is estimated, by using the PSF path relation model, we can compute the PSF path of the other view images. The experimental results show the effectiveness of the proposed restoration method of multi view images, and the 3D reconstruction precision is enhanced.

multiview point；motion blur；PSF； image restoration

2015-10-10

洪汉玉(1964-)，男，教授，博士生导师，研究方向：目标识别、三维重建、精确制导，E-mail: hhyhong@163.com

国家自然科学基金面上项目(61175013)

TP319

A

1672-4321(2015)04-0072-06