一种离焦图像重组技术

张学典,商艳芝,朱静远,江旻珊

(上海理工大学 光电信息与计算机工程学院,上海　200093)



一种离焦图像重组技术

张学典,商艳芝,朱静远,江旻珊

(上海理工大学 光电信息与计算机工程学院,上海200093)

摘要随着传感技术的发展,单一的图像传感器通常不能从场景中提取足够多的信息,故需进行多源图像融合。文中在已有的图像融合技术基础上,提出了一种基于物理空间变异点扩散函数的方法来实现多聚焦图像的融合。该算法能解决已有算法需求储存量大的问题,并经过试验证明,该方法得到的图像视觉效果良好,可视化清晰,同时计算了不同算法得到融合图像的均方差,新算法的均方差明显小于已有算法的均方差。因此,证明了新算法优于现有的离焦图像融合算法。

关键词图像融合技术;点扩散函数;多聚焦图像;离焦

目前,各式各样的数据采集装置的大量使用,使得图像融合已经成为图像处理的重要组成部分。由于镜头景深的限制,只有处于焦平面上的物体才会被清晰成像,不处于焦平面上的物体是模糊成像,于是,由同一个场景就会产生具有不同焦点的图像,其中任何一个图像都无法充分表达一个完整场景,但这些图像在许多方面是相辅相成的[1]。因此人们提出多焦点融合方法来解决离焦部分的融合问题。首先获取一组不同景深的图像,然后使用图像融合技术对不同图像进行综合,使得融合图像中的物体是清晰的,本文首先对图像融合技术进行了介绍,然后在此基础上提出一种空间变异点扩散函数的算法,来应用到多焦点图像融合中。

1图像融合技术

图像融合是图像处理的重要领域[2]。图像融合方法众多,大致可将其分为空域融合方法及变换域融合方法。典型的空域融合方法包括像素加权平均、伪彩色映射、非线性方程法、模拟退火法、人工神经网络法等;变换域融合方法包括小波变换法、图像金字塔方法[3-4]、多尺度几何分析方法等。几种典型方法:(1)像素融合方式,其主要思想对要融合的源图像不进行任何变换,不考虑像素之间的相关性,直接对源图像中的各像素分别进行选择、平均或加权等简单处理后,得到新的融合图像。该方法是一种典型的图像融合方法,应用也较为广泛。该方法实施简单,但在一定程度上降低了融合图像的整体对比度;(2)小波变换法是空间(时间)和频率的局部变换,因而能有效地从信号中提取信息。小波变换具有良好的多分辨率特性,在图像处理技术中经常为其他算法提供预处理信息。但传统小波变换不能处理2D或更高维奇异性的问题[5]。在多分辨率分解融合算法中,采用小波变换融合算法多会引入高频噪声,从而影响融合图像的质量[6];(3)图像金字塔技术,主要包括高斯金字塔,拉普拉斯金字塔[7-8],梯度金字塔等。而金字塔这类算法的一般模式是先对每一源图像分别进行某种塔形分解,建立各图像相应的金字塔,再对图像金字塔的多分解层分别进行融合处理,不同分解层可用不同的融合算子进行融合处理得到融合后相应的金字塔,最后对其进行图像重组,得到的合成图像包含了源图像的所有重要信息。金字塔式图像融合算法能在多尺度,多分辨率上进行特征分解从而得到较好的融和效果,但此类算法存在方向性问题和存储量大的问题;(4)基于以上的各种技术,Cunha A L等人实现了非下采样Contourlet变换(NSCT)。NSCT不但继承了Contourlet的多尺度、多方向性,同时还具备了平移不变特性,可有效消除吉布斯现象。但该方法由于非自适应于具体图像,无法最稀疏地描述图像信息,容易造成融合过程中系数选取得不准确,导致融合图像出现边缘模糊和伪噪声[9];(5)针对非下采样Contourlet变换(NSCT)中低频子带系数稀疏度较低不利于融合的问题,提出基于NSCT和稀疏表示的图像融合方法(NSCT-SR)[10]。该算法得到的融合图像更加清晰,信息更丰富,对比度更高。在以往的文献中发现了多种轻微散焦图片的多聚焦图像融合方法,且每种方式都得到了相应的测试,在本文中将提出一种可处理强散焦情况下的多聚焦图像融合新算法。

2基于物理空间变异点扩散函数算法

该方法基于光学图像形成理论,且遵循平面上的三维近似场景。当三维场景利用光学系统成像时,只有聚焦于像平面上的物体才会呈现清晰的像,而物体的其他部分将会处于离焦状态即形成模糊的像。考虑到一个场景中各系列图像均有各自的聚焦面,则就需要获得不同焦距的系统。假设jk(在RGB图像中,jk=(jRk,jGk,jBk),k=1,…,n)是n张图片中的第k张成像,在忽略噪声和色差的情况下,焦距为L=Lk处的jk图像,在空域其可表示为

jk=(x,y)=ik(x,y)+∑k′≠khkk’(x,y)×ik’(x,y)

(1)

其中,Ik是焦点区域内获得清晰图像;jk场景中的散焦部分是Ik’与点扩散函数hkk’(x,y)的卷积,如图1所示焦距是Lk的一个光学系统成像jk,该成像是距离为Lk的红色物体和距离为Lk’的绿色物体共同成像。

在严重散焦情况下,国内外学者对于光学成像系统的点扩散函数进行了研究,并提出了近似模型[11]

(2)

式中,rkk’将满足

(3)

其中,p指相机的像素间距;R0=Rd/p,R是成像透镜的半径;d是成像镜头到像平面的距离,如图1所示。

图1　焦距为lk的光学系统

融合的图像z(x,y)是不同焦距图像的总和即

(4)

如果获得z(x,y),首先将式(1)进行傅里叶变换

(5)

其中,(a,b)是空间频率坐标;hkk’是光学传递函数(OTF),即hkk’=FT(hkk’),Ik’=FT(Ik’),对于n=2的特殊情况,可直接由式(5)直接获得z=FT-1{(j1+j2)∕(1+h12)},而对于任意数值n,等式(5)可用向量的形式表示

j(a,b)=h(a,b)I(a,b)

(6)

式中,j和I均为n维列向量,H为n×n的对称矩阵,其中

等式(4)的傅里叶变换是

(7)

式中,e是长度为N的单位向量。从式(6)和式(7)中可得到Z(a,b)即

Z(a,b)=e(h-j)

(8)

式中,H-是H的逆矩阵。文中从式(8)中得到了z(a,b)即z(x,y)的傅里叶变换,若要得到z(x,y),则将z(a,b)进行傅里叶逆变换即可。

3实验结果

为验证该算法的有效性,文中将该算法和加权梯度算法(MWGF),拉普拉斯金字塔算法(LP),基于非下采样Contourlet变换算法(NSCT),NSCT稀疏结合算法(NSCT-SR)的结果进行对比。因MWGF和NSCT-SR可处理两张源图像来得出融合图像,LP,NSCT和本文提供的方法可处理任意长度的堆栈图像。

如图2(a)所示分别将单独拍摄的电路图像和地板图像放在镜头的L1,L2(L2=4/3 L1)处,如图2(b)所示是电路板图像和地板图像均在焦点时所成的图像,其目的是测试其他融合图像时作为参考图像。在式(3)中R0分别取20 L1,40 L1,80 L1和160 L1分别代表从轻度离焦成像到重度离焦成像,对于每一个R0值都将组成一个n=4的图像堆栈,这几张图像的成像系统将分别聚焦于L1-Δ,L1,L2和L2-Δ(Δ=0.2 L1)处,如图2(c)～图2(f)是R0=160 L1的成像情况。

当一个堆栈中只需两张图片时,文中用图2(d)和图2(e),如图2(d)代表的是在L1位置的电路板图像是对焦图像,而处于L2位置的地板图像是离焦状态下的成像。如图2(e)所示则是对焦地板图像,离焦电路板图像的情况,从式(3)和利用L2,L1的关系,当R0=20 L1,40 L1,80 L1,和 160 L1时,对应的模糊圆盘半径分别为5,10,20,和 40得到了离焦的另外两个图像2(c)和图2(f)。

图2　不同距离中需要合成的电路板图像和地板图像

图3是根据不同算法得到的融合图像,a1～a5是N=2时分别用MWGF,LP,NSCT,NSCT-SR,Proposed Method得到的融合图像,b1～b3是N=4时分别用LP,NSCT,Proposed Method得到的融合图像,随即也计算了不同算法融合图像的均方误(MSE),并将其列于表1中。如表1所示,黑体数字代表着R0和N确定时,所有方法的最佳性能值,从表中可看出该方法优于其他方法。

图3　R0=160l1时两张图像和4张图像用不同方法的融合图像

R0NMWGFLPNSCTNSCT-SRPM20l120.16630.42340.63380.61830.56484-4.72031.2354-3.249540l121.58830.67853.65806.32540.51324-3.726812.4563-2.687480l124.57653.012028.146535.14980.43524-6.032180.3654-2.6913160l1214.328931.6798112.7692114.56890.61134-65.3274256.3214-3.4195

4结束语

介绍了图像融合技术的基本概念和主要算法,基于此进行了物理空间变异点扩散函数的算法研究,其属于可处理强离焦状态下的图像融合技术,并进行了实验,且与其他的融合技术进行了比较。对实验结果进行分析,不但视觉上较为清晰,且计算不同算法的均方差,也证明了新算法的优越性,但仍有一定的误差,希望可进一步分析研究,以待提高该算法的效率。

参考文献

[1]Sarder P,Nehorai,Arye.Deconvolution methods for 3-dfluorescence microscopy images[j].IEEE Signal Process,2006,23(3):32-45.

[2]严春满,郭宝龙,杨秀红.一种抗噪声的高效多聚焦图像融合算法[j].西安电子科技大学学报:自然科学版,2011,38(3):63-68.

[3]Miao Qiguang,Wang Baoshu.Multi-sensor image fusion based on improved laplacian pyramid transform[j].Acta Optica Sinica,2007,27(9):1605-1610.

[4]朱若萍.Matlab在多分辨金字塔式图像融合技术中的应用[j].仪器仪表用户,2006(4):86-88.

[5]王珺,彭进业,何贵青,等.基于非下采样Contourlet变换和稀疏表示的红外与可见光图像融合方法[j].兵工学报,2013,34(7):815-820.

[6]林玉池,周欣,宋乐,等.基于NSCT变换的红外与可见光图像融合技术研究[j].传感器与微系统,2008,27(12):45-47.

[7]Wang q,Dai y,Zhao b,et al.a superconducting magnet system for whole-body metabolism imagin[j].IEEE Transactions on Appled Superconductivily,2012,22(3):58-63.

[8]Burt P,Adelson e.the laplacian pyramid as a compact image code[j].IEEE Transactions on Communication,1983,31(4):532-540.

[9]杨扬,戴明,周箩鱼,等.基于非下采样Bandelet变换的多聚焦图像融合[j].吉林大学学报:工学版,2014,44(2):525-530.

[10]高珊,邱天爽,易梅,等.基于双稀疏字典的医学图像融合算法及在脑血管疾病诊断中的应用[j].北京生物医学工程,2015,34(3):239-243.

[11]Subbarao M,Choi t s,Nikzad a.Focusing technology[j].Optical Engineering,1993,32(11):2824-2836.

An Image Reconstruction Technique Under Defocus

ZHANG Xuedian,SHANG Yanzhi,ZHU Jingyuan,JIANG Minshan

(School of Optical-Electrical and Computer Engineering,University of Shanghai forScience and Technology,Shanghai 200093,China)

AbstractAs a single image sensor can not extract enough information from a scene,the multi-source image fusion is necessary.In this paper,a method based on the physical space variant point spread function is proposed to realize the fusion of multi focus images.This algorithm avoids the requirement of large storage of the existing algorithms.Tests show that the visual effect of the image obtained by the proposed method is clear and the mean square error (MSE) of the fusion image is significantly less than those by existing algorithms.

Keywordsimage fusion technology;PSF;multi-focus image;defocus

doi:10.16180/j.cnki.issn1007-7820.2016.05.043

收稿日期:2015-10-04

基金项目:国家科技部重大仪器专项基金资助项目(2013YQ03065104);国家重大科学仪器设备开发专项基金资助项目(2014YQ090709)

作者简介:张学典(1974—),男,博士,副教授。研究方向:光电检测仪器。商艳芝(1990—),女,硕士研究生。研究方向:图像重组。

中图分类号TP391.41

文献标识码A

文章编号1007-7820(2016)05-162-03