多帧距离选通图像点扩散函数估计的超分辨率重建

许廷发，罗　璇，苏　畅，卞紫阳

(北京理工大学 光电学院 光电成像技术与系统教育部重点实验室，北京 100081)



多帧距离选通图像点扩散函数估计的超分辨率重建

许廷发*，罗璇，苏畅，卞紫阳

(北京理工大学 光电学院 光电成像技术与系统教育部重点实验室，北京 100081)

为了解决水下激光距离选通图像成像过程中退化模型复杂的难题，提出了利用连续帧图像估计点扩散函数的距离选通超分辨成像方法。首先，从连续帧图像中选取一帧为参考帧作为初始清晰图像，下一帧图像为模糊图像，用梯度约束的方法求出点扩散函数，用于优化清晰图像；然后，依次将后续帧图像当作模糊图像与清晰图像交替迭代求取点扩散函数并优化更新清晰图像；最后获得的清晰图像与参考帧图像用乘法更新的方法估计点扩散函数，结合凸集投影法算法进行超分辨率成像重建。仿真实验结果表明，改进的算法重建图像分辨率和质量明显优于原始的算法。

水下图像；超分辨率重建；点扩散函数；凸集投影法

1　引　言

江河、海洋和地下水资源的勘探、开发和利用以及领海主权的防卫需要水下高分辨力的成像装备。水下光电成像技术分辨力高，且成像直观快速，是水下设备的必需技术。为提高水下成像的作用距离，人们提出了6类探测技术：时间区分/距离选通光电成像技术、空间区分/激光同步线扫描技术、结构光成像技术、调制/解调去除散射光技术、偏振区分技术和多视角图像构造技术[1]。其中水下激光距离选通成像技术是水下最有效的光电成像技术。然而，水下激光距离选通成像技术噪声量大、对比度差、照明不均匀，需要后期的超分辨率图像处理技术改善图像质量[2-4]。

近年来，人们一直在研究超分辨率重建技术[5-7]。然而关于超分辨率重建技术在水下应用的研究相对较少，Sun Xiaodan[8]等人使用稀疏表示的方法，对水下图像同时进行增强和超分辨率重建处理，取得了一定的效果；罗涛、杨宗元[9]等人根据水下光束传播理论、水下湍流特性、传感器衍射极限等因素建立了水下成像模型，并用于传统的超分辨率重建算法中，实现水下图像重建；谌雨章、杨悦[10]等人将几种经典的点扩散函数模型以及基于光线传播的点扩散模型结合到凸集投影法(POCS)中，实现了水下图像重建。

退化函数在超分辨率算法中是重要的先验知识。然而在不同的水域和光照条件下，水下图像的退化程度差异很大，退化函数具有不确定性。目前对于水下图像的退化模型尚鲜见系统定量的研究。本文针对水下激光距离选通图像成像过程中退化模型复杂难题，提出了利用连续帧图像估计点扩散函数的方法。通过水下激光距离选通拍摄的连续帧图像估计点扩散函数，并结合到POCS算法中，提高水下图像的分辨率。

2　多帧点扩散函数估计的超分辨成像

2.1水下激光距离选通成像基本原理

激光距离选通成像的原理如图1所示。水体的光学窗口大致在480～550 nm，所以水下距离选通成像方式常以Nd∶YAG固体脉冲激光器作为照射光源[11]，T0时刻激光发射入射光照明目标物体，由于ICCD探测器上的选通门关闭，水体的大量后向散射光不能进入探测器，探测完整目标所需时间ΔT，T1时刻目标反射光到达探测器，选通门开启ΔT的时间，ICCD对探测目标完整成像，由此可屏蔽掉大部分的水体后向散射光，增加水下光电成像系统的作用距离。水下距离选通成像技术的应用，可以将水下光电成像设备的探测距离提高3～5倍[12-13]。

图1　激光距离选通成像的原理 Fig.1　Principle of laser range-gated imaging

2.2改进的POCS算法

POCS算法可以分为以下几步[14]：

(1)选择观测序列图像(低分辨率图像)中的一帧作为参考帧，并对其采用双三次线性插值，使其作为高分辨率图像的初始估计。

(2)对观测序列作运动估计并在运动向量场中找到该像素映射到当前估计的高分辨率图像中的像素位置，以及PSF作用下的像素。

(3)模拟图像获取过程，得到该像素的估计值，并计算估计值与实际像素值之间的残差。如果残差超出给定的残差限，则需对估计值进行修正。

(4)修正迭代当前的高分辨率估计，直至达到可以接受的范围。

其中PSF表示点扩散函数，它是许多光学成像系统中常见的降质函数，其可以表达成

(1)

式中，σ为标准差，决定了模糊程度；Sh为h(x,y)的支撑域；C为归一化常数，用来使模糊的PSF的系数之和等于1，通常也通过这种特性求解常数C。

(2)

式中，ω×ω为h(m1,m2;n1,n2)支撑域的大小。于是，观测帧中实际像素值与估计的高分辨率图像像素值之间的残差可以表示为:

(3)

如果残差r超出设定的误差限σ，则对当前估计图像按下式修正：

(4)

传统的POCS方法中，点扩散函数h的支撑域一般采用5×5的矩阵块:

(5)

然而，在水下成像环境中，成像的退化模型较复杂，仅仅使用固定的PSF模型并不能很好地表示图像的退化。因此，本文提出一种用连续的图像序列估计PSF。

假定a表示点扩散函数PSF，图像的退化同样可以看作是一个线性的过程:

(6)

式中，x表示清晰图像，y表示模糊图像，A表示图像线性变化的矩阵，*表示卷积运算。同样存在一个矩阵X，使得这个线性过程可以表示为：

(7)

则如果已知A和y则可以通过min‖Ax-y‖2，求解x；同样，已知x和y可以通过min‖Xa-y‖2求解a。这两个求解最小化问题本质上是非负最小二乘问题的特殊情况，z=argminZ≥0‖Bz-y‖2。本文使用一种盲解卷积的方法求解z[15-16]，具体方法如下：

(1)利用z的梯度约束优化： 2BT(Bz-y)

(2)使用乘法更新迭代:

(8)

式中⊙，表示矩阵中对应元素相乘。

在已知模糊图像和清晰图像的情况时，可以使用梯度约束优化的方法求取点扩散函数；在已知点扩散函数和模糊图像时，可以通过乘法更新的方法复原得到清晰图像。

通过连续的观测图像序列y(0),…,y(s-1)和对应噪声n，利用公式:

(9)

可以复原得到图像x，求得A。式中，噪声n(t)假定为均值为0的高斯型噪声。改进的算法步骤：

(1)将第一帧观测图像作为参考帧，并作为清晰图像的初始值x(1)，用x(1)和第2帧观测图像y(2)用梯度约束的方法求得PSF、A(1)。

(2)此时，将清晰图像x(1)当作模糊图像，用求得的A(1)和x(1)用乘法更新迭代求得清晰图像x(2)。

(3)用清晰图像x(2)和第3帧观测图像y(3)梯度约束求得PSF、A(2)。用A(2)和x(2)乘法更新求得清晰图像x(3)。

(4)重复这个过程直到最后一帧图像y(n)，用y(n)和清晰图像x(n-1)梯度约束求得PSF、A(n-1)并用乘法更新求得最终的清晰图像x(n)。

这样即可通过连续的图像序列求取得到复原图像。

(5)将参考帧x(1)作为模糊图像和最终求得的清晰图像x(n)用梯度约束即可求得全局的点扩散函数a(n)。

(6)将a(n)带入到POCS算法中替换点扩散函数模型h，改进POCS算法。

3　评价指标的选取

图像灰度平均梯度是将图像长度、宽度方向上相邻像素灰度值求差后再平方求均方根，能反映图像的纹理变化特征，值越大表示图像越清晰，质量越好：

(10)

式中，M和N分别表示重建结果图像的行和列，g(i，j)表示图像在(i，j)点上的像素。

拉普拉斯梯度模是在每个像素点的3×3领域内使用拉普拉斯算子进行8领域微分，最后求和。LS值越大，则像素点附近灰度值变化越大，轮廓越清晰:

(11)

4　仿真实验及效果

根据实验原理搭建水下距离选通实验平台，如图2所示。

图2　距离选通实验平台 Fig.2　Range-gated experiment platform

各部分具体参数如下：

(1)激光器参数:

a) 法国 Quantel公司的Brilliant灯泵浦 Nd:YAG调 Q 激光器;

b) 波长为532 nm;

c) 脉冲能量为160 mJ;

d) 激光脉宽为4 ns。

(2)ICCD参数:

a) 相增强器分辨率为72 lp/mm;

b) 重频为1～50 MHz;

c) 亮度增益为30 000 lm/m2/lx;

d) 光纤耦合方式。

(3)CCD相机在数:

a) 韩国 GENICAM 型号为MV-B(C)U10G的 CCD网口相机；

b) 像元大小为4.4 μm；

c) 最大帧频为20 fps；

d) 最大采集1 628×1 236像素的24位RGB图像。

模拟水下环境的管道以及实验靶标如图3、图4所示。

图3　水下环境管道 Fig.3　Pipeline of underwater environment

图4　实验靶标 Fig.4　Experimental target

实验一：

在清水(衰减长度约3AL)环境下，对距离相机12 m处的靶标进行拍摄，选取其中连续的4帧图像，如图5所示。

图5　连续的4帧观测图像 Fig.5　Four frames of consecutive observation images

图6　重建结果 Fig.6　Reconstruction results

对得到的图像分别采用原始的POCS算法和改进的POCS算法进行处理，重建效果如图6所示。 对图像中红色区域进行放大，放大后的图像如图7所示。

图7　放大部分图像对比 Fig.7　Images contrast of enlarged region

可以看到改进后的算法图像分辨率明显高于原始算法，并且图像质量更好，选用灰度平均梯度、拉普拉斯梯度膜、图像质量统计参数作为图像的评价标准，评价结果如表1所示。

表1　实验一算法效果对比Tab.1　Comparation with two methods in the experiment Ⅰ

改进算法重建结果各项指标均高于原始算法。可以得出，改进后的算法重建效果明显由于原算法。

实验二

在浑浊水体(衰减长度7-8AL)环境下，对距离相机20 m处的靶标进行拍摄，选取其中连续的4帧图像，并对其分别采用原始的POCS算法和改进的POCS算法进行重建，如图8所示。

图8　算法效果对比 Fig.8　Comparation of obtained images with two methods

同样选用图像灰度平均梯度、拉普拉斯梯度膜、图像质量统计参数作为图像的评价标准，结果如表2所示。

表2　实验二算法效果对比Tab.2　Comparation with two methods in the experiment Ⅱ

对比表2中的数据可知，改进的POCS算法处理得到的高分辨率图像的图像质量明显优于原始的POCS算法处理得到的图像。

4　结　论

本文针对水下激光距离选通图像成像过程中退化模型复杂的难题，提出通过连续帧图像求解点扩散函数的方法，介绍了该方法的原理和求解过程，并将算法运用到POCS算法中，改进了POCS算法。实验结果证明：改进的后的算法重建图像分辨率和质量明显优于原算法。

[1]张平,邱卫根,刘效东,等.一种远距离水下光电成像的方法[J].应用光学,2014,35(5):756-760.

ZHANG P,QIU W,LIU X D,etal.. Method for enhancing distance in photoelectronic imaging under water[J].J.AppliedOptics,2014,35(5):756-760.(in Chinese)

[2]宋建中.图像处理智能化的发展趋势[J].中国光学,2011,4(5):431-441.

SONG J ZH. Development trend of image processing intelligence[J].ChineseOptics,2011,4(5):431-441.(in Chinese).

[3]邓建青,刘晶红,刘铁军.基于DSP系统的超分辨率图像重建技术研究[J].液晶与显示,2012,27(1):114-120.

DENG J Q,LIU J H,LIU T J. Super-resolution image reconstruction technology based on DSP system[J].ChineseJ.LiquidCrystalsandDisplays,2012,27(1):114-120.(in Chinese)

[4]徐美芳,刘晶红.基于边缘保持的航拍图像凸集投影超分辨率重建算法[J].液晶与显示,2010,25(6):873-877.

XU M F,LIU J H. Super-resolution image reconstruction of aerial photography based on projection onto convex sets[J].ChineseJ.LiquidCrystalsandDisplays,2010,25(6):873-877.(in Chinese)

[5]赵欣慰.水下成像与图像增强及相关应用研究[D].浙江:浙江大学,2015.

ZHAO X W. The research on underwater imaging underwater image enhancement and relevant applications[D]. Zhejiang:Zhejiang University,2015.(in Chinese)

[6]刘妍妍,张新,张建萍.超分辨重建技术及其研究进展[J].中国光学,2009,2(2):102-111.

LIU Y Y,ZHANG X,ZHANG J P. Super resolved reconstruction technologies and recent evolution[J].ChineseOptics,2009,2(2):102-111.(in Chinese)

[7]陈健,高慧斌,王伟国,等.超分辨率复原方法相关原理研究[J].中国光学,2014,7(6):897-910.

CHEN J,GAO H B,WANG W G,etal.. Correlation theory of super-resolution restoration method[J].ChineseOptics,2014,7(6):897-910.(in Chinese)

[8]SUN X D,ZHANG ZH,ZHANG X W. Image processing and sparse resolution for under water imaging[J].AppliedMechanicsandMaterials,2014,599:1544-1547.

[9]罗涛,杨宗元,谌雨章,等.基于水下成像系统模型的水下图像超分辨率重建技术研究[J].光学与光电技术,2013(3):35-40.

LUO T,YANG ZH Y,SHEN Y ZH,etal.. Underwater imaging super-resolution reconstruction based on imaging model[J].OpticsandOptoelectronicTechnology,2013(3):35-40.(in Chinese)

[10]谌雨章,杨悦,谭海燕.基于点扩散函数模型的激光水下图像重建[J].科技视界,2015,(1):86-87+95.

SHEN Y ZH,YANG Y,TAN H Y. Underwater laser imaging restoration based PSF model[J].ScienceandTechnologyVision,2015,(1):86-87+95.

[11]赵阳，盖志刚，赵杰,等.距离选通水下激光成像技术研究[J].物流工程与管理,2014,(7):269-270.

ZHAO Y,GAI ZH G,ZHAO J,etal.. Research on range-gated underwater laser imaging technology[J].LogisticsEngineeringandManagement,2014,(7):269-270.

[12]KOCAK D M,DALGLEISH F R,CAIMI F M,etal.. A focus on recent developments and trends in underwater imaging[J].MarineTechnologySocietyJournal,2008,42(1):52-67.

[13]金伟其,王霞,曹峰梅.水下光电成像技术与装备研究进展(下)[J].红外技术,2011,33(3):125-132.

JIN W Q,WANG X,CAO F M. Review of underwater opto-electrical technology and equipment(Ⅱ)[J].InfraredTechnology,2011,33(3):125-132.

[14]杨婷.基于POCS的红外图像超分辨率重建算法研究[D].西安:西安电子科技大学,2013.

YANG T. Research on the algorithm of super-resolution reconstruction of infrared images based on POCS[D]. Xi′an:Xidian University,2013.

[15]HIRSCH M,SRA S,SCHOLKOPF B,etal.. Efficient filter flow for space-variant multiframe blind deconvolution[C]. IEEE Conference on Computer Vision and Pattern Recognition,San Francisco,CA,USA,June 13-18,2010:607-614.

[16]HARMELING S,HIRSCH M,SRA S,etal.. Online blind deconvolution for astronomical imaging[C]. Computational Photography(ICCP),2009 IEEE International Conference on. IEEE,2009:1-7.

[17]JOBSON D J,RAHMAN Z,WOODELL G A. The Statistics of visual representation[C]. Proceedings of the International Society Optical Engineering Visual Information Proceeding. Washington DC,USA:SPIE Press,2002:25-35.

Super-resolution reconstruction of multiformat laser range-gated image by the estimate of point-spread function

XU Ting-fa*, LUO Xuan, SU Chang, BIAN Zi-yang

(KeyLaboratoryofPhotoelectronicImagingTechnologyandSystemofMinistryofEducation,SchoolofOptoelectronics,BeijingInstituteofTechnology,Beijing100081,China)

,E-mail:xutingfa@163.com

In order to solve the problem of complicated degeneration model of underwater laser range-gated imaging system,a method to estimate point spread function(PSF) by continuous image sequence is presented. At first, a reference image is selected from continuous image sequence as initialized clear image and next sequence image is used as blurred image. PSF can be estimated by constrained optimization using its gradient . The clear image can be optimized and updated by PSF. Then following images are all defined as blurred image to calculate PSF with clear image. Clear image is updated by the PSF. At last, a final clear image can be got from continuous image sequence. PSF of the whole sequence can be estimated by multiplicative updates of reference image and the final clear image. Projection onto convex sets(POCS) can be optimized by the PSF and the super resolution reconstruction can be made. The stimulation results show that the resolution and quality of reconstruction image obtained by improved algorithm are much better than that of orginal ones.

underwater image;super resolution reconstruction;point spread function;projection onto convex sets

2015-12-03；

2016-01-08

国家国际科技合作专项资助项目(No.2014FR10960)

2095-1531(2016)02-0226-08

TP751.1

A

10.3788/CO.20160902.0226

许廷发(1968—)，男，黑龙江肇东人，博士，教授，博士生导师，1992年、2000年于东北师范大学分别获得学士、硕士学位，2004年于中国科学院长春光学精密机械与研究所获得博士学位，2006年于华南理工大学电子与信息学院完成博士后工作，主要从事光电成像探测与识别等方面的研究。E-mail:xutingfa@163.com

Supported by National International Cooperation Special Project of Science and Technology of China(No.2014FR10960)