图像超分辨率重建算法比较研究

王伯阳,韩晓微,张文奇

(1.沈阳大学信息工程学院,辽宁沈阳 110044;2.沈阳外国企业服务总公司,辽宁沈阳 110013)

图像超分辨率重建算法比较研究

王伯阳1,韩晓微1,张文奇2

(1.沈阳大学信息工程学院,辽宁沈阳 110044;2.沈阳外国企业服务总公司,辽宁沈阳 110013)

针对超分辨率重建技术的基本理论以及研究现状给予了综述性研究,对当前的主要算法进行了比较分析·

图像处理;超分辨率;图像重建

数字图像处理技术起源于20世纪20年代[1]·在数字图像采集过程中,由于受到成像传感器分辨率的限制或在成像过程中存在干扰,可能会使图像出现降质和退化现象,造成图像不清晰,影响监视和观察·利用数字化方法提高图像空间分辨率,从而提高图像质量,对图像处理与分析工作极为重要[2-4]·图像超分辨率重建技术是提高图像空间分辨率的一种有效手段,近年来已受到了研究人员的普遍关注·

早期传统的超分辨率重建技术是对单帧图像进行复原处理,估计出一幅图像在衍射极限上的频谱信息·这一过程可被认为图像退化的逆过程,主要利用线性解卷积以及盲解卷积来实现[5-8]·利用点扩散函数和目标先验知识,在图像系统的衍射极限之外复原图像信息的过程被称为超分辨率复原[9]·利用图像超分辨率重建技术,也可以从多个空间欠采样的低分辨率图像中重建一个高分辨率图像·由于图像序列或多幅连续采样的图像中存在着相互运动,彼此含有类似却不完全相同的信息[10-14],因此,可利用不同图像间的补充信息,达到图像重建的目的·许多研究人员对该类理论方法进行了较深入的探索和研究,并应用于实践中·目前,已把利用多幅低分辨率图像生成一幅含有较少的模糊、噪声和混叠的高分辨图像的方法称为超分辨率重建·超分辨率重建也是成像的逆过程,由于这类算法本身属于病态求逆问题,因此导致了一些算法的解不唯一[15-18]·本文将重点对该类超分辨率重建算法给予综述性研究,并对当前频率域和空间域的主要算法进行比较分析·

1 频率域方法

频率域方法是超分辨率重建中的一类主要算法,主要是基于傅氏变换和逆变换来进行图像复原,目前研究较多的是消混叠重建方法·由于图像细节是通过高频信息反映出来的,消除频谱混叠就可以获得更多被掩盖掉的高频信息,这样就可以增加图像细节,提高图像的分辨率·最早是Tsai和Huang采用频域法对低分辨率卫星图片进行超分辨率重建·其基本思想就是将图像数据先变换到频域进行结合变换,再回到空间域形成高分辨率图像·假设原始场景信号带宽有限,利用采样定理以及连续傅里叶变换和离散傅里叶变换间的平移、混叠性质,给出一个由一系列欠采样观测图像复原高分辨率图像的公式,并将多幅观测图像经过混频得到的离散傅里叶变换系数与未知场景的连续傅里叶变换系数以方程的形式联系起来·方程组的解就是原始图像的频率域系数,再把频率域系数进行傅里叶逆变换,就可以实现原始图像的精确复原·这种方法要求图像间位移参数的估计达到子像素精度,而且每一帧观测图像都必须对方程组中的一个不相关方程作出贡献·

Tsai和Huang的算法具有计算简单的优点·但由于模型建立在全局平移的基础上,缺少灵活性,而且没有考虑到光学系统的点扩散函数、运动模糊和观测噪声的影响,从而限制了频域算法的适应性·在此基础上,Tekalp等人完善了观测模型,对算法进行了扩展,包括线性平移不变的点扩散函数和观测噪声,采用最小二乘法来求解超分辨率图像的频谱,但由于降晰函数的零点存在,造成频谱在相应的频率点是多解的·Nhat提出了另一种估计帧间整体平移参数的算法,主要贡献在于计算整体平移与Tsai的算法相比有很大的进步,可以提高算法的效率·Elad提出了一种基于数据驱动的稳健计算方法,具有较少的计算复杂度,便于硬件的实现,但是解不一定是最优解·此后,还出现了用递归最小二乘法以及基于多通道采样定理的方法·但这些都是对Tsai和Huang的算法的改进,并没有理论上的重大突破·所以,频域法并没有成为主流算法·

频率域算法是一种简单直观的方法,其基本原理清晰,计算复杂度低,可支持大量的并行运算,提高运算速度·但是对于运动模型的局限性大,不能引入一些图像的先验知识或者优先级来进行规准化·

2 空间域方法

空间域方法是将复杂的运动模型与相应的插值、迭代、滤波和重采样放在一起处理,作为图像重建的全部内容,其线性空间域观测模型涉及全局和局部运动、帧内运动模糊、光学模糊、空间可变点扩散函数、非理想采样和其他一些内容·空间域方法也是目前研究的热点,它包括非均匀内插法、迭代反投影法、最大后验概率法、凸集投影法等·

2.1 非均匀内插法

非均匀内插法直观上是把现实空间的图像看成连续函数,不同的低分辨率图像看成在连续函数上不同位置的采样,经过对低分辨率观测图像序列配准,可以得到一幅由非均匀间隔采样网格点上采样值组成的复合图像,对这些非均匀间隔采样点进行内插和重采样可得到超分辨率采样网格上的采样值,以此作为输出的超分辨率图像·通用的插值法是将包含原始函数的空间分解为适当的子空间,在每一个子空间内进行以插值为目的的尺度变换,然后将插值空间逆变换到原始空间·这样,原始空间就包含插值函数,相当于在原始空间内插值·使用估算的相对运动信息,可以获得非均匀间隔样点上的高分辨率图像·这样,就可以处理复原问题以消除模糊和噪声,可以使用任何考虑噪声存在的去卷积方法来复原·

非均匀插值算法的优点在于它具有较低的计算负荷,并能进行实时应用·但是,其观测数据是从欠采样中得到的,不能得到比低分辨率图像中更多的频率成分;而且退化模型是受限制的,只适用于模糊和噪声特性对全部低分辨率图像都一样的情况·由于复原步骤忽视插值阶段中产生的误差,所以不能保证整个重建算法的最优性·

2.2 迭代反投影法

迭代反投影法是一种较早的空间域超分辨率重建方法,是用输出图像的一个初始估计值作为当前结果,并把当前结果投影到低分辨率图像上,得到低分辨率模拟图像,低分辨率模拟图像与实际观测图像的差值称为模拟误差·Irani采用IBP法对视频序列中的运动目标进行超分辨率重建,先通过光流场法计算视频序列中的物体运动,然后进行运动物体的分割,这样得到的物体就是存在着全局像素内位移的低分辨率图像,最后再进行目标的超分辨率重建·Mann使用IBP法重建视频中的高分辨率图像·Nimish用IBP法进行彩色视频序列的超分辨率重建,先是对视频序列采用分级块匹配技术进行像素内配准,因为块匹配配准的结果容易陷入局部极小值,所以对重建过程中误差函数选出的多个运动向量进行优化·

在使用迭代反投影法时,首先要选取反向投影算子,在其满足一定条件时,重建图像的解将收敛于真实解,由于重建问题是病态的,因而不同算子的选取会得到不同的解·其次,在算法的迭代中,投影误差比较依赖于低分辨率图像的观测模型·最后是IBP法对于问题的病态性没有相应的规准化处理,导致迭代过程不一定收敛·

迭代反投影法的优点是直观上容易理解,但没有考虑到噪声的影响,对高频噪声非常敏感,而且把先验约束引入到这种方法中也非常不易·

2.3 最大后验概率法

概率法是图像超分辨率重建问题中的一种重要方法·因为超分辨率重建问题是一个病态问题,所以要对其施加一定的先验附加条件和限制,将其转化为良态问题·贝叶斯法实际上就是最大后验概率法·最大后验概率法的含义就是在已知低分辨率的视频序列的前提下,使出现高分辨率图像的后验概率达到最大·根据贝叶斯原理,高分辨率图像的后验概率等价于低分辨率视频序列出现的条件概率与理想高分辨率图像的先验概率的积·条件概率通常采用的是高斯模型,先验概率在不同的算法中采用不同的模型·对概率方程两边同时取对数,并经过一系列的推导和参数化解,可以得到一个代价函数的表达式,最大后验概率估计等价于这个代价函数的最小化·最大后验概率估计方法的收敛稳定性取决于先验概率·

MAP算法在质量上能获得优于其他算法的图像,能够容易、直接地引入各种图像先验知识,并保证解的存在性和唯一性·但是,MAP算法收敛较慢,计算复杂性较高·总体来说,最大后验概率法是一种比较有发展前景的算法·

2.4 凸集投影法

在超分辨率图像重建中,另一个比较重要的方法就是凸集投影法·该方法假设超分辨率重建图像存在于向量空间中,限制集被定义为超分辨率解空间中可行解的限制条件·每一个限制集为向量空间中的凸集合,并通过对这些限制集合求交,最终得到超分辨率的解空间·而其中这些限制条件一般为超分辨率重建解的期望理想性质,如正定性、能量有界性、数据可靠性及平滑性等·凸集投影过程就是从给定向量空间中的任何点开始搜索直到找到满足所有凸约束集的解的过程·

Webb最先将凸集投影的理论应用于医学影像的复原·此后,Freidan研究了利用局部滤波投影的方法进行线帧扫描影像和面帧扫描影像的复原·Stark首次将POCS法应用到超分辨率图像重建,但运动模型局限于整体平移变形·Tekalp又提出了包含系统矩阵的运动模型,考虑了空间变化点扩散函数的影响,能够对离散采样和运动模糊建模·为了降低运动估计误差对重建图像质量的影响,Erenetal研究了提高重建算法对运动估计误差鲁棒性的方法,并提出了有效图和分割图·有效图可以防止运动估计的错误操作,分割图可以对运动目标进行跟踪和准确的运动估计,以提高重建图像的质量·Patti采用边缘自适应约束条件和高阶内插算法以减弱重建图像的抖动,并提出了适用于视频图像重建的POCS重建算法,考虑了视频图像中的任意采样格网情况和非零曝光时间引起的运动模糊效应·

凸集投影法原理简单、直观,能够方便地加入先验信息,可以很好地保持高分辨率图像上的边缘细节·其缺点在于解不唯一,对初始值依赖性强,收敛稳定性不高等·为了提高收敛稳定性,可以采用松弛算子,但是又不利于保持图像的边缘和细节·

3 算法比较分析

超分辨率重建算法主要分为频域法和空域法,在研究上主要侧重于空域法·虽然频域法提出得较早,但是空域法与其相比具有更好的适应性和重建效果·相对来说,频域法理论简单,计算量小,具有直观的去变形超分辨率机制·但是只局限于全局平移运动和线性空间不变的降质模型,对先验知识的应用也是不足的·空域法对各种噪声、运动、降质和先验知识进行了考虑,但是计算量较大,理论相对复杂,有些算法的解不是唯一的·表1对频域法和空域法进行了对比·

表1 频域法与空域法比较

从表1可以看出,频域法采用的模型都是相对简单的,而空域法一般都是通用的模型,适用于任何场合·频域法的提出是为了处理特定的图像序列,引出了超分辨率重建的课题·而空域法是为了解决超分辨率重建算法中的一系列问题,所以空域法要比频域法有更广的适用范围·空域法对先验知识有较好的包容性,先验知识对图像的限制一般都是非线性的,图像频谱的扩展是要通过非线性过程的作用来实现的·

空域法中应用最多的还是凸集投影法和最大后验概率法,这两种方法都具有较强的灵活性和良好的可扩展性,重建图像的效果也比较好·凸集投影法更方便应用先验知识,很好地保持了高分辨率图像的边缘和细节,但是解不是唯一的·最大后验概率法有唯一的解,收敛稳定性高,但是运算量大,图像边缘恢复能力不强·表2对两种算法进行了比较·

表2 凸集投影法和最大后验概率法比较

4 小 结

超分辨率重建技术是处理数字图像的一种方法,图像作为信息的载体,图像越清晰,人们所获取的信息就越多,因此,提高图像的分辨率是十分重要的,也是近年来国际上最为活跃的研究课题之一,这种技术具有重要的应用价值和应用前景·

超分辨率图像重建是一种新兴的技术,还有许多问题需要解决,如退化模型的建立、图像配准等问题·本文重点阐述了超分辨率重建的主要算法,对频域法和空域法进行了比较,并比较了空域法中的凸集投影法和最大后验概率法·因其都具有良好的发展空间,所以在今后的研究中,这将会是研究的重点所在·

[1]王晓文,刘雨.图像超分辨率研究综述[J].信息技术,2009(7):236-239.

[2]袁建华.超分辨率重建中若干问题的研究[D].北京:中国科学院电子学研究所,2006.

[3]张艳.空间域超分辨率图像重建技术研究[D].郑州:中国人民解放军信息工程大学,2007.

[4]乔建苹.超分辨率重建与图像增强技术研究[D].济南:山东大学,2008.

[5]卢亮.图像超分辨率恢复方法研究[D].青岛:中国海洋大学,2009.

[6]肖杰雄.基于POCS算法的超分辨率图像重建[D].上海:上海交通大学,2009.

[7]解凯.超分辨率图像复原技术综述[J].北京印刷学院学报,2007(6):41-44.

[8]谭震.视频图像超分辨率重建算法改进[D].合肥:中国科学技术大学,2008.

[9]徐鹏宇.超分辨率图像重建研究[D].上海:上海交通大学,2009.

[10]沈焕锋,李平湘,张良培,等.图像超分辨率重建技术与方法综述[J].光学技术,2009(2):194-199.

[11]宋锐,贾媛,吴成柯,等.自适应估计模糊参数的最大后验概率超分辨率复原算法[J].西安交通大学学报:自然科学版,2008,42(10):1255-1258.

[12]肖创柏,禹晶,薛毅.一种基于MAP的超分辨率图像重建的快速算法[J].计算机研究与发展,2009,46(5):872-880.

[13]王勇,郑辉,胡德文,等.视频的超分辨率增强技术综述[J].计算机应用研究,2005(1):4-7.

[14]苏秉华.超分辨率图像复原方法研究[D].北京:北京理工大学,2002.

[15]冈萨雷斯.数字图像处理[M].阮秋琦,等译.北京:电子工业出版社,2005.

[16]Kang MG,Chaudhuri S.Super-Resolution Image Reconstruction[J].IEEE Signal Processing Magazine,2003,20(3):19-20.

[17]肖宿,韩国强,沃焱.数字图像超分辨率重建技术综述[J].计算机科学,2009(12):8-13.

[18]唐丽焕.基于Markov随机场的超分辨率图像重建[D].济南:山东大学,2009.

Comparison of Image Super-resolution Reconstruction Algorithms

WANG Boyang1,HAN Xiaowei1,ZHANG Wenqi2
(1.School of Information Engineering,Shenyang University,Shenyang 110044,China;2.Shenyang Foreign Enterprise Service Corporation,Shenyang 110013,China)

The fundamental theory and research status quo of the technology of super-resolution image reconstruction are summarized and some main popular algorithms are compared and analyzed.

image processing;super-resolution;image reconstruction

TP 391.41

A

1008-9225(2011)01-0003-04

【责任编辑:刘乃义】

2010-10-14

王伯阳(1985-),男,辽宁沈阳人,沈阳大学硕士研究生·