超分辨率图像恢复算法综述*

黄巧洁（广东农工商职业技术学院，广东广州 510507）

超分辨率图像恢复算法综述*

黄巧洁
（广东农工商职业技术学院，广东广州 510507）

图像超分辨率是指从一序列低分辨率观测图像中恢复高分辨率图像，广泛用于视频监控、模式识别、军事侦察、遥感检测和医学诊断等领域，已成为图像处理领域最为活跃的研究方向之一。介绍了超分辨率图像恢复的经典算法，对比分析了各方法的优缺点，提出了超分辨率图像恢复的研究方向与展望，为其进一步发展提供了一定的理论基础。

超分辨率 高分辨率图像 低分辨率图像 恢复

图像超分辨率（Super-resolution： SR）技术是一种提高图像空间分辨率的“软处理”方法，在不改变现有硬件设备条件的基础上通过信号处理方法获取更高分辨率、更高清晰度的图像，由一系列低分辨率（Low-resolution： LR）、低质量图像序列恢复出高分辨率（High-resolution： HR）、高质量图像的处理过程。图像超分辨率是通过对HR图像一系列降质处理（相当于低通滤波器）后得到的观测图像进行反求原HR图像的过程，属于图像逆问题，也属于数学病态问题。

自Harris和Goodman提出SR重建概念以来，该技术就受到广泛关注，主要经历了静态图像、单视频和多视频SR重建三个阶段，主要算法有基于频域插值的方法、非均匀采样内插法、迭代反投影法、凸集投影法、正则化重建法、最大后验概率/凸集投影混合法和基于学习的方法。SR图像恢复应用广泛，已成为图像处理领域最为活跃的研究方向之一。通过SR图像恢复能有效提高现有监控设备的分辨率水平和监控能力，对推进智能视频监控的发展［1］，对“数字城市”、“平安城市”建设等，都具有重要意义。

1　超分辨率图像恢复算法

1.1基于频域插值的方法

先使用傅里叶变换将图像变换到频域，再利用位移特性观测模型解决图像的内插问题。在处理过程中，假设LR图像序列无噪声，且原始模拟图像的频率带限，利用多幅图像间离散和连续傅里叶变换间的平移特性以及混叠关系来获得HR图像。此方法理论简单，运算复杂度低，但忽略了观测模型中光学系统的诸多因素的影响，仅局限于全局平移运动模型下应用。很多学者对此进行改进，Tekalp等［2］考虑了线性空不变点扩散函数和观测噪声的影响，采用最小二乘法计算系统方程的解；Kim等［3］也考虑了噪声的情况，用加权最小二乘法进行计算；Rhee和Kang［4］提出采用离散余弦变换代替傅里叶变换，减少存储资源的需求，提升了计算效率。但始终无法突破Tsai中整体平移相似的假设，仅含有限的空域先验知识，因此只能在全局平移运动和线性空间不变模糊模型中使用。因此，实际工程应用中难以实用。

图1　基于配准、插值的重建过程

1.2非均匀采样内插法

属于空域插值放大法，包括运动估计、非均匀内插、图像去模糊和去噪三个方面［5］。在运动估计中，选择一幅参考图像，根据某一运动模型，求出其他图像与参考图像之间的运动参数，并根据此参数将所有LR观测图像投影到参考图像对应的高分辨率网格上，得到非均匀分布的空间采样图，然后用非均匀内插法内插出所有整数格网的像素值，接着进行去模糊和去噪处理，得到HR的图像，如图1所示。

此方法计算量小、模型简单，但需要假定所有的LR图像的噪声和模糊特征一致，不使用先验约束，恢复效果不佳，不能保证最优性。

1.3迭代反投影法（IBP：Iterative back-projection）

首先，利用待求HR图像的一个初步估计作为当前结果，通过观测模型投影到LR观测图像上，从而获得LR模拟图像，然后计算LR模拟图像与实际观测图像之间的差值，并由此差值更新当前估计，如此循环，得到最终结果［6］。S. Mann等［7］对图像的配准作了改进；Irani等［8］使用该方法实现了包含多运动目标的视频图像的SR恢复。IBP法容易理解和实现，但由于问题的不适定性导致它的其解不唯一，严重依赖于反投影矩阵，难以引入先验约束，收敛速度慢。

1.4凸集投影法（POCS：Projection onto convex sets）

最早由H. Stark和P. Oskoui［9］提出，把HR图像的每一个约束条件都定义为向量空间中的一个凸集合，所求的HR图像包含于这些凸集合中，取其交集，即可得到HR图像的解。约束条件包括观测数据一致性、能量有界性、正定性、光滑性等，但H.Stark和P. Oskoui在对数据一致性约束定义的投影算子中忽略了观测模型中噪声的影响；Tekalp等［10］进行了扩展，考虑了噪声的影响；Patti等［11］考虑了任意采样网和运动模糊；随后，又通过修改约束集合减少边缘噪声［12］。POCS法原理直观、实现算法简单，容易加入先验知识；但它的解依赖于初始估计，且不唯一，收敛速度慢且稳定性不高，运算量大。

1.5正则化重建法

1.5.1确定性正则化

SR重建问题是一个不适定问题，确定性正则化通过加入先验知识约束把不适定问题适定化，是解决病态问题的经典方法。最终迭代结果主要受限于迭代过程中所加入的正则项，其一般形式可表示为：

M.C. Hong等［13］提出一种多通道正则化SR算法，在每次迭代过程中无需先验知识计算正则化系数；M.G. Kang［14］构造了一种通用多通道反卷积方法，也包含了多通道正则化SR算法；R.C. Hardie［15］提出最小化正则化代价函数方法，采用迭代梯度正则化和共轭梯度下降法优化处理最小化代价函数；P.C. Hansen等［16］使用L曲线求解最优正则化参数。

1.5.2随机正则化

R.R. Schulz 和 R.L. Stevenson［17］最早提出利用最大后验概率方法MAP进行HR重建，把HR图像和观察得到的LR图像当作两个不同的随机过程，利用隐马尔可夫随机场先验模型，将SR问题变为一个具有唯一解的条件最优问题。由于MAP提供了先验约束，为SR重建提供了有效的正则化估计。MAP具有确定性正则化的一切优点，还具备选择噪声模型和图像先验模型的稳健性和灵活性，使其成为研究的热点。Tom等［18］提出了最大似然估计来同时估计亚像素位移、观测图像噪声及HR图像，采用最大期望来求解；Tom和Hardie等［19］提出了运动参数与HR图像的联合求解；Rudin等［20］首先提出了一种有效的全变分正则化方法；Farsiu等［21］提出了SR图像重构双边全变差正则化，更好地保护了图像的边缘。

1.6MAP/POCS混合法

MAP法推导严谨，POCS法更容易加入先验约束，将两者结合起来将是一个不错的途径。Keightley等［22］提出了一个MAP和POCS相结合的方法，在最大后验概率方法的迭代优化过程中加入先验约束，以便对图像像素值的范围进行约束。Elad等［23］提出了一种通用的最大似然估计凸集投影SR方法。

表1　SR图像恢复方法比较

1.7基于学习的方法

该方法是空域法的一种，前提是认为LR图像完全拥有用于推理预测其所对应的高分辨率部分的信息。具体重建过程如下：准备匹配所需的由高低分辨率图像块组成的训练集，对观测到的LR图像块进行匹配，从而得出最匹配的高/低图像块组，利用块组中的HR图像块重建出HR图像。目前，常用的学习算法有Chang等［24］提出的基于邻域嵌入的方法；Karl等［25］提出的基于支持向量回归的方法；Yang等［26］提出的使用图形块的稀疏表示的方法。

2　方法比较

纵观SR图像恢复技术的国内外研究进展，各种算法均有优劣，目前难以有一个很好的统一评价标准，如表1所示。在具体应用中，需根据特定的图像或者视频特点，选择针对性的研究算法，使系统设计最优。

3　研究方向和展望

本文对SR图像恢复算法进行了全面综述，对比分析了各算法的优劣。虽然SR恢复取得了不少研究成果，但在特定应用场合中，特别是在视频监控系统中还有很多热点问题需要探究。

（1）减少运算量并提升算法效率。虽然已经研究出很多恢复算法，但大部分算法的计算量都很大，如MAP、POCS、基于学习的方法等，需要做更多的研究。

（2）视频序列间的运动参数估计。当前，针对视频序列间的运动估计还没有得到有效的讨论与研究，需要寻找快速、准确、可靠地获得多帧离散图像和多组视频序列间的运动估计参数的算法。这也是SR图像恢复中需要解决的关键问题。

（3）根据监控视频画面内容的特点寻找适合监控视频画面的表述方法。在视频监控中，各种复杂时空因素对成像质量清晰度影响很大，需研究监控视频中被加性噪声污染后的监控视频图像的退化模型以及监控视频画面的特点。

（4）实时性电路结构的实现。在监控视频中，由于监控画面是运动的目标，图像画面连续变化，必须做到实时处理，才能满足实际应用。但监控视频数据量大，对海量视频数据的处理涉及复杂的计算过程，需要大量的计算开销，内存间涉及庞大的数据吞吐量；加之SR图像处理算法的复杂性，进一步加重了计算负担，使得图像处理电路设计面临着巨大的挑战，需研究SR图像处理质量效果及电路资源、实时性三者间的约束关系。

［1］卓力，王素玉，李晓光.图像/视频的超分辨率复原［M］.北京：人民邮电出版社，2011.

［2］Tekalp A.M.，Ozkan M.K.，Sezan M.I.，High-resolution image reconstruction from lower-resolution image sequences and spacevarying image restoration ［A］，In IEEE International Conference on Acoustics，Speech， and Signal Processing，1992：169-172.

［3］Kim S.P.， Bose N.K.， Valenzuela H.M.， Recursive reconstruction of high resolution image from noisy under sampled multiframes ［J］.IEEE Transactions on Acoustics，Speech，and Signal Processing，1990，38（6）：1013-1027.

［4］Rhee S.H. and Kang M.G.， Discrete cosine transform basedregularized high-resolution image reconstruction algorithm，1999，38（8）：1348-1356.

［5］Park SC， Park MK and Kang MG. Super-resolution image reconstruction a technical overview. Signal Processing Magazine，IEEE.2003，20（3）：21-36.

［6］张良培等著.图像超分辨率重建［M］.北京科学出版社，2012.

［7］Mann S.and Picard R.W.，Virtual bellows：Constructing high quality stills from video，in Proc. IEEE Int.Conf.Image Processing，Austin，TX，1994：13-16.

［8］Irani M.and Peleg S.，Motion analysis for image enhancement resolution，occlusion，and transparency， J. Visual Commun. Image Represent，1993，4：324-335.

［9］Stark H.and Oskoui P.，High resolution image recovery from image-plane arrays，using convex projections，J. Opt. Soc. Am. A，1989，6： 1715-1726.

［10］Tekalp A.M.，Ozkan M.K.and Sezan M.I.，High-resolution image reconstruction from lower-resolution image sequences and space varying image restoration，in Proc.IEEE Int.Conf.Acoustics，Speech and Signal Processing （ICASSP），San Francisco，CA.，1992，3：169-172.

［11］Patti A.J.，Sezan M.I.and Tekalp A.M.，Super-resolution video reconstruction with arbitrary sampling lattices and nonzero aperture time，IEEE Trans.Image Processing，1997，6（8）：1064-1076.

［12］Patti A.J.and Altunbasak Y.，Artifact reduction for set theoretic superresolution image reconstruction with edge adaptive constraints and higher-order interpolants，IEEE Trans.Image Processing，2001，10（1）：179-186.

［13］Hong M.C.，Kang M.G.，and Katsaggelos A.K.，A regularized multichannel restoration approach for globally optimal high resolution video sequence，in SPIE VCIP，San Jose，CA，1997，3024：1306-1317.

［14］Kang M.G.，Generalized multichannel image deconvolution approach and its applications，Opt.Eng.，1998，37（11）：2953-2964.

［15］Hardie R.C.，Barnard K.J.，Bognar J.G.，Armstrong E.E.and Watson E.A.，High-resolution image reconstruction from a sequence of rotated and translated frames and its application to an infrared imaging system，Opt.Eng.，1998，37（1）：247-260.

［16］Hansen P.C.and Prost O'Leary D.，The use of the L-curve in the regularization of discrete ill-posed problems，SIAM J.Sci. Comput.，1993，14（6）：1487-1503.

［17］Schulz R.R.and Stevenson R.L.，Extraction of high-resolution frames from video sequences，IEEE Trans.Image Processing，1996，5：996-1011.

［18］Tom B.C.and Katsaggelos A.K.，Reconstruction of a highresolution image by simultaneous registration，restoration，and interpolation of low-resolution images，Proc.1995 IEEE Int.Conf. Image Processing，1995，2：539-542.

［19］Hardie R.C.，Barnard K.J.and Armstrong E.E.，Joint MAP registration and high-resolution image estimation using a sequence of undersampled images，IEEE Trans.Image Processing.，1997，6：1621-1633.

［20］Rudin L.，Osher S.and Fatemi E.，Nonlinear total variation based noise removal algorithms，Phys.D，1992，60：259 268.

［21］Farsiu S.，Elad M.and Milanfar P.，Multi-frame demosaicing and super-resolution of color images，IEEE Transactions on Image Processing，2006，15（1）：141 159.

［22］Keightley Dand Hunt BR，A rigid POCS extension to a Poisson super-resolution algorithm.Image Processing，International Conference，1995，2：508 511.

［23］Elad M.and Feuer A.，Restoration of a single superresolution image from several blurred，noisy，and undersampled measured images，IEEE Trans.Image Processing，1997，6（12）：1646-1658.

［24］CHANG H，YEUNG D Y and XIONG Y.Super resolution through neighbor embedding［C］，Proceedings of IEEE Conf CVPR.Washington，DC：IEEE Press，2004：275-282.

［25］NI K and NGUYEN T Q.Image superresolution using support vector regression［J］.IEEE Transactions on Image Processing，2007，16（6）：1596-1610.

［26］YANG J C，WRIGHT J，MA Y，et al.Image super-resolution as spar se representation of raw image patches［C］，Proceedings of IEEE Conf CVPR.Anchorage，Alaska：IEEE Press，2008：1-8.

Overview on Superresolution Image Restoration Algorithms

Huang Qiaojie
（GUANGDONG AGRICULTURE INDUSTRY BUSINESS POLYTECHNIC， Guangzhou 510507， China）

Super-resolution image restoration is widely used in video surveillance， pattern recognition， military reconnaissance， remote sensing，medical diagnosis etc.， which has become one of the most active research areas in image processing. Firstly， classical algorithms of Super-resolution image restoration were introduced. Secondly， advantages and disadvantages of the above methods were compared and analyzed. Thirdly， research directions and prospects were proposed. It is hoped to provide some theoretical basis for further development.

Super-resolution；high-resolution image； low-resolution image； restoration

黄巧洁（1981—），女，广东佛山人，研究生，讲师，毕业于华南理工大学，就职于广东农工商职业技术学院，研究方向：数字图像处理与计算机通信。