基于插值和多帧重建的图像超分辨分析

方永铭

摘 要：基于插值的超分辨重建方法是单幅低分辨率图像利用相邻像素间的相关性来重建一幅高分辨图像。基于多帧多帧重建的超分辨重建方法是利用多幅图像间的信息互补来获得比单幅图像重建更多的细节，它按照特定的退化模型，通过输入的多幅低分辨图像估计高分辨图像。本文主要实现了典型的三种基于插值的超分辨率重建以及基于多帧重建的迭代后向投影法的超分辨重建算法，并对这两类方法的性能进行了比较分析。

关键词：低分辨率；插值；多帧重建；高分辨率

图像超分辨率指利用通过算法去改进低分辨率图像，得到高分辨率图像的过程 [1]。低分辨率图像在应用中，细节往往被忽略了，难以提供图像细节，这些被忽视的细节在应用中却又关键作用，所以获得高分辨率的图像显得重要。要获得高分辨率图像最直接的方式就是采用高分辨率图像传感器，由于受到制造工艺和成本的限制，对于要满足需要而大规模的部署高分辨率图像传感器是很不现实的。因此，现有的设备的条件下，通过超分辨率技术获取HR 图像越具有现实意义。

1.超分辨重建算法原理

图像超分辨率处理技术通常可以分为两大类：单帧图像重建（静态图像插值）方法和多帧图像处理（序列图像重建）方法。单帧图像处理实际上就是指通过重建算法对低分辨率图像提高图像分辨率，也就是所称的图像放大方法。

多帧重建方法是假定超分辨率图像在适当的变形、平移和子采样及噪声干扰下，利用多帧 LR 图像作为数据一致性约束，并结合图像先验知识（通常是平滑性等）进行求解。配准和重建是多帧重建方法的关键。配准是获得其它LR 图像与参考LR 图像之间的亚像素精度的相对运动；重建是利用先验知识，对目标图像进行优化求解[4]。

1.1 基于插值的超分辨重建方法

常见的插值有三种方法：最近邻插值法、双线性插值法、双三次插值法。在图像超分辨率重建方法中，插值起到了关键的作用，也是图像放大方法的常见方法。对比三种常见插值方法中，双三次插值方法的优点是效果最好，相比其他两种方法的不足之处就是复杂度大。

（1）最近邻插值

最邻近插值法又称零阶插值，在获取每一个待插值点的像素值时，是依据原图像中对应点的四个相邻点，选取这四个点中欧氏距离最短的哪一个，其插值公式如下：

f（i+u，j+v）=f（i，j）（1）

其中，i，j 均为非负整数；f（i，j）表示原图像在（i，j）位置像素点的像素值； u、v 均为（0，1）区间的浮点数，表示待插值点与最邻近像素点在水平和竖直方向的距离。最邻近插值法的优点是运算量小；但是也存在着不足的地方：会产生块效应导致获得的图像变得模糊，所以放大效果有待提高。

（2）双线性插值

双线性插值又称一阶插值，其原理是待插值点像素值取在原图像中与其相邻的 4 个点像素值在 2 个方向上的线性内插，即通过权值来确定待插值点像素值，权值的大小是由采样点与4个邻点的距离来确定。优点是运算量不高，相比最邻近插值方法，放大效果更好。所以在实际应用中，对图像质量要求不高具有重要的应用价值。

（3）双三次插值

双三次插值又称立方卷积插值。算法要比前两者更加复杂。该算法要对周围16个点的灰度值做三次插值运算，除了四个直接相邻点外，还考虑到各邻点间灰度值变化率对待采样点的影响。因为要实现三次运算，所以运算量急剧增加，但是放大效果要更加接近高分辨率图像 [5]。这种算法需要选取插值基函数来拟合数据，其数学表达式为：

1.2 基于多帧重建的方法

（1）观测模型

要从低分辨图像中重建高分辨率图像，首先我们应了解图像降质的原因，即分析图像的退化模型，我们也称之为观测模型[2]。在成像系统中，观察模型能够精确地对图像退化的原因进行说明（即精确的描述重建的高分辨率图像与观察到的低分辨率图像之间的关系）这个过程有利于我们对图像的解空间进行约束，因而对这方面的研究就显得十分重要了[3]。超分辨率重建问题被认为是一个大的稀疏线性优化问题，在实际运算中我们通常采用几何变换、卷积、采样的步骤对其进行描述，在理论分析中一般采用如下矩阵一向量的数学描述：

其中Wk=DkHkFk，Yk表示第K幅低分辨率图像；Dk，Hk，Fk分别表示第K幅低分辨率图像对应的欠采样因子、模糊函数和几何变换；X表示未知的高分辨率图像；Z表示噪声（如高斯噪声和椒盐噪声）。低分辨率图像间需含类似但不完全相同的信息是重建出高分辨率图像的必要条件，这些不完全相同的信息可来源于许多方面，如相机的抖动，变焦等因素[4]。

（2）迭代后向投影法

迭代后向反投影方法是先预估计出一幅高分辨率图像（通常是对低分辨率图像进行双三次插值得到）作为图像重建初值，并将此高分辨率图像初值代入到观测模型。经过一系列的仿射变换、运动模糊、降采样和加噪等处理后得到相应的低分辨率估计图像[6]。然后，计算出估计得到的低分辨率图像与实际观测的低分辨率图像之间的差值（称为模拟误差），并将此误差反投影，估计出更新后的高分辨率图像。多次迭代后，该方法能够改善高分辨率图像的质量[6]。但是，由于估计的高分辨率图像不唯一，使得最终的重建结果也不惟一。另外，在该方法中引入先验约束也较难实现。

2.结论

（1）基于插值的算法简单，在实际中倘若对图像质量要求不高的情况下，应用很广泛，可以满足一定的超分辨技术的要求。最近邻插值算法最简单，但块效应较明显。双线性插值优于最近邻插值，放大效果有明显改善，且算法复杂度仅是少量的提高。双三次插值是三种插值方法中最好的方法，但运算量大于前两种插值方法。

（2）基于多帧重建的图像超分辨率算法在改善图像质量方面明显优于插值的方法，但复杂度也远大于插值的方法。基于多帧重建的超分辨算法是目前图像超分辨率重建技术中的首选方法，也是目前该领域取得较多研究成果的方法。

（3）本文的图像超分辨分析只是针对无噪图像的放大实现超分辨的研究，在现实应用中需考虑如何有效的去噪，以及多帧图像序列的配准问题。（作者单位：西华师范大学）

参考文献：

[1] 乔建苹. 超分辨率重建与图像增强技术研究.山东大学， 博士学位论文.2008，41-47.

[2] 王会鹏、周利莉、张杰.一种基于区域的双三次图像插值算法.计算机工程.2010.10，36（19）

[3] 蔡念、张海员、张楠.基于Contourlet的改进双线性插值图像超分辨率算法.传感器技术学报.2011，24（1）

[4] 王伯阳、韩晓薇、张文奇.图像超分辨率算法比较研究.沈阳大学学报.2011.2，23（1）

[5] Vladan Velisavljevic， Baltasar Beferull-Lozano， Martin Vetterli， and Pier Luigi Dragotti. Directionlets： Anisotropic Multidirectional Representation With Separable Filtering. IEEE TRANSACTIONS ON IMAGE PROCESSING， VOL. 15， NO. 7， JULY 2006

[6] 唐丽焕、陈辉、吕小倩、孔凡慧.基于迭代条件模型算法的图像超分辨率重建. 计算机工程与应用.2010，46（12）