超分辨率图像重建技术研究

张晓克 许建刚

摘 要：文章对超分辨率图像重建的概念和原理进行了阐述，并对其算法做了总结和概括，说明了几种常用算法的基本原理，并根据现有的算法实验分析列举其优缺点。

关键词：超分辨率；图像重建；算法

引言

超分辨率（Super Resolution，SR）技术就是对一组属于同一场景下的低分辨率（Low Resolution，LR）图像序列进行处理，通过提取它们之间的时域和空域冗余信息，采用图像配准、运动参数估计等操作对其进行融合，最终重建得到一幅高分辨率（High Resolution，HR）图像，其核心思想是用时间分辨率（同一场景的图像序列）换取更高的空间分辨率。目前，超分辨率重建大致可分为两个方向：基于重构的方法和基于学习的方法。

1 基于重构的超分辨率技术

基于重构的方法可分为频域法和空域法两类。

1.1 频域方法

假设连续场景是f（x，y）（其连续傅里叶变换是F（x，y），全局平移产生R个移位图像 （其连续傅里叶变换是F（x，y））。位移图像经过脉冲采样产生观测图像yr[m，n]=f（mTx+？驻xr，nTy+？驻yr）其中m=1，2…M-1，n=1，2…N-1（其二维离散傅里叶变换是Yr[k，l]）。场景的连续傅里叶变换和移位采样图像的离散傅里叶变换的关系是：

式中： 和 分别表示x和y方向的采样周期；

？琢=■

空域平移与频域平移相对应：

如果f（x，y）是带限的，则 当 时，有F（x，y）→0成立。假设f（x，y）是带限的，则公式可以用矩阵来表示：

Y=？椎F

式中：Y-R×1的列向量，其第r个元素是观测图像yr[m，n]的离散傅里叶变换Yr[k，l]；

F-4LuLv×1的列向量，表示未知的f（x，y）的连续傅里叶变换的采点；

？椎-矩阵，表示Y与F间的对应关系。

1.2 空域方法

空域重建方法就是在空间域中进行图像的SR重建。空域方法能够将帧间复杂运动、光学模糊、欠采样等降质因素与图像插值算法、图像滤波算法及迭代运算方法融合在一起，使空域重建方法更加灵活，适用于更广阔的范围，且具有较强的结合空域先验知识的能力。其主要包括基于非均匀采样的插值法、集合论方法（如凸集投影：POCS）、统计复原方法（最大后验概率估计MAP和最大似然估计ML）、迭代反投影方法（IBP）、混合MAP/POCS方法以及自适应滤波方法，人工神经网络法、基于最优化技术的方法等。

1.2.1 基于非均匀插值法

非均匀插值法是空域SR重建算法中最直观的方法，其基本思想是将原始高分辨率图像看作连续函数，而低分辨率的观测图像则是在高分辨率图像的连续函数上进行位置不均匀的采样形成的，因此，高分辨率图像的重建过程就可以看作将低分辨率观测图像的采样点重新插回原函数。

1.2.2 凸集投影法（POCS）

凸集投影（POCS）算法具有很好地包含空域先验信息的能力，能够将这些先验信息融入到重建过程中。其基本思想是将高分辨率图像的某些特性，如数据可靠性、能量有界性、平滑性、正定性等定义为不同的约束凸集合，利用这些凸集合的交集所形成的投影交替作用，搜索满足所有约束凸集合的解，重建得到高分辨率图像。

假设一低分辨率图像序列g（n1，n2，k）可以写成

在这个公式中

其中 为脉冲响应系数，？啄0是对观察中的可信度，设置为？啄0=c？啄v，其中？啄v是噪声的标准偏差，c？叟0是由适当的可信度边界决定。这些参数的物理意义是如果在一定范围内与低分辨率相关的高分辨率图像，其可信度边界与噪音偏差成一定比例。

对任意一点的x（m1，m2，l）在C■上的投影 的定义如下：

根据上述投影，便可以通过约束集合来迭代求解高分辨率图像f（m1，m2，l）的估计 ， ，其中

T表示所有集合族 投影的松弛投影算子集合，i为迭代次数。初始估计 是通过把一幅低分辨率图像双线性插值到高分辨率网格上，然后进行运动补偿而获得的。

1.2.3 最大后验概率估计

根据MAP估计基本原理，低分辨率观测图像、理想高分辨率图像及加性噪声都可以假设为随机信号。而未知高分辨率图像Z的MAP估计的过程为：在给定观测图像y的条件下，使理想图像的条件概率密度函数P{z|y}达到最大。根据贝叶斯原理，P{z|y}的最大化等价于函数P{y|z}P{z}的最大化。如果Z具有均匀的概率分布，则MAP估计与最大似然估计等价。

假设低分辨率观测图像的加性噪声是零均值高斯随机过程，其自相关矩阵为W-1，Z也是零均值高斯随机过程，其自相关矩阵为Q，因此 MAP估计变成了最小均方差估计。经过几个代数步骤的推导，MAP简化成如下形式：

关于Z求微分并使其为零，得到如下伪逆结果：

式中：

1.2.4 迭代反投影法（IBP）

迭代反投影方法的重建过程是：给定一超分辨率图像的初始估计■和降质模型A，由此可以产生模拟低分辨率图像序列■=A■。迭代反投影方法把第i次迭代时产生的观测低分辨率图像y与模拟低分辨率图像的误差进行反投影，以便能够不断更新超分辨率重建的估计图像。这种反投影是通过反投影算子ABP实现的，这里ABP按比例对超分辨率估计■进行惩罚。ABP的典型取值是A-1。

式中：y为低分辨率观测图像；■i为由第i次迭代估计结果■i和降质模型A获得的模拟低分辨率图像；ABP为反投影算子；i为迭代次数。

1.2.5 正则化法

假定图像退化模型为：

其中，y为退化图像，x'为原始图像，N为加性噪声，H为模糊算子（退化矩阵），它是由空间退化点扩展函数（PSF）生成的矩阵。

然后利用最小二乘法求解上式最优解的过程就是令如下式取最小值，即：

求解上式，可得到其最佳解为

其中：x为高分辨率后的重建图像。

为进一步获得稳定解，可引入如下方程来求解最小值解：

其中，第一项是最小均方误差代价函数，为数据逼近项，它反映了观测图像对原始图像的逼近程度； 第二项为附加的约束条件即正则化项，它集成了待求解的高分辨率图像应保持的某种先验信息；？琢为正则化参数，它用来平衡近似解的逼近程度和平滑性；C为正则算子，即为使解具有某种期望性能的约束运算。

1.2.6 混合方法（MAP/POCS）

将最大后验概率方法和凸集投影方法相结合的算法是由Elad等提出的，即同时考虑序列低分辨率图像的统计特征和凸集约束，在以最大后验概率框架为基础的迭代求解过程中添加凸集投影算法的各种凸集约束条件，从而获得两种算法各自的优点。该方法的特点是可以方便地将各种先验约束知识结合实用，其重建图像的质量优于单独的算法。但是该算法只有采用梯度下降最优化方法才能保证收敛。

2 基于学习的超分辨率重建

基于学习的SR重建算法的主要思想是，在及其经验学习思想的指导下，对训练数据中的高分辨率图像和序列低分辨率图像进行学习，得到二者间的映射关系模式，并将这种对应模式以先验约束的形式引入重建过程中或者根据模式建立马尔科夫网络来恢复图像的相关信息。该方法可以分为以下三个步骤：（1）按照观测模型的定义，对高分辨率图像进行模拟降质获得一组低分辨率图像，作为训练集；（2）根据高分辨率图像和序列模拟低分辨率的对应关系，运用神经网络技术训练和学习；（3）将学习模型引入重建过程中，或者通过马尔科夫网络恢复图像。

2.1 流形学习方法

假设高分辨率和低分辨率图像块可以构成具有相似局部几何结构的流形，借助于由一组低分辨率图像及其对应的高分辨率图像组成的训练集来估计未知的SR图像。理想情况下，每一个高分辨率图像块不仅和其对应的低分辨率图像块 有关，而且和其邻域块也应该保持某种块间联系。第一个特性决定了重建的准确性，而后一个特性则决定了重建图像的局部保持特性和平滑性。为了满足这两 点需要，该算法具有以下3个特性：（1）每一个高分辨率图像块由训练集中的多个图像块有关；（2）低分辨率图像块间的局部关系在对应的高分辨率图像块中保持不变；（3）高分辨率图像块间的邻居关系通过交叠来保持，以增局部保特性和平滑性。

2.2 基于支持向量机

其基本思想是假设模糊函数类型已知，且可由某一参数来表征， 从模式识别的角度出发，参数辨识可以看作多类分类问题 ，即从模糊图像中提取出可以代表该图像模糊程度的特征向量，然后采用机器学习的方法训练这些特征矢量与对应的模糊参数的映射关系，最后用于盲超分辨率重建。

2.3 基于独立分量分析

独立分量分析（Independent Component Analysis，ICA）是在研究盲源分 离过程中出现的一种新兴的信号处理和数据分析方法，基于独立分量分析的超分辨率重建技术其基本思想是，假设P个独立分量张成空间，则每幅图像可以看作空音中的一点，即可以由这些独立分量线性组合而成。利用ICA从高分辨率训练图像中提取出独立分量，同时估计ICA系数的先验。给定一幅低分辨率图像， 结合最大后验概率（MAP）估计理论求出ICA系数，然后ICA反变换得到高分辨率图像的近似估计。该算法有效实现了人脸超分辨率重建，保持了人脸整体结构 特征，且对光照、表情、姿态等具有一定的鲁棒性。

3 结束语

随着图像超分辨率技术的进一步发展，必将导致这一技术拓宽到一些新的应用领域，图像超分辨率技术更广泛地应用会进一步加快该技术的发展。此外，超分辨率技术的理论研究结果还可为未来我国新型传感器的硬件设计与实现提供理论指导与参考，图像超分辨率技术会有更广阔的前景。

参考文献

[1]张正贤.正则超分辨率图像复原算法研究[J].西北工业大学学报，2006（6）.

[2]张晓玲，沈兰荪.超分辨率图像复原技术的研究进展[J].测控技术，2005（5）.

[3]刘丁峰.超分辨率图像复原技术综述[J].软件导刊，2009（12）.

[4]李桐.超分辨率图像重建技术[J]. 哈尔滨师范大学自然科学学报，2006（5）.

[5]杨庆怡，黄灿，张琼.基于POCS 算法的超分辨率图像重建技术计算机光盘软件与应用[J].2012（16）.

[6]刘梓，宋晓宁，於东军，等.基于多成分字典和稀疏表示的超分辨率重建算法[J].南京理工大学学报，2014 （2）.

[7]邓乾国，游志胜.基于凸集投影算法的超分辨率图像重建技术[J].成都信息工程学院学报，2005（6）.