基于学习的图像超分辨重建方法综述

李云红，王 珍，张凯兵，章为川，闫亚娣

西安工程大学 电子信息学院，西安 710048

1 引言

图像超分辨重建是一种有效提高图像分辨率的信号处理技术。该技术能有效克服成像设备固有分辨率的不足，突破成像环境的限制，在不改变现有成像系统的前提下，能以最低的成本获取高于成像系统物理分辨率的高质量图像[1-6]。图像超分辨重建技术具有非常广泛的应用前景，是低质量智能安全监控系统中人脸检测与目标识别、智能机器人等的关键技术，以及多尺度、多通道图像融合技术的基础。该技术的成功应用不仅能促进光电子信息技术的发展，而且能推动物联网视频感知与智能分析技术、车联网智能交通关键技术、遥感成像技术以及移动多媒体通信技术等多个高新技术产业的进步和发展。

经过30多年的研究与发展，单帧图像超分辨重建技术取得了重大进展。已有的单帧图像超分辨重建技术主要分为3种类型：基于插值的方法、基于重构的方法和基于实例学习的方法。相比基于插值的方法和基于重构的方法，基于实例学习的方法具有算法结构灵活，在高倍数放大情况下能获得更多的细节等优点，因而受到国内外广大学者的广泛关注。根据超分辨重建过程中实例样本使用方式和建立映射关系算法的不同，现有的实例学习单帧图像超分辨重建方法可以细分为5类：基于k-近邻（k-NN）学习的方法[7-10]、基于流形学习的方法[11-17]、基于超完备字典学习的方法[18-24]、基于实例回归的方法[25-39]和基于深度学习的方法[40-43]。基于k-NN和基于流形学习的超分辨算法结构简单，但对每个输入的图像块，都需要搜索规模庞大的训练集进行相似性匹配，计算时间复杂度和空间复杂度均很高，因而超分辨重建算法无法在实际中推广应用。基于超完备字典学习的方法首先学习低分辨与高分辨图像块的超完备字典，然后求解基于ℓ0-或ℓ1-范数正则化最小二乘优化问题，建立低分辨与高分辨图像之间的关系。与基于k-NN和流形学习的超分辨重建方法相比，该超分辨重建方法不仅能重建质量更高的超分辨图像，而且能显著降低重建算法的计算时间复杂度与空间复杂度。然而，对于每个输入的低分辨图像块，基于稀疏表示的超分辨重建方法需要求解超完备字典的稀疏表示，当字典规模或重建图像尺寸较大时，计算时间复杂度仍然很高，与实时应用还存在相当大的差距。基于实例多线性回归的超分辨重建方法直接建立低分辨与高分辨特征空间之间映射关系，实现低分辨与高分辨图像之间的变换。而基于深度学习的实例学习超分辨重建技术通过建立低分辨与高分辨图像之间端到端的非线性映射关系能获得更高质量的超分辨图像，因而受到超分辨研究领域研究者的广泛关注。

2 基于学习的单帧图像超分辨重建研究进展

基于实例学习的单帧图像超分辨重建方法利用大量低分辨与高分辨图像对作为先验信息，通过学习低分辨与高分辨图像之间的映射关系估计低分辨图像中丢失的高频细节。根据超分辨重建过程中实例样本使用方式和建立映射关系方式的不同，分别介绍5种不同类型的实例学习超分辨重建技术。

2.1 基于k-NN学习的超分辨重建方法

基于k-NN学习的超分辨重建方法由Freeman等人[7-8]首次提出，该方法利用马尔可夫（Markov）网络建立低分辨图像和高分辨场景之间的关系模型，通过信令传播（Belief Propagation，BP）算法实现高分辨图像的最大后验估计。图1是利用Markov网络建立图像块之间空间关系的模型，圆圈表示网络节点，线表示节点之间的统计依存关系。在此框架中，对观察节点y和状态节点x有：

其中，Z是归一化常数，yi和xi分别表示节点i处低分辨输入和高分辨估计，每个节点的最优高分辨块是使Markov网络概率最大化的集合。

图1 Markov网络模型

随后，Sun等人[9]改进了Freeman等人的算法，通过利用图像的初始简图先验增强图像的边缘、脊和角点等目标区域，以减小Freeman等人方法产生的模糊效应。之后，Wang等人[10]通过组合全局重构约束和局部细节合成方法，利用退火Gibbs采样估计高分辨图像。尽管基于k-NN的超分辨重建方法在一定程度上能突破物理成像系统分辨率的限制，能够在低分辨图像中添加新的图像细节。然而，该类方法的重建质量很大程度上依赖于大量实例样本的学习，因此计算复杂度较高，不利于实际应用。而且，当输入图像和训练集中图像结构不匹配时，该方法导致重建质量的显著下降。

2.2 基于流形学习的超分辨重建方法

基于流形学习的方法假设低分辨特征空间和对应的高分辨特征空间在局部结构上是等同或相似的，如图2所示。利用该假设Chang等人[11]利用局部线性嵌入（Locally Linear Embedding，LLE）的流形学习[12]的思想，提出了基于邻域嵌入（Neighbor Embedding，NE）[13]的超分辨重建方法。该方法利用邻域嵌入学习算法，通过最小化输入的低分辨图像块与其k个候选低分辨特征块的重构误差估计最优重构权值，然后利用得到的重构权值线性组合k个对应的高分辨近邻合成所需的高分辨特征。

图2 邻域嵌入超分辨重建方法的流形假设

（1）对测试集Xt中的每一个图像块，在低分辨图像训练集Xs中查找与最近的k-近邻样本，构成最近邻集Nq。

（2）计算重构权重，使得重构误差最小，即εp=

之后，在Chang等人方法的基础上，提出了许多改进的邻域嵌入超分辨重建算法。为克服实例学习方法对训练图像的依赖性，Chan等人[14]使用直方图匹配策略，选择与输入低分辨图像相匹配的训练图像构造训练集，在一定程度上能降低邻域嵌入算法对实例样本的依赖性。不过，该方法未能从本质上解决邻域嵌入超分辨重建技术存在的不适定的问题。考虑到边缘和邻域大小在邻域嵌入超分辨算法中的关键作用，Chan等人[15]利用边缘检测与分类策略提出了一种改进的邻域嵌入超分辨重建方法。该方法利用边缘检测对线性块进行分类，并线性组合一阶梯度特征和加权亮度特征表示低分辨图像块。同时对边缘块和非边缘块分别使用不同个数的邻域进行重构。与传统邻域嵌入超分辨重建方法相比，该方法在一定程度上能重建出较清晰的高分辨图像。然而，该方法的性能取决于边缘检测的结果，当边缘分类不正确时该方法会产生明显的失真。Gao等人为克服邻域嵌入方法使用固定的k邻域进行重构容易导致过拟合或欠拟合的不足，提出了基于稀疏选择邻域[16]和基于对偶约束的邻域嵌入超分辨重建方法[17]，取得了比Chang的方法更好的重建质量。

与基于k-NN学习的超分辨重建方法相比，基于邻域嵌入的流形学习超分辨重建方法能充分利用训练集中尽可能多的样本，在训练样本规模较小的情况下，能获得比k-NN方法更强的泛化能力。不过，该方法对图像特征的选择和近邻个数较为敏感，容易产生过拟合或欠拟合现象。

2.3 基于超完备字典学习的超分辨重建方法

基于字典学习的方法假设自然图像可以通过从实例样本中学习一个超完备字典对进行稀疏表示获得。基于上述思想，Yang等人[18]首次提出了基于稀疏表示先验的实例学习超分辨重建方法，该方法首先通过学习低分辨与高分辨图像块的超完备字典对，然后求解基于ℓ1-范数稀疏正则化最小二乘优化问题建立低分辨与高分辨图像之间的关系。在学习阶段，基于ℓ1-范数稀疏正则化的超完备字典学习可表示为如下优化问题：

其中，Dl∈Rdl×K表示低分辨字典，Dh∈Rdh×K表示低分辨字典，Α∈RK×m表示稀疏表示系数矩阵，dl和dh分别表示低分辨图像块特征和高分辨图像块特征的维数，K表示字典原子的个数。

l，即：

然后，利用得到的稀疏表示向量α^和高分辨超完备字典Dh，合成高分辨图像块特征，表示为：

在文献[18]的基础上，Zeyde等人[19]提出了基于KSVD字典学习[20]和正交匹配追踪[21]稀疏编码的超分辨重建方法。该方法具有比文献[18]方法更低的时间复杂度。针对直接求解ℓ1-范数稀疏解时间复杂度高的问题，Yang等人[22]提出了双级优化的对偶字典学习算法，通过选择性处理策略和前向反馈神经网络加快推理稀疏编码，在一定程度上突破了ℓ1-范数稀疏编码的计算瓶颈问题。考虑到稀疏编码在低分辨特征空间和高分辨特征空间的不一致性，Wang等人[23]提出了一种半耦合字典学习（Semi-Coupled Dictionary Learning，SCDL）的稀疏表示模型，该模型联合学习字典对和稀疏关系映射，在图像超分辨和照片-画像合成上获得了较好的性能。针对含噪图像超分辨问题，窦诺等人[24]提出了联合图像去噪和图像超分辨的新方法。该方法先训练一个含噪低分辨率图像块和清晰高分辨率图像块的字典对，使得高低分辨率图像块在该字典对下具有相同的稀疏表示。当输入含噪低分辨率图像块时，先计算出其在低分辨率字典下的稀疏表示系数，然后利用此系数在高分辨率字典下做重建，清晰高分辨率图像块，最后通过整体优化完成清晰高分辨率图像，具有很好的鲁棒性和有效性。杜伟男等人[44]提出一种基于二维可分离字典和残差字典的图像超分辨率重建方法，该方法具有保持图像的空间结构信息，减少字典参数的数量，节省存储空间等优点。

与基于k-NN和流形学习的超分辨算法相比，基于字典学习的超分辨重建方法利用学习的超完备字典而不是规模庞大的训练集进行超分辨重建，重建过程中无需搜索原始的训练集，因而算法的空间复杂度较低。而且通过调整重构误差项和稀疏正则项之间的正则化常数的大小，调整重构精度和对噪声的抑制能力，因而具有较好的灵活性和噪声鲁棒性。不过上述方法在重建过程中对每个输入的图像块都需要求解关于超完备字典的稀疏编码，当字典规模或重建图像较大时，计算时间度仍然很高，重建质量和计算效率距离实时应用还存在相当大的差距。

2.4 基于实例回归的超分辨重建方法

基于实例回归的方法直接在低分辨图像特征空间与高分辨特征之间建立映射关系实现超分辨重建。早期代表性的方法有Ni等人[25]提出的基于支持向量回归的实例学习方法和Kim等人[26]提出基于核瘠回归和自然图像先验的回归方法。近年来，学习分段线性回归的快速实例回归超分辨重建方法成为研究的热点。该类方法首先通过聚类或稀疏字典学习建立低分辨特征空间中多个锚点，然后利用局部流形假设，在低分辨和高分辨邻域样本之间建立多个线性映射关系。代表性的工作如Timofte等人[27]，提出的锚点邻域回归（Anchored Neighborhoods Regression，ANR）的方法，该方法不仅能避免超分辨过程中求解稀疏编码而导致的计算瓶颈的问题，而且能获得较高的重建质量，具有较好的实际应用前景。

如图3是基于ANR实例多线性回归超分辨重建方法的框架图。假定 Dl∈ℝm×K是学习的低分辨字典，Dh∈ℝn×K是对应的高分辨字典。首先，通过K-SVD算法学习低分辨字典Dl，并将字典中的每个原子作为锚点。假设∈ℝm×k是第i个锚点对应的k个低分辨相关最近邻，∈ℝn×p是对应的高分辨相关最近邻。对每一个k-最近邻（k-NN）对{,，采用ℓ2-范数正则项的多元脊回归模型求解如下最小化问题：

其中，‖·‖F是矩阵的Frobenius范数，λ是一个平衡重构误差项和正则项之间关系的很小正常数。求解公式（5）中的最小二乘解，得到第i个锚点对应的映射矩阵为：

其中，I∈ℝm×m表示与低分辨图像块特征维数大小相同的单位矩阵。

Timofte通过从训练集中选择与锚点原子相关邻域的建立线性回归器，进一步将ANR的方法扩展到了A+[28]。与ANR不同的是，A+方法从原始的低分辨与高分辨训练样本集中建立每个k-NN对{,}。当样本十分密集或在无限采样时，字典原子可以看作是特征空间上的稀疏采样，因此A+可以更好地沿相关原子的方向逼近局部流形结构，从而在主客观质量上能获得比ANR方法更好的重建效果。Yang等人[29]提出了利用kmeans聚类学习低分辨与高分辨特征子集建立多个线性映射关系的超分辨重建方法，该方法模型简单，具有较高的超分辨效率。

图3 基于ANR的超分辨重建框架

Zhang等人[30]提出了学习正交低分辨子字典和利用共现表示系数推理高分辨子字典的快速多线性回归超分辨算法，该方法具有很快的重建速度。利用集成学习的思想，Hu等人[31]提出了级联线性回归的快速超分辨重建方法，该方法高效简单，对特征选择具有较好的鲁棒性。利用混合专家模型，Zhang等人[32]提出了联合学习多个线性映射实现快速实例归回的超分辨重建方法。文献[33]和[34]分别提出了利用回归森林模型的超分辨重建方法。Pérez等人[35]提出了一种对极不变测度度量相似性邻域的多线性回归超分辨重建方法，在重建质量和计算效率两个方面均取得了很好的效果。此外，Huang等人[36]提出了基于层次决策树的超分辨重建方法，在计算效率和重建质量方面均表现出较好的性能。Zhang等人[37]提出了快速实例回归和结构正则化增强的由粗到精的超分辨框架，在保持图像边缘和纹理细节方面具有一定的显著优势。文献[38]利用最大期望（Expectation Maximization，EM）算法，对字典学习和聚类过程进行交替优化，提出了改进的多线性回归超分辨算法，能获得比文献[30]更好的重建效果。Wang等人[39]利用外部实例图像和自身图像结构的互补性，提出了低秩矩阵分解的超分辨重建方法，对噪声具有很好的鲁棒性。

基于实例学习的多线性回归超分辨重建方法使用预先学习的映射关系直接将低分辨图像转换成需要的高分辨图像，在超分辨过程中只需进行模型的匹配和简单的矩阵运算，因此运算效率高，有利于实时性应用。然而，随着超分辨放大倍数的增加，丢失的细节越来越多，低分辨与高分辨图像之间的关系也越来越复杂，该类算法在对低分辨与高分辨之间复杂的线性关系学习问题上尚未有显著突破，有待进一步研究。

2.5 基于深度学习的超分辨重建方法

近年来，随着深度学习技术的快速发展和成功应用，基于深度神经网络的非线性实例回归超分辨重建方法受到研究者的广泛关注。基于深度学习的超分辨重建方法利用多层神经网络直接建立从低分辨与高分辨图像端到端的非线性映射关系。Dong等人[40]提出了利用深度卷积网络（Convolutional Neural Networks，CNN）的非线性回归超分辨重建方法（SRCNN），该方法具有三层卷积结构，分别对应传统SR方法的三个步骤：图像块的提取和特征表示、特征非线性映射和超分辨图像重构。如图4是深度卷积网络超分辨重建的框架图。

图4 SRCNN框架

由图4可以看到，采用深度卷积神经网络进行超分辨的网络结构分为特征提取层、非线性映射层和重构层，第一层卷积运算F1表示为：

其中，Y表示输入的低分辨图像，W1表示大小为c×f1×f1×n1的滤波器，B1表示n1的偏置向量。第二层的非线性映射表示为：

其中，W2表示大小为n1×1×1×n2的滤波器，B2表示n2维的偏置向量。重建层利用卷积得到最终的高分辨图像：

其中，W3的大小为n2×f3×f3×c的滤波器，B3是一个c维的偏置向量，c表示输入图像的通道数。

针对SRCNN层数较少，感受野较小等方面的不足，Kim等人[41]提出使用更多的卷积层增加网络感受野，减少网络参数的递归神经网络超分辨重建方法，得到比SRCNN更好的重建效果。余思泉等人[42]利用GAN代替传统的纹理合成方法，通过提取有效的特征样式或统计量并在该特征信息的约束下生成随机图像来实现对随机纹理和结构性纹理的合成。针对目前深度卷积网络大多以均方误差为目标函数而导致图像高频纹理细节缺失的问题，Ledig等人[43]提出了使用VGG网络特征图谱的损失函数取代了以均方误差为基础的损失函数，在高倍放大情况下，能得到更好的视觉效果。尽管利用更快更深的卷积神经网络在图像超分辨率的速度和精度方面取得了突破，但有一个中心问题仍没有得到实质性解决：在高倍数放大情况下，如何更好地保持重建图像的纹理细节是亟需解决的关键性问题。

2.6 不同超分辨重建方法分析对比

本节将对上述综合分析的5类超分辨重建方法在原理、优势、不足、实现成本以及适用范围等5个方面做简要对比分析。

由表1看出，基于k-NN学习的超分辨重建方法算法简单、易实现，但依赖于大量样本的学习，计算空间复杂度和时间复杂度极高，难以在实际中推广应用；基于流形学习的超分辨重建方法能够有效利用训练集中的样本，在训练集较小的情况下，具有较好的泛化能力。但该方法对图像的特征选择和近邻个数选取较敏感，易导致过拟合和欠拟合现象，重建质量会出现明显的失真；基于字典学习的超分辨重建方法相比与前两种方法，不需要对每一个输入特征学习大量的训练样本，在重建质量和计算复杂度上有了一定的平衡。具有自适应邻域选择的能力，算法空间复杂度低，对噪声具有较好的鲁棒性。但该类方法的性能依赖字典规模和字典质量，适用性不强，并且边缘保持能力差；基于实例学习的超分辨重建方法能有效抑制边缘振铃失真，算法空间复杂度和时间复杂度较低。但重建质量依赖于锚点的规模和质量，对纹理区域的重建效果较差，会出现伪像和失真，重建出的图像不够自然；基于卷积神经网络的超分辨重建算法能实现低分辨图像与高分辨图像复杂的非线性映射，重建质量较高。但该类算法网络参数巨大，训练时间长，对参数的存储需要较大的空间。

表1 5类超分辨重建方法的对比分析

3 仿真对比结果分析

为进一步介绍基于实例学习的单帧图像超分辨重建方法，本章将对目前主流的超分辨重建方法进行客观质量和主观质量比较。表2是双立方插值（Bicubic）、稀疏表示超分辨重建方法、Zeyde’s方法、ANR方法、A+方法、SERF方法和SRCNN其中方法在6个标准数据集上放大2倍和3倍的平均峰值信噪比（Peak Signal to Noise Ratio，PSNR）和结构相似度（Structural SIMilarity，SSIM）。

3.1 参数设置

本节将对上述提到的双立方插值超分辨重建方法和其他6种主流超分辨重建方法的主要参数进行说明。

双立方插值的方法是利用双立方插值算法将原始高分辨图像在放大倍数为2倍或3倍时退化成低分辨图像，再利用双立方插值算法对退化的低分辨图像在相同放大倍数的情况进行插值重建；Yang’s方法设置低分辨块大小为7×7，高分辨块大小为12×12，学习4 096个聚类中心，每个聚类中心的距离为1 000；Zeyde’s方法低分辨图像块为30维，高分辨块为81维，迭代40次得到1 000个字典原子；ANR方法选取5 000 000个低分辨和高分辨样本，字典大小为1 024个，回归邻域为40个字典原子；A+方法选取5 000 000个低分辨和高分辨样本，字典大小为1 024个，回归邻域为2 048个样本；SERF方法用来训练的图像块对为2 000 000个，将样本聚为200类，级联7层，λ=0.25；SRCNN设置 f1=9，f3=5，n1=64以及n2=32，c=1。

3.2 对比结果分析

由表2的比较结果可以看出，基于深度学习的SRCNN算法有明显的优势，能重建出质量更好的超分辨率图像。

为进一步评价不同超分辨重建方法的性能，选择Set5中“Bird”、Set14中“Foreman”和Set10中“Hat”图像3倍超分辨重建结果进行对比，如图5、图6和图7是不同方法视觉质量比较结果。从图5（b）可以看出，双立方插值的超分辨重建方法重建出的图像边缘和纹理都非常模糊，红色框处的树枝和蓝色框处鸟嘴的部分都有明显的锯齿和伪影现象，视觉感知效果最差；Yang’s和Zeyde’s的超分辨重建方法采用超完备字典和稀疏表示进行超分辨重建。如图5（c）和5（d），尽管重建出的图像比双立方插值重建出的图像清晰，也能恢复出低分辨图像中丢失的很多高频细节，但在重建图像的边缘上仍存在明显的锯齿失真，视觉感知效果仍然很差；ANR和A+的超分辨重建方法，如图5（e）、5（f），能产生清晰且相对平滑的边缘细节，引入的噪声较少，不存在明显的失真和伪像，重建出的图像更加自然，取得了较好的重建效果；如图5（g）是Hu等人提出的SERF的超分辨重建方法，该方法利用级联回归器在一定程度上能提高重建精度，重建出的图像有较好的边缘；图5（h）是利用深度卷积神经网络的SRCNN超分辨重建方法重建出的图像，该方法使用端到端的非线性映射关系实现低分辨图像到高分辨图像的映射，可以看出红色和蓝色框区域的边缘都很清晰，纹理细节也比较丰富，不过在边缘处仍然存在明显的振铃失真。同样地，在图6和图7中，双立方插值超分辨重建方法重建出的图像在边缘区域产生了明显的伪像，在细节区域也比较模糊，重建的图像质量最差；Yang’s和Zeyde’s的超分辨重建方法重建出的高分辨图像相比于双立方插值图像恢复出的高频细节更多，但在边缘区域质量仍不可喜；ANR和A+的超分辨重建方法能产生清晰的边缘信息，重建出的图像增加贴近自然真实图像，有着较好的重建效果；SERF的超分辨重建方法相比与Yang’s和Zeyde’s的方法，以及ANR的方法，在重建质量上有一定的提升，在边缘处仍存在明显的失真；虽然SRCNN的超分辨重建方法能重建出边缘清晰、纹理丰富的高分辨图像，但相比与A+的超分辨重建方法，重建出的图像不够自然，仍存在明显的振铃现象。

表2 6个标准数据集在放大倍数为×2和×3时的平均PSNR和SSIM

图5 数据集Set5中“Bird”×3放大的超分辨结果比较

图6 数据集Set14中“Foreman”×3放大的超分辨结果比较

图 7 数据集Set10中“Hat”×3放大的超分辨结果比较

4 结束语

本文对基于实例学习的单帧图像超分辨重建技术进行了综述。按照学习过程中建立映射关系的不同，分别对基于k-NN学习的方法、基于流形学习的方法、基于字典学习的方法和基于实例回归的方法和基于深度学习的方法5种实例学习超分辨重建方法的基本模型进行了介绍，对不同方法的优缺点进行了分析和讨论。通过对不同超分辨重建方法的综合分析和实验比较，结果表明基于k-NN学习的方法算法简单，具有一定的超分辨重建效果，但计算成本高、内存负荷大；基于流形学习的方法能充分利用样本，且在数据规模较小的情况下，获得较好的重建质量，但重建过程中如何选择邻域个数是该方法的关键性问题之一；基于字典学习的方法在重建质量上和计算效率上优于基于k-NN学习和基于流形学习的方法，对噪声具有较好的鲁棒性，但重建效率上仍然面临稀疏编码的计算瓶颈问题；基于实例多线性回归的方法在重建质量和重建效率上都表现出良好的性能，但在放大倍数较大时，不能很好地保持细节，如何学习有效的相似性测度是该方法研究的重点；基于深度学习的方法在一定程度上能取得较高的客观质量，但不能有效抑制图像边缘产生的振铃现象。

综上所述，基于实例学习的单帧图像超分辨重建技术还不成熟，还有许多关键科学问题尚未解决。主要包括：

（1）实时性应用问题。经过30多年的研究与发展，图像超分辨重建技术取得了很大的发展。在已有的超分辨重建方法中，基于实例学习的超分辨重建技术具有很好的重建效果。然而，大多数重建算法学习结构复杂，时间和空间复杂度均较高，很难在计算资源受限的环境下实时应用。因此，研究计算资源受限条件下的实时性超分辨重建算法，是实例学习超分辨重建技术成功推广应用的关键。

（2）超分辨关系映射模型的学习问题。本质上，图像超分辨重建是一个典型的不确定性信号恢复问题。随着超分辨图像放大倍数的增加，丢失的细节越来越多，低分辨与高分辨图像之间的映射关系越来越复杂。由于图像类型的多样性，纹理结构的复杂性，如何学习低分辨与高分辨图像之间复杂的流形结构，通过建立多个局部线性映射关系逼近低分辨与高分辨图像的非线性映射关系，设计具有计算实时性的图像超分辨重建算法，有待进一步研究。

（3）超分辨重建图像质量评价。已有的超分辨重建算法[45]主要从主观和客观两个方面对重建结果进行评价，进而评价算法的性能。主观质量评价即通过人眼的感知，让不同的观测者对图像进行评价；客观质量评价主要通过客观质量评价算法来评价重建图像的质量，但主观质量评价方法无法与超分辨算法结合成一个完整的超分辨重建系统。客观质量评价根据评价过程中用到原始图像信息的多少又可以分为3种：全参考型、部分参考型和无参考型。客观上，一般使用全参考型的图像质量评价方法，主要有：峰值信噪比、结构相似度（Structural Similarity）[46]和特征结构相似度（Feature Similarity）[47]。在实际中，由于无法获得原始高分辨图像，使得全参考型和部分参考型的客观质量评价方法不适合超分辨图像的质量评价，起不到优化重建算法和指导模型参数选择的作用。因此，设计一种高效的、能针对超分辨图像的无参考型图像质量评价算法，对研究超分辨重建技术具有重要理论和实际意义。