基于稀疏高斯过程的图像超分辨率重建算法

李建敏，吴 芸，杜晓凤，朱顺痣

(厦门理工学院计算机与信息工程学院，福建 厦门 361024)

图像超分辨率重建技术能够在不改造现有成像系统硬件设备的前提下，用最经济的方式获取高于成像系统原始分辨率的高质量图像。近年来，基于学习的超分辨率重建算法成为图像超分辨率技术领域的一个研究热点[1-5]。通过学习低分辨率与高分辨率图像之间的映射关系，预测低分辨率图像中丢失的高频信息，从而得到高分辨率图像。高斯过程回归是近年发展起来的一种基于贝叶斯理论的非参数回归方法，能够直接从数据中建模，具有很强的适应性和泛化能力，能有效避免过拟合。He等[6]首次将高斯过程回归模型应用在图像超分辨率重建研究中，能有效地保持边缘信息，但是由于样本较少，恢复的高频信息有限，重建质量较差，并且需要在线训练模型，造成重建过程十分耗时。Wang等[7-8]提出的稀疏高斯过程方法和基于字典采样和T似然的高斯过程方法效果有所改进。Li等[9]提出基于原型的高斯过程回归加速算法(prototype-based gaussian progress regression,PGPR)离线学习模型，PGPR属于近邻嵌入的方法，离线学习的各锚点高斯过程回归模型的可靠性受近邻相似度的影响。每个锚点的邻域是由其他锚点构成的，而这些锚点代表的是各个聚类的中心，属于差异性比较大的样本。由这些锚点构成的邻域集合相似度不高，所以导致PGPR算法在图像重建质量上不尽如人意。为此，本文提出稀疏伪输入高斯过程回归算法，改进离线学习阶段训练集构建方式，在不同子空间内部进行模型学习，同时使用少量伪输入对模型进行近似求解，以在降低时间复杂度的同时提高图像的重建质量。

1 高斯过程回归模型

给定训练集D={(x1,y1),(x2,y2),…,(xn,yn)}，其中x表示输入向量，y表示输出标量。关于x和y之间的关系，考虑以下回归模型：

y=f(x)+ε。

(1)

(2)

式(2)中：K为核函数，一般使用高斯核函数，I为单位矩阵。现在需要预测x*对应的输出值y*，根据高斯过程的假设，观测值Y和预测值y*的联合分布也是一个高斯分布，于是有

(3)

然后根据高斯分布的性质，条件概率分布P(y*|Y)同时也是一个高斯分布，那么可以得出其均值和方差分别是:

m(y*)=K(x*,X)(K(X,X)+σ2I)-1Y，

(4)

cov(y*)=K(x*,x*)-K(X,x*)[K(X,X)+σ2I]-1K(x*,X)。

(5)

根据贝叶斯决策理论，损失函数最小化值为预测分布的中值。这里预测分布P(y*|Y)为高斯分布，故用其均值作为y*的预测值，理论上进行预测的时间复杂度为O(M3)，M为训练样本数量。每个核函数都有参数，称为高斯过程的超参数，学习阶段就是为了优化超参数。

2 稀疏高斯过程回归重建算法

2.1 算法框架

Li等[9]287由公式(4)发现，如果在核函数确定的情况下，预测结果只和训练集相关。如果能够确定训练集，就能够离线训练高斯过程回归模型，确定核函数的参数，这样预测公式就变换成

f(x*)=m(y*)=K(x*,X)A。

(6)

式(6)中：A=(K(X,X)+σ2I)-1Y，可以离线计算。因此，预测阶段的时间复杂度将降低到O(N)，其中N为训练集的样本数量。在PGPR算法中N为学习阶段确定的锚点近邻数量。

PGPR算法中构建的训练集相似性较低，导致重建结果较差，为了解决这个问题，提高邻域集内样本的相似性，应该在聚类内部构建高斯过程回归模型的训练集，因为聚类内部样本的相似度更高。受到Yang等[10]的启发，将训练集分成不同的特征子空间，在每个子空间内部训练高斯过程回归模型。因为每个子空间内部的所有样本都是最相似的，训练得到的高斯过程回归模型准确度自然要高。然而，每个子空间内部的样本规模是比较大的，同样存在求解的效率问题。譬如训练集有10 000 000个样本，分成1 000个子空间，那么每个子空间内部平均有10 000个样本，如果直接使用标准高斯过程回归模型求解，将会十分耗时。

Snelson等[11]提出了稀疏伪输入的高斯过程近似算法，只需用到训练集中一个较小的活动子集，在显著降低了计算复杂度的同时，保证了近似计算结果的精度。该算法可以解决子空间中样本数量大引起的效率问题。该方法随机选取训练集中M(M≪N)个样本构成伪输入子集进行计算。Snelson等[11]认为如果伪输入子集的分布和原始集合分布一致的话，那么该子集就能很好的表示原始数据集合。该方法在超参数的训练过程中，添加这一约束，进行伪输入子集的优化，从而减少近似计算的误差，最终可以得到预测均值的近似值为：

m(y*)=Q*N[QN+diag(KN-QN)+σ2I]-1Y。

(7)

式(7)中：QN=KNMKM-1KMN，详细推导过程可以参考文献[11]1 259。因此与公式(4)相同，公式(7)可以转写成

f(x*)=Q*NA。

(8)

式(8)中：A=[QN+diag(KN-QN)+σ2I]-1Y。从公式(8)可知，如果训练集确定的话，那么矩阵A可以离线计算，从而降低预测阶段的时间复杂度。

因此提出了基于稀疏高斯过程回归的超分辨率重建算法(sparse pseudo-input gaussian processes regression,SPGPR)，算法包括学习阶段和预测阶段，算法的框架如图1所示。

图1 算法框架图

2.2 时间复杂度分析

假设训练集中样本个数为N，一张待重建的低分辨率图像有S个相互重叠的大小为W的图像块，每个低分辨率图像块的特征向量的维度为d，伪输入个数为k。在基于稀疏高斯过程回归模型中，将训练集分成C个特征子空间，其中C和k都远小于N。在超分辨图像预测阶段只要进行最近邻搜索，判断待重建图像块所属的特征子空间，所以近邻查询的时间复杂度降低为O(dC)，是一个常数。并且在矩阵A已知的情况下，按照公式(8)预测高频信息只需要O(Wk)，只和待重建图片大小以及伪输入个数相关。可见预测阶段的时间复杂度和PGPR算法一致。

3 实验结果及分析

3.1 实验参数

实验采用文献[9]289中的训练集，测试图片使用超分辨重建研究中较通用的8张图片，包括女孩、蝴蝶、婴儿和女士等。实验中涉及到的参数主要有子空间数量、稀疏伪输入个数、图像块大小以及图像块重叠区域大小，分别为1 000、60、5px×5px、4。实验中使用的核函数为高斯核函数。

3.2 实验比较及结果分析

为了验证基于稀疏高斯过程回归超分辨率重建算法的有效性，使用双三次插值，SCSR算法[13]，GPR—He算法[6]，ANR算法[14]和PGPR算法[9]等算法进行对比实验，并分别从客观和主观质量评价两个方面比较算法的性能。表1和表2分别是测试图像在4倍(4×4)重建情况下，使用峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似度(structural SIMilarity,SSIM)[15]两种质量评价方法的客观评价结果。实验中，在获得初始的高分辨率重建图像之后，使用迭代反向投影算法进一步提高超分辨率重建图像的质量。实验中迭代反向投影算法的迭代次数设置为20。

表1 不同算法4倍超分重建的PSNR结果对比

表2 不同算法4倍超分重建的SSIM结果对比

从表1～2可知，GRP—HE算法重建效果的效果非常差，主要原因是算法本身没有利用外部训练集，可利用的高频信息有限。SPGPR算法在两个客观评价指标上都取得了最好的结果。相比PGPR算法，PSNR平均提高了0.25 db，SSIM平均提高了0.01左右，提升效果比较明显。

为了从视觉质量上进一步评价不同算法重建后的图像质量,从婴儿和蝴蝶图像在放大4倍情况下不同算法的对比结果可以看出，SPGPR的边缘比其他算法清晰一些，并且细节和纹理上都比其他对比算法要丰富(见图2、图3)。

图2 不同算法对婴儿图像4倍超分结果对比

图3 不同算法对蝴蝶图像4倍超分结果对比

图4是蝴蝶、摩托车和婴儿在放大4倍情况的对比图。

图4 SPGPR和PGPR 在3张图片上的重建结果对比

图4从主观效果上对比了SPGPR和PGPR算法。从细节放大部分可以看出，SPGPR算法恢复出来的细节纹理更丰富，而且边缘也比较清晰，相比而言PGPR算法结果的边缘就相对模糊些。

对比GPR-He、PGPR和SPGPR算法在测试集图像上进行重建的时间效率如图5所示，所用数据都是在配置3.4 GHz CPU和8 GB内存的戴尔Optiplex 990个人主机上运行得出的。在这8张测试图片上，GPR—He平均需要8 min左右，PGPR和SPGPR所需的时间基本一致，平均只需要1 min左右。可见提出的方法在提高重建分辨率的同时，保持了较低的时间复杂度。

图5 3种算法运行时间对比

4 结语

高斯过程回归是一种有效的非参数回归学习方法，但直接使用高斯过程回归模型对图像超分辨率重建问题进行建模求解，时间复杂度太高。对PGPR算法进行了改进，提出稀疏伪输入高斯过程回归图像超分辨率重建算法，在不同特征子空间内部离线学习高斯过程回归模型，并引入稀疏伪输入近似算法提高模型效率。实验表明，方法在保持时间复杂度的同时，较大的提高了图像的重建质量。但目前方法重建图像的边缘还不够锐化，后续研究拟加上边缘的约束，同时引入多核学习模型进一步提高图像的重建质量。