简化退化模型的真实图像超分辨率网络*

林旭锋，吴丽君

(福州大学 物理与信息工程学院，福建 福州 350108

0 引言

单图像超分辨率(Single Image Super-Resolution，SISR)旨在从低分辨率(Low Resolution，LR)图像恢复高分辨率 (High Resolution，HR)图像。在训练SISR的网络时，人们常使用二三次下采样生成超分辨率数据集从而使网络学习到相应的退化模型，进而恢复图像高频分量。但实际低质量图像的形成有两大主因：成像设备性能以及环境因素干扰，这与二三次下采样生成的低质量图像在退化模型上会有较大出入。

学者通过构造数据集，将真实的LR-HR数据集应用于超分辨率网络的训练，使超分网络能更好地应用于真实的低分辨率图像。例如利用不同的拍摄器材或调整参数构造LR-HR数据集[1-5]以及利用生成对抗模型生成更接近于真实场景的LR-HR数据集[6]。

如图1所示，与利用二三次下采样得到的数据集不同，真实世界低分辨率数据集的退化模型复杂度较高，并且不同的设备型号以及不同的参数设置均会导致退化模型发生变化。而利用二三次下采样得到的数据集则具有较为固定的退化模型，仅在图像的高频分量产生退化，而低频分量则与原图近似。

在处理真实低质图像的超分辨率问题中，真实世界超分辨率数据集发挥了核心作用。通过直接训练方法，成功克服了超分辨率网络在真实低质图像应用上的局限，显著提升了在真实低质数据集上的性能表现。例如Kong等人[3]提出对图像区域分而治之的想法，对图像内容分类成为平坦、角点以及边缘三种区域利用网络分开对待。通过不同频率特征优化对真实图像直接训练的网络的超分结果。然而，这种方法仍存在局限性，如受到增加处理支路影响，会消耗更多的计算资源并降低训练速度。

近年，RealBasicVSR[7]提出大动作清洗(视频预处理)模块，主要负责解决真实低质视频数据集中的动作较大导致的残影问题。通过预清洗模块对复杂退化模型进行简化，在真实的低分辨率视频数据集的上表现有明显的提升。据不完全统计，暂时还没有使用预处理模块处理复杂的真实图像退化模型的真实图像超分辨率重建方法。

通过预处理模块简化真实LR复杂的退化模型，将增强后的图片输入超分网络，实现真实图像的超分辨率重建。相较于直接使用数据集进行超分辨率网络训练，利用预处理模块来适应真实低质图像由于模块的参数较少，可以更快地通过训练得到，从而增强原始超分辨率网络的适应能力。此外，由于预处理模块仅针对退化模型，可以适配所有基于二三次下采样数据集训练的超分辨率网络。最后，通过将预处理模块与超分辨率网络进行多任务联合训练，可以进一步提升超分辨率效果。总的来说，预处理模块由于模型参数小，训练速度、模型收敛速度更快，更适用于实用环境。

因此，进一步研究如何优化预处理模块以更好地适应真实世界的复杂退化模型，并提高训练效率和计算资源的有效利用，对于推进图像超分辨率技术的发展具有重要意义。针对预处理模块，本研究取得了以下成果：首先，本文提出了一个预处理模块的架构，该架构能够有效地简化真实世界低质图像的退化模型；其次，本文利用超分网络的输出特征学习，进一步提升了预处理模块的性能以及其与超分模块的匹配度；最后，提出了预处理模块与超分网络在后续联调中的多任务学习机制，这有助于进一步提高利用预处理模块的超分网络的性能指标。通过在真实数据集DrealSR[4]和真实低光照数据集RELLISUR[5]上进行实验证明所提出架构和训练策略的有效性。

1 退化模型预处理模块架构

如图2所示，本文采用密集块[8](Dense Block)作为基础架构模块，密集块的设计理念在于其能够融合多层次的特征信息，进而形成更为平滑且准确的决策边界。这种设计在很多深度学习任务中都被证明是行之有效的。预处理阶段产生的图像伪影不仅影响超分辨率网络对图像特定区域纹理的重构，还可能引入不必要的噪声或误差。利用密集块平滑的决策边界可以有效地避免引入额外的图像伪影。

图2 增加预处理模块网络基础结构

为了进一步提升网络深度并增强预处理模型的特征映射能力，本文在密集块的基础上引入残差连接[9]。这种连接方式允许信息在层与层之间直接流动，从而增强了网络的表示能力。这种新架构被命名为残差致密块(Residual Dense Block，RDB)。在加深RDB的深度时，ESRGAN[10]曾经指出批标准化层(Batch Normalization，BN)可能会导致架构输出伪影纹理。考虑到这一点，移除基础模块中的所有BN层，以优化网络的性能。

为了从输入图像中初步提取普通图像特征，本文在网络的起始部分增加了卷积层，这些层能够有效地提取浅层特征。之后，在RDB堆叠后，再次增加卷积层，以整合特征信息。这种设计满足了从前往后的残差连接需求，从而更好地集合了不同尺度下的特征结构。最后，通过两个卷积层对整合的特征进行映射，输出预处理后的图像。这个过程确保了预处理后的图像不仅提高图像质量，而且保留了原始图像的重要细节和纹理。完整的网络结构如图2所示。

2 退化模型预处理模块训练和整体网络优化

2.1 特征学习单模块训练

如图3所示，本节的核心目标是利用真实世界超分辨率数据集训练预处理模块，使其能够学习到二三次下采样退化模型与真实退化模型之间的差异。

图3 预处理模块训练模式

数据集准备：选用通过调整拍摄设备获得的具有不同分辨率和质量真实世界超分辨率数据集作为训练数据集。为了让预处理模块习得真实的退化模型，采用真实高质图像进行二三次下采样生成LR*，使用真实低质图像作为LR。这种LR-LR*数据集为预处理模块提供了关于图像退化过程的信息。

预处理模块训练：通过使用LR-LR*数据集对预处理模块进行训练，使预处理模块能够学习到从低质图像到高质图像的映射关系。训练过程中，超分辨率网络不进行参数优化，这有助于减短整体训练过程，并使预处理模块适用于所有二三次下采样数据集训练得到的超分网络。

特征学习与损失函数设计：为了使预处理模块更好地适应超分辨率网络，引入了特征损失的概念。通过特征学习，预处理模块能够更好地理解原始数据的底层结构，并从中提取出有用的特征。这种基于特征损失的设计使得预处理模块能够与超分辨率网络紧密集成，从而提高整体性能。

根据所使用的超分辨率网络类型的不同，预处理模块会展现出不同的优化方式。本文中选用ESRGAN作为超分辨率网络，利用其特征对预处理模型进行优化。实验结果表明，优化后的预处理模型在结果中展现出与超分GAN网络相似的特性，显著提高了图像的感知质量。这进一步证明了本文方法的有效性和适用性。

2.2 多任务模块联调优化

为了预处理模块的快速训练而对超分网络进行的冻结处理存在由于超分网络的训练数据集与实际应用场景的不匹配问题。当需要进一步提高超分效果时，不能仅依赖单一模块的优化。为了达到最佳的超分辨率效果，需要对整体网络的超分模块和预处理模块进行更为细致的联合调优。

本文中，将这种联调方式通过式(1)进行表示。在式(1)中，IHR代表真实高分辨率图像，ILR表示真实低质图像，LOSStotal表示网络的整体优化目标，LOSSpreprocessing{·}表示预处理模块的优化目标，LOSSSRNet{·}表示超分模块的优化目标。函数downsample4(·)表示以缩放因子为4的下采样操作，而Preprocessing(·)则代表预处理模块的映射函数。

LOSStotal=LOSSpreprocessing{ILR，downsample4(IHR)}+

LOSSSRNet{SRNet[Preprocessing(ILR)]，IHR}

(1)

值得注意的是，由于预处理模块和超分模块的优化目标可能存在差异，这可能导致在联调过程中出现侧重于某一模块优化的现象。这种不均衡的优化可能导致联调失败，进而导致性能指标的下降。为了解决这一问题，本文提出了一种利用损失值来为多任务优化目标赋予自适应权重的策略。这种方法有效地平衡预处理模块和超分模块之间的权重，从而避免因过度侧重某一模块而导致联调失败的情况。优化后的表达式如式(2)所示，其中ABS(·)表示对损失值求绝对值。

(2)

通过这种方式能够确保预处理模块和超分模块在联调过程中的协同优化，从而提高整体网络的超分辨率性能。并且根据实际需求下的性能要求，可以选择是否需要进行联合调优，避免计算资源的浪费。

3 实验细节

3.1 数据集、指标和训练细节

根据参考文献，训练网络所选择的数据集和测试集均为DrealSR[4]和RELLISUR[5]。在评价指标上，选择了PSNR、SSIM和学习感知图像块相似度(Learned Perceptual Image Patch Similarity，LPIPS)作为评价指标。

网络训练所用平台为Windows11，实验在单张NVIDIA GeForce GTX 3070显卡上完成。模型参数使用Adam算法优化，算法中参数设置为β1=0.9、β2=0.999。在学习策略方面，初始学习率设为1×10-4，将200K iterations设为一个周期，每经过200K 迭代学习率重置为1×10-4。

3.2 消融实验

由于预处理模块输出的视觉图像效果对最终的超分辨率重建质量具有显著影响，本文以直观的视觉图像对比图来评估预处理模块的有效性。图4展示了有无预处理模块情况下二三次下采样训练得到的ESRGAN对真实低质的超分辨率重建结果。

图4 预处理在真实图像上的消融表现

在没有预处理的情况下，ESRGAN在处理复杂的退化模型时表现出一定的局限性，难以有效去除图像中的模糊效果。这表明，面对复杂的退化模型，单纯的超分辨率网络可能无法达到理想的重建效果。然而，通过引入预处理模块，本文能够显著改善ESRGAN的超分辨率性能。预处理模块有效地简化了图片中复杂的退化模型，为后续的超分辨率重建提供了更为清晰、准确的图像信息。

3.3 算法对比

为了全面评估本文提出的预处理模块在超分辨率重建方面的性能，本文将预处理模块单模块训练后的超分网络ESRGANpre以及联调后的ESRGANpre*与近年来一些先进的图像超分网络进行了对比。

3.3.1 DrealSR

在本节中与ESRGAN[10]、CDC[4]、STCN[11]、OR-Net[12]进行对比。对比实验中的数据均来自相关论文，以便于公正客观地评估各方法的性能。

通过表2，可以看到预处理模块的应用在不过量增加模型参数量的同时，在ESRGAN中显著提高了最终超分结果的感知质量指标表现。由于预处理模块学习的特征来源于超分GAN网络，这导致在提高感知质量的同时，传统指标值有所降低。

表2 指标对比

通过多任务学习后的整体网络在不过度削弱结果感知质量的同时，大大提高传统指标表现。这一发现进一步证实了联调方法在平衡超分辨率重建的感知质量和传统指标方面的有效性。

此外，本文还对模型的训练时长进行数据对比，多个实验均在同一配置情况下进行训练，训练过程中输入图像数据均为48×48大小。显然，ESRGANpre与ESRGANpre*所需每次迭代的训练时长小于利用真实图像对直接对ESRGAN进行训练，能更好地满足快速匹配需求的要求。

为了直观展示不同方法的超分辨率效果，本文提供了如图5所示的对比图。上图显示了ESRGANpre*与CDC在保持图像结构方面的比较。可以看出，ESRGANpre*在强化图像边缘和纹理细节方面表现出色。下图则展示了本文方法与CDC在恢复图片上草块的颜色与纹理方面的对比。通过对比可以明显看出，本文方法能够更好地还原原有图像的质量。

图5 主观视觉效果对比图

3.3.2 RELLISUR

为了验证预处理模块在其他真实退化模型的泛化能力，对比预处理模块性能以及其单独训练策略的有效性，本文选择同样具有分网络训练的低光照超分辨率重建任务[5]，数据均来源于论文。

低光照图像增强网络与超分网络分别训练的策略，与单独训练预处理模块的训练策略进行对比，证明预处理模型及单独训练策略的有效性。

其中，MIRNet为低光照增强网络，DBPN为超分网络。MIRNet利用RELLISUR数据集中低光照图像-×1图像对优化，即将低光照图像处理为真实低质图像。DBPN和ESRGAN用RELLISUR数据集中×1-×4图像对优化，即真实低质图像到真实高质图像的处理过程。

如表3所示，本文策略在该任务中在大幅减小模型大小的前提下，提高了SSIM和LPIPS指标的表现，PSNR也取得了较为先进的结果。如图6所示，在视觉效果对比中，本文的方法在图像亮度和边缘的恢复效果上表现更好，并且去除了大量的图像中的噪声，有更好的视觉质量。

表3 低光照超分指标对比

图6 低光照超分视觉效果对比图

实验结果说明预处理模块能够应对各种不同的真实情况下的退化模型，同时也证明了利用超分特征学习能使得预处理模型良好的匹配于双三次下采样数据集训练得到超分网络。

文献[12]中指出，目前低光照超分暂时未有较好的解决方案，针对类似的图像增强与超分相结合的底层视觉任务，在匹配速度(训练速度)和精度上均有要求的实际场景中，本文提出了一个良好的思路。

4 结论

针对图像超分辨率算法在处理真实世界低分辨率图像时难以消除复杂退化模型的问题，本文提出了一种创新的预处理模块，旨在优化超分辨率网络的应用。通过结合真实图像预处理模块和多种训练策略，本文成功地简化了真实低分辨率图像中的复杂退化模型。这一改进不仅提高了重建效果和感知质量，还有着快速训练匹配任务的特点，为真实世界单低质图像超分辨率领域提供了新的思路和方法。