基于多频特征和纹理增强的轻量化图像超分辨率重建

摘 要：现有基于卷积神经网络主要关注图像重构的精度，忽略了过度参数化、特征提取不充分以及计算资源浪费等问题。针对上述问题，提出了一种轻量级多频率特征提取网络（MFEN），设计了轻量化晶格信息交互结构，利用通道分割和多模式卷积组合减少参数量；通过分离图像的低频、中频以及高频率信息后进行特征异构提取，提高网络的表达能力和特征区分性，使其更注重纹理细节特征的复原，并合理分配计算资源。此外，在网络内部融合局部二值模式（LBP）算法用于增强网络对纹理感知的敏感度，旨在进一步提高网络对细节的提取能力。经验证，该方法在复杂度和性能之间取得了良好的权衡，即实现轻量有效提取图像特征的同时重建出高分辨率图像。在Set5数据集上的2倍放大实验结果最终表明，相比较于基于卷积神经网络的图像超分辨率经典算法（SRCNN）和较新算法（MADNet），所提方法的峰值信噪比（PSNR）分别提升了1.31 dB和0.12 dB，参数量相比MADNet减少了55%。

关键词：图像超分辨率重建；卷积神经网络；轻量化；多频率特征提取；局部二值模式算法

中图分类号：TN911.73 文献标志码：A 文章编号：1001-3695（2024）08-038-2515-06

doi： 10.19734/j.issn.1001-3695.2023.09.0561

Lightweight image super-resolution reconstruction with multi-frequency feature and texture enhancement

Liu Yuanyuan， Zhang Yuxin， Wang Xiaoyan， Zhu Lu

（College of Information Engineering， East China Jiaotong University， Nanchang 330013， China）

Abstract：

Existing studies based on convolutional neural networks mainly focus on the accuracy of image reconstruction， ignoring problems such as excessive parameters， insufficient feature extraction， and resource waste. In response to the above， this paper proposed multi-frequency feature extraction network （MFEN）， which designed a lightweight lattice information interaction structure and used channel segmentation with multi-mode convolution combination to reduce the number of parameters. By separating the low-frequency， mid-frequency， and high-frequency information of the image and extracting the feature heterogeneity， it improved the expressiveness and feature differentiation of the network， made the network pay more attention to the restoration of texture detail features， and reasonably allocated the computational resources. In addition， it integrated the local binary pattern （LBP） algorithm into the network to enhance texture sensitivity， which further improved the network’s ability to extract details. It experimentally verifies that the proposed method balances complexity and performance well. In the 2X zooming experiments on the Set5 dataset， compared to the conventional image super-resolution algorithm （SRCNN） based on convolutional neural network and the newer algorithm （MADNet）， the peak signal-to-noise ratio （PSNR） of the proposed method is improved by 1.31 dB and 0.12 dB respectively， and the number of parameters is reduced by 55% compared to MADNet.

Key words：image super-resolution reconstruction; convolutional neural network; lightweight; multi-frequency feature extraction; local binary patterns algorithm

0 引言

图像超分辨重建是将低分辨率（low resolution，LR）图像通过特定算法恢复出相应的高分辨率（high resolution，HR）图像的一种技术［1］，旨在弥补或克服图像采集的环境或系统本身的限制，解决成像质量低、模糊等问题。相比于纹理边缘不清晰的低分辨率图像，高分辨率图像包含更多像素，具有更多细节纹理信息，在视频安全监控［2，3］、医学影像分析［4］、卫星遥感图像［5］等领域具有广阔的应用前景。在实际采集图像的过程中，受硬件限制和环境因素的影响，采集到的图像分辨率往往无法达到人们的预期，而改进成像硬件制造工艺成本高昂、实际环境复杂，因此图像超分辨率重建技术以成本低、效率高的优点成为主流的研究方向。

传统图像超分辨率通常采用基于插值的方法［6］、基于重建的方法［7］、基于示例的方法［8］等。这些方法大多是用浅层特征进行操作，特征表达能力有限，很大程度上限制了重建效果，而深度学习通过自训练学习提取到表达效果更突出的深层特征，因此被广泛应用在超分辨领域。2014年Dong等人［9］利用卷积神经网络完成图像超分辨率重建（super resolution convolutional neural network，SRCNN）；随后提出的FSRCNN［10］在SRCNN基础上改进，直接将LR图像送入网络提取特征，极大地缩短了重建时间。文献［11，26～29］通过改变特征提取、上采样和加深网络结构等方式提出新的网络结构，其重建精度得到明显提升。然而，高精度往往依赖较深的网络结构，导致了过度参数化，进而需要长时间训练和推理，加上实际应用中的设备存储、计算能力有限，极大限制了过度参数化网络在移动设备上的应用。而轻量化网络结构核心是尽可能在保证重建精度的前提下，降低参数量和计算复杂度，使深度神经网络可以部署在存储空间和计算性能有限的设备上。

CARN［12］将1×1的卷积核与残差结构级联，以性能为代价换取较低参数量；IDN［13］通过切片操作，将长路径和短路径的局部特征有效结合在一起，使参数量和性能达到一定程度平衡；在此基础上，IMDN［14］引入信息多蒸馏模块，以此扩大提取特征的感受野，从而在低参数量的前提下提升网络重建性能；LESRCNN［15］采用异形卷积结构分层次提取的方式，在保证性能的同时降低参数、提高效率；DRSA［16］通过自动调节残差块以适应学习输入图像特征，在不增加参数量的情况下提高了网络性能。尽管以上方法降低了参数量，但轻量化超分辨率依旧存在问题，即忽略了图像不同频率信息之间的差异。低频信息代表图像主要成分，中频信息代表图像的主要边缘结构［17］，高频信息代表图像的边缘和细节，不同频率的信息需要的计算能力不同，若将特征图中全部信息不分主次地重建，会导致资源的浪费，同时网络提取细节特征的能力也将降低。

文献［18］将特征分为低频和高频信息进行处理，使网络专注于信息量更大的特征，提高其判别能力；文献［19］利用Sobel算子和分段平滑图像生成高频和低频映射后分别提取感知特征，从而提高网络性能，但这两种方法都忽略了中频信息的作用。此外，图像中的纹理特征包含细微结构和细节信息，通过利用这些特征可以使重建出的高分辨率图像更加清晰真实，而深度学习方法并未对该特征的提取有针对性体现。

针对以上问题，本文提出了一种基于轻量级的多频率特征提取网络，主要贡献包括：a）提出了轻量化晶格信息交互结构，利用通道分割技术和多模式卷积组合，减少冗余信息重复处理次数，降低参数量；将不同信息进行自适应交互，促进通道间信息的流动，以获得更优的重构能力；b）提出了多频率特征提取模块。将图像的低频、中频、高频特征信息有效分离并实现特征异构提取，充分利用不同频率信息的特点，分配更多计算资源给细节纹理使其便于重建；结合各频率信息特点设计连接方式，采取逐步细化提取思想，增强了低频信息的流动和高频信息的修复；c）充分发挥传统算法在纹理分析和特征提取方面的优势，将LBP特征提取算法嵌入到MFEN内部。通过窗口滑动机制，在不同位置上对图像进行特征提取，以获取全局纹理信息，从而显著提高模型对整幅图像纹理特征的感知能力。

1 网络结构

1.1 整体框架

本文提出的MFEN，采用轻量化晶格信息交互结构，在保持低参数量的同时进行不同频率信息的异构提取和交互，并结合LBP特征提取算法，提升网络对细节特征的提取能力。MFEN结构如图1所示，主要由初级特征提取模块、特征层次提取模块和上采样模块三个模块组成。

初级特征提取模块使用两个连续的3×3的卷积对输入ILR提取初级特征，即

FIFE=HIFE（ILR）=fconv（fconv（ILR））（1）

其中： fconv（·）表示3×3卷积。为了进一步提取特征，将输出馈送到特征层次提取模块FFHE，分浅层、深层特征两部分进行提取，使模型能够在多层次上学习和表示图像的特征。浅层特征提取将初级特征提取的输出FIFE利用LBP算法fLBP提取出全局纹理信息，再加到末端的输出，以此增加网络对纹理的提取能力，可表示为

FFHE=FDFE+fLBP（FIFE）（2）

其中：FDFE表示深层特征提取。为了挖掘图像内部信息的联系、充分提取细节特征，深层特征提取FDFE部分通过级联四个多频率特征提取块HiMFEB（·），逐步提取深层特征。采用密集连接思想，每一个多频率特征提取块的输入均由前面所有多频率特征提取块的输出连接组成，以充分利用不同层级不同频率的特征，增强模型的表达能力，可表示为

FDFE=FiMFEB=HiMFEB（FIFE） i=1

HiMFEB（F1MFEB） i=2

HiMFEB（concat（Fi－1MFEB，…，F1MFEB）） i=3，4（3）

其中：concat（·）表示沿通道维度的连接操作。上采样模块Fup用一个3×3卷积细化深层特征，再用一个3×3卷积调整特征维度，像素洗牌操作生成放大倍数的三通道特征图，完成图像重建，可表示为

Fup=Hup（FFHE）=fup（fconv（fconv（FFHE）））（4）

其中： fup（·）表示像素洗牌。

为了达到优质的重建效果，本文采用常用的L1函数作为损失函数，主要计算输入图像和目标图像各像素间差值的平均绝对值，其公式为

Euclid Math OneLAp（θ）=1N∑Ni=1（‖HMFEN（IiLR）-IiHR‖1）（5）

其中：θ为拟合网络参数的集合；IHR为目标图像；N为ILR和IHR图像对的个数。

此外，本文采用全局和局部残差连接，解决网络提取特征过程中的特征消失以及梯度爆炸等问题。如图1所示，在网络最外层，将输入经过双线性上采样操作后连接到网络末端，使特征层次提取部分更注重细节的恢复；在网络特征层次提取内部，也采用了残差连接操作，通过LBP特征提取算法处理后连接到末尾，提高网络对细节纹理信息的提取能力。

1.2 轻量化晶格信息交互结构

如图2（a）所示，晶格块［20］借鉴了晶格滤波器［21］ 的思想，并将双蝶型结构作为其关键特征，利用注意力机制计算出各分支的权值参数自适应组合残差块，赋予结构对双残差块进行多种线性组合的能力，从而扩展表示空间，实现更强大的网络。

受晶格块和SA［22］中通道分割的启发，本文设计的轻量化晶格信息交互模块如图2（b）所示，引入通道分割机制，将所有特征图分为两部分并行操作，减少对冗余信息重复处理的次数，使计算量和参数量降低；然后将两部分特征进行充分提取后，用单蝶形结构即一次上下分支自适应信息交互，达到提高模块效率的目的；最后使用低廉的逐点卷积对两部分特征压缩融合，得到特征信息。具体介绍如下。

首先将输入通道分为两部分，使其在低参数量的同时运行速度也得到了提高，即

Si－1（x），Ti－1（x）=split（x）（6）

其中：split（·）表示沿通道维度分割。之后将上分支经过f（·）提取特征，即3×3卷积、ReLU、分组卷积、ReLU、1×1卷积，再对两分支使用注意力机制得到不同的组合系数后，自适应地进行信息交互，使上下分支信息组合更多样，即

Si（x）=concat（f（Si－1（x）），αTi－1（x））

Ti（x）=concat（Ti－1（x），βf（Si－1（x）））（7）

其中：α、β为通道注意力机制计算得到的权值。由于特征图按通道维度分为两分支，而整个特征由多个特征图沿通道维度串联，所以使用通道注意力机制生成权值，详细计算如下：

设M=［m1，m2，…，mn］代表输入的n个特征图，每个特征图维度为H×W。其中，第o个特征图Fo通过空间维度收缩统计Zo为

Zo=favgpool（Fo）=1H×W ∑Hi=1 ∑Wj=1Fo（i， j）（8）

特征图Fo的注意力统计权值为

α=δ（W2σ（W1Zo））（9）

其中：δ代表sigmoid函数；σ代表ReLU函数。同理β也由此计算得出。之后将下分支经过f′（·），即3×3卷积、ReLU、分组卷积、ReLU、1×1卷积操作，采用卷积和分组卷积组合的方式，在确保充分提取特征的前提下降低参数量的使用。最后两分支以低经济的1×1卷积进行通道压缩后融合，得到低频特征图FLFE，即

FC=concat（fconv1（Si（x）），fconv1（f′（Ti（x））））

FLFE=fconv1（FC）（10）

其中： fconv1（·）代表1×1卷积。

1.3 多频率特征提取模块

对图像特征的恢复和增强是超分辨率的主要任务，而图像信息是由低频、中频和高频信息构成。因此本文设计多频率特征提取块，将不同频率分离后嵌入轻量化晶格信息交互结构中进行处理，使注意力更有针对性地集中在特定频率上提取特征，进而在提高模型提取信息精准度的同时计算资源也得到了充分利用。多频率特征提取块FMFEB由三个模块组成，如图3所示，分别是：a）低频率特征提取块（low-frequency feature extraction block，LFB）；b）中频率特征提取块（mid-frequency feature extraction block，MFB）；c）高频率特征提取块（high-frequency feature extraction block，HFB）。通过分层提取，模块获得图像在不同尺度上的表示，同时对不同频率的信息采用不同的处理策略，在更高频率的层次上有选择地应用更精细的处理，从而降低了整体的计算负担。因此，该模块首先将信息输入到LFB模块中进行处理，随后将处理后的信息输入MFB模块，并与输入信息进行串联融合，形成HFB的输入，使高频特征提取块的信息更加丰富，从而提取出更多的细节信息。可用式（11）表示：

FLFE=HLFB（F0）， FMFE=HMFB（FLFE）

FHFE=HHFB（concat（FLFE，FMFE））， FMFEB=FHFE（11）

其中：FLFE、FMFE、FHFE分别表示低、中、高频特征提取块的输出。

1.3.1 低频特征提取块

低频信息为图像中变化缓慢的部分，如平滑的表面或渐变，包括大块的背景、平坦的区域和一般性的图像整体结构。低频信息的提取可以捕捉到图像的整体结构和主要特征。过往的研究［18］ 表明低频信息并不需要大量的计算及特殊的方式便可有效提取，因此出于对低参数量的追求和奥卡姆剃刀原理的考虑，如图3（a）所示，在设计LFB时，并未改变轻量化晶格信息交互结构的内部设计模式，使用了组合卷积的方式，达到轻量高效提取低频特征的目的，将更多的计算资源分配给中高频特征进行处理，从而降低整体的计算资源。

1.3.2 中频特征提取块

图像中频信息代表图像的边缘信息，而高频信息是对中频信息内细节、纹理、边缘、噪声处理方面的进一步强化。基于此思想，设计MFB使后续能更好地提取出高频信息。用双插值上采样fbilinear（·）处理可使图像平滑化，用高斯低通滤波器fgausconv（·）处理可使图像模糊化。因此，如图3（b）所示，将经过插值放大后的图像与插值放大并经高斯低通滤波器处理后的图像之间做差，再经过卷积和激活函数的操作得出中频信息fM。表达式如下：

F1=fbilinear（favgpool（x）），

F2=fgausconv（F1），

F3=F1－F2

F4=fsigmoid（fconv（F3）+x），

F5=fconv（x）·F4，

fM=f（F5）（12）

其中： favgpool（·）代表全局平均池化； fsigmoid（·）代表sigmoid函数。提取的中频信息嵌入轻量化晶格信息交互块，中频信息与特征信息自适应组合，增加模型对边缘特征的提取力。即将式（7）中的f（·）替换成式（12）中f（·），即为中频特征提取块。中频特征有效的提取将图像分解为不同的结构，有助于模型后续对高频特征即细节特征的处理和利用。

1.3.3 高频特征提取块

提取高频信息是图像超分辨重建技术的关键，因此设计HFB。如图3（c）所示，为了得到模糊图像信息即低频信息，将LFB和MFB的输出结合作为输入图像信息x，经过池化的缩放操作后，采用最近邻上采样将图像信息尺寸放大到最初尺寸。最后将输入图像信息与得到的低频信息做差，经过卷积和激活函数的处理得到高频信息fH。表达式如下：

F6=x－fbilinear（favgpool（x）），

F7=fsigmoid（fconv（F6）+x）

F8=fconv（x）·F7， fH=f（F9）（13）

将提取的高频信息嵌入轻量化晶格信息交互块，高频信息与特征信息自适应结合，增加模型对纹理细节特征的提取力。即将式（7）中的f（·）替换成式（13）中的f（·），即为高频特征提取块。

1.4 LBP特征提取算法

纹理特征提取是超分辨的关键性任务之一，而卷积神经网络作为近些年主流方法，并未对该特征的提取有针对性体现，因此本文把传统特征提取算法局部二值模式（LBP）引入神经网络，使模型更精准地提取关键特征信息。LBP是一种描述图像局部纹理的算法。与传统卷积类似，LBP是通过滑动窗口来提取图像的纹理。原始的LBP算子定义3×3窗口，将中心像素作为基点，把邻域像素值与其比较，若邻域像素值大于等于基点值，则标记为1，否则标记为0。如前所述从窗口的左端开始顺时针比较，得到一个8位的二进制值。再将其转换为十进制值，正好对应8位图像的灰度值。利用这个方法遍历整个图像，得到提取的纹理图像。表达式为

LBP（xc，yc）=∑p－1p=02pq（ip－ic）（14）

其中：（xc，yc）为中心像素坐标；p为邻域的第p个像素；ip为邻域像素的灰度值；ic为中心像素的灰度值；q（·）为符号函数，表达式如下：

q（x）=1 x≥00 x<0（15）

传统的LBP算法仅具有灰度不变性。为了适应更多尺寸的纹理特征，同时也满足旋转不变性，本文将更精细化的圆形LBP算法引入模型的残差连接分支上。如图1所示，将特征层次提取模块的输入采用LBP算法提取出局部纹理信息，再连接至末端融合输出。值得一提的是，LBP算法机理是通过图像本身的像素值进行局域性的运算，无须额外参数量，因此以更经济的方式传递了纹理信息，进一步增强了网络对细节的修复能力。

2 实验结果与分析

2.1 训练细节

本文提出的网络模型输入和输出数据形式为RGB图像，使用双三次插值对训练HR图像进行下采样合成LR图像。训练时从LR图像随机裁剪出16个特定大小的色块作为一个batchsize输入，每个LR色块的大小为64×64。模型由Adam优化器训练，其中β1=0.9，β2=0.999，epsilon=10-8，学习率初始化为1E－4，每200个epoch将衰减一半，整体通过L1损失函数经过1 000次训练。模型使用PyTorch框架实现，在单个NVIDIA 2080Ti GPU上完整运行仅仅需要两天时间。

2.2 数据集

在数据集的设置上，使用DIV2K数据集训练模型，该数据集覆盖了多种场景，包括人物、动植物、自然风景、建筑物等，有利于训练模型在不同类型图像上的泛化能力，其中包括用于训练集的800张多类型高质量图像，以及用于验证和测试的200张图像。

使用四个基准数据集作为测试数据集，分别是Set5、Set14、B100、Urban100。每个数据集都包含不同的图像类型和特征。Set5和Set14数据集分别包含5张和14张高分辨率图像，相对较小的规模使得算法在短时间内可以快速进行评估；B100数据集包含100张高分辨率图像，大样本规模有助于更全面地了解算法的泛化能力和稳健性；Urban100数据集包含100张城市景观的高分辨率图像，可以用于测试算法在包含复杂场景和细节的图像上的性能。

2.3 消融实验

2.3.1 多频率提取研究

为了验证本文提出的多频率特征提取的有效性，将多频提取特征模块内部替换成三种不同结构进行消融实验，相应结果如表1和图4所示。表1中，LLL表示三个常规的特征提取块，LML表示两个常规特征提取块中加一个中频特征提取块，LLH表示两个常规特征提取块和一个高频特征提取块，LMH表示本文提出的结构，即一个低频特征提取块、一个中频特征提取块以及一个高频特征提取块。从表中数据可知，本文设计的结构效果均优于不做任何频率分离的特征提取和只做中频或高频分离的特征提取的效果；图4是四种结构训练1 000次的精度折线图，从图中可以明显看出，使用LMH模块的MFEN模型在250个周期后趋于稳定，此外，相较于三个未使用LMH模块的MFEN模型，其在PSNR数值上提升了0.42 dB，该结果证明了LMH模块的有效性。

2.3.2 轻量化晶格信息交互结构研究

对于这部分研究，分两个方向进行实验说明：

首先将传统的晶格块结构（TL）替换模型的轻量化晶格信息交互结构（CL）进行训练，结果如表2所示，传统晶格块模型效果比本文模型的效果高0.05 dB，然而参数量多了近十万。由于本文研究轻量级模型，综合精度与参数量来考虑，本文模型更具优势。

其次将传统卷积块组合（NL），即conv3+ReLU+conv3+ conv1替换模型中改进的晶格块，为公平比较，替换的模块与本文结构具有近似的复杂性。结果如表2所示，在参数量相近的前提下，本文模型提高了0.16 dB。

2.3.3 LBP研究

LBP算法作用是反映图像的局部细节纹理，图5是使用LBP算法后可视化图像，反映出来图像中的轮廓以及细节纹理，因此从理论上该算法是有效的；为进一步验证LBP算法在模型中对纹理特征感知的有效性，设计在放大因子为4的前提下将LBP算法从模型中删除后进行训练。实验结果如表3所示。在两个数据集上，有LBP算法的模型效果（PSNR）均更佳。

2.4 结果对比分析

为了验证MFEN的有效性，与其他经典先进的方法进行比较，其中SRCNN［9］ 、FSRCNN［10］、DRCN［11］ 、VDSR［23］和LapSRN［24］为图像超分辨的经典深度学习模型，代表了图像超分辨领域的关键发展，IDN［13］ 、CARN-M［12］、LESRCNN［15］、MADNet［25］、A2F-S［26］和FeNet［5］为轻量化图像超分辨领域经典先进模型的代表。同时采用自集成方式进一步评估本文模型，用“+”标记。为了结果的可比较性，所有的测试都在四个公共数据集上进行：Set5、Set14、B100和Urban100。

此处的经典先进模型使用的是通用数据。在参数和精度的综合评估下，MFEN模型在不同公开数据集中取得了更好的效果。此外，MFEN+模型的PSNR值和SSIM值的各个比例因子都全面超越其他SISR模型。

以数据集Set5为例，MADNet模型的参数量比MFEN模型要高出一倍有余，其PSNR值和SSIM值都略低于MFEN，其中在放大因子为2的情况中，MFEN的PSNR值比MADNet高出0.12 dB；与参数量相当的CARN-M模型相比，MFEN在放大因子为4时表现力略微逊色的情况下，也高出了0.13 dB；对于不同放大因子，MFEN的PSNR值和SSIM值已全面超越参数量较小的FeNet模型。

图6随机选取了定量比较中的四个模型进行定性比较，从更直观的角度证明了MFEN模型的优势，分别在放大因子为2的Set14数据集、放大因子为4的Urban100和B100数据集上进行视觉比较。可以看出，本文模型重建出的SR相比于其他模型而言，本文模型从视觉效果和纹理细节角度都更接近HR图。例如本文模型重建出的Set14图像中胡须和褶皱都更加明显清晰；在Urban100的建筑物轮廓信息中，VDSR、DRCN、IDN等模型恢复的轮廓发生了不同程度的模糊与扭曲，而本文模型较清晰完整地恢复出了轮廓信息。

为了从精度、参数量和计算量三个方面对模型进行比较，将本文模型与多个经典模型和轻量模型进行对比，即FSRCNN、VDSR、IDN、MemNet、LapSRN、CARN-M、A2F-S、BTSRN，并以图7的形式展现，横坐标代表参数，纵坐标代表精度，而圆圈的面积与计算量成正比。如图7所示，在参数量、运算量都要高的情况下，MemNet、VDSR、LapSRN模型比本文模型精度反而更低；在运算量相当的情况下，A2F-S、IDN精度比本文更低；在参数量相当的情况下，BTSRN比本文模型精度略低、运算量略大。综上本文模型从以上三个方面综合结果最佳。

3 结束语

针对图像超分辨率重建网络中常见的参数量过大、频率信息利用不充分、计算资源分配不合理等问题，本文提出了一种基于多频率特征提取的轻量级网络。其中设计的轻量化信息交互结构利用通道分割、简化思想以及内部卷积组合的设计，使网络在保持性能的同时达到轻量化的效果，并采用通道注意力机制生成通道权值进行高效信息交互；设计的多频率特征提取模块，将不同频率信息分离并提取特征，使网络整体性能和效率提升；同时在残差路径上嵌入LBP特征提取算法，提取出局部细节纹理信息，增强网络对细节纹理的提取能力。实验表明，MFEN在精度和参数量的综合评估下具有良好的重建性和优势。后续将重点研究如何进一步提升图像超分辨率重建网络的泛化能力，解决由于数据集的类型差异较大而导致的性能衰减问题。

参考文献：

［1］王拓然，程娜，丁士佳，等. 基于自适应注意力融合特征提取网络的图像超分辨率 ［J］. 计算机应用研究，2023，40（11）： 3472-3477. （Wang Tuoran，Cheng Na，Ding Shijia，et al. Image super-resolution based on adaptive attention fusion feature extraction network ［J］. Application Research of Computers，2023，40（11）： 3472-3477.）

［2］孙磊，张洪蒙，毛秀青，等. 基于超分辨率重建的强压缩深度伪造视频检测 ［J］. 电子与信息学报，2021，43（10）： 2967-2975. （Sun Lei，Zhang Hongmeng，Mao Xiuqing，et al. Super-resolution reconstruction detection method for deep fake hard compressed videos ［J］. Journal of Electronics & Information Technology，2021，43（10）： 2967-2975.）

［3］Gao Guangwei，Tang Lei，Wu Fei，et al. JDSR-GAN： constructing an efficient joint learning network for masked face super-resolution ［J］. IEEE Trans on Multimedia，2023，25： 1505-1512.

［4］Chen Chao，Raymond C，Speier W，et al. Synthesizing MR image contrast enhancement using 3D high-resolution ConvNets ［J］. IEEE Trans on Biomedical Engineering，2023，70（2）： 401-412.

［5］Wang Zheyuan，Li Liangliang，Xue Yuan，et al. FeNet： feature enhancement network for lightweight remote-sensing image super-resolution ［J］. IEEE Trans on Geoscience and Remote Sensing，2022，60： 1-12.

［6］Han J W，Suryanto，Kim J H，et al. New edge-adaptive image interpolation using anisotropic Gaussian filters ［J］. Digital Signal Processing，2013，23（1）： 110-117.

［7］Su Jian，Xu Zongben，Shum H Y. Image super-resolution using gradient profile prior ［C］// Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Piscataway，NJ： IEEE Press，2008： 24-26.

［8］Li Bo，Liu Risheng，Cao Junjie，et al. Online low-rank representation learning for joint multi-subspace recovery and clustering ［J］. IEEE Trans on Image Processing，2018，27（1）： 335-348.

［9］Dong Cao，Chen C L，He Kaiming，et al. Image super-resolution using deep convolutional networks ［J］. IEEE Trans on Pattern Analysis and Machine Intelligence，2016，38（2）： 295-307.

Iowzw/mP+oY10KUWrKcYGw==

［10］Dong Cao，Loy C C，Tang Xiaoou. Accelerating the super-resolution convolutional neural network ［C］// Proc of European Conference on Computer Vision. Cham： Springer，2016： 391-407.

［11］Kim J，Lee J K，Lee K M. Deeply-recursive convolutional network for image super-resolution ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2016： 1637-1645.

［12］Ahn N，Kang B，Sohn K A. Fast，accurate，and lightweight super-resolution with cascading residual network［C］// Proc of the 15th European Conference on Computer Vision.Berlin： Springer，2018： 252-268.

［13］Hui Zheng，Wang Xiumei，Gao Xinbo. Fast and accurate single image super-resolution via information distillation network ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2018： 723-731.

［14］Hui Zheng，Gao Xinbo，Yang Yunchu，et al. Lightweight image super-resolution with information multi-distillation network ［C］// Proc of ACM International Conference on Multimedia.New York： ACM Press，2019： 2024-2032.

［15］Tian Chunwei，Zhuge Ruibin，Wu Zhihao，et al. Lightweight image super-resolution with enhanced CNN ［J］. Knowledge-Based Systems，2020，205： 106235.

［16］Park K，Soh J W，Cho N I. A dynamic residual self-attention network for lightweight single image super-resolution ［J］. IEEE Trans on Multimedia，2021，25： 907-918.

［17］叶盛楠，苏开娜，肖创柏，等. 基于结构信息提取的图像质量评价 ［J］. 电子学报，2008，36（5）： 856-861. （Ye Shengnan，Su Kaina，Xiao Chuangbo，et al. Image quality assessment based on structural information extraction ［J］. Acta Electronica Sinica，2008，36（5）： 856-861.）

［18］Parichehr B，Pau R，Carles F T，et al. Frequency-based enhancement network for efficient super-resolution ［J］. IEEE Access，2022，10（1）： 57383-57397.

［19］Zhang Zicheng，Sun Wei，Min Xiongkuo，et al. A no-reference deep learning quality assessment method for super-resolution images based on frequency maps ［C］// Proc of IEEE International Symposium on Circuits and Systems. Piscataway，NJ：IEEE Press，2022： 3170-3174.

［20］Luo Xiaotong，Qu Yanyun，Xie Yuan，et al. Lattice network for lightweight image restoration ［J］. IEEE Trans on Pattern Analysis and Machine Intelligence，2023，45（4）： 4826-4842.

［21］Li Bodong，Gao Xieping. Lattice structure for regular linear phase paraunitary filter bank with odd decimation factor ［J］. IEEE Signal Processing Letters，2013，21（1）： 14-17.

［22］Zhang Qinglong，Yang Yubin. SA-Net： shuffle attention for deep convolutional neural networks ［C］// Proc of IEEE International Confe-rence on Acoustics. Piscataway，NJ：IEEE Press，2021： 2235-223.

［23］Kim J，Lee J K，Lee K M. Accurate image super-resolution using very deep convolutional networks ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ：IEEE Press，2016： 1646-1654.

［24］Lai Weisheng，Huang Jiabin，Ahuja N，et al. Deep Laplacian pyramid networks for fast and accurate super-resolution ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ：IEEE Press，2017： 624-632.

［25］Lan Rushi，Sun Long，Liu Zhenbing，et al. MADNet： a fast and lightweight network for single-image super resolution ［J］. IEEE Trans on Cybernetics，2021，51（3）： 1443-1453.

［26］Wang Xuehui，Wang Qing，Zhao Yuzhi，et al. Lightweight single-image super-resolution network with attentive auxiliary feature learning ［C］// Proc of the 15th Asian Conference on Computer Vision Workshops. Cham： Springer，2021： 1-17.

［27］盘展鸿，朱鉴，迟小羽，等. 基于特征融合和注意力机制的图像超分辨率模型 ［J］. 计算机应用研究，2022，39（3）： 884-888. （Pan Zhanhong，Zhu Jian，Chi Xiaoyu，et al. Image super-resolution model based on feature fusion and attention mechanism ［J］. Application Research of Computers，2022，39（3）： 884-888.）

［28］Mehri A，Behjati P，Sappa A D. TnTViT-G： transformer in transfor-mer network for guidance super resolution ［J］. IEEE Access，2023，11： 11529-11540.

［29］杨树媛，曹宁，郭斌，等. 基于双模式联合三边滤波器的深度图像超分辨率方法 ［J］. 计算机应用研究，2021，38（11）： 3472-3477. （Yang Shuyuan，Cao Ning，Guo Bin，et al. Depth map super resolution based on dual mode joint trilateral filter ［J］. Application Research of Computers，2021，38（11）： 3472-3477.）