多耦合反馈网络的图像融合和超分辨率方法

王 蓉，端木春江

浙江师范大学计算机科学学院，浙江 金华 321000

高动态范围和超分辨率成像技术使图像、视频等媒体呈现出更生动的色彩和更丰富的纹理信息，从而达到更逼真、更沉浸式的视觉体验效果，在电子摄影、视频制作、虚拟现实以及国防安全等领域受到了广泛关注。与现实场景相比，本文常用的图像设备拍摄的图片动态范围十分有限，且图片分辨率较低。而且研究表明，高动态范围（high dynamic range，HDR）的图像比低动态范围（low dynamic range，LDR）图像可以提供更丰富的细节信息，高分辨率（high resolution，HR）图像对人脸识别、目标检测、行为识别等人工智能算法提供更高的准确性。图像多曝光融合（multi exposure fusion，MEF）和超分辨率（super resolution，SR）作为两个技术手段分别解决低动态范围和低分辨率（low resolution，LR）的问题。

目前，大多数多曝光融合方法都采用三步融合过程：首先衡量LDR 图像序列的像素质量，然后设计融合策略、构建权重，最后与原LDR图像加权求和得到最终融合图像。例如，Ma 等[1]提出快速多曝光方法，通过全卷积网络预测LDR 图像序列的权重图，并且利用引导滤波器优化权重。Bavirisetti 等[2]提出了多尺度引导滤波方法，通过多尺度图像分解和结构传递，传输像素级互补的源图像信息到融合图像。Ma 等[3]提出了基于结构块分解方法，通过分解图像块为三个独立的部分，信号强度，信号结构，平均强度，分别融合处理三个结构分量，从而解决重影问题。Li等[4]针对结构块分解方法存在的光晕以及伪影问题，提出了快速多尺度结构块分解的方法，通过结构块隐式分解，有30倍的加速。Xu等[5]提出了生成对抗网络的多曝光融合方法，利用生成器和对抗鉴别器的对抗关系，实现了融合图像的概率分布接近真实图像。上述所有算法中的神经网络结构都是前馈的，由于前馈网络的感受视野小，获取的上下文信息不足。浅层卷积层提取的特征表达能力不足，后面的卷积层中会重新利用浅层特征，导致网络的重建能力降低。

近年来卷积神经网络的方法对单幅图像超分辨率（SⅠSR）有较好的效果，SRCNN[6]是第一个深度卷积神经网络的图像超分辨率方法，通过学习非线性映射将LR特征映射到HR 特征中。VDSR[7]是一个非常深的卷积神经网络，通过学习LR 图像和HR 图像之间的残差特征，从而快速地收敛模型。SRCNN[6]和VDSR[7]都是预先将LR 图像放大到和HR 图像同样的大小，这种方式可能会增加训练复杂度。为了克服这个缺点，Dong等[8]提出了基于沙漏型卷积神经网络结构的图像超分辨率方法，通过先缩小后扩大特征通道数目来学习LR图像到HR图像的非线性映射，可以有效地减少计算量。Haris等[9]发现很多方法没有充分探索LR 图像和HR 图像之间的关系，提出了基于深度反投影网络的图像超分辨率方法，通过迭代的反卷积层和卷积层对LR 图像进行上采样和下采样，从而学习到更深层次的特征。Li等[10]发现反馈机制没有很好地应用于图像超分辨率中，提出了基于反馈网络的图像超分辨率，通过高质量信息引导，细化低质量信息，能更好地重建超分辨率图像。

然而现有的方法将MEF 和SR 分别作为单独的分支来研究，如果将它们简单地进行联合，实现的效果不太理想。因此，本文需要将MEF 和SR 建立联系，利用更有效的方法，探索其中的相关性。本文提出了一种基于多耦合反馈网络MCF-Net 及其方法。模型包括：N个子网和输出模块；在方法中，首先，将N张下采样图片,,分别输入至N个子网，提取的低分辨率特征,,；然后，根据低分辨率特征,,提取对应图像的超分辨率特征,,；得到融合高分辨率特征,,并输入至下个MCFB 中，直至第T个MCFB 得到融合高分辨率特征,,；然后，获取对应的融合超分辨率图像,,；最后，融合N个子网中第T个重建模块REC 输出的,,得到高动态范围、超分辨率图像Iout。实验结果表明，和传统融合方法相比，无论在客观评价还是主观评价，本文方法都能取得较好的融合效果和超分辨率结果。此外，本文在消融实验中开展了对比分析，以得到极度曝光子网和非极度曝光子网之间最有效的耦合方式，以及得到极度曝光子网和中间曝光子网的最优融合权重。

1 相关工作

1.1 图像超分辨率方法

Li等[10]提出了基于反馈网络的超分辨率方法，反馈网络利用反馈块CFB，充分提取低频深层特征，重建产生SR图像，并且将提取出的低频特征传递给下个CFB，最后一个反馈块重建产生最终的SR图像。

反馈模型包括三部分，分别是初始特征提取块、深层特征反馈块和重建块。LR图像先经过两层卷积层计算和激活层提取出浅层特征；浅层特征输入至反馈块提取深层特征；然后一方面将深层特征输入至反卷积层，和LR图像的上采样元素相加得到SR图像，另一方面将深层特征联合浅层特征，输入至反馈块提取得到精细化的特征，其中t表示反馈块的个数；最后一个反馈块的特征输入至反卷积层，目的是将特征尺寸调整到HR图像大小，然后通过卷积层计算，完成最后的重建。反馈结构如图1所示。

图1 反馈网络结构Fig.1 Feedback network structure

1.2 图像融合方法

Deng 等[11]提出了基于耦合反馈网络的图像曝光融合和超分辨率方法，将反馈机制应用于图像曝光融合中。耦合反馈网络通过耦合反馈块融合极高曝光信息和极低曝光信息，并且采用耦合反馈机制，两个子网分别进行多次特征耦合以及特征提取得到更深层次的融合特征。在此之前的反馈结构是同层反馈特征进行提取和细化，而耦合反馈块允许不同子网的反馈特征进行信息交互，使得极高曝光子网和极低曝光子网都耦合了互补的曝光信息。其网络结构如图2所示。

图2 耦合反馈块结构Fig.2 Coupled feedback block structure

传统的卷积网络只能解决低分辨率问题或图像曝光融合问题，而耦合反馈网络通过耦合反馈机制建立超分辨率任务和多曝光融合任务之间的内在联系，从而同时实现超分辨率和图像多曝光融合；此外耦合反馈块采用迭代的上采样层和下采样层对耦合信息进行充分提取，提取出两个耦合特征的深层信息。

然而极高曝光图像和极低曝光图像所含有的动态范围极其有限，它们仅有部分亮度细节和暗部细节，而缺乏中间曝光细节。耦合反馈网络从极度曝光图像中提取出的色彩信息以及纹理细节较少，即使采用耦合反馈机制进行深层融合，最终产生的融合图像和真实图像的动态范围也有较大差距，色彩饱和度缺失，纹理细节还不够丰富。本文提出的多耦合反馈网络的输入包含N个均匀曝光的图像，分别输入至对应的N个子网中。在多耦合反馈网络中，中间子网接收来自极度曝光子网输出的极高曝光信息和极低曝光信息，极高曝光子网和极低曝光子网相互传递互补的曝光信息，介于极高曝光和中等曝光的子网和对应的介于极低曝光和中等曝光的子网相互传递互补的曝光信息。因此N个子网每次迭代都获取了互补的曝光信息，从而融合得到亮度均衡的曝光信息，经过T次迭代，每个子网都得到了深层融合的曝光信息，中间子网将中等曝光信息和极度曝光信息进行充分融合，得到亮度范围更广的曝光信息，因此最终的融合超分辨率图像亮度范围更广泛、分辨率更高。

2 网络结构

本文提出了多耦合反馈网络的多曝光低分辨率图像融合方法，该方法建立了多个深度卷积神经网络，分别提取极度曝光信息和非极度曝光信息。图3 展示了多耦合反馈网络的多曝光低分辨率图像融合结构，包括：N个子网和输出模块。

图3 多耦合反馈网络模型Fig.3 Model of multi-coupled feedback network

N个子网分别对应N张下采样图像,,，其中,i为0 时，,表示极高曝光、低分辨率图像和极低曝光、低分辨率图像,i大于0时，,分别表示介于极高曝光和中等曝光的过曝光、低分辨率图像和介于极低曝光和中等曝光相同程度的欠曝光、低分辨率图像，表示中等曝光、低分辨率图像；每个子网均包括浅层特征提取块FEB、超分辨率块SRB、多耦合反馈网络和重建模块REC并依次连接。

浅层特征提取块FEB，用于提取,,的LR特征,,,其中

每个多耦合反馈网络均包含T个多耦合反馈块MCFB，上层子网用于获取，得到融合HR特征，下层子网用于获取，得到融合HR特征,中间子网用于获取得到融合HR 特征,并将融合特征分别输入至同一子网的重建块REC中；其中，为上层子网的第i个子网的第t-1 个MCFB 输出的融合HR 特征，为下层子网的第i个子网的第t-1 个MCFB 输出的融合HR特征；为中间子网的第t-1 个MCFB输出的融合HR特征。

重建块REC，用于接受超分辨率块SRB 输出的SR特征或多耦合反馈网络输出的融合SR 特征，其中根据SR 特征得到对应的SR 残差图像，根据融合HR 特征得到对应的融合SR残差图像，并将获取的SR残差图像或融合SR 残差图像与对应图像的上采样图像进行元素相加，分别生成原LR、LDR的SR重建图像,,或对应的具有融合特征的SR图像；

输出模块，用于融合每个子网的最后一个SR 重建图像得到HDR、SR重建图像Iout。

2.1 超分辨率块（SRB）

N个多重曝光的LR 图像输入至N个子网络的FEB 提取得到浅层特征，之后输入至SRB进行提取和细化得到高质量特征。在SRB中，本文采用迭代的上采样反卷积层和下采样卷积层构成。如图4所示，每个工作组的反卷积层和卷积层分别采用跳跃连接，这样不仅增加了各工作组特征之间的联系，并且通过特征重用的方式，从而生成表达能力强的特征。SRB按顺序包含六个工作组，通过跳跃连接进行特征重用。每个工作组主要有一个上采样层和下采样层，它们分别用来将LR 特征反投影到HR 特征中和HR 特征投影到LR 特征中。设Lj和Hj分别是第j个工作组的LR 特征图和HR特征图，Lj可以表示为：

图4 超分辨率模块结构Fig.4 Super-resolution module structure

其中，Conv(·)是在第j个工作组使用卷积Conv(k,p)的下采样操作。除第一个工作组外，在DeConv(·) 和Conv(·)之前加入卷积Conv(1,p)以压缩通道数，有效减少参数。

为了有效利用每个工作组的特征，并且确保传递给MCFB 的特征图大小相同，对每个工作组的LR 特征进行融合，SRB的输出表示如下：

其中，Conv1×1是Conv(1,p)；根据实验，这里融合的特征不包括L0效果更好。

N个浅层特征通过SRB 分别输出,,。SRB 和MCFB 都采用反馈块结构，但是SRB用来学习多重曝光的低分辨率图像的深层特征，为之后多曝光融合做准备，因此它重建产生LDR、SR图像。而MCFB 用来融合互补的曝光特征，重建得到HDR、SR图像。

2.2 多耦合反馈网络

N个浅层特征经过SRB 后，图像的大部分纹理细节保留在深层特征中，因而针对深层特征选择合适的融合策略将很大程度影响融合性能的好坏。传统的基于耦合反馈机制的算法中，仅仅将极高曝光特征和极低曝光特征进行融合，这种融合得到的图像缺乏部分中间曝光细节。多耦合反馈网络将多个互补的曝光信息进行充分融合，从而产生动态范围更广，分辨率更高的图像。

2.2.1 多耦合反馈机制

很多研究[9-10]证明，反馈机制对图像重建效果有用。多耦合反馈网络采用多耦合反馈机制，用来细化超分辨率特征和多曝光融合特征。每个多耦合反馈网络均包含T个多耦合反馈块MCFB 依次连接，第t次迭代的MCFB 接收到多个子网的反馈信息来纠正同一子网的浅层表达Flr，然后将更强大的深层表达输入至下一次迭代和重建块。

上层子网包括极高曝光子网和过度曝光子网，第t-1 个MCFB 的输入分别是极高曝光特征和过度曝光特征，它们只拥有亮度细节，而缺乏暗部细节，因此提供下层子网中对应的极低曝光特征或欠曝光特征。上层子网中第i个上层子网的第t个MCFB 的输出可以表示为：

其中，为第i个上层子网的FEB 提取的极高曝光或过度曝光浅层特征，为第i个上层子网的第t-1个MCFB的反馈特征，为第i个下层子网的第t-1个MCFB的反馈特征。

从上式可以看出，,为同一子网的特征，有助于实现超分辨率，而为不同子网的互补曝光特征，有利于实现多曝光融合。fMCFB为MCFB 操作，用来实现互补曝光特征的融合。

下层子网包括极低曝光子网和欠曝光子网，第t-1个MCFB 的输入分别是极低曝光特征和欠曝光特征，它们只拥有暗部细节，而缺乏亮度细节，因此提供下层子网对应的极高曝光特征。第i个下层子网的第t个MCFB的输出可以表述为：

其中，为第i个下层子网的FEB提取的极低曝光或欠曝光浅层特征。

上层子网和下层子网通过MCFB 相互传递互补曝光特征并且充分融合，因此它们会分别改善曝光不均衡的问题。

中间子网既包含部分亮度细节，又有部分暗部细节，但它缺乏极度曝光下的细节，因此提供极度曝光特征可以补充它的不足。中间子网的第t个MCFB 的输入分别为中等曝光浅层特征,中等曝光子网的第t-1 个MCFB 提取的反馈特征，极高曝光子网和极低曝光子网的第t-1 个MCFB 提取的反馈特征,。中间子网的第t个MCFB 的输出可以表述为：

设t=1,分别是为极高曝光或过曝光子网、中等曝光子网和极低曝光或欠曝光子网的SRB输出的深层特征。

设每个子网MCFB的数量为T，那么总共会产生NT个重建图像，即，其中：根据多耦合反馈机制的实验表明，每个子网的第t个MCFB比第t-1 个MCFB重建生成的图像质量更高。因此本文使用每个子网的第T个MCFB的重建图像。最终的融合图像表述为：

其中，wi,w-i,wm分别为上层子网、下层子网和中间子网重建图像的权重。这里没有直接参与融合图像的生成，但是每个MCFB的重建图像可以使是高质量的融合特征，从而保障是每个子网中最丰富的融合图像，其中：T≥t≥1,

2.2.2 多耦合反馈块（MCFB）

多耦合反馈块MCFB 将互补的曝光信息,,进行充分融合，并且细化同一子网的浅层特征Flr，从而得到更深层次的融合特征。图5 展示了极高曝光子网、中等曝光子网和极低曝光子网中第t次迭代MCFB的结构以及它们之间的联系。

如图5 所示，中等曝光子网的第t个MCFB 接受四个输入：中等曝光子网的FEB提取的浅层特征和第t-1 个MCFB 输出的反馈特征，极度曝光子网的反馈特征,。三个反馈特征分别实现不同功能，是同一个子网的反馈特征，用来细化浅层特征，促进超分辨率的效果。,为中间网络提供亮度细节和暗部细节，用来促进多曝光融合效果。

在MCFB开始时，通过卷积层Conv(1,p)对,,,进行拼接和压缩，产生重新优化的输入特征，公式表达如下：

其中，Cin为初始压缩卷积操作，为的通道拼接。

之后通过多个工作组对进行提取和细化，工作组之间使用跳跃连接。每个工作组包含一个上采样操作和一个下采样操作，用来将LR 特征反投影到HR特征以及将HR 特征投影到LR 特征。设和是第t个MCFB 的第b个工作组产生的LR特征和HR特征，可以表示为：

其中，为第b个工作组使用反卷积层DeConv(k,p)进行上采样操作。从上式可以看出，前b-1 个工作组的所有LR 特征联合后的特征输入至反卷积层。同样是前n-1 个工作组的HR特征联合，再经过Conv层产生的LR特征。可以表示为：

其中，为第n个工作组的卷积层Conv(k,p)进行下采样操作。

由于,是极度曝光网络的反馈特征，用来促进图像多曝光融合。然而随着工作组数量不断增加，图像融合的效果开始会变好，后面逐渐变差。可能是经过工作组多次反卷积和卷积操作，,的记忆逐渐消退。为了加强,的影响，不仅在MCFB 的开始提供极度曝光信息,，还要在中间的工作组再次提供信息，重新激活,的记忆。设工作组的数量为B，则在第个工作组，将,,拼接，产生重新优化的LR特征，表示如下：

其中，Cout为Conv(1,p)。融合的特征没有效果更好。第t个MCFB的输出特征有两个流动方向，一方面重建为SR融合图像，促进形成高质量融合特征；另一方面提供反馈特征给第t+1 个MCFB，继续细化浅层特征以及融合极度曝光特征和中等曝光特征。

上面主要描述了中等曝光子网中MCFB 结构。由于中等曝光子网缺乏部分亮度细节和暗部细节，提供极度曝光子网的特征,给中等曝光子网的MCFB，促进极度曝光信息和中等曝光信息的融合，从而得到曝光信息更加丰富的特征。而上层子网更缺乏暗部细节，因此上层子网的第i个子网的第t个MCFB 的输入为：有助于实现超分辨率，促进亮度信息和暗部信息的融合。由于下层子网更缺乏亮度细节，因此下层子网的第i个子网的第t个MCFB的输入为

2.3 损失函数

本文网络同时实现图像超分辨率和图像曝光融合，损失函数包括：

（1）在每个子网中，原低动态范围、低分辨率的超分辨率重建图像与对应的地面真实图像之间的损失，通过平均结构相似度作为损失函数。

（2）在每个子网中，每个MCFB 的多曝光融合后的超分辨率重建图像与地面真实图像Igt之间的损失，通过平均结构相似度作为损失函数：

其中，LSSIM(·)为结构相似性损失函数；分别表示HR极高曝光或过曝光真实图像、HR中等曝光图像和HR 极低曝光或欠曝光真实图像；Igt表示HR、HDR标准图像；λ1为超分辨率的损失权重，λ1为多曝光融合与超分辨率的损失权重，经过大量实验，表明当λ1=λ2=1 时，多曝光融合效果与超分辨率结果最好。所有损失可以分为两类，前一种是保障SRB 的超分辨率效果，后一种是保障每个MCFB的多曝光融合效果。通过端到端的方法训练整个网络，不断降低损失值，直到损失稳定为止。

3 实验结果

3.1 实验建立

（1）数据集和数据预处理

本文的模型使用SⅠCE 数据集[12]作为训练、验证和测试数据。实验中，将数据集以350、100、100的比例分为训练集、验证集和测试集。为了产生LR训练数据集，本文将HR 图像进行双三次下采样，分别为2 倍下采样和4倍下采样。

实验实施细节：本文模型中，采用多曝光图像数量N为3，每个子网的MCFB 个数均为3。本文实验使用Pytorch 来实现和训练网络模型，通过ADAM 来优化网络的权重，学习率初始值设置为1E-4，并且每200 轮衰减0.5，学习率下限为1E-6。实验中，采用NVⅠDⅠA GeForce RTX 3090GPU来加快训练速度。每个子网包括FEB、SRB、MCFB 和REC，表1 展示了模块的网络参数。所有模块的Conv 层和DeConv 层都使用PReLU 激活函数。

（2）对比方法

本文提出的多耦合反馈网络同时实现了图像超分辨率和多曝光融合，而目前大多数方法主要研究图像超分辨率或者图像曝光融合，很少将图像超分辨率和曝光融合联合起来，因此本文将目前最前沿的图像超分辨率方法和最前沿的图像曝光融合方法结合作为对比实验。图像超分辨率的方法主要有RLFN[13]、SCET[14]、RCAN[15]、SRFBN[10]、SWinⅠR[16]，图像曝光融合方法主要有MEFNet[1]、FAST SPD-MEF[4]、MEF-GAN[5]、U2Fusion[17]。本文结合4种SR方法和4种MEF方法，并且改变SR方法和MEF方法顺序，即SR+MEF或者MEF+SR，产生32种对比方法。同时选取了CF-Net[11]进行比较。为了客观评估所提方法的性能，本文在SⅠCE 公开数据集上进行实验并且与其他33种方法进行比较。

3.2 客观评价指标

本节选择3个指标（结构相似性、峰值信噪比、多曝光融合结构相似性）来客观评价所提方法和对比方法的性能。

（1）峰值信噪比（peak signal-to-noise ratio，PSNR），公式如下：

其中，MSE（mean square error）表示当前图像X和参考图像Y的均方误差，n为每像素的比特数，一般取8，即像素灰阶数为256。

（2）结构相似性（structural similarity，SSⅠM[18]），通过亮度、对比度和结构比较两张图像块的差异。SSⅠM值越大，融合效果越好。

（3）多曝光融合结构相似性（multi-exposure image fusion structural similarity，MEF-SSⅠM[19]），为多曝光图像融合任务的性能评价指标，从图像结构和内容方面比较融合图像与源图像的相似性，相较于SSⅠM，MEFSSⅠM 更加注重图像色差以及色彩偏离度等信息，公式如下：

3.3 实验与分析

在本节中，首先验证耦合反馈机制性能；然后通过大量的定量和可视化评估，验证了本文算法可以表现优良的性能。实验对比了33种不同的多曝光图像融合和超分辨率算法，这33 种方法涵盖了卷积神经网络的五大类算法：（1）基于生成对抗网络的算法（MEF-GAN）；（2）基于残差注意力机制的算法（RCAN）；（3）基于多尺度结构块分解的算法（Fast SPD-MEF）；（4）基于Transformer的算法（Swin-ⅠR）；（5）基于反馈网络的算法（SRFBN）。最后进行消融实验分析。

3.3.1 多耦合反馈机制验证

本小节实验中探讨了多耦合反馈机制对图像融合的效果。极高曝光子网、中间子网和极低曝光子网的第一个到第三个MCFB 的图像质量评价如表2 所示。其中：PSNR，SSⅠM，MEF-SSⅠM 这4 个指标值越大表示图像质量越高。从表2 可以看出第t+1 个MCFB 的重建图像比第t个MCFB的重建图像的效果更好，这说明多耦合反馈机制确实可以提升融合图像的性能，因此本文选择T=3 的MCFB个数。

表2 多耦合反馈机制对多耦合反馈网络的影响Table 2 Ⅰnfluence of multi-coupling feedback mechanism on MCF-Net

3.3.2 客观评价

为了验证本文方法在2倍放大下的有效性，本文使用SⅠCE 数据集[12]，与其他先进方法进行比较。这些对比方法是由SR 方法和MEF 方法相结合的，表3 展示了本文的方法与对比方法进行2 倍放大在PSNR、SSⅠM、MEF-SSⅠM这3种指标下的结果。表格的上部分展示了SR 方法在MEF 方法之前执行（SR+MEF）的对比结果，而下部分展示的是MEF 方法在SR 方法之前执行（MEF+SR）的对比结果。

表3 2倍放大下的融合结果对比Table 3 Comparison of fusion results under magnification factor of 2

表3中的每种方法都采用100对图像融合后的平均值作为评价指标，将融合质量指标第一的数值用黑体突出，排名第二的值用下划线突出。从表3 可以看出，本文的方法融合效果最好，在34 种方法中PSNR、SSⅠM、MEF-SSⅠM 均排名第一，并且PSNR 指标相较第二名的CF-Net方法提高0.84 dB，SSⅠM提高0.022 2，MEF-SSⅠM提高0.006 8。

本文发现，这些先进方法的组合产生的融合图像，无论在哪个指标，都不是最高的，可能是由于两个任务独立处理，没有进行信息共享。然而本文方法将这两个任务作为一个整体进行处理，而且进行信息交互和协作，因此可以同时实现图像融合和超分辨率，并且获得较好的融合效果。

3.3.3 主观评价

图6和图7可视化地描述了本文方法和其他先进方法在4倍放大下产生的融合图像，其中子图（a）、（b）、（c）为不同曝光序列图，子图（d）～（j）为SR+MEF 和MEF+SR的部分实验结果，子图（k）为耦合反馈网络的实验结果，子图（l）为本文方法的实验结果。由实验结果可知，与SR+MEF 和MEF+SR 方法相比，本文方法在细节提升很大，与耦合反馈网络相比，本文缓解了由于耦合反馈机制产生的图像动态范围较低现象。

图7 “风景”在4倍放大下的不同方法的比较Fig.7 Comparison of methods for picture of“natural scene”with magnification factor of 4

如图6 所示，根据子图（d）～（g）可以看到脸部有或多或少的失真，比如：眼镜、鼻子、嘴等，而且子图（e）、（h）的脸部蜡黄，子图（g）、（i）的脸部较为灰暗，子图（d）的脸部过亮，无法看清五官，而从子图（l）可以看到脸部细节更加清晰，肤色更均匀，没有过亮或过暗现象。根据子图（k）可以看出人脸的肤色泛白，而从子图（l）可以看出人脸的肤色正常，从而缓解动态范围低的现象。

如图7 所示，根据子图（d）～（g）可以看出很难分辨天空和树枝，整张图看起来太亮或者太暗，而从子图（l）可以看出树枝有着清晰的边缘信息，整张图有良好的对比度和色彩饱和度。根据（k）可以看出天空的颜色灰暗，山的纹理细节丢失较多，而（l）可以明显地看出，天空的颜色更蓝，山的纹理细节更加清晰，而且更加符合人眼的视觉感受。

3.3.4 消融实验

本小节研究极度曝光网络和中间网络之间的耦合关系；同时研究融合权重对最终融合图像的影响。

（1）MCFB 之间耦合方式的影响：为了研究子网之间耦合的关系，本文进行3种连接方式的探索：①每个子网都接受其他子网的曝光信息；②上层子网与中间子网之间相互传递曝光信息，下层自网络与中间子网路相互传递曝光信息；③上层子网与下层子网之间相互传递曝光信息，中间子网接受来自极度曝光网络的曝光信息。图8 展示了3 种耦合方式对比：对于图（a），极度曝光子网接收了中间子网的曝光特征和互补曝光特征，在下次迭代时将融合的特征再次输入中间子网，很可能造成曝光特征冗余的现象；对于图（b），极度曝光特征接收与它亮度相近的中等曝光特征，而没有得到互补的亮度特征，因此极度曝光子网融合产生的特征缺乏部分亮度信息；对于图（c），极度曝光子网分别接收到互补的曝光特征，因此融合产生的特征既具有亮度特征，又包含暗部细节，中间子网接收来自极度曝光子网的特征，使得融合产生亮度更广泛的特征。

图8 三种耦合方式对比Fig.8 Comparison of three coupling modes

表4 展示了3 种耦合方式在PSNR、SSⅠM 和MEFSSⅠM 下的结果。可以看出与前两种耦合方式相比，第三种耦合方式（多耦合反馈机制）的重建图像在各项指标下均取得了最好的结果，因此本文使用第三种耦合方式构建多耦合反馈网络。

表4 子网络不同的耦合方式对融合图像的影响Table 4 Ⅰnfluence of different coupling modes of sub-networks on fused images

（2）融合权重的影响：本文最终的融合图像是由中等曝光子网和极度曝光子网的最后一个重建图像加权融合产生的，因此每个子网的重建图像都对融合图像有影响。为了获得最佳融合图像，本文设置wo=wu,wm从0.1到0.9。

（3）表5展示了在SⅠCE测试集[12]和PQA数据集[19]根据权重系数的变化，PSNR、SSⅠM、MEF-SSⅠM 指标的结果。本文可以看出，在SⅠCE 数据集，当wo=wu=wm=1/3 时，PSNR 最高，而SSⅠM 和MEF-SSⅠM 不是最高的。当wo=wu=0.2,wm=0.6时，SSⅠM和MEF-SSⅠM最高，而PSNR 不是最高的。在PQA 数据集，wm=0.6或wm=0.7 或wm=0.9 时，MEF-SSⅠM的值最高。综上所述，本文选择wo=wu=0.2,wm=0.6 作为各个子网的权重，这也说明了中等曝光子网对超分辨率融合图像的贡献更大，从而验证了本文提出模型的有效性。

表5 融合权重对图像融合的影响Table 5 Ⅰnfluence of fusion weight on image fusion

4 结束语

基于深度学习的超分辨率块能提取深层次特征的能力和反馈机制强大的图像重建特性，本文提出多耦合反馈网络，用来同时解决图像超分辨率问题和图像曝光融合问题。实验结果表明，本文算法较好地保留了原图像序列的边缘，区域边界及纹理等细节信息，避免了边缘产生光晕、伪影，达到了较好的融合效果；同时本文算法探索得到极度曝光子网和中等曝光子网最有效的耦合方式以及重建图像融合的最优权重；而且提出了包含N个子网的多耦合反馈网络，适用于任意曝光图片数量进行融合。因此，本文方法实现了将N个多曝光图像融合生成超分辨率质量更高、动态范围更广的图像。后续研究工作，将对本文方法中的多耦合反馈网络进行优化，以使其能够得到更好的融合效果。