基于深度引导与自学习的高动态成像算法

张俊超 杨飞帆② 时 伟* 陈溅来 赵党军 杨德贵

①(中南大学航空航天学院 长沙 410083)

②(北京航空航天大学前沿科学技术创新研究院 北京 100191)

1 引言

自然场景亮度的变化范围可达8～10个数量级，而普通数码相机能捕获的动态范围一般为2～3个数量级[1]，导致成像设备无法准确呈现真实场景的全部信息，由此，高动态成像技术应运而生。高动态成像技术使得图像更加准确地记录和展示真实场景，在视频监控[2]、医疗诊断[3]和军事侦察[4]等领域有着广阔的应用前景。

多曝光图像融合是当前高动态场景成像的主流方法，通过控制相机的曝光时间，在不改变硬件的条件下对同一场景多次曝光，获得不同曝光度的图像[5]。然后，基于不同曝光度图像间互补和冗余信息，利用图像融合技术在单张图像上准确表征高动态场景。Shen等人[6]提出了基于随机游走理论的线性系统，将局部对比度和色彩一致性作为变量，求得系统的稳定点作为权值，得到了较好的融合效果。Hou等人[7]提出了基于引导滤波的权值更新策略，该方法能在权值图中保留更多的场景细节。Lee等人[8]提出了基于相对像素强度和全局梯度的多曝光图像融合方法，通过设计反映整体亮度和全局梯度的权重函数，提升融合结果。基于结构块分解的方法[9]为多曝光图像融合提供了新的思路，图像块被分解为信号强度、信号结构和平均光强，通过分别融合再重构的方式获得细节丰富的融合图像。传统的多曝光图像融合结果受权值更新策略的影响极大，经验式地设计融合策略，导致算法的鲁棒性较差[10]。

近些年来，深度学习已被成功应用于图像融合任务中，包括红外与可见光图像融合[11-13]、多聚焦图像融合[14,15]、偏振图像融合[16,17]和多曝光图像融合[18-23]等。Cai等人[18]提出了一种基于有监督学习的多曝光图像融合网络，其中真实的融合图像是从13种传统算法融合结果中择优获得的。Prabhakar等人[19]首次提出了一种无监督的多曝光图像融合网络，该网络通过约束融合图像和多曝光图像间的结构相似度，并以自动编码器的结构进行非监督学习。该损失函数未考虑曝光程度对结构相似度(Structural SIMilarity, SSIM)的影响，导致不同曝光区域出现不自然的边缘[10]。因此，Jung等人[20]将图像块的结构张量信息集成到损失函数中，并将多曝光图像的平均图像作为假定图像，指导融合网络的训练。Xu等人[21]提出了一种非监督的图像融合网络框架，该框架可以解决多种图像融合的问题，在损失函数设计中引入了感知损失和结构相似度度量。此外，基于生成对抗学习的多曝光图像融合网络[22](Multi-Exposure image Fusion based on Generative Adversarial Network, MEF-GAN)被提出，其中生成子网络用于输出融合图像；判别子网络用于判别融合图像与真实图像的相似度，并以对抗学习的方式指导生成子网络的训练，使得融合图像接近真实图像。虽然这些多曝光图像融合网络[18-22]在融合两张图像时获得了较传统算法更好的结果，可是多张曝光图像的融合结果依赖两两融合的顺序，导致这些网络在处理多曝光图像融合方面存在不足。为此，Ma等人[23]提出了基于深度引导学习的多曝光图像融合网络(Multi-Exposure image Fusion Network, MEF-Net)，并基于多曝光图像融合的结构相似度(MEF-SSIM)损失函数进行学习。该MEF-Net网络可以接受任意空间分辨率和任意数量的曝光图像序列的融合，输出加权融合的系数，并通过引导滤波进一步优化融合结果。MEF-Net[23]网络在处理多曝光图像融合方面已经获得了较好的结果，可是在两张极度曝光情况下，图像融合效果较差，出现了明显的光晕现象。近年来，面向运动场景的多曝光图像融合和基于单帧图像的高动态成像问题也引起了越来越多的关注。Yan等人[24]提出了一种基于注意机制引导的端到端多曝光图像融合网络，其中，注意机制用于抑制非对准区域，并增强对准区域的融合。之后，Liu等人[25]对该工作进行了改进，提出了一种基于注意机制引导的可变形深度融合网络，融合效果得到了提升。Sharif等人[26]提出了一种两步法的深度神经网络，基于单帧低动态范围的图像重构高动态场景。

本文的研究工作是面向静态场景的多曝光图像融合，针对上述问题，本文提出一种基于深度引导与自学习的多曝光图像融合算法。该网络以任意数量的不同曝光度图像作为输入，并采用引导滤波深度引导网络输出加权融合系数。为了实现非监督学习，在损失函数设计方面，本文通过引入强度保真约束项和加权的多曝光图像融合结构相似性度量项，提升融合质量。此外，本文采用一种自学习的策略，用于减弱两幅极度曝光图像融合产生的光晕现象。本自学习策略是在不改变网络结构和损失函数的前提下，对预训练的网络权重(基于多曝光图像训练获得)进行再学习和优化。实验结果表明，本文所提算法在定量指标和视觉融合效果方面均优于现有主流算法。本文的主要贡献总结如下：(1)在损失函数设计方面，本文提出强度保真约束项和加权的多曝光图像融合结构相似性度量项，通过多曝光实验验证了其有效性。(2)本文提出一种自学习的策略，面向两幅极度曝光图像融合问题，基于本文所提非监督的损失函数，以自学习的方式优化预训练网络的权重，减弱光晕现象。

2 基于深度引导与自学习的多曝光图像融合算法

2.1 网络结构

图1 本文网络结构

图2 CAN网络结构

2.2 损失函数的设计

加权的MEF-SSIM项：在MEF-SSIM指标[28]的

2.3 自学习

为了提升两幅极度曝光情况下的图像融合质量，本文采用自学习的方式，对预训练好的模型进行参数微调，以减弱或消除光晕现象。自学习过程如图3所示：首先，基于本文所提网络结构和损失函数，采用多曝光图像(多于两幅)对网络进行训练，获得最佳的权重参数。然后，面向两幅极度曝光图像的融合，将学习到的最佳权重参数作为网络权重的初始值，不改变网络的结构和损失函数，基于当前两幅极度曝光的测试图像，对网络进行再学习和优化，非监督地自学习得到适用于当前融合图像的最佳参数。

图3 自学习过程

3 实验结果与分析

3.1 实验设置

为了训练和测试所提出的网络，本文采用了公开发表的数据集1)https://github.com/hangxiaotian/Perceptual-Multi-exposure-Image-Fusion，其中，训练集包含90组多曝光的图像(曝光次数大于2)，测试集中包含15组多曝光的图像和50组两曝光(极度曝光)的图像。本文的网络是基于Pytorch框架编程实现的，优化器为Adam，初始学习率为10-4，最大迭代次数为500，自学习阶段的最大迭代次数为100。为了验证本文所提方法的有效性，在多曝光图像融合实验中，与目前主流的算法Shen11[6], Hou16[7], Lee18[8],Li20[9]和MEF-Net[23]进行对比；在两曝光图像融合实验中，还增加了基于深度学习的方法：Jung20[20]、Xu22[21]和MEF-GAN[22]。由于Jung20[20], Xu22[21]和MEF-GAN[22]方法在处理多曝光图像融合时，融合结果依赖图像融合的顺序，为了公平对比，这3种方法只作为两张图像融合实验的比较。另外，这些对比算法的代码均由原作者提供，深度学习方法的实验结果是基于原作者提供的网络权重获得的。在客观对比方面，采用了当前多曝光图像融合领域常用的评价指标：MEF-SSIM[28]，它是一种无需参考图像的评价指标，用来评估融合的图像和多曝光图像间的相似度，相似度越高，MEF-SSIM的值越接近于1。此外，针对彩色图像融合，本文同现有算法[20-23]的处理方式一致：首先，将RGB图像转换到YCbCr空间；其次，基于本文算法对Y通道进行融合，并采用文献[20]中的方式对Cb和Cr通道进行融合，公式表达为

其中， CbY表示融合图像的Cb通道，C bk表示第k张曝光图像的Cb通道，τ=128，表示8位图像的灰度中值。Cr通道可以以同样的方式融合。最后再将融合图像的YCbCr通道转换到RGB空间，得到最终的融合图像。

3.2 多曝光图像融合实验

多曝光图像融合的实验结果如图4所示：第1行代表9张曝光图像序列，第2行和第3行表示融合的图像。从实验结果可以看出，现有的主流算法均获得了不错的融合效果。然而，Lee18[8]算法融合结果出现了局部过曝的现象，如图4(d)红色矩形所框区域所示。Li20[9]算法融合结果丢失了部分信息，如图4(e)蓝色矩形所框的黑板区域。Shen11[6]和Hou16[7]作为传统算法取得了和基于深度学习的算法MEFNet[23]等同的融合效果。通过和这些算法对比，如图4黄色矩形所框区域，在地面纹理和花盆色彩保留等方面，本文所提方法均取得了更好的融合效果。通过与MEF-Net[23]的结果对比，表明本文所提损失函数能有效提升多曝光图像融合的质量，其中强度保真约束项，将融合图像引导嵌入到更加自然的色彩中，保护色彩和纹理信息。

图4 多曝光图像融合实验结果

多曝光图像融合实验的定量对比结果如图5所示，图中展示了15组多曝光图像融合的MEF-SSIM结果。从图中可以看出，所有算法均取得了较高的MEF-SSIM值，在传统方法中，Li20[9]方法获得了更高的结构相似度。与基于深度学习的方法MEFNet[23]比较，在大多数场景中本文所提算法取得了更高的MEF-SSIM值，从客观评价指标方面证明了本文方法的先进性。

图5 不同算法多曝光图像融合的MEF-SSIM结果

3.3 两幅极度曝光图像融合实验

本节只展示了两幅极度曝光下的图像融合结果，实验结果如图6和图7所示，其中图6(a)为2张曝光图像(Chapel)序列：欠曝光图像和过曝光图像；图6(b)-图6(k)为不同算法的融合结果。Shen11[6],Lee18[8]和Li20[9]算法均产生了局部过曝的融合结果，Hou16[7]作为传统算法减弱了光晕现象，获得了更好的融合效果。Jung20[20], Xu22[21], MEF-GAN[22]和MEF-Net[23]算法是基于深度学习的方法，Jung20[20]在处理极度曝光图像融合时产生了明显的不足，这是由损失函数中的均值引导图导致的。Xu22[21]算法产生了整体雾化的现象，MEF-GAN[22]算法减弱了雾化现象，但产生了色彩不自然的融合结果。MEF-Net[23]算法在栅格区域产生了明显的光晕现象。本文方法和结合自学习策略的结果分别显示在图6(j)和图6(k)中，本文方法在处理极度曝光图像融合时也产生了光晕现象，这是由于本文所提出的网络是基于多曝光图像集进行训练，训练集中未包含两幅极度曝光情况下的图像。本文提出一种更实用的策略：自学习，不是在训练集中增加极度曝光的图像对来减弱光晕现象，该策略不需要修改训练数据集，以自学习的方式优化网络权重，提升新数据的融合效果。从实验结果可以看出，自学习策略可以有效减弱光晕现象，提升融合质量，如图6中栅格区域和白色矩形区域(色板的放大显示)。图7(a)为2张曝光图像(Desk)序列：欠曝光图像和过曝光图像；图7(b)-图7(k)为不同算法的融合结果。Shen11[6], Hou16[7]和Lee18[8]算法在台灯区域均产生了黑色阴影的融合结果。Jung20[20]和Xu22[21]算法在台灯区域获得了较好的融合效果，但在门的区域产生了不自然的融合色彩。MEF-GAN[22]网络产生了局部过曝的融合结果，如图7(h)所示。与MEF-Net[23]的融合结果对比，本文算法在台灯区域也产生了黑色阴影，基于自学习再优化后，融合的结果如图7(k)所示，消除了黑色阴影，融合质量得到了提升。

图6 两曝光图像(Chapel)融合实验结果

图7 两曝光图像(Desk)融合实验结果

两曝光图像融合实验的定量对比结果如图8所示，其中展示了50组两曝光图像融合的MEF-SSIM结果。从中可以看出，在传统方法中，Li20[9]方法获得了更高的结构相似度。在基于深度学习的算法中，Jung20[20], Xu22[21]和MEF-GAN[22]算法的MEF-SSIM值较低，且MEF-GAN[22]网络在有些场景获得了极低的MEF-SSIM值，这与视觉效果一致。本文所提方法在大多数场景获得了最高的MEFSSIM值，如图8红色实心线所示，证明了本文所提损失函数和自学习策略能有效提升融合质量。

图8 不同算法两曝光图像融合的MEF-SSIM结果

3.4 参数τ c 对极度曝光情况的影响

针对两曝光图像融合问题，损失函数中强度保真约束项占据主导，引导图的好坏直接影响融合图像色彩的质量，而引导图的质量在本算法中受制于参数τc的 选取。因此，在本节分析参数τc的变化对融合质量的影响。如图9所示，随着参数τc值的增大，融合图像的亮度也相应地增大。当τc取76.8～128时，融合效果最佳；当τc取153.6时，融合图像中灯泡的细节信息丢失；当τc取179.2～204.8时，融合效果又得到了提升。如图10所示，对于该场景(Room)来说，当τc取128～153.6时，融合效果达到了最佳，保留了暖气片的色彩信息和窗外的风景。根据式(4)可知，引导图中的权重是由每一幅图像的全局均值µk与τc之间的距离所决定的。源图像的全局均值µk与τc之间的距离越近，该源图像在引导图的贡献就越大。当τc的取值逐渐增加时，过曝光图像的全局均值µk与τc之间的距离不断减小，因此引导图中包含过曝光的信息就越多；当τc的取值大于过曝光图像的全局均值后，随着τc的继续增加，过曝光图像的权重又不断减小。因此，参数τc对融合结果的影响较大，不同曝光图像的最佳参数τc也 是不同的，在本文所有的实验中，τc都简单地设为128，对不同的场景未达到最优的结果，以后工作将设计一种自适应的策略，学习得到最优的参数τc。

图9 不同参数下的融合结果(Desk)

图10 不同参数下的融合结果(Room)

4 结束语

本文提出基于深度引导与自学习的多曝光图像融合算法，并设计了专门的损失函数。其中，强度保真项约束用于引导融合图像嵌入源图像的色彩信息；基于光强变化，引入了加权的MEF-SSIM，用于自适应调整不同约束项的权重。此外，本文采用一种自学习的学习策略，提升两幅极度曝光图像融合的质量。本文通过多曝光和两幅极度曝光图像融合的对比实验，证实了本文算法在融合效果和定量指标方面均优于现有主流算法。此外，本文所提自学习策略可以应用于其他网络，用于非监督学习网络的再优化。本文算法涉及的τc参数，会直接影响极度曝光情况的融合效果，最佳τc值的选择将是未来的研究方向。