基于多曝光融合与超分辨率的单图像阴影去除＊

张新怡，端木春江

(浙江师范大学物理与电子信息工程学院，浙江 金华 321004)

0 引言

现今计算机视觉领域的基本任务如检测、识别、分类、分割等，已经在一定条件下达到了较高的准确率。然而，现有技术大多只能在特定条件下进行图像处理，例如常有指定的光照、背景和目标姿态等要求。其中，阴影对图像的进一步处理造成较严重的阻碍。通常的解决办法是在数据采集的源头上避免阴影的产生。然而在真实世界中，背景信息的庞杂导致各种不可避免的阴影，这非常考验各类算法的鲁棒性。图像阴影去除，对各类计算机视觉任务的预处理阶段有帮助，有一定的研究价值和现实意义。

1 相关工作

随着深度学习的发展，基于深度学习的图像去阴影研究以其无需手动标记的全自动特性逐渐展现出较强的优势。Qu等人提出Deshadow-Net[1]网络模型，该方法不需要对阴影进行预测，而是直接去除比传统方法有性能上的提升。Wang等人提出的ST-CGAN[2]网络模型联合进行阴影检测和阴影去除。ST-CGAN之后，涌现出了一批利用生成对抗网络(GAN)进行阴影去除的网络模型，具有代表性的如Hu 等人提出的Mask-ShadowGAN[3]模型。除此之外，Hu 等人提出DSC[4]方法，利用方向感知上下文来改进阴影检测及去除；Le 等人提出SP+M-Net[5]模型，从阴影分解的角度提出了新的阴影去除方法；Fu[6]等人提出从图像融合角度提出新的阴影去除的方法。

2 基于多曝光融合与超分辨率的耦合反馈网络

2.1 网络模型

去阴影网络总体由两部分构成，多重曝光网络与多曝光融合与超分辨率耦合反馈网络，其两部分构成关系如图1所示。

图1 网络模型

图1 中，网络输入为阴影图像与其对应的掩膜图像。这样成对的阴影-掩膜图像作为网络的共同输入，首先送入多重曝光网络，对阴影图像做多次过曝光处理，输出生成多幅过曝光图像，曝光后图像的阴影区域与原图像的非阴影区域有相同的颜色以及亮度，此后其共同作为下一模块的输入。此时的问题转化成如何把阴影图像的非阴影区域与多重过曝光图像的阴影区域结合成统一模式，本文提出多曝光融合与超分辨率耦合反馈网络SR-MEF-net，利用图像融合的方式对多重曝光图像进行融合，同时用超分辨率方法，降低融合过程中图像的退化程度。

2.2 SR-MEF-net

本文提出一种多曝光融合级联超分辩率模块的耦合反馈的神经网络，旨在充分利用图像融合以及超分辨率之间的交互与协作，以一对阴影与其对应的掩膜图像生成一幅高分辨率的去阴影图像。其模块化网络结构如图2所示。

图2 SR-MEF-net网络结构

提取的初级特征送入超分辨率模块（SRB），提取图像的更多高级特征Gi，为后续的融合模块提供支持。此时图像高级特征为初始高级特征

此时取高分辨率特征直接送入重建模块（R），能够得到对应的超分辨率残差，并与低分辨率图像的上采样进行加和，即可生成原低分辨率阴影图像的超分辨率重建图像ISR。

G和的目的在于，提供互补信息用来提高融合性能。然而经过单个MCFB 不能令图像之间的特征充分得到反馈而收集到足够的融合信息，所以在模型种设置T 个MCFB，每个MCFB 的输出是具有更高融合特征的，此时的得到充分的反馈信息：

经过T个MCFB输出充分融合后的融合高分辨率特征。融合高分辨率特征送入重建模块（R），得到对应的融合超分辨率残差图像，并与LR 图像的上采样级联，即可生成对应具有融合特征的超分辨率图像：

为具有融合特征的高分辨率图像。得到N 个具有高度融合特征的超分辨率图像后，进行加权融合后，得到最终的阴影去除图像Iout：

ωi为各自对应的权重，Iout为最终输出的阴影去除后的超分辨率重建图像。

2.3 损失函数

阴影去除网络的损失函数由三部分构成：①在多重曝光网络中，生成一系列多重过曝光图像Ii与地面真实图像Ifree之间的损失，以均方误差作为损失函数。②在SR-MEF-net 中，地面真实图像Ifree与其未经融合的超分辨率重建图像ISR与之间的损失，以平均结构差异指数度量作为损失函数。③在SR-MEF-net 中，地面真实图像Ifree与经过SR-MEF-net 曝光融合过后的超分辨率重建去阴影图像Iout之间的损失，以L1 损失作为损失函数。

由于网络是端到端训练的，三种损失配以各自的权重，其和为本阴影去除网络的总损失函数。通过最小化损失函数实现对网络的训练。

3 实验结果与分析

与其他去阴影研究保持一致，采用RMSE 作为评价阴影去除网络性能的指标，包括阴影区域，非阴影区域以及整体图像的RMSE。采用峰值信噪比PSNR和结构相似度SSIM 作为评价SR 性能的指标。对于公开去阴影模型，选取DSC[4]、Fu et.al[6]、SP+M+D-net[5]；对于超分辨率重建模型，选取EDSR[7]、RCAN[8]、SRFBN[9]进行对照。表1、表2为ISTD+数据集上放大因子为×2时，描述超分辨率性能和去阴影性能的数据指标。

表1 ISTD+数据集上放大因子为×2时，描述超分辨率性能的指标

表2 ISTD+数据集上放大因子为×2时，描述去阴影性能的指标RMSE

可以发现，本文模型较其他方法有一定的性能提升，在SR 表现上，本文方法比次优方法PSNR 提高了2.333dB，SSIM 提高了0.0318。在阴影去除表现上，本文方法比次优方法RMSE-Shadow 降低了8.0730，RSME-Non降低了4.041，RMSE-All降低了5.3393。

图3 为ISTD+数据集上放大因子为×2 时不同方法的阴影去除超分辨率重建图像。可以观察到，本文方法能够在有效去除阴影的同时，最大程度地保持图像质量。其他方法或不能完全去除阴影，或在阴影去除过程中产生了不理想的模糊和噪声。

图3 放大因子为×2视觉对比

4 总结与展望

本文提出一种基于图像融合与图像超分辨率重建相结合的方法用于图像阴影去除。通过LR 多重过曝光图像作为网络输入，以耦合反馈的方法将多重图像进行融合生成无阴影图像，同时能有效减少图像失真，最终输出无阴影的超分辨重建图像。在公共数据集上得到验证，并证明优于部分方法。受计算资源的限制，本文训练集较小，在今后的工作中，可以选用更大的数据集，提高泛化能力。